По итогам недоступности сервиса 02.12.2014

Любая внештатная ситуация должна анализироваться и служить источником изменений в лучшую сторону.
Таков наш подход к работе.

По итогам инцидента 02.12.2014, возникшего в ходе модернизации сети и повлекшего за собой существенные перебои в работе сервисов, нами был проведен детальный анализ и оформлены выводы.

Мы стремимся поддерживать максимально прозрачные взаимоотношения с нашими Клиентами, поэтому детально осветили всю хронологию инцидента:

Настоящим постом мы хотим проинформировать Вас о деталях существенного перебоя сервиса, имевшего место быть 2 декабря 2014 года.
Мы стремимся поддерживать максимально прозрачные взаимоотношения с нашими Клиентами, поэтому детально осветим всю хронологию инцидента:

Ночью 2 декабря 2014 года мы проводили масштабные сетевые работы, которые касались полной перестройки ядра сети в нашем санкт-петербургском дата-центре. К этим работам мы готовились несколько месяцев. Работы включали в себя замену десятков единиц сетевого оборудования, запуск в эксплутацию нового оборудования в ядре сети, переключение соединений с провайдерами на более мощные.
По результатам подготовительных работ мы прогнозировали трехчасовое окно на работы, о чем и уведомили Клиентов рассылкой.
Первая фаза работ завершилась строго по графику (около 01:00 MSK), после чего основная масса услуг стала доступна по сети Интернет.
Вторая фаза работ заняла на 30 минут больше времени, чем было отведено по плану, и завершилась в 03:30 MSK.
После это специалисты приступили к полномасштабной проверке работы услуг и оперативному устранению вскрытых проблем.
Пост-проверка продолжалась без перерыва до 09:00 MSK, в ходе этой проверки были исправлены ошибки, относящиеся к:
Управлению элементами Облака (операции с серверами через панель и API)
Полной доступности Linux хостинга
Корректному хождению почты Офис24

К 09:00 оставались открытыми следующие проблемы:

Несколько серверов старого Linux хостинга недостаточно быстро отдавали информацию, несколько серверов старого Linux хостинга были недоступны полностью. Эти проблемы были полностью и окончательно решены в 22.45 MSK 02.12.2014.

Часть инфраструктуры бизнес-решений в старой системе (Exchange, BlackBerry) имели эпизодические проблемы с доставкой почты. Проблема носила плавающий характер, несколько раз в течения дня мы ее решали, но она возвращалась. Окончательно проблема была решена в 23.55 MSK 02.12.2014.
В результате этой недоступности часть корреспонденции была утеряна.

Связность с сетями провайдера Ростелеком и пиринг с SPB-IX. Проблемы на уровне указанных провайдеров могли вызывать недоступность части наших ресурсов для части пользователей.
Данная проблема была решена совместно с провайдерами рано утром 03.12.2014.

Консоль для управления серверами Hyper-V на платформе Parallels.
Вопрос закрыт в 22.45 03.12.2014.

Около 14.00 MSK произошло падение BGP сессий с нашими провайдерами, что вызвало общую недоступность ресурсов, расположенных в Санкт-Петербурге, на период до 10 минут.
Около 15.00 MSK событие повторилось с аналогичными последствиями.
По итогам проведенного разбора инцидента мы вскрыли некорректную совместную работу сетевого оборудования Juniper и Cisco, проявляющуюся при определенных сценариях.

Коммуникации
Как только были обнаружены негативные проявления работ, все силы сотрудников были направлены на тестирование и устранение возникших ошибок

К 11.00 MSK была составлена картина событий и заведен глобальный тикет по оставшимся проблемам для централизованного информирования всех затронутых пользователей (к нему прикреплялись созданные и создаваемые клиентские обращения по проблемам).

За время устранения последствий модернизации сети мы обработали 425 тикетов и приняли 461 звонок. Эти цифры существенно превышают нашу стандартную нагрузку, в результате чего среднее время ответа на обращение, к сожалению, возросло.

По мере проявления и устранения проблемы с падением BGP, картина была скорректирована и
в 16.50 MSK во всех панелях, соцсетях и через глобальный тикет было произведено информирование об имеющих место проблемах.
По мере устранения проблем, новости обновлялись.
Мы исследуем возможность SMS-оповещений для наших Клиентов как проактивную меру, которая позволит эффективнее информировать пользователей о работах или технических неисправностях при необходимости.

Хронология событий (MSK)
  • 00:00 – 03:30 – плановые работы в 2 этапа по полной модернизации ядра сети
  • 03:30 – 09:00 – проверка сервисов, выявление и устранение проблем
  • 09:00 – 23.50 – устранение остаточных негативных явлений, нормализация работы части услуг
  • 14:00 – 14:10 – падение BGP сессий
  • 15:30 – 15:45 – падение BGP сессий
  • 22:45 – полная нормализация работы всех серверов Linux хостинга
  • 23:55 – полная нормализация работы Exchange и BlackBerry на старой платформе
  • 9:00 (3 декабря) – восстановление связности с каналами Ростелеком
Мы понимаем важность бизнес-коммуникаций и понимаем большую ответственность, которую мы несем как Ваш провайдер услуг.
Я хочу подчеркнуть, что события с самого начала трактовались нами как критически важные и исходя из этого отрабатывались. Все лучшие специалисты компании были сфокусированы на скорейшем решении проблем и оставались на рабочих местах до их полного устранения.
Мы долго и тщательно готовились к сетевой модернизации, стремясь сделать ее максимально прозрачной для всех пользователей всех наших услуг. При переключении мы работали по чеклистам с обозначенным таймингом на проведение каждой операции. К сожалению, в силу распределенности и масштабности нашей инфраструктуры, а также особенностей ее ранней планировки, мы не смогли предусмотреть и предвидеть все подводные камни, которые мы встретили. Немалое их количество мы «обезвредили», но, увы, часть их осталась незамеченной.
Здесь мы подвели Вас и хотим принести свои извинения за это.
После любого инцидента, связанного с прерыванием услуг или их деградацией, мы проводим анализ события и намечаем корректировочный план для того, чтобы постоянно совершенствовать и улучшать уровень предоставления услуг.
И именно в рамках прошлых корректировочных планов мы спланировали полную модернизацию нашей сети, что призвано поднять стабильность услуг на новый уровень.
Наши системы мониторинга показывают полученный прирост общего эффективного функционирования сети, значительно повысившуюся скорость отдачи данных и сильное снижение задержек (latency).
Ваша обратная связь всегда приветствуется и помогает Infobox становиться лучше. Будем рады увидеть Ваши отзывы на Feedback@infobox.ru. Этот список рассылки отслеживается всей командой менеджмента компании.
Спасибо за то, что являетесь нашим Клиентом.

С уважением,
Александр Рагель
Операционный директор Infobox

Еще раз хотим извиниться перед каждым, кого затронули описанные проблемы.

Спасибо за то, что являетесь нашим Клиентом.

Технические работы

Уважаемый клиент, сегодня, 8.12.2014 22:00 до 1:00 в нашем дата центре будут проводиться работы c коммутационным оборудованием, во время которых может наблюдаться потеря связи на время, не превышающее 5 минут. Приносим извинения за неудобства!
Ваш Renter.

Мы рады вам сообщить о запуске компанией Rootwelt нового сервиса, специализирующегося на VPS c ОС Windows

http://ru.winwelt.de

Winwelt это:
  • Windows Server 2003 R2, 2008 R2 или 2012 R2
  • высокоскоростные RAID-10 SSD массивы
  • платформы HP и Supermicro enterprise-класса
  • неограниченный трафик при канале 100 Мбит
  • гарантированные ресурсы
  • поддержка на русском языке

Используйте промо-код 50OFF чтобы получить скидку 50% на первый месяц аренды VPS.

Объявляем о снижении цен на передачу данных AWS и CloudFront



Мы рады сообщить, что с 1 декабря мы снизили цены на три типа передачи данных в AWS.

Мы снизили цены на передачу данных в Интернет в регионах Восток США (Вирджиния), Запад США (Орегон), Запад США (Северная Калифорния), ЕС (Ирландия), ЕС (Франкфурт), Азия и Тихий океан (Токио) и Азия и Азия и Тихий океан (Сидней). Новые цены от 6% до 43% ниже цен в прошлом, в зависимости от региона и уровня пользования.

Мы также снижаем цены за передачу данных из AWS в Amazon CloudFront для периферийных местоположений в Соединенных Штатах, Европе, Гонконге, на Филиппинах, в Южной Корее, Сингапуре, Тайване, Японии и Австралии. Новые цены на CloudFront от 4% до 29% ниже цен в прошлом, в зависимости от региона и уровня пользования. Передача данных из регионов AWS в Amazon CloudFront теперь бесплатна, что позволяет перемещать данные из Amazon S3, Amazon EC2 и Elastic Load Balancing в любое периферийное местоположение CloudFront без необходимости оплачивать передачу данных.

RackTech - хостинг услуги на базе собственного ЦОД ASR

Компания ООО «ASR» и хостинг провайдер RackTech предлагает подключение широкополосного интернета, хостинг услуги, аренду выделенного и VPS сервера, и огромные возможности высокотехнологичного дата-центра компании ООО «ASR».
Подробнее о наших предложениях:
— Подключение широкополосного интернет соединения по Москве, и Московской области;
Подробнее об услугах подключения к интернету, вы можете уточнить по телефону клиентской службы.
— Регистрация доменов в более чем 150 доменных зонах.
От 180 руб./год.
— Виртуальный хостинг сайтов — на базе быстрых, надежных серверов в кластере и удобных платформ с техническим сопровождением опытной IT-командой.
— Под услугу виртуальный хостинг используется серверное оборудование DELL, с шестиядерным процессором Intel Xeon E5-1650V2 Ivy Bridge-EP 3.5MHz.
От 55 рублей.
— Аренда VPS / VDS сервера – аренда виртуального сервера на высокопроизводительных SSD дисках, под управлением VMmanager, в кластере.
От 110 руб./мес
— Аренда сервера — огромной мощности для обеспечения оптимальной и бесперебойной работы ваших интернет-проектов.
Актуальные цены на аренду серверов смотрите на нашем сайте.
— Размещение сервера (colocation) – наша компания предлагает услуги по размещению оборудования заказчика в современном дата-центре, с доступом к сети от 10Мбит до 1Гбит/сек.
Подключение канала связи до 10Гбит/сек предлагается при аренде серверной стойки. Соединение с крупнейшим центром обмена трафиком MSK-IX. В дата-центре возможно размещение более 1300 посадочных мест размером 1U, 2U, 3U, 4U, 5U. Возможна аренда отдельные серверные помещения до 25кв. метров. Подключение к двум независимым точкам электроэнергии: МосЭнерго и РЖД.
В дата-центре установлены модульные источники Gamatronic Electronic Industries по 100кВт. Дизельная электростанция с системой автоматического запуска в случае отключения электроэнергии. Климатическое оборудование HiRef с резервированием по схеме N+. Система газового пожаротушения на основе смеси «Хладон».
Более подробно о нашем дата-центре, вы можете прочитать на нашем сайте.
Наши контакты:
г. Москва, Большой Волоколамский пр-д, 12к1 строение 1
Наш сайт: www.racktech.ru
Отдел по работе с клиентами: 8 (495) 669-83-91
Техническая поддержка: 8 (495) 942-40-40
Отдел продаж, с 10:00 до 19:00: sales@racktech.ru
Техническая поддержка, 24/7/365: tech@racktech.ru
Лицензия на телематические услуги связи: №115432
Услуги связи по передаче данных: № 115434

DDoS

С утра на две наших стойки началась DDOS-атака, достаточно сильная чтобы привести в неработоспособное состояние оборудование датацентра. В результате приблизительно к 9 тысячам ip-адресов в датацентре либо был затруднен доступ, либо они были полностью недоступны. Насколько мы можем судить — источником трафика являются уязвимые серверы во внешней сети, которые в результате DNS-reflection генерируют больше количество UDP-пакетов, направленных в сеть датацентра.

Спустя некоторое время сетевой отдел датацентра выявил, что целью атаки являются две подсети наших ip-адресов. В результате этого, подсеть 185.49.68/24 была заблокирована полностью и подсеть 185.49.70/25 частично. Нет какого то конкретного ip-адреса или клиента, который является цель атаки. Входящий трафик достаточно равномерно распределяется между десятками серверов в стойках.

В стойке 185.49.70/25 выявлено 4 сервера, которые стали жертвами атаки. Их ip-адреса временно заблокированы. Мы периодически проверяем закончилась атака или нет. К сожалению пока нет. На каждый сервер приходится примерно 500 мегабит в секунду входящего UDP-трафика. В данный момент мы можем попробовать выделить несколько ip-адресов, не подверженных атаке, чтобы привязать их к серверам.

В стойке 185.49.68/24, где находятся так же наши VPS и хостинг-серверы, ситуация хуже. Датацентр отказывается разблокировать подсеть, опасаясь повторения утренней ситуации. Сейчас мы ведем переговоры с целью решить эту проблему каким-нибудь образом. При наихудшем развитии событий подсеть останется заблокированной до понедельника.

NL dedicated servers promo



HOT OFFER UNMETERED XEON E3-1230v3 3,3Ghz 4core Haswell servers in Netherlands Serverius.nl Tier3 Datacenter.

Brand new Supermicro servers RACKED & READY
  • E3-1230v3 8Gb RAM 2x500Gb — 65 EUR monthly
  • E3-1230v3 16Gb RAM 2x500Gb — 70 EUR monthly
  • E3-1230v3 32Gb RAM 2x500Gb — 82 EUR monthly

ORDER NOW: www.hostkey.com/sale

UPGRADE ANY TIME:
  • 2x128Gb Enterprise SSD disks — FREE
  • 2x256Gb Enterprise SSD disks — +10 EUR
  • 2x480Gb Enterprise SSD disks — +20 EUR
  • 2x3Tb 7200 rpm HDD — +10 EUR
  • EXTRA IP avaliabe at 1 euro per IP monthly
All servers are racked and could be online in few hours.
Price includes:
Supermicro Microcloud server with full IPMI access
100Mbps unmetered bandwidth (1Gpbs ports avaliable)

FREE UPGRADE. NO SETUP FEE. MONTHLY CONTRACTS.
Want better price? Contact us:

E-mail: sales@hostkey.com
Skype: Hostkey_sales
www.hostkey.com

фиксация курса рубля

Уважаемые клиенты!

В связи с падением курса рубля к доллару, мы приняли решение зафиксировать курсу 1 USD = 50 рублей.
Для оплаты по фиксированному курсу, необходимо указать, что Вы проживаете на территории России в разделе «Плательщики». Пополнить счёт на удобную для вас сумму, после чего создать запрос в поддержку для перерасчёта. Минимальная сумма платежа для перерасчета 500 рублей.

Данное предложение действует по 31 декабря 2014 года включительно.

С уважением,
Команда CaDedic

Выделенные серверы и VPS с бесплатной DDoS защитой от Inferno Solutions!



Многие из вас уже в курсе, что в последний год увеличилось не только количество DDoS атак, но и их мощность, а что самое печальное — ценовая доступность.
Если раньше атаки в 1-2гигабита считались мощными и серьезными, а атаки в 10Gbit являлись редкостью и роскошью, доступной не каждому, то сегодня все изменилось. В десятки раз.
Так, теперь атаки в 1Gbit — это обычная атака, а атакой в 10-30Gbit уже никого не удивить.

Мы понимаем, что подобные атаки не только наносят ущерб вашему бизнесу, но более того — могут стать причиной серьезных проблем, вплоть до полной потери заработка.

Именно поэтому мы с нашими партнерами готовы предложить выделенные и виртуальные серверы (VPS) с защитой от ддос атак мощностью до 40Gbit на нашей площадке в Нидерландах.

При этом вы оплачиваете исключительно обычную стоимость сервера, защиту вы получаете бонусом АБСОЛЮТНО БЕСПЛАТНО!
Да, теперь вам не нужно заказывать дорогую защиту у сторонних компаний и платить за нее сумму, которая зачастую превышает стоимость самого сервера (по нашим оценкам более менее надежная защита начинается от 250$/месяц!).

Напомню, что мы предлагаем наши собственные решения, на нашей собственной площадке. Это не реселлинг. Это VIP обслуживаение, первоклассное оборудование, отсутствие посредников и многие другие преимущества.

Мы рады, что теперь имеем отличные возможности, чтобы в случае необходимости бесплатно защитить наших клиентов от DDoS атак и разочаровать их конкурентов.

Ведь Inferno Solutions всегда предлагает больше!

Спасибо, что вы с нами!

Изменение цен на домены и SSL

Здравствуйте!
Этим письмом уведомляем вас об изменении цен на домены и SSL сертификаты начиная с 18.12.2014

Новые цены:
SSL Comodo Essential — 1500
SSL GeoTrust Quick SSL — 8500
SSL GeoTrust Quick SSL Premium — 11900
SSL RapidSSL — 1500
ID Protect — 750
Выкуп домена из Redemption period — 29000
Цены за год, в рублях РФ, с учётом НДС

С новыми ценами на домены вы можете ознакомиться на нашем сайте, раздел «Домены»

До 18.12.2014 вы можете купить домены и SSL сертификаты по старым ценам.
Изменение цен вызвано изменением курса валюты.

Что делать, если я уже оплатил домен или сертификат SSL вперед?
Просто продолжать пользоваться услугой, для вас изменение цен будет актуально только при следующей оплате счетов. Перерасчета или изменения оплаченного периода производиться не будет.