Инцидент в дата-центре First Colo от 01.11.2019
Меня зовут Сергей Щербаков, я являюсь генеральным директором компании Fornex Hosting S.L. От лица всей нашей команды я хочу принести Вам свои извинения за инцидент, который произошел в дата-центре First Colo в минувшую пятницу.
Я хочу подробно рассказать вам о том, что произошло 01.11.2019 в хронологическом порядке (время MSK, GMT+3):
14:00 Система мониторинга, которая находится в нескольких дата-центрах показала недоступность корневых маршрутизаторов ДЦ First-colo. Наши инженеры связались с инженерами ДЦ и запросили информацию по инциденту.
14:05 Наш сайт автоматически перестроился на работу из другого дата-центра, чтобы клиенты могли с нами связаться и быть в курсе происходящего.
14:20 Мы получили информацию от ДЦ, что вышел из строя компонент одного из корневых маршрутизаторов, что вызывало полную утилизацию всех доступных ресурсов оборудования.
14:40 Инженеры ДЦ еще раз подтвердили информацию о том, что причиной недоступности является аппаратный сбой одного из маршрутизаторов, в результате чего, ими было принято решение отключить его полностью от инфраструктуры и оставить в работе резервный.
16:20 Нам сообщили, что подключение резервного маршрутизатора не дало желаемого результата и инженеры продолжают анализировать проблему, подключив специалистов из Arista Network, оптические коммутаторы которых обслуживают инфраструктуру ДЦ.
17:10 Нами было принято решение перевести весь трафик на наши собственные маршрутизаторы, которые должны были быть введены в эксплуатацию в конце ноября 2019.
17:40 Примерно половина сетей, которые можно было перенести (не использовались в отдельных клиентских VLAN) работала с нашего оборудования.
20:10 ДЦ указали на то, что предположительно на все подсети ведется очень интенсивная DDoS-атака. Впервые на нашем опыте и на опыте наших коллег из Германии, мы столкнулись с атакой, которая была практически незаметна в общем трафике сети (около 200 Гбит/с).
20:50 После того, как были добавлены фильтры у апстрим-провайдеров и подключено дополнительное оборудование для фильтрации, ДЦ частично удалось отфильтровать паразитный трафик, после чего мощность атаки увеличилась до 350 Гбит/с.
21:30 Нами было принято решение увести все подсети, которые находились на маршрутизаторах дата-центра в отдельный центр фильтрации. Мы связались с несколькими поставщиками и выбрали того, кто мог бы в кратчайшие сроки пропустить наши подсети через свои фильтры.
00:30 Абсолютно все сервисы Fornex Hosting были доступны, при этом DDoS на сам дата-центр закончился во второй половине 02.11.2019.
На данный момент все подсети находятся в стороннем центре фильтрации трафика. В ближайшее время, мы подпишем договор с нашим партнером Netscout (Arbor Networks), с которым мы работаем уже не первый год на предоставление услуг сторонней фильтрации DDoS-трафика с мощностью 11 Тбит/с. Мы ведем переговоры с ними с вечера пятницы и работаем над решением, которое автоматически будет активироваться в течение нескольких минут после обнаружения паразитного трафика в наших подсетях. Кроме того, мы переходим на полностью автономное (от ДЦ) управление трафиком с возможностью более быстрого реагирования и информирования.
Что касается деталей атаки, то мы услышали о ней впервые летом/осенью 2019 года, когда несколько крупных корпоративных (enterprise) ДЦ были недоступны от нескольких часов, до нескольких суток, но к сожалению, не были в курсе подробностей и особенностей атаки. Мы столкнулись с новом видом сетевых атак, которые называются «Carpet Bomb DDoS» (ковровые бомбардировки). Атакующий посылает паразитный трафик не на один IP, а на подсети или несколько подсетей. В нашем случае на ДЦ было направлено 350 Гбит/с общего паразитного трафика, который атаковал тысячи разных IP из разных подсетей.
Я и наша компания понимаем, что данный инцидент нанес серьезный финансовый и репутационный ущерб всем нашим дорогим клиентам и мы уверяем вас, что мы делали и делаем все возможное, чтобы подобный инцидент больше не повторился. В ближайшие дни мы будем решать вопрос по размеру компенсации с нашей стороны. В связи с этим вы получите отдельное уведомление не позднее 06.11.2019.
Я еще раз приношу искренние извинения от лица нашей компании и от меня лично и уверяю вас, что данный инцидент мы не считаем исчерпанным и как только мы подключим дополнительный сервис от Arbor и перейдем на автономное обслуживание наших подсетей, мы обязательно сделаем отдельную рассылку и сообщим вам о проделанной работе.
С уважением,
Сергей Щербаков
