Отчет о DDoS атаке на датацентры в Нидерландах

Подробно расскажем о том, что происходило в период с 11 по 18 августа в дата-центрах Serverius (Нидерланды), как решали проблему и что будет сделано, чтобы не допустить этого в будущем (лонгрид).

1. Что случилось
11 августа, в воскресенье, оба дата-центра компании Serverius стали жертвой DDoS атаки нового типа – TCP-amplification (реплицированный SYN/ACK-флуд) одновременно на сотни IP адресов, которые принадлежали дата-центру и другим клиентам дата-центра, которые использовали их автономную систему. При каждой следующей атаке IP адреса и подсети менялись в случайном порядке. В пиках фиксировалось до 500.000.000 пакетов в секунду на сотни IP адресов, что в сумме составляло невероятную мощность и нагрузку. Кроме этого, атакующие регулярно меняли тактику и методы атаки, чтобы создать максимальные проблемы для сетевой инфраструктуры. Возможность использовать протокол TCP для масштабных атак типа Amplification впервые описали в исследованиях пять лет назад, но до сих пор это оставалось теорией.

2. Почему не сработала DDoS защита
Не сработала не только DDoS защита, не выдерживала и остальная сетевая инфраструктура, так как одновременное количество пакетов было слишком велико: падали интернет-каналы, вышестоящие провайдеры блокировали подсети, чтобы не допустить проблем и перегрузок у себя.

3. Как решали проблему
Сначала никак. Мы полностью рассчитывали на Serverius и их защиту, которая является лучшей в Нидерландах и одной из лучших в Европе. Атаки периодически прекращались и через некоторое время повторялись снова, иногда с еще большей силой. В моменты прекращения атак наша команда отвечала на сотни тикетов и активировала временные серверы для клиентов, которые могли самостоятельно переехать.

Через несколько часов мы уже понимали, что нужно действовать самостоятельно и уносить свои IP сети из Serverius-а во внешнюю защищенную сеть.

Мы написали некоторым зарубежным облачным анти-DDoS провайдерам, которые могли наверняка справиться с такими атаками. В течение нескольких часов никто не ответил.

Тогда мы обратились в российскую компанию StormWall. Ответ получили в течении 30 минут и еще через 15 минут уже обсуждали детали атаки и варианты защиты. Самым быстрым вариантом подключения оказался GRE туннель с точкой фильтрации во Франкфурте.

Через три часа удалось переключить наши подсети IP из Serverius DC1, еще через три часа переключили подсети IP из Serverius DC2 и приступили к корректировке настроек, чтобы добиться эффективной фильтрации мощнейших атак и при этом обеспечить приемлемую работу серверов и сайтов.

К полудню 12 августа мы убедились в стабильной работе наших сетей и принялись исправлять менее критичные проблемы, о которых сообщали клиенты. К этому часу уже больше суток работали без сна и отдыха в состоянии стресса и напряжения.

Чтобы оперативно обрабатывать тикеты, объявили полную мобилизацию и привлекли всех инженеров технической поддержки и менеджеров. Отдельно отметим команду сетевых инженеров и руководства Serverius и StormWall, которые также все время работали вместе с нами, чтобы наладить стабильную работу наших сервисов.

Работа через GRE туннель оказалась неидеальной. Проблемы должен был решить прямой L2 канал к точке фильтрации: связались с точкой обмена NL-IX, уточнили возможность аренды каналов, но получили ответ, что свободных портов нет. Не оставалось ничего другого, как продолжить использовать GRE туннель и бороться с недостатками.

Когда атаки прекращались на продолжительное время, мы отключали туннель и возвращали наши сети в Serverius, чтобы обеспечить комфортную работу серверов, а при возобновлении атак оперативно активировали туннели, чтобы избежать падений из-за атак на дата-центр. Каждое такое переключение сопровождалось сотнями тикетов с запросами на корректировку MTU.

19 августа мы окончательно отключили туннель в связи с прекращением атак: атакующие переключились на другие дата-центры. Нам также стало известно, что с такими же проблемами столкнулись Webzilla, Servers.com и другие провайдеры.

4. Что будет дальше
Атака стала отличным стресс-тестом для всей инфраструктуры Serverius и помогла определить слабые места. Наша команда получила невероятный опыт, который позволил пересмотреть подход к проектированию нашей архитектуры.

Теперь о том, почему мы больше не окажемся в подобной ситуации.

Мы заключили контракт и отладили настройки для быстрой активации внешней DDoS защиты. В настоящее время – через GRE туннель, но мы уже ведем диалог с провайдерами об аренде каналов для прямого подключения к точкам защиты. Это позволит избежать высоких задержек, низких скоростей, необходимости корректировки MTU и других неудобств GRE туннеля. Таким образом, наши площадки в Нидерландах получат двойную защиту, что станет дополнительным конкурентным преимуществом и дополнительной защитой на случай новых, до этого неизвестных атак.

Чтобы не наступать второй раз на те же грабли, мы сразу же настроили внешнюю DDoS защиту для нашей второй стратегически важной площадки в Москве – теперь, в случае подобных распределенных атак на наши сети или сети дата-центра, переключение на нее займет менее 30 минут.

Помимо этого, мы зарегистрировали собственную автономную систему и анонсируем наши сети через нее. В дополнение к каналам Serverius мы подключим еще не менее двух провайдеров, чтобы обеспечить стабильную работу наших серверов в случае проблем с сетью Serverius.

Это потребует больших инвестиций в оборудование, вырастут ежемесячные расходы на аренду защищенных каналов, но это никак не отразится на стоимости наших услуг.

Со стороны Serverius изменения предстоят куда более серьезные. Идет настройка нового сетевого оборудования, которое позволит увеличить производительность и пропускную способность в 100 раз. Переключение нашего оборудования к новой сети планируется уже в ближайшее время.

Инженеры Huawei проанализировали новый тип DDoS атаки и обновили прошивку, которая помогает определять и фильтровать такие типы атак. Проблемой остается лишь очень высокая мощность атак, что будет решаться за счет покупки дополнительного оборудования. Сумма дополнительных инвестиций в защиту составит 2.5 миллиона Евро.

Кроме этого, руководство дата-центра понимает, что завтра появятся и другие неизвестные типы атак, еще мощнее и сложнее, поэтому как дополнительную защиту для таких сценариев они рассматривают подключение внешних провайдеров облачной защиты с распределенной сетью точек присутствия по всему миру. Переговоры введутся с Cloudflare, Imperva и другими провайдерами.

5. Выводы
Дерьмо случается. То, что нас не убивает, делает нас сильнее. Мы понесли большие потери, но мы благодарны этому опыту.

Способы атак постоянно эволюционируют, мощность атак продолжает возрастать, и важно быть готовым к любым ситуациям. По этой причине вариант двойной защиты совершенно необходим.

Жертвой подобной атаки может стать любой дата-центр – это вопрос времени, и о дополнительной защите лучше позаботиться заранее.

Мы понимаем тех из вас, кто переехал в желании спасти свои проекты и сайты, но задайте себе вопрос: готов ли ваш новый хостинг провайдер и дата-центр к атакам такого рода?

Мы будем готовы.

6. Извинения и компенсации
Многие хостинг компании имеют SLA соглашения, на которые они ссылаются в случае аварий. Часто подобные SLA не покрывают внешние факторы, к которым относятся DDoS атаки, а если и покрывают, то в весьма скромном объеме: предлагаемая компенсация обычно равна времени фактической недоступности. Так, за 1 час недоступности предлагается кредит, равный стоимости 1 часа аренды сервера.

Мы не получим никакой компенсации от Serverius. Мы на нее и не претендуем. Они делали все, чтобы помочь как нам, так и другим своим клиентам. Даже если бы мы и получили компенсацию от Serverius, то ее сумма никак не покрыла бы наши потери.

Для нас имеет ценность не SLA и договоры, а наша репутация и отношение к вашим проблемам.

Мы считаем своим долгом предложить компенсацию клиентам в Нидерландах. Для этого создайте тикет в биллинг отдел. На компенсации могут рассчитывать и те, кто во время проблем был вынужден сменить хостинг. Будем рады вашему возвращению.

Команда Inferno Solutions ценит и благодарна за поддержку и понимание. Спасибо, что вы верили и продолжаете верить в нас.

Информация о глобальных неполадках в сети, 18-20 августа 2019



Уважаемый клиент.
Как вы, вероятно, уже знаете, наша площадка в Амстердаме подверглась беспрецедентной DDoS-атаке. Атака была нейтрализована. Я хотел бы принести извинения всем и каждому из наших клиентов, пострадавших в ходе инцидента. Мы знаем, что вы полагаетесь на Servers.com как на профессионалов, обеспечивающих бесперебойную работу и высокое качество обслуживания. Хотя мы, наряду с нашими клиентами, стали жертвой этого нападения, мы принимаем на себя ответственность за то, что не смогли подготовиться лучше. Поверьте, мы уже приняли серьезные меры для защиты вас и вашего бизнеса от подобных атак в будущем, и не остановимся на этих мерах.

По ссылке, приведенной ниже, вы найдете RCA — документ, содержащий анализ причин произошедшего, описание мер, предпринятых нами для предотвращения повторения ситуации в будущем, а также хронологию и анализ атаки.

Ссылка на RCA:
hostsuki.abcdusercontent.com/hosting.kitchen/19/2019-08-24_155543.png
hosting.kitchen/servers-com/obnovlenie-ataka-zavershena-pozhaluysta-naydite-polnyy-rca-zdes.html

Как я сказал в RCA, мы планируем инвестировать 6 миллионов долларов США в модернизацию нашей сети и инфраструктуры, чтобы лучше справляться с изощренными атаками большого масштаба. Мы будем информировать вас о наших действиях в дальнейшем, но краткий обзор готов уже сейчас:

Servers.com заключил партнерское соглашение и подключился к провайдеру услуг по защите от DDoS-атак — Qrator Labs, чьи усилия внесли огромный вклад в нейтрализацию атаки;

Поскольку часть трудностей в отражении атаки была вызвана тем, что из-за характера атаки, внутрисетевая система защиты от DDoS-атак Servers.com оказалась неспособна ей противостоять, Servers.com работает вместе с поставщиком системы над ее обновлением;

Servers.com уже сейчас инвестирует в увеличение пропускной способности своей сети, чтобы лучше справляться с атаками на пропускную способность.

Мы стремимся обеспечить бесперебойную работу инфраструктуры наших клиентов, и уверены, что возмещение за время простоя полагается всем пострадавшим в ходе инцидента. Для того чтобы получить возмещение, пожалуйста, создайте отдельный тикет в службе поддержки, и предоставьте как можно более подробную информацию о том, какие из предоставляемых вам услуг были недоступны и как долго. Это позволит нам обработать запросы на возмещение в кратчайшие сроки.

В заключение я хотел бы поблагодарить вас за доверие Servers.ru. Мы прикладываем все возможные усилия, чтобы наши клиенты были защищены от киберпреступлений, подобных случившемуся, в будущем.

Большое спасибо,
Николай Двас,
CEO Servers.com

Обновление - атака завершена, пожалуйста, найдите полный RCA здесь



Совместный анализ Qrator Labs и Servers.com первой значимой атаки DDoS в дикой природе с использованием определенного вектора усиления TCP

AMSTERDAM и PRAGUE, 21 августа 2019 г. / PRNewswire / — Servers.com и Qrator Labs делятся информацией о недавних атаках, чтобы другие могли подготовиться и быть готовыми к этому в будущем. Обе компании предоставляют подробную информацию и анализ первой значимой атаки DDoS в дикой природе с использованием одного из векторов усиления TCP. Ниже приводятся временные рамки, анализ и выводы, а также ряд шагов, предпринимаемых для значительного снижения вероятности того, что любой новый вид атаки существенно повлияет на доступность серверов клиентов.

Временное ограничение
Воскресенье, 18 августа 2019 г.
  • 07:00 UTC: злоумышленники начали атаковать сетевую инфраструктуру Servers.com, создавая регулярные всплески трафика с высокой скоростью передачи пакетов. Доступность услуг в сети Servers.com не изменяется.
  • 07:10 UTC: Servers.com обратился к Qrator Labs, намереваясь защитить определенные IP-префиксы с помощью службы Qrator Ingress, управляемой посредством объявлений BGP.
  • 13:07 UTC: изменение в атаке: система мониторинга Servers.com сообщает о комбинации UDP-потока и TCP-SYN / ACK-атаки. Некоторые сети Servers.com подвержены атакам.
  • 13:20 UTC: Servers.com реализует инструмент, который изолирует сети, затронутые атакой, от сетей, которые не были затронуты, чтобы ограничить влияние атаки на клиентов внутри атакуемых сетей. Клиентам внутри затронутых сетей рекомендуется перейти на незатронутые. С этого момента и до смягчения атаки злоумышленники периодически меняли список целевых и нецелевых сетей, поэтому процесс миграции изоляции повторялся.

Понедельник, 19 августа 2019 г.
  • 15:08 UTC: Первоначальное объявление затронутых префиксов IP-адресов Servers.com через все входящие потоки сети Qrator MSSP, кроме CenturyLink / Level3 (подробнее об этом ниже).
  • 17:48 UTC: первое появление атаки через сеть Qrator распознается как атака со смешанным усилением UDP с преобладанием трафика LDAP. Атака успешно смягчается и продолжается до 18:54 UTC.
  • 19:01 UTC: Первый тактический своп: усиление UDP заменяется на усиление SYN / ACK. Атака успешно смягчается, и стабильно продолжается до 20 августа 2019 года в 06:33 по Гринвичу в общей сложности 11,5 часов.

Вторник, 20 августа 2019 г.
  • 06:35 UTC: Второе изменение тактики: усиление SYN / ACK заменяется смешанным усилением TCP + UDP. Атака успешно смягчается и продолжается до 07:11 UTC.
  • 07:53 UTC: Третий обмен тактикой: атака с использованием ковровой бомбардировки нацелена на большее количество IP-сетей Servers.com.
  • 08:27 UTC: остальные префиксы Servers.com подвержены переадресации через Ingress. Атака успешно смягчается.
  • 10:45 UTC: связь CenturyLink / Level3 становится полностью работоспособной (см. Ниже).

Детали атаки
  • Атака в основном состояла из усиления LDAP (со значительной частью фрагментированных дейтаграмм UDP) и трафика усиления SYN / ACK, при этом периодически присутствовали другие виды усиления UDP.
  • Трафик усиления SYN / ACK достиг своего пика около 208 миллионов пакетов в секунду, возможно, исключая значительную часть трафика, исходящего из клиентского конуса уровня 3, из-за статических петель, предполагаемых перегрузок транзитной линии и других проблем маршрутизации (см. Ниже).

Основные проблемы, стоящие за усилением SYN / ACK (и потоками пакетов на основе TCP в целом):
  • Этот вид DDoS-атаки практически не поддается отслеживанию из-за низкого уровня применения методов противодействия спуфингу (таких как BCP 38). Поскольку предполагается, что эти подходы требуют существенного изменения сети при определенных обстоятельствах, колларально ломая вещи, которые являются более важными для сети, ожидается, что принятие этих подходов останется на низком уровне в обозримом будущем, если IETF не примет другое прочная конструкция против спуфинга;
  • Способность интернет-провайдера или центра обработки данных обрабатывать такого рода DDoS-атаки с помощью BGP Flow Spec (или аналогичных методов) зависит от того, какое конкретное оборудование используется в их сети;
  • Для значительной части клиентов критически важна возможность подключения к внешней службе или шлюзу API через TCP. Сканеры, такие технологии, как OAuth или CDN, или такие предприятия, как системы кредитного скоринга или страховые компании, сильно зависят от внешних баз данных (или источников данных в целом);
  • Чтобы обеспечить надлежащую обработку поддельных SYN / ACK при сохранении возможности подключения к внешней службе, атакующей хостинговой компании придется отслеживать все исходящие SYN, чтобы позже сопоставить их с полученными SYN / ACK.
  • Последнее может быть выполнено различными способами, каждый из которых считается либо сложным для проектирования и развертывания, либо оказывает серьезное влияние на задержку сети и RTT, либо и то и другое;
  • Коэффициент усиления для усиления SYN / ACK, отсутствующий в относительно редких угловых случаях, предполагается между 1x и 5x. Это не является значительным показателем по сравнению с NTP 500+ или Memcached '9000+. Однако, принимая во внимание остальную часть проблем и сложные меры по смягчению, пятикратная скорость передачи пакетов DDoS может стать поворотным моментом.

Ряд неудачных событий еще больше повлиял на график смягчения последствий атаки:
Сеть Qrator Labs работает через множество восходящих интернет-провайдеров Tier-1 (или региональных Tier-1), одним из которых является AS3356 CenturyLink (ранее Level3).
Автономные системы Qrator (в основном, AS200449) являются полностью многосетевыми и основаны на любых вещах и предназначены для работы с одной или несколькими вышестоящими сетями, имеющими TITSUP или перегруженными в любое время. Сказав это, 2019 год знаменует собой один год для Qrator как гордого клиента CenturyLink. CenturyLink предоставляет Qrator отличный сервис связи как в Соединенных Штатах, так и в Европе.

Что сильно повлияло на сроки смягчения, так это политика обновления фильтра префиксов CenturyLink на 48 часов. И Qrator, и Servers.com обратились к своим соответствующим контактным точкам на уровне 3, пытаясь сократить это время ожидания, однако (учитывая, что настройка службы смягчения для производственной сети началась в воскресенье в UTC), мы были невозможно значительно сократить время ожидания.

Глобальные неполадки в публичной сети, 18-20 августа 2019



Уважаемый клиент, как вы уже знаете, наш дата-центр AMS1 подвергся DDoS-атаке. На данный момент нам удалось полностью снизить ее влияние на наши сети.

Однако, нам необходимо сообщить вам об особенностях, которые сейчас могут влиять на ваши серверы. Если вы наблюдаете неполадки в подключении к каким-либо внешним сервисам в сети Интернет, пожалуйста измените значение TCP MSS на 1480. Это необходимо из-за технических особенностей работающей системы подавления DDoS.

На серверах с операционной системой Linux значение можно изменить так (инструкции могут отличаться в разных операционных системах, так что свяжитесь с нами, если у вас есть какие-либо вопросы, через онлайн чат или написав нам на support@servers.ru):
  • Шаг 1: определите на каком интерфейсе настроен IP адрес публичной сети используя команду 'ip address show PUBLIC_IP', 'PUBLIC_IP' замените на IP адрес публичной сети;
  • Шаг 2: используйте команду 'sudo ifconfig INTERFACE mtu 1480', где 'INTERFACE' замените на имя интерфейса, полученное в шаге 1.

Пожалуйста, примите наши искренние извинения за доставленные неудобства. Мы собираем информацию об аварии и сообщим статус технического расследования позже.

Глобальные неполадки в публичной сети, 18 августа 2019



Уважаемый клиент
Мы фиксируем глобальные сетевые неполадки в публичной сети в облачных локациях Амстердама. Они связаны с массированной и рапределенной DDoS-атакой.

Мы работаем над восстановлением нормальной работы сети с максимальным приоритетом.

С уважением,
команда поддержки Servers.ru

Мы подключились к сети DDoS-Guard в Нидерландах



Здравствуйте, мы подключились к сети DDoS-Guard в Нидерландах, в ближайшее время проблемы со связью будут полностью устранены.
У кого нет доступа к серверу до сих пор — просьба создать запрос.

Если наблюдаются проблемы с соединением TCP — добавьте в iptables:
iptables -A OUTPUT -p tcp -m tcp --tcp-flags SYN SYN -m tcpmss --mss 1401:65535 -j TCPMSS --set-mss 1400


Приносим извинения за доставленные неудобства.
Надеемся на понимание и дальнейшее сотрудничество.

С уважением, VDS.SH
http://vds.sh

Network outage



В настоящее время наша сеть испытывает сильную DDoS-атаку, которая приводит к потере пакетов. Наши инженеры работают над этим. Когда у нас будет больше информации, мы сообщим ее вам в вашей учетной записи на портале клиента.

Местоположение = Отключение сети
Тип услуги = неизвестно

Начало: 11-08-2019 10:35:00 CEST
Конец: — Продолжительность: — Расположение: DC1 и / или DC2
Причина: неизвестно.
Воздействие: потеря пакета

noc.serverius.net/?p=487