Отчет по инциденту: AMS1 & Амстердам - зоны 1-4, публичная сеть - 11 июля 2022

11 июля 2022 мы зарегистрировали инцидент в локации AMS1 (Амстердам, Нидерланды), который также затронул облачные регионы Амстердам — зона 1-4. Произошел сбой в работе двух активных маршрутизаторов публичной сети. Сбой привёл к недоступности серверов по публичной сети.

Основная причина инцидента — программный сбой в работе корневых маршрутизаторов публичной сети.

Общее время ограничений составило 26 минут.

Хронология событий и восстановления сервисов:

• 11 июля 2022, 15:57 (МСК) — началась массивная DDoS-атака на один из IP-адресов в локации AMS1, вследствие чего наша автоматическая система защиты применила ограничение для входящего трафика;
• 11 июля 2022, 16:08 (МСК) — DDoS-атака завершилась, и автоматическая система защиты отменила ограничения для входящего трафика;
• 11 июля 2022, 16:09 (МСК) — наша система мониторинга зарегистрировала сбой в работе сети;
• 11 июля 2022, 16:11 (МСК) — сетевые инженеры приступили к диагностике и сбору информации;
• 11 июля 2022, 16:15 (МСК) — сетевые инженеры приступили к восстановлению работы обоих маршрутизаторов публичной сети;
• 11 июля 2022, 16:35 (МСК) — сетевые инженеры восстановили работу первого маршрутизатора. Работа публичной сети в локации AMS1 была восстановлена;
• 11 июля 2022, 18:21 (МСК) — сетевые инженеры восстановили работу второго маршрутизатора. Резервирование публичной сети в локации AMS1 восстановилось.

Причины и принятые меры

DDoS-атака сама по себе не была причиной аварии. Автоматическая система защиты корректно применила ограничения для входящего трафика.

Наши инженеры изучили журналы событий сетевых устройств. Согласно полученным данным, неполадки в работе маршрутизаторов начались после завершения DDoS-атаки. Автоматическая система защиты выполнила сценарий отмены ограничений, после которого произошел программный сбой одновременно на двух маршрутизаторах.

Для оперативного устранения неполадок мы перезагрузили оба маршрутизатора. Наши инженеры обновили ПО второго маршрутизатора перед тем, как вернуть его в работу.

Мы обратились к производителю оборудования с вопросом об исключении подобных ситуаций в будущем.

Одновременно с этим наши инженеры планируют заменить маршрутизаторы на устройства другого производителя. Как только мы запланируем работы, мы оповестим вас отдельным письмом о точном времени проведения работ и характере ограничений.

Приносим искренние извинения за доставленные неудобства.

С уважением,
команда поддержки Servers.ru