Отчет по глобальным сетевым неполадкам, 21 октября 2020

Уважаемый клиент, предоставляем отчет о произошедшем 21 октября 2020 года инциденте, в результате которого наблюдалась частичная или полная недоступность серверов по публичной сети в наших локациях.

Основной причиной инцидента послужил сбой у магистрального провайдера Lumen (в прошлом Level 3).

Общее время неполадок составило 2 часа 12 минут.

Хронология событий:
17:10 МСК — наша система мониторинга начала регистрировать неполадки в работе публичной сети, и мы сразу приступили к диагностике;
17:21 МСК — мы обнаружили, что сбой связан с автономной системой AS203 магистрального провайдера Lumen, который начал анонсировать часть наших сетей от своего имени (неумышленный BGP hijacking);
17:24 МСК — мы начали убирать анонсы наших сетей у провайдера Lumen во всех локациях;
17:30 МСК — инцидент эскалирован в техническую поддержку провайдера Lumen;
17:45 МСК — отключение анонсов сетей через провайдера Lumen не принесло желаемых результатов. Более ста наших сетей продолжали анонсироваться автономной системой AS203. Для снижения влияния сбоя мы начали разделять затрагиваемые сети на меньшие блоки и анонсировать маршруты с большей маской через других операторов связи, где это было возможно;
18:35 МСК — специалисты поддержки Lumen подтвердили наличие сбоя;
19:17 МСК — специалисты поддержки Lumen сообщили, что обнаружили причину сбоя и занимаются её устранением;
19:22 МСК — специалисты поддержки Lumen восстановили корректную работу сети со своей стороны. Работоспособность сети полностью восстановлена;
19:30 МСК — наши сетевые инженеры начали возвращать анонсирование сетей в провайдер связи Lumen;
20:00 МСК — мы восстановили все анонсы наших сетей в оператор связи Lumen.

Причины неполадок и принятые меры
Причиной сетевых неполадок послужило то, что магистральный провайдер Lumen в результате ошибки конфигурации при включении нового сервиса начал анонсировать от своей автономной системы множество наших сетей. Весь входящий трафик, который проходил через Lumen, не доходил до нашего оборудования и блокировался в AS203.

Lumen являются сетевым провайдером уровня Tier 1, то есть они владеют сетевыми каналами, через которые проходит трафик от других Tier 1 провайдеров. Во многих случаях трафик проходит безальтернативно через каналы Lumen. Таким образом могла наблюдаться недоступность серверов даже в тех локациях, где мы не используем Lumen для анонсирования наших сетей.

Приносим извинения за неудобства, доставленные этим сбоем.

С уважением, команда поддержки Servers.ru