Отчет по инциденту: AMS1 & Амстердам - зоны 1-4, публичная сеть - 11 июля 2022



11 июля 2022 мы зарегистрировали инцидент в локации AMS1 (Амстердам, Нидерланды), который также затронул облачные регионы Амстердам — зона 1-4. Произошел сбой в работе двух активных маршрутизаторов публичной сети. Сбой привёл к недоступности серверов по публичной сети.

Основная причина инцидента — программный сбой в работе корневых маршрутизаторов публичной сети.

Общее время ограничений составило 26 минут.

Хронология событий и восстановления сервисов:
  • 11 июля 2022, 15:57 (МСК) — началась массивная DDoS-атака на один из IP-адресов в локации AMS1, вследствие чего наша автоматическая система защиты применила ограничение для входящего трафика;
  • 11 июля 2022, 16:08 (МСК) — DDoS-атака завершилась, и автоматическая система защиты отменила ограничения для входящего трафика;
  • 11 июля 2022, 16:09 (МСК) — наша система мониторинга зарегистрировала сбой в работе сети;
  • 11 июля 2022, 16:11 (МСК) — сетевые инженеры приступили к диагностике и сбору информации;
  • 11 июля 2022, 16:15 (МСК) — сетевые инженеры приступили к восстановлению работы обоих маршрутизаторов публичной сети;
  • 11 июля 2022, 16:35 (МСК) — сетевые инженеры восстановили работу первого маршрутизатора. Работа публичной сети в локации AMS1 была восстановлена;
  • 11 июля 2022, 18:21 (МСК) — сетевые инженеры восстановили работу второго маршрутизатора. Резервирование публичной сети в локации AMS1 восстановилось.

Причины и принятые меры

DDoS-атака сама по себе не была причиной аварии. Автоматическая система защиты корректно применила ограничения для входящего трафика.

Наши инженеры изучили журналы событий сетевых устройств. Согласно полученным данным, неполадки в работе маршрутизаторов начались после завершения DDoS-атаки. Автоматическая система защиты выполнила сценарий отмены ограничений, после которого произошел программный сбой одновременно на двух маршрутизаторах.

Для оперативного устранения неполадок мы перезагрузили оба маршрутизатора. Наши инженеры обновили ПО второго маршрутизатора перед тем, как вернуть его в работу.

Мы обратились к производителю оборудования с вопросом об исключении подобных ситуаций в будущем.

Одновременно с этим наши инженеры планируют заменить маршрутизаторы на устройства другого производителя. Как только мы запланируем работы, мы оповестим вас отдельным письмом о точном времени проведения работ и характере ограничений.

Приносим искренние извинения за доставленные неудобства.

С уважением,
команда поддержки Servers.ru

Отчет по глобальным сетевым неполадкам, 21 октября 2020



Уважаемый клиент, предоставляем отчет о произошедшем 21 октября 2020 года инциденте, в результате которого наблюдалась частичная или полная недоступность серверов по публичной сети в наших локациях.

Основной причиной инцидента послужил сбой у магистрального провайдера Lumen (в прошлом Level 3).

Общее время неполадок составило 2 часа 12 минут.

Хронология событий:
17:10 МСК — наша система мониторинга начала регистрировать неполадки в работе публичной сети, и мы сразу приступили к диагностике;
17:21 МСК — мы обнаружили, что сбой связан с автономной системой AS203 магистрального провайдера Lumen, который начал анонсировать часть наших сетей от своего имени (неумышленный BGP hijacking);
17:24 МСК — мы начали убирать анонсы наших сетей у провайдера Lumen во всех локациях;
17:30 МСК — инцидент эскалирован в техническую поддержку провайдера Lumen;
17:45 МСК — отключение анонсов сетей через провайдера Lumen не принесло желаемых результатов. Более ста наших сетей продолжали анонсироваться автономной системой AS203. Для снижения влияния сбоя мы начали разделять затрагиваемые сети на меньшие блоки и анонсировать маршруты с большей маской через других операторов связи, где это было возможно;
18:35 МСК — специалисты поддержки Lumen подтвердили наличие сбоя;
19:17 МСК — специалисты поддержки Lumen сообщили, что обнаружили причину сбоя и занимаются её устранением;
19:22 МСК — специалисты поддержки Lumen восстановили корректную работу сети со своей стороны. Работоспособность сети полностью восстановлена;
19:30 МСК — наши сетевые инженеры начали возвращать анонсирование сетей в провайдер связи Lumen;
20:00 МСК — мы восстановили все анонсы наших сетей в оператор связи Lumen.

Причины неполадок и принятые меры
Причиной сетевых неполадок послужило то, что магистральный провайдер Lumen в результате ошибки конфигурации при включении нового сервиса начал анонсировать от своей автономной системы множество наших сетей. Весь входящий трафик, который проходил через Lumen, не доходил до нашего оборудования и блокировался в AS203.

Lumen являются сетевым провайдером уровня Tier 1, то есть они владеют сетевыми каналами, через которые проходит трафик от других Tier 1 провайдеров. Во многих случаях трафик проходит безальтернативно через каналы Lumen. Таким образом могла наблюдаться недоступность серверов даже в тех локациях, где мы не используем Lumen для анонсирования наших сетей.

Приносим извинения за неудобства, доставленные этим сбоем.

С уважением, команда поддержки Servers.ru

Перезагрузка облачных серверов для работы с IPv6 и GPN

Уважаемый клиент, после выполнения планового обновления облачной платформы некоторые облачные серверы продолжают работать со старой версией эмулятора.

Просим перезапустить облачные серверы из списка ниже в удобное для вас время, чтобы завершить обновление и повысить стабильность работы услуг. Без перезапуска корректная работа сетевых сервисов облачных серверов может быть ограничена.

Требуемые действия:
  • 1. Корректно завершить в ОС облачного сервера все необходимые сервисы
  • 2. Перейти в portal.servers.ru → выбрать «Облачный сервер» -> «Управление питанием» → «Перезагрузить»

Обратите внимание, что команды «reboot» из ОС облачного сервера недостаточно для применения обновлений. Необходим перезапуск именно средствами Portal или Compute API.

После перезапуска облачного сервера версия эмулятора должна измениться на 17.х.х. Проверить версию можно при помощи команды Linux:
dmidecode -t1 | grep -i version

В Windows должен измениться параметр реестра
HKEY_LOCAL_MACHINE\HARDWARE\DESCRIPTION\System\BIOS -> SystemVersion


Если у вас появятся какие-либо вопросы, пожалуйста, обращайтесь.

Как сообщает Reuters



Как сообщает Reuters, российский Яндекс будет предоставлять услуги облачных вычислений южнокорейским разработчикам игр через южнокорейскую компанию по управлению ИТ-инфраструктурой — Naver Business Platform (NBP). NBP является дочерней компанией Naver — южнокорейской интернет-компании.
www.servers.ru

Microsoft отказывается от производителей твердотельных накопителей

Windows больше не будет доверять дискам, которые говорят, что они могут шифровать себя, вместо этого BitLocker по умолчанию использует шифрование AES с ускорением процессора. Это после разоблачения широких проблем с микропрограммным шифрованием.
support.microsoft.com/en-us/help/4516071/windows-10-update-kb4516071