Datacenter SBG

В настоящее время в нашем центре обработки данных в Страсбурге произошел серьезный инцидент, связанный с пожаром в здании SBG2.
Пожарные немедленно прибыли на место происшествия, но не смогли справиться с возгоранием в SBG2.
Весь сайт был изолирован, что влияет на все наши услуги на SBG1, SBG2, SBG3 и SBG4.
Если ваше производство находится в Страсбурге, мы рекомендуем активировать план аварийного восстановления.
Все наши бригады полностью мобилизованы вместе с пожарными.
Мы будем держать вас в курсе по мере поступления дополнительной информации.

Wednesday, 10 March 2021, 13:31PM
Пожар на нашем сайте в Страсбурге

В 00:47 в среду, 10 марта 2021 года, возник пожар в комнате одного из наших 4 центров обработки данных в Страсбурге, SBG2. Обратите внимание, что этот сайт не относится к категории «Севезо».
Пожарные немедленно вмешались, чтобы защитить наши команды и предотвратить распространение огня. В 2:54 они изолировали площадку и перекрыли ее периметр.
К 4:09 пожар уничтожил SBG2 и продолжал представлять опасность для близлежащих центров обработки данных, пока пожарная команда не взяла под контроль пожар.
С 5:30 утра сайт был недоступен для наших групп по очевидным причинам безопасности под руководством префектуры. Огонь теперь локализован.

Мы рады, что никто не пострадал ни среди наших бригад, ни среди пожарных, ни среди служб префектуры, которых мы благодарим за их образцовую мобилизацию на нашей стороне.

Имея 15 центров обработки данных в Европе, наши технические и коммерческие группы полностью сосредоточены на поддержке наших клиентов, внедрении решений и смягчении последствий недоступности нашего сайта в Страсбурге. Наша миссия — предоставлять нашим клиентам услуги высочайшего качества для поддержки их онлайн-активности, и мы знаем, насколько это важно для них. Мы искренне приносим свои извинения за трудности и проблемы, вызванные этим пожаром. Мы обязуемся и дальше сообщать с максимальной прозрачностью о причинах пожара и его последствиях.
В настоящее время мы оцениваем влияние этого инцидента и будем максимально прозрачно сообщать о ходе нашего анализа и реализации решений.

Статус Страсбургского центра обработки данных
  • SBG1: Сетевая комната в порядке — 4 комнаты разрушены — 8 комнат в порядке
  • SBG2: Уничтожен
  • SBG3: UPS Down — проверка сервера еще продолжается
  • SBG4: Нет физического воздействия
Сегодня нет перезапуска для SBG1, SBG3 и SBG4

План на следующие 2 недели:
  • 1) Реконструкция 20кВ для SBG3
  • 2) Восстановление 240 В в SBG1 / SBG4
  • 3) Проверка DWDM / маршрутизаторов / коммутаторов в сетевой комнате A (SBG1).
  • Проверка волокон Париж / Франкфурт
  • 4) Реконструкция сетевого помещения B (SBG5) для проверки волокна Париж / Франкфурт

Мы будем держать вас в курсе по мере развития ситуации.





travaux.ovh.net/?do=details&id=49484

Wednesday, 10 March 2021, 17:26PM
Технические группы OVH готовят и отправляют оборудование, необходимое для создания временной сетевой комнаты. Это оборудование будет отправлено в центр обработки данных в Страсбурге в одночасье.
Поступление волокна на объект контролировалось и не пострадало от пожара.
Восстановление электроснабжения площадок SBG1 и SBG4 намечено на понедельник, 15 марта. Восстановление после SBG3 ожидается к пятнице 19 марта.

9 комментариев

xxxDANILxxx
На многих графиках которые я видел загрузка проца перед падением серверов улетела под сотку, вряд ли этого могло быть из-за троттлинга.
Сервера ещё были доступны 15-25 минут после того как температура выросла, очевидно что за это время оптика бы погорела, но по факту выросла только температура и загрузка проца.
До этого пару дней сеть сильно лагала и падала.
Что если это новый вид ддоса, который смог обойти защиту OVH и загрузил одновременно все процессоры? OVH используют во всех серверах сетевые карты intel, которые могут загрузить минимум 4 ядра, и соответственно потребление всего ЦОДа улетело в небо на что очевидно он не был рассчитан и загорелись силовые кабеля? 
alice2k
ддос атаки по сетям и правда были последнюю каждый час атаковали «игровые сетки»
twitter.com/obzorly/status/1366571819721973761

и про силовые кабеля тоже правда
hosting.kitchen/ovh/tehnicheskoe-obsluzhivanie---zamena-elektricheskogo-kabelya.html
они купили бракованную партию
и меняли их который месяц
frct1_hip
Плюсую. Не первый раз вижу срабатывания защиты на IP, который привязан к серверу изначально.
Мимо юзер GRA

Но это чёт за гранью фантастики атаковать гейм серверы, чтобы поджечь целый ЦОД/
alice2k
Из четырех центров обработки данных OVHcloud в Страсбурге больше всего пострадал SBG2: он был разрушен во время пожара. SBG1 также пострадал от пожара: четыре его помещения сильно пострадали (стойки 61Bxx, 61Cxx, 62Bxx и 62Cxx); остальные восемь остались без дела. Сеть SBG1 работает. Серверы, размещенные в SBG3 и SBG4, не пострадали.

Для публичного облака регионы OpenStack, непосредственно затронутые возгоранием, следующие: openstack-sbg1, openstack-sbg2, openstack-sbg3 и openstack-sbg4 (физически в центре обработки данных SBG2). Области openstack-sbg5 и openstack-sbg6 недоступны (физически в центре обработки данных SBG3), но они будут снова введены в эксплуатацию, как только SBG3 заработает.
alice2k
Со вчерашнего дня у нас были встречи с полицией, DREAL, экспертами и страховой компанией. Также мы приступили к очистке сайта. Цель состоит в том, чтобы иметь полный и безопасный доступ к SBG1, SBG3 и SBG4.

Оптическая сеть от Network Room A (SBG1) до Париж + Франкфурт работает.

Работает по силовому варианту СБГ1 на базе генераторов.

Генераторы SBG3 работают. Хороший вариант для использования, если сеть работает до того, как мы закончили восстанавливать 20 кВ SBG3.
alice2k
Мы работаем со специалистами страховой компании, чтобы сегодня отремонтировать SBG1 / 3/4 от генераторов. Цель состоит в том, чтобы проверить, комната за комнатой, оборудование за оборудованием, что инфра работает.
Мы не ожидаем перезапуска серверов раньше следующей недели.

Новая сетевая комната(B) + 20кВ для SBG3 собраны и сегодня ночью будут в дороге, завтра на обочине. Затем мы начинаем их подключать. Генераторы SBG3 перейдут к пт.
Мы проверяем 20кВ + 240В в SBG1 / SBG4, чтобы взять генераторы на вт

Мы начнем переоснащение SBG1 / SBG4 к концу следующей недели, пт, 19. На то, чтобы все серверы работали, уйдет 2 дня.
Мы начнем обновлять SBG3 к середине следующей недели, в среду, 17, на то, чтобы все серверы работали, потребуется 6-8 дней.

pCS в SBG: Мы надеемся восстановить кластер pCS в SBG на следующей неделе. Серверы находятся в SBG1 + SBG3. У нас могут быть плохие новости, поэтому окончательный статус должен быть подтвержден в ближайшие дни.

Платное резервное копирование VPS и PCI: 80% данных находится на pCS в SBG. пожалуйста, прочтите предыдущий твит о состоянии pCS в SBG. 20% данных было на pCA, которое было в SBG2.

Бесплатное / платное резервное копирование pCC в SBG1 размещалось в отдельной комнате SBG1. Обе комнаты разрушены.

— Бесплатное / платное резервное копирование pCC в SBG3: все данные кажутся безопасными.
alice2k
просто так
не часто выпадает случай такую гамму цветов заскринить

Оставить комментарий