Мы перезапускаем DC. Также мы начали перенос серверов с SBG1 61AD / 62AD.

Слева материнская плата с задымлением на разъеме процессора. Это очень едко! Если мы включим, он мертв. Это же диск. Справа то же устройство через 24 часа после очистки.

SBG3 полностью готов к работе, ниже представлен статус служб, расположенных в этом центре обработки данных:

Публичное облако:

• + Инстанс публичного облака — 86%
• Размещенное частное облако: службы постепенно перезапускаются, в зависимости от их первоначальной конфигурации, по круглосуточному графику ротации 24/7.
• Облако Голого Металла:
• + VPS: 79%
• + Голый металл: 71%

Восстановление услуг выполняется в соответствии с графиком перезапуска комната за комнатой, проход за проходом и стойка за стойкой. Поскольку безопасность наших технических бригад должна быть гарантирована, этот график обусловлен протоколом безопасности, определенным для вмешательств на месте.



SBG-1

• — Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
• — Перезапуск сети: отключен в качестве меры предосторожности.
• — Перезапуск сервера: перемещение серверов SBG1 в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе. Расчетное время прибытия: среда, 24 марта.

SBG-2

• — Ситуация: датацентр выключен и защищен.
• — Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• — Ситуация: Датацентр работает с 18 марта.
• — Электрический перезапуск: выполнен
• — Перезагрузка сети: завершена
• — Перезагрузка сервера: в настоящее время восстанавливаются сервисы VPS, Bare Metal и Public Cloud. Услуги размещенного частного облака будут постепенно восстанавливаться.

SBG-4

• — Ситуация: дата-центр будет работать в среду, 24 марта.
• — Электрический перезапуск: электричество восстановлено сегодня вечером 23 марта.
• — Перезагрузка сети: перезапуск сети 24 марта.
• — Перезапуск сервера: расчетное время прибытия: среда, 25 марта.

Обновленная информация о поставках с 10 марта:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 6103
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 14973
• — Размещенное частное облако
• + Хост — серверы — Количество: 640
• + Хранилище данных
• + Количество Zpool: 662
• + Объем ТБ: 3764

В связи с текущим спросом сроки доставки наших услуг для изделий из чистого металла могут быть дольше, чем обычно. Наши команды полностью мобилизованы, и мы прилагаем все усилия, чтобы доставить их нашим клиентам как можно быстрее, особенно всем пострадавшим клиентам.
С другой стороны, услуги Public Cloud, Web Cloud и VPS предоставляются в обычном режиме во всех центрах обработки данных.

Связь
Новое видео от Октава Клаба, основателя OVHcloud, доступно в его аккаунте в Twitter twitter.com/olesovhcom/status/1374069154085490690
Платформа сообщества OVHcloud community.ovh.com/en/ теперь доступна для взаимодействия с членами сообщества и поддержки вас.
Часто задаваемые вопросы доступны здесь help.ovhcloud.com/en-gb/faq/strasbourg-incident/
Чтобы следить за обновлениями об этой ситуации в режиме реального времени:
Наша основная лента сообщений: Статус задачи
Октав Клаба, основатель OVHcloud, аккаунт в Twitter twitter.com/olesovhcom/status/1374038409707188231
OVHcloud Twitter: twitter.com/ovhcloud

Наша миссия по-прежнему заключается в предоставлении нашим клиентам услуг высочайшего качества для поддержки их онлайн-бизнеса, и мы знаем, насколько это важно для них. Приносим искренние извинения за возможные неудобства, связанные с данной ситуацией. В настоящее время проводится расследование причин. Какой бы ни была причина инцидента, OVHcloud в настоящее время оценивает возможные технические и операционные меры, чтобы предложить решения всем затронутым клиентам.

SBG3 полностью готов к работе, ниже представлен статус служб, расположенных в этом центре обработки данных:

Публичное облако:

• Экземпляр публичного облака — постепенный перезапуск сервисов с 22 марта по расписанию на всю неделю, включая выходные.
• Размещенное частное облако: постепенный перезапуск служб с 22 марта, в зависимости от первоначальной конфигурации служб, график распространяется на всю неделю, включая выходные.

Облако Голого Металла:

• VPS: 79%
• Голый металл: 55%

Клиенты Public Cloud были уведомлены по электронной почте о постепенном перезапуске их сервисов в понедельник, 22 марта.
Клиенты Bare Metal (размещенные в SBG4) были уведомлены по электронной почте о том, что их услуги будут возобновлены со среды, 24 марта.
Мониторинг перезапуска SBG по помещениям и стойкам в реальном времени доступен по адресу: status.ovh.com/vms/sbg/
В начале недели все заинтересованные клиенты получили сообщение о коммерческих мерах, которые будут применяться к их ситуации. Вы можете найти специальный раздел об этом в FAQ help.ovhcloud.com/en-gb/faq/strasbourg-incident/commercial-measures/



Cводка состояния для каждого центра обработки данных
SBG-1

• Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
• Перезапуск сети: отключен в качестве меры предосторожности.
• Перезагрузка сервера: перемещение серверов SBG1 в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4), чтобы возобновить работу. Расчетное время прибытия: среда, 24 марта.

SBG-2

• Ситуация: датацентр выключен и защищен.
• Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• Ситуация: Датацентр работает с 18 марта.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: 21.03 началось восстановление сервисов VPS и Bare Metal. Услуги размещенного частного облака и общедоступного облака будут постепенно восстановлены, начиная с сегодняшнего дня.

SBG-4

• Ситуация: дата-центр будет работать в среду, 24 марта.
• Электрический перезапуск: восстановление электроснабжения запланировано на вечер 24 марта.
• Перезапуск сети: перезапуск сети, среда, 24 марта:
• Перезапуск сервера: расчетное время прибытия: среда, 24 марта.
• Страницы состояния службы SBG — Панель управления OVHcloud

Обновленная информация о поставках с 10 марта:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 5558
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 14327
• — Размещенное частное облако
• + Хост — серверы — Количество: 616
• + Хранилище данных
• + Количество Zpool: 747
• + Объем ТБ: 3706

В связи с текущим спросом сроки доставки наших услуг для изделий из чистого металла могут быть дольше, чем обычно. Наши команды полностью мобилизованы, и мы прилагаем все усилия, чтобы доставить их нашим клиентам как можно быстрее, особенно всем пострадавшим клиентам.
С другой стороны, услуги Public Cloud, Web Cloud и VPS предоставляются в обычном режиме во всех центрах обработки данных.

Связь
Октав Клаба, основатель OVHcloud, загрузил сегодня новое видео в свой аккаунт в Twitter => twitter.com/olesovhcom/status/1374069154085490690
Платформа сообщества OVHcloud (https://community.ovh.com/en/) теперь доступна для взаимодействия с членами сообщества и поддержки вас.
Здесь можно найти ответы на часто задаваемые вопросы.
Чтобы следить за обновлениями об этой ситуации в режиме реального времени:
Наша основная лента сообщений: Статус задачи
Аккаунт Октава Клабы в Twitter: twitter.com/olesovhcom
OVHcloud Twitter: twitter.com/ovhcloud

Наша миссия по-прежнему состоит в том, чтобы предоставлять нашим клиентам услуги высочайшего качества и поддерживать их онлайн-бизнес, и мы знаем, насколько это важно для них. Мы искренне приносим свои извинения за проблемы, вызванные этим пожаром. Мы продолжим сообщать с максимальной прозрачностью о причине пожара и его последствиях.

Расследование продолжается. Какой бы ни была причина инцидента, OVHcloud в настоящее время оценивает возможные технические и эксплуатационные меры, чтобы предложить решения всем затронутым клиентам.

В центре обработки данных SBG3 команды продолжают работать круглосуточно, чтобы постепенно повторно активировать услуги.
Текущее состояние сервисов, расположенных в SBG3:

• Публичное облако
• + Экземпляр публичного облака: перезагрузка — 22 марта
• Размещенное частное облако
• + Размещенное частное облако: перезагрузка — 22 марта
• Голое Металлическое Облако
• + VPS: 68%
• + Голый металл: 21%

Мониторинг перезапуска SBG по помещениям и стойкам в реальном времени доступен по адресу: status.ovh.com/vms/sbg/
В начале недели все заинтересованные клиенты получили сообщение о коммерческих мерах, которые будут применяться к их ситуации. Вы можете найти специальный раздел об этом в FAQ help.ovhcloud.com/en-gb/faq/strasbourg-incident/commercial-measures/

SBG-1

• Ситуация: проверка и экспертиза в процессе.
• Перезапуск сети: отключен в качестве меры предосторожности.
• Перезапуск сервера: перемещение серверов в другие центры обработки данных (Gravelines (GRA), Roubaix (RBX) и Strasbourg (SBG4)) до перезапуска служб.

SBG-2

• Ситуация: датацентр выключен и защищен.
• Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: сервисы Bare Metal VPS в настоящее время восстанавливаются. Услуги Hosted Private Cloud и Public Cloud будут постепенно восстанавливаться с завтрашнего дня (см. Статус выше).

SBG-4

• Ситуация: после осмотра и проверки этот центр обработки данных возобновит работу в среду, 24 марта.
• Электрический перезапуск: работа по подаче питания
• Перезапуск сети: отключен в качестве меры предосторожности.
• Перезапуск сервера: расчетное время прибытия: среда, 24 марта.

Обновленная информация о поставках с 10 марта:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 5558
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 14327
• — Размещенное частное облако
• + Хост — серверы — Количество: 616
• + Хранилище данных
• + Количество Zpool: 747
• + Объем ТБ: 3706

В связи с текущим спросом сроки доставки наших услуг для изделий из чистого металла могут быть дольше, чем обычно. Наши команды полностью мобилизованы, и мы прилагаем все усилия, чтобы доставить их нашим клиентам как можно быстрее, особенно всем пострадавшим клиентам.
С другой стороны, услуги Public Cloud, Web Cloud и VPS предоставляются в обычном режиме во всех центрах обработки данных.

Связь
Платформа сообщества OVHcloud теперь доступна для взаимодействия с членами сообщества и поддержки вас.
FAQ доступен здесь => help.ovhcloud.com/en-gb/faq/strasbourg-incident/.
Чтобы следить за обновлениями об этой ситуации в режиме реального времени:
Наша основная лента сообщений: Статус задачи.
Аккаунт Октава Клабы в Twitter: twitter.com/olesovhcom
OVHcloud Twitter: twitter.com/ovhcloud

Наша миссия по-прежнему заключается в предоставлении нашим клиентам услуг высочайшего качества для поддержки их онлайн-бизнеса. Мы знаем, насколько это важно для них. Приносим искренние извинения за любые неудобства, связанные с этой ситуацией. В настоящее время проводится расследование причин. Какой бы ни была причина инцидента, OVHcloud в настоящее время оценивает возможные технические и эксплуатационные меры, чтобы предложить решения всем затронутым клиентам.

SBG1:

• Мы не планируем перезапускать SBG1. Навсегда.
• Серверы в 61A / D + 62A / D будут перемещены в SBG4.
• Серверы в 61E / 62E будут перемещены в Croix и очищены, а затем перезапущены в RBX / GRA.

SBG4:

• работает от питания + сеть от SBG3. Затем перезапускаем SBG4.

SBG3:

• В DC работает 60 техников. мы очищаем серверы и перезапускаем.
• Все органы власти (пожарные, префектура, полиция, страховые компании, эксперты и т.д.) Очень поддерживают и понимают важность перезапуска ДЦ. Все делают лучше.

UPDATE
SBG3:

• Больше стоек ВВЕРХ. 60 технических специалистов работают в SBG3. 24/24. Нам помогают 2 компании, специалисты по очистке серверов после пожара.

SBG4:

• Новый кабель питания будет подключен от SBG3 к SBG4.

SBG1:

• работают над планом по переносу серверов на RBX / GRA + SBG4.

travaux.ovh.net/vms/index_sbg3.html

Этой ночью мы отключим SBG1 + SBG4. Мы перезапустим его завтра днем.

У нас был дым в неиспользуемой комнате в SBG1. Мы отключили SBG1 + SBG4 и вызвали пожарных, чтобы определить основную причину. Пожарный остановил дым от батарей, которые мы не используем. Подробнее завтра. Мы прекращаем операцию этой ночью.

Батареи были в неиспользуемой комнате, не использовались, не были подключены. У нас не было огня, но зато было много дыма. Сейчас ситуация под контролем. Все в безопасности.
Прекращаем работу в SBG на эту ночь. Мы примем решение завтра.

Неиспользуемая комната с неиспользованными батареями находилась в SBG1 перед SBG2. Пожар в SBG2, вероятно, повредил батареи, но дым начался только через 10 дней после этого…
Завтра начнем убирать все лишнее на сайте.

SBG1 / SBG4:
Мы не планируем перезапускать SBG1 сегодня. Мы хотим убрать все, что не нужно. Параллельно мы работаем над дополнительным планом физического переноса серверов с SBG1/4 на RBX.

SBG3:
Мы перезапускаем работу через 1 час.

Статус услуги

• SBG4: центр обработки данных полностью готов к работе.
• SBG1: все стойки серверов, которые были очищены, исправны (60 стоек).
• SBG3: сегодня сданы в эксплуатацию первые стойки SBG3.
• Мониторинг перезапуска SBG по помещениям и стойкам в реальном времени доступен по адресу: status.ovh.com/vms/sbg/

SBG-1

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезапуск сервера: все серверы в очищенных стойках находятся в рабочем состоянии (60 стоек).

SBG-2

• Ситуация: здание не используется. Проведена структурная экспертиза. Сайт защищен
• Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: первые стойки введены в эксплуатацию сегодня, в пятницу, 19 марта.

SBG-4

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: 100% стоек в рабочем состоянии (80 стоек).

Сегодня произведено 430 серверов.

Обновленная информация о поставках с 10 марта:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 4844
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 13519
• — Размещенное частное облако
• + Хост — серверы — Количество: 538
• + Хранилище данных
• + Количество Zpool: 583
• + Объем ТБ: 3429

В связи с текущим спросом сроки доставки наших услуг для изделий из чистого металла могут быть дольше, чем обычно. Наши команды полностью мобилизованы, и мы прилагаем все усилия, чтобы доставить их нашим клиентам как можно быстрее, особенно всем пострадавшим клиентам.
С другой стороны, услуги Public Cloud, Web Cloud и VPS предоставляются в обычном режиме во всех центрах обработки данных.

Платформа сообщества OVHcloud теперь доступна для взаимодействия с членами сообщества и поддержки вас.
FAQ доступен здесь => help.ovhcloud.com/en-gb/faq/strasbourg-incident/
Чтобы следить за обновлениями об этой ситуации в режиме реального времени:
Нашим основным средством коммуникации остается «Статус задачи».
Статусные видео доступны здесь:
FR: twitter.com/olesovhcom/status/1370045226929299461
EN: twitter.com/olesovhcom/status/1370045891806175232

Новое видео будет опубликовано сегодня в Твиттере Октава Клабы: twitter.com/olesovhcom
OVHcloud Twitter: twitter.com/ovhcloud_fr

Наша миссия по-прежнему заключается в том, чтобы предоставлять нашим клиентам услуги высочайшего качества, поддерживать их онлайн-бизнес, и мы знаем, насколько это важно для них. Приносим искренние извинения за возможные неудобства, связанные с данной ситуацией. В настоящее время проводится расследование причин. Какой бы ни была причина инцидента, OVHcloud в настоящее время оценивает возможные технические и эксплуатационные меры, чтобы предложить решения всем затронутым клиентам.

Доступны все наши каналы связи, включая нашу платформу отслеживания инцидентов, чтобы вы могли быть в курсе событий в режиме реального времени.

Читать дальше →

SBG4:
all servers are UP.

travaux.ovh.net/vms/index_sbg4.html