После завершения работы SBG-1 мы переводим некоторые серверы SBG-1 в центр обработки данных SBG-3.
Серверы SBG-1, расположенные в стойках 61E* и 62E*, будут перемещены в SBG-3 в стойках S350A* и S351A*.

Необходимо перенести 1066 серверов.

Обновление 15 апреля, 9:00:

• Перенесено серверов: 253 (24%)

После завершения работы SBG-1 мы переносим серверы SBG-1 в центр обработки данных SBG-4.
Серверы SBG-1, расположенные в RACK 61A *, 61D * и 62A *, будут перемещены в SBG-4 в стойках 90A * / B * / C * / D *.
В 37 стойках необходимо перенести 758 серверов.

Обновление 1 апреля, 19:30:
Завершение серверов: 75 (10%)

Обновление 1 апреля, 23:00:
Завершение серверов: 116 (15%)

Обновление 2 апреля, 12:30:
Завершение серверов: 140 (18%)

Обновление 2 апреля, 15:30:
Завершение серверов: 209 (27%)

Обновление 2 апреля, 21:30:
Завершение серверов: 237 (31%)

SBG3

• Публичное облако:
• + Инстанс публичного облака — 91%
• + Публичное облачное хранилище — услуги доступны и предоставляются клиентам в режиме чтения и записи.
• Размещенное частное облако: службы постепенно перезапускаются, в зависимости от их первоначальной конфигурации, по круглосуточному графику ротации 24/7.
• Veeam Cloud Connect / Veeam Managed Backup: услуги доступны для клиентов.
• Baremetal Cloud
• + VPS: 95%
• + Чистый металл: 95%

SBG4

• Baremetal Cloud
• + Голый металл: 100%

Восстановление услуг осуществляется в соответствии с графиком перезапуска комната за комнатой, проход за проходом и стойка за стойкой. Однако требуется очистка сервера, и это определит, когда определенные стойки будут снова введены в эксплуатацию. Узнайте больше о нашем процессе очистки по этой ссылке (https://www.linkedin.com/posts/octave-klaba-3a0b3632_update-march26-7am-sbg4-all-servers-in-activity-6781098337518043136-GSYg).
Сегодня время очистки стеллажа составляет 7 часов, и наши команды улучшают его каждый день.
Этот график также регулируется Covid-19 и протоколами безопасности, определенными для вмешательств на местах с целью поддержания здоровья и обеспечения безопасности наших технических команд.
Кроме того, текущие ограничения по здоровью также повлияли на логистику на нашем предприятии в Страсбурге (SBG). Нам пришлось обеспечить проезд, проживание и питание для всех наших сотрудников, которые прибыли для оказания помощи на месте, при соблюдении государственных протоколов, что, конечно, усложнило операции.

Поскольку резервные копии размещаются в службах публичного облачного хранилища, перезапуск служб PCS приведет к тому, что многие резервные копии станут доступны.

В разделе документации и руководств (https://docs.ovh.com/gb/en/) выделены все руководства, полезные для помощи всем затронутым клиентам.
Мониторинг перезапуска SBG по помещениям и стойкам в реальном времени доступен по адресу: status.ovh.com/vms/sbg/

SBG-1

• Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
• Перезапуск сервера: перемещение восстанавливаемых серверов после проверки и очистки в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе. Перезапустите серверы после очистки с четверга, 1 апреля. (1).

SBG-2

• Ситуация: датацентр выключен и защищен.
• Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• Ситуация: Датацентр работает с 18 марта.
• Электрический перезапуск / Сеть: выполнено
• Перезагрузка сервера: VPS, Public Cloud, Bare Metal Cloud, Hosted Private Cloud, Veeam Cloud Connect, Veeam Managed Backup и сервисы vRack находятся в процессе восстановления. (2).

SBG-4

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: 100% клиентских серверов Bare Metal доступны.

• SBG1: комнаты от A до D:

• Серверы будут переведены в стойки в SBG4 с запланированным возвратом в эксплуатацию со среды, 31 марта.

SBG1: залы 61E и 62E:

• Очистка всех серверов, расположенных в этих помещениях, продолжается в две восьмичасовые смены с сменой бригад на нашем производственном участке в Круа.
• Всего в Croix было получено 1212 серверов:
• На сегодняшний день очищено 800 серверов, проверено 310 и восстановлено 90 серверов для отправки на наш веб-сайт в Страсбурге (SBG).
• Очищенные и протестированные серверы будут постепенно возвращаться уже в их стойке.
• Передача сервера на нашем сайте в Страсбурге (SBG3): 48 часов между переносом на сайт и перезагрузкой.
• Планируется, что службы будут постепенно перезапущены с четверга 01/04, а последние серверы будут перезапущены между 07/04 и 8/04.

SBG3:

• Ожидается, что работы по очистке всех серверов Bare Metal будут завершены к вечеру среды 31/03.
• Очищенные и протестированные серверы будут возвращены в свою стойку и повторно подключены.
• 347 серверов и 59 коммутаторов с 5-го этажа SBG3 возвращаются на наш сайт Croix (CRX) в среду для очистки.
• Стеллажи будут переведены на нашу площадку в Страсбурге (SBG).

29-03-2021
Обновленная информация о количествах, поставленных с 10.03:

• Облачная вселенная:
• — Оголенный метал
• + Bare Metal — серверы — Количество: 7597
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 16719
• — Размещенное частное облако
• + Хост — серверы — Количество: 964
• + Хранилище данных
• + Количество Zpool: 823
• + Объем ТБ: 4718

30-03-2021
Обновленная информация о поставках с 10 марта:

• Облачная вселенная:
• — Оголенный метал
• + Bare Metal — серверы — Количество: 7817
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 17075
• — Размещенное частное облако
• + Хост — серверы — Количество: 1059
• + Хранилище данных
• + Количество Zpool: 871
• + Объем ТБ: 4763

SBG-1

• Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
• Перезапуск сервера: перемещение восстанавливаемых серверов после проверки и очистки в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе.
• После очистки серверы будут перезагружены к середине недели 29 марта. (1)

SBG-2

• Ситуация: датацентр выключен и защищен.
• Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• Ситуация: Датацентр работает с 18 марта.
• Электрический перезапуск / Сеть: выполнено
• Перезагрузка сервера: начато восстановление сервисов VPS, Public Cloud, Bare Metal Cloud, Hosted Private Cloud, Veeam Cloud Connect и Veeam Managed Backup. (2).

SBG-4

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: 100% клиентских серверов Bare Metal доступны.

SBG1: комнаты от A до D:
o Серверы будут переведены в стойки в SBG4 с запланированным возвратом в эксплуатацию со среды 30/03.
SBG1: залы 61E и 62E:

• Команды работают по очереди, чтобы очистить все серверы, расположенные в этих комнатах, в течение выходных, и будут завершены к вторнику 30/03 в Круа.
• Очищенные и протестированные серверы будут затем возвращены в различные центры обработки данных (RBX, GRA, SBG4) и установлены в их новых стойках.
• Планируется, что услуги будут постепенно возобновлены с четверга 01/04 по пятницу 02/04.

SBG3: ожидается, что работы по очистке всех серверов Bare Metal будут завершены к среде 31/03.

26/03/2021
Обновленная информация о количествах, поставленных с 10.03:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 6987
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 16087
• — Размещенное частное облако
• + Хост — серверы — Количество: 840
• + Хранилище данных
• + Количество Zpool: 764
• + Объем ТБ: 4158

27/03/2021
Обновленная информация о количествах, поставленных с 10.03:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 7217
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 16337
• — Размещенное частное облако
• + Хост — серверы — Количество: 870
• + Хранилище данных
• + Количество Zpool: 796
• + Объем ТБ: 4532

28/03/2021
Обновленная информация о поставках с 10 марта:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 7484
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 16557
• — Размещенное частное облако
• + Хост — серверы — Количество: 887
• + Хранилище данных
• + Количество Zpool: 813
• + Объем ТБ: 4698

SBG3 / Этаж 5 — это новый этаж с новыми серверами, готовыми к запуску нового продукта, который мы запланировали через… 10 дней. Мы работали 18 месяцев и теперь надо все продать.

Мы добавили пропущенные серверы в кластер и начали копировать данные, чтобы получить по 3 копии каждого из них. Надеемся, что это будет сделано сегодня. В любом случае, как только это будет сделано, мы помещаем кластер в RO и начинаем перестраивать 30% SBG2 VPS из платной резервной копии.

• Серверы SBG1 61E / 62E находятся в процессе очистки.
• Скорость — 3 стойки в сутки.
• У нас 32 стойки. Ищем, как это ускорить.
• Последний этап процесса — обнаружение остатков «хлора».

Информация для клиентов:

• SBG1: восстанавливаемые серверы Bare Metal проходят очистку, чтобы снова ввести их в эксплуатацию в Страсбурге или других центрах обработки данных к началу следующей недели (после проверки и очистки).
• SBG3 находится в рабочем состоянии.
• SBG4 работает: 95% серверов Bare Metal доступны для клиентов.

SBG3

• Публичное облако:
• + Инстанс публичного облака — 86% *
• + Публичное облачное хранилище — перезапуск 27 марта
• Размещенное частное облако: службы постепенно перезапускаются, в зависимости от их первоначальной конфигурации, по круглосуточному графику ротации 24/7.
• Veeam Cloud Connect: с вечера 25 марта сервисы будут постепенно перезапускаться.
• Baremetal Cloud
• + VPS: 83% *
• + Голый металл: 71% *

SBG4

• Baremetal Cloud
• + Чистый металл: 95% *
• * Восстановление услуг осуществляется в соответствии с графиком перезапуска комната за комнатой, проход за проходом и стойка за стойкой. Однако требуется очистка сервера, и это определит, когда определенные стойки будут снова введены в эксплуатацию. Узнайте больше о нашем процессе очистки по этой ссылке www.linkedin.com/posts/octave-klaba-3a0b3632_update-march24-630pm-the-cleaning-takes-activity-6780540963271000064-8Q7i

SBG-1

• Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
• Перезапуск сервера: перемещение восстанавливаемых серверов после проверки и очистки в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе.
• Цель — восстановить услуги с начала недели 29 марта.

SBG-2

• Ситуация: датацентр выключен и защищен.
• Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• Ситуация: Датацентр работает с 18 марта.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: в настоящее время восстанавливаются сервисы VPS, Bare Metal и Public Cloud. Услуги размещенного частного облака будут постепенно восстанавливаться.

SBG-4

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: 95% клиентских серверов Bare Metal доступны.

Обновленная информация о поставках с 10 марта:

• Облачная вселенная:
• — Оголенный метал
• + Bare Metal — серверы — Количество: 6812
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 15732
• — Размещенное частное облако
• + Хост — серверы — Количество: 723
• + Хранилище данных
• + Количество Zpool: 706
• + Объем ТБ: 4079

Мы успешно очистили достаточно дисков для метаданных. Теперь мы можем восстанавливать кольца. Фото: до vs после.

У нас есть 20% данных всего с одной копией. Сначала мы восстанавливаем избыточность данных. Затем мы даем доступ RO. Потом RW.

• SBG4 находится в рабочем состоянии.
• SBG3 полностью готов к работе, ниже представлен статус служб, расположенных в этом центре обработки данных:

Публичное облако:

• + Инстанс публичного облака — 86% *
• + Публичное облачное хранилище — перезапуск 27 марта
• Размещенное частное облако: службы постепенно перезапускаются, в зависимости от их первоначальной конфигурации, по круглосуточному графику ротации 24/7.
• + VPS: 83% *
• + Голый металл: 71% *

SBG-1

• — Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
• — Перезапуск сервера: перемещение серверов SBG1 в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе. Расчетное время прибытия: среда, 24 марта.

SBG-2

• — Ситуация: датацентр выключен и защищен.
• — Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3

• Ситуация: Датацентр работает с 18 марта.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезагрузка сервера: в настоящее время восстанавливаются сервисы VPS, Bare Metal и Public Cloud. Услуги размещенного частного облака будут постепенно восстанавливаться.

SBG-4

• Ситуация: центр обработки данных работает.
• Электрический перезапуск: выполнен
• Перезагрузка сети: завершена
• Перезапуск сервера: расчетное время прибытия: сегодня, среда, 24 марта.

Обновленная информация о поставках с 10 марта:

• — Оголенный метал
• + Bare Metal — серверы — Количество: 6334
• + NAS-HA — TB — Количество: 259
• — Публичное облако
• + VPS — VM — Количество: 15425
• — Размещенное частное облако
• + Хост — серверы — Количество: 676
• + Хранилище данных
• + Количество Zpool: 677
• + Объем ТБ: 3811

Связь
Новое видео от Октава Клаба, основателя OVHcloud, доступно в его аккаунте в Twitter (https://twitter.com/olesovhcom/status/1374069154085490690).
Платформа сообщества OVHcloud теперь доступна для взаимодействия с членами сообщества и поддержки вас => community.ovh.com/en/
FAQ доступен здесь => help.ovhcloud.com/en-gb/faq/strasbourg-incident/
Чтобы следить за обновлениями об этой ситуации в режиме реального времени:
Наша основная лента сообщений: Статус задачи
Октав Клаба, основатель аккаунта OVHcloud в Twitter => twitter.com/olesovhcom/status/1374069154085490690
OVHcloud Twitter: twitter.com/ovhcloud

Наша миссия по-прежнему заключается в предоставлении нашим клиентам услуг высочайшего качества для поддержки их онлайн-бизнеса, и мы знаем, насколько это важно для них. Приносим искренние извинения за возможные неудобства, связанные с данной ситуацией. В настоящее время проводится расследование причин. Какой бы ни была причина инцидента, OVHcloud в настоящее время оценивает возможные технические и операционные меры, чтобы предложить решения всем затронутым клиентам.

Доступны все наши каналы связи, включая нашу платформу отслеживания инцидентов, чтобы вы могли быть в курсе событий в режиме реального времени.