Миграция SBG-1 (61E / 62E) -> SBG-3



После завершения работы SBG-1 мы переводим некоторые серверы SBG-1 в центр обработки данных SBG-3.
Серверы SBG-1, расположенные в стойках 61E* и 62E*, будут перемещены в SBG-3 в стойках S350A* и S351A*.



Необходимо перенести 1066 серверов.

Обновление 15 апреля, 9:00:
  • Перенесено серверов: 253 (24%)

SBG1/AD => SBG4



После завершения работы SBG-1 мы переносим серверы SBG-1 в центр обработки данных SBG-4.
Серверы SBG-1, расположенные в RACK 61A *, 61D * и 62A *, будут перемещены в SBG-4 в стойках 90A * / B * / C * / D *.
В 37 стойках необходимо перенести 758 серверов.

Обновление 1 апреля, 19:30:
Завершение серверов: 75 (10%)

Обновление 1 апреля, 23:00:
Завершение серверов: 116 (15%)

Обновление 2 апреля, 12:30:
Завершение серверов: 140 (18%)

Обновление 2 апреля, 15:30:
Завершение серверов: 209 (27%)

Обновление 2 апреля, 21:30:
Завершение серверов: 237 (31%)

30-03-2021 log sbg

SBG3
  • Публичное облако:
  • + Инстанс публичного облака — 91%
  • + Публичное облачное хранилище — услуги доступны и предоставляются клиентам в режиме чтения и записи.
  • Размещенное частное облако: службы постепенно перезапускаются, в зависимости от их первоначальной конфигурации, по круглосуточному графику ротации 24/7.
  • Veeam Cloud Connect / Veeam Managed Backup: услуги доступны для клиентов.
  • Baremetal Cloud
  • + VPS: 95%
  • + Чистый металл: 95%

SBG4
  • Baremetal Cloud
  • + Голый металл: 100%

Восстановление услуг осуществляется в соответствии с графиком перезапуска комната за комнатой, проход за проходом и стойка за стойкой. Однако требуется очистка сервера, и это определит, когда определенные стойки будут снова введены в эксплуатацию. Узнайте больше о нашем процессе очистки по этой ссылке (https://www.linkedin.com/posts/octave-klaba-3a0b3632_update-march26-7am-sbg4-all-servers-in-activity-6781098337518043136-GSYg).
Сегодня время очистки стеллажа составляет 7 часов, и наши команды улучшают его каждый день.
Этот график также регулируется Covid-19 и протоколами безопасности, определенными для вмешательств на местах с целью поддержания здоровья и обеспечения безопасности наших технических команд.
Кроме того, текущие ограничения по здоровью также повлияли на логистику на нашем предприятии в Страсбурге (SBG). Нам пришлось обеспечить проезд, проживание и питание для всех наших сотрудников, которые прибыли для оказания помощи на месте, при соблюдении государственных протоколов, что, конечно, усложнило операции.

Поскольку резервные копии размещаются в службах публичного облачного хранилища, перезапуск служб PCS приведет к тому, что многие резервные копии станут доступны.
В разделе документации и руководств (https://docs.ovh.com/gb/en/) выделены все руководства, полезные для помощи всем затронутым клиентам.
Мониторинг перезапуска SBG по помещениям и стойкам в реальном времени доступен по адресу: status.ovh.com/vms/sbg/

SBG-1
  • Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
  • Перезапуск сервера: перемещение восстанавливаемых серверов после проверки и очистки в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе. Перезапустите серверы после очистки с четверга, 1 апреля. (1).

SBG-2
  • Ситуация: датацентр выключен и защищен.
  • Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3
  • Ситуация: Датацентр работает с 18 марта.
  • Электрический перезапуск / Сеть: выполнено
  • Перезагрузка сервера: VPS, Public Cloud, Bare Metal Cloud, Hosted Private Cloud, Veeam Cloud Connect, Veeam Managed Backup и сервисы vRack находятся в процессе восстановления. (2).

SBG-4
  • Ситуация: центр обработки данных работает.
  • Электрический перезапуск: выполнен
  • Перезагрузка сети: завершена
  • Перезагрузка сервера: 100% клиентских серверов Bare Metal доступны.

  • SBG1: комнаты от A до D:
  • Серверы будут переведены в стойки в SBG4 с запланированным возвратом в эксплуатацию со среды, 31 марта.
SBG1: залы 61E и 62E:
  • Очистка всех серверов, расположенных в этих помещениях, продолжается в две восьмичасовые смены с сменой бригад на нашем производственном участке в Круа.
  • Всего в Croix было получено 1212 серверов:
  • На сегодняшний день очищено 800 серверов, проверено 310 и восстановлено 90 серверов для отправки на наш веб-сайт в Страсбурге (SBG).
  • Очищенные и протестированные серверы будут постепенно возвращаться уже в их стойке.
  • Передача сервера на нашем сайте в Страсбурге (SBG3): 48 часов между переносом на сайт и перезагрузкой.
  • Планируется, что службы будут постепенно перезапущены с четверга 01/04, а последние серверы будут перезапущены между 07/04 и 8/04.

SBG3:
  • Ожидается, что работы по очистке всех серверов Bare Metal будут завершены к вечеру среды 31/03.
  • Очищенные и протестированные серверы будут возвращены в свою стойку и повторно подключены.
  • 347 серверов и 59 коммутаторов с 5-го этажа SBG3 возвращаются на наш сайт Croix (CRX) в среду для очистки.
  • Стеллажи будут переведены на нашу площадку в Страсбурге (SBG).

29-03-2021
Обновленная информация о количествах, поставленных с 10.03:
  • Облачная вселенная:
  • — Оголенный метал
  • + Bare Metal — серверы — Количество: 7597
  • + NAS-HA — TB — Количество: 259
  • — Публичное облако
  • + VPS — VM — Количество: 16719
  • — Размещенное частное облако
  • + Хост — серверы — Количество: 964
  • + Хранилище данных
  • + Количество Zpool: 823
  • + Объем ТБ: 4718

30-03-2021
Обновленная информация о поставках с 10 марта:
  • Облачная вселенная:
  • — Оголенный метал
  • + Bare Metal — серверы — Количество: 7817
  • + NAS-HA — TB — Количество: 259
  • — Публичное облако
  • + VPS — VM — Количество: 17075
  • — Размещенное частное облако
  • + Хост — серверы — Количество: 1059
  • + Хранилище данных
  • + Количество Zpool: 871
  • + Объем ТБ: 4763

26/27/28 03-2021 log sbg

SBG-1
  • Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
  • Перезапуск сервера: перемещение восстанавливаемых серверов после проверки и очистки в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе.
  • После очистки серверы будут перезагружены к середине недели 29 марта. (1)

SBG-2
  • Ситуация: датацентр выключен и защищен.
  • Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3
  • Ситуация: Датацентр работает с 18 марта.
  • Электрический перезапуск / Сеть: выполнено
  • Перезагрузка сервера: начато восстановление сервисов VPS, Public Cloud, Bare Metal Cloud, Hosted Private Cloud, Veeam Cloud Connect и Veeam Managed Backup. (2).

SBG-4
  • Ситуация: центр обработки данных работает.
  • Электрический перезапуск: выполнен
  • Перезагрузка сети: завершена
  • Перезагрузка сервера: 100% клиентских серверов Bare Metal доступны.


SBG1: комнаты от A до D:
o Серверы будут переведены в стойки в SBG4 с запланированным возвратом в эксплуатацию со среды 30/03.
SBG1: залы 61E и 62E:
  • Команды работают по очереди, чтобы очистить все серверы, расположенные в этих комнатах, в течение выходных, и будут завершены к вторнику 30/03 в Круа.
  • Очищенные и протестированные серверы будут затем возвращены в различные центры обработки данных (RBX, GRA, SBG4) и установлены в их новых стойках.
  • Планируется, что услуги будут постепенно возобновлены с четверга 01/04 по пятницу 02/04.

SBG3: ожидается, что работы по очистке всех серверов Bare Metal будут завершены к среде 31/03.

26/03/2021
Обновленная информация о количествах, поставленных с 10.03:
  • — Оголенный метал
  • + Bare Metal — серверы — Количество: 6987
  • + NAS-HA — TB — Количество: 259
  • — Публичное облако
  • + VPS — VM — Количество: 16087
  • — Размещенное частное облако
  • + Хост — серверы — Количество: 840
  • + Хранилище данных
  • + Количество Zpool: 764
  • + Объем ТБ: 4158

27/03/2021
Обновленная информация о количествах, поставленных с 10.03:
  • — Оголенный метал
  • + Bare Metal — серверы — Количество: 7217
  • + NAS-HA — TB — Количество: 259
  • — Публичное облако
  • + VPS — VM — Количество: 16337
  • — Размещенное частное облако
  • + Хост — серверы — Количество: 870
  • + Хранилище данных
  • + Количество Zpool: 796
  • + Объем ТБ: 4532


28/03/2021
Обновленная информация о поставках с 10 марта:
  • — Оголенный метал
  • + Bare Metal — серверы — Количество: 7484
  • + NAS-HA — TB — Количество: 259
  • — Публичное облако
  • + VPS — VM — Количество: 16557
  • — Размещенное частное облако
  • + Хост — серверы — Количество: 887
  • + Хранилище данных
  • + Количество Zpool: 813
  • + Объем ТБ: 4698

SBG3 / Этаж 5

SBG3 / Этаж 5 — это новый этаж с новыми серверами, готовыми к запуску нового продукта, который мы запланировали через… 10 дней. Мы работали 18 месяцев и теперь надо все продать.

pCS

Мы добавили пропущенные серверы в кластер и начали копировать данные, чтобы получить по 3 копии каждого из них. Надеемся, что это будет сделано сегодня. В любом случае, как только это будет сделано, мы помещаем кластер в RO и начинаем перестраивать 30% SBG2 VPS из платной резервной копии.

25-03-2021 log sbg

Информация для клиентов:
  • SBG1: восстанавливаемые серверы Bare Metal проходят очистку, чтобы снова ввести их в эксплуатацию в Страсбурге или других центрах обработки данных к началу следующей недели (после проверки и очистки).
  • SBG3 находится в рабочем состоянии.
  • SBG4 работает: 95% серверов Bare Metal доступны для клиентов.

SBG3
  • Публичное облако:
  • + Инстанс публичного облака — 86% *
  • + Публичное облачное хранилище — перезапуск 27 марта
  • Размещенное частное облако: службы постепенно перезапускаются, в зависимости от их первоначальной конфигурации, по круглосуточному графику ротации 24/7.
  • Veeam Cloud Connect: с вечера 25 марта сервисы будут постепенно перезапускаться.
  • Baremetal Cloud
  • + VPS: 83% *
  • + Голый металл: 71% *


SBG4
  • Baremetal Cloud
  • + Чистый металл: 95% *
  • * Восстановление услуг осуществляется в соответствии с графиком перезапуска комната за комнатой, проход за проходом и стойка за стойкой. Однако требуется очистка сервера, и это определит, когда определенные стойки будут снова введены в эксплуатацию. Узнайте больше о нашем процессе очистки по этой ссылке www.linkedin.com/posts/octave-klaba-3a0b3632_update-march24-630pm-the-cleaning-takes-activity-6780540963271000064-8Q7i


SBG-1
  • Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
  • Перезапуск сервера: перемещение восстанавливаемых серверов после проверки и очистки в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе.
  • Цель — восстановить услуги с начала недели 29 марта.

SBG-2
  • Ситуация: датацентр выключен и защищен.
  • Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3
  • Ситуация: Датацентр работает с 18 марта.
  • Электрический перезапуск: выполнен
  • Перезагрузка сети: завершена
  • Перезагрузка сервера: в настоящее время восстанавливаются сервисы VPS, Bare Metal и Public Cloud. Услуги размещенного частного облака будут постепенно восстанавливаться.

SBG-4
  • Ситуация: центр обработки данных работает.
  • Электрический перезапуск: выполнен
  • Перезагрузка сети: завершена
  • Перезагрузка сервера: 95% клиентских серверов Bare Metal доступны.

Обновленная информация о поставках с 10 марта:
  • Облачная вселенная:
  • — Оголенный метал
  • + Bare Metal — серверы — Количество: 6812
  • + NAS-HA — TB — Количество: 259
  • — Публичное облако
  • + VPS — VM — Количество: 15732
  • — Размещенное частное облако
  • + Хост — серверы — Количество: 723
  • + Хранилище данных
  • + Количество Zpool: 706
  • + Объем ТБ: 4079

pCS

Мы успешно очистили достаточно дисков для метаданных. Теперь мы можем восстанавливать кольца. Фото: до vs после.

У нас есть 20% данных всего с одной копией. Сначала мы восстанавливаем избыточность данных. Затем мы даем доступ RO. Потом RW.


24-03-2021 log sbg

  • SBG4 находится в рабочем состоянии.
  • SBG3 полностью готов к работе, ниже представлен статус служб, расположенных в этом центре обработки данных:

Публичное облако:
  • + Инстанс публичного облака — 86% *
  • + Публичное облачное хранилище — перезапуск 27 марта
  • Размещенное частное облако: службы постепенно перезапускаются, в зависимости от их первоначальной конфигурации, по круглосуточному графику ротации 24/7.
  • + VPS: 83% *
  • + Голый металл: 71% *



SBG-1
  • — Ситуация: Центр обработки данных не активирован повторно. После осмотра опытными командами технические группы могут получить доступ к комнатам.
  • — Перезапуск сервера: перемещение серверов SBG1 в другие наши центры обработки данных: Gravelines (GRA), Roubaix (RBX), Croix (CRX) и Strasbourg (SBG4) для возврата к работе. Расчетное время прибытия: среда, 24 марта.

SBG-2
  • — Ситуация: датацентр выключен и защищен.
  • — Перезагрузка сервера: замена инфраструктуры в других центрах обработки данных: Gravelines (GRA), Roubaix (RBX), Лондон (LON), Варшава (WAW), Франкфурт (FRA)

SBG-3
  • Ситуация: Датацентр работает с 18 марта.
  • Электрический перезапуск: выполнен
  • Перезагрузка сети: завершена
  • Перезагрузка сервера: в настоящее время восстанавливаются сервисы VPS, Bare Metal и Public Cloud. Услуги размещенного частного облака будут постепенно восстанавливаться.

SBG-4
  • Ситуация: центр обработки данных работает.
  • Электрический перезапуск: выполнен
  • Перезагрузка сети: завершена
  • Перезапуск сервера: расчетное время прибытия: сегодня, среда, 24 марта.

Обновленная информация о поставках с 10 марта:
  • — Оголенный метал
  • + Bare Metal — серверы — Количество: 6334
  • + NAS-HA — TB — Количество: 259
  • — Публичное облако
  • + VPS — VM — Количество: 15425
  • — Размещенное частное облако
  • + Хост — серверы — Количество: 676
  • + Хранилище данных
  • + Количество Zpool: 677
  • + Объем ТБ: 3811

Связь
Новое видео от Октава Клаба, основателя OVHcloud, доступно в его аккаунте в Twitter (https://twitter.com/olesovhcom/status/1374069154085490690).
Платформа сообщества OVHcloud теперь доступна для взаимодействия с членами сообщества и поддержки вас => community.ovh.com/en/
FAQ доступен здесь => help.ovhcloud.com/en-gb/faq/strasbourg-incident/
Чтобы следить за обновлениями об этой ситуации в режиме реального времени:
Наша основная лента сообщений: Статус задачи
Октав Клаба, основатель аккаунта OVHcloud в Twitter => twitter.com/olesovhcom/status/1374069154085490690
OVHcloud Twitter: twitter.com/ovhcloud

Наша миссия по-прежнему заключается в предоставлении нашим клиентам услуг высочайшего качества для поддержки их онлайн-бизнеса, и мы знаем, насколько это важно для них. Приносим искренние извинения за возможные неудобства, связанные с данной ситуацией. В настоящее время проводится расследование причин. Какой бы ни была причина инцидента, OVHcloud в настоящее время оценивает возможные технические и операционные меры, чтобы предложить решения всем затронутым клиентам.

Доступны все наши каналы связи, включая нашу платформу отслеживания инцидентов, чтобы вы могли быть в курсе событий в режиме реального времени.