Дата-центры OVH

US-East (Vint Hill,VA): building new 2 power supply lines (20MVA)

EU-Central (Strasbourg,FR): the external source (20MVA) was broken here, it's fixed.

US-West (Hillsboro,OR): building phase 1… work in progress…

U-West (Gravelines,FR): work in progress to build a new elec source 40MVA based on 225kV + 80kV

On Thursday November 9, some of your services were affected by a network incident in our French site, in Roubaix (RBX). We would like to extend our sincerest apologies.

Flagged at 8:01am (French time), the incident was declared closed by our teams at 10:34am (French time). You were unable to access your services during this time.

All of your services are now working again, and we are here to answer any questions which you may have regarding your products.

We are well aware of the consequences of this service interruption, and we will, of course, be activating the planned compensation for products which are contractually bound by an SLA. As a reminder, you can find all the SLA levels pertaining to your products, in the customer control panel. You can view all compensation details via this link.
тут-адрес-панели/billing/sla/

The causes of this incident are still being analyzed, and we have already taken some measures which will further strengthen the reliability of our services, even in the most unexpected situations.

You can find additional information about the event and the resulting actions here. Rest assured that we are doing everything to learn from each new situation encountered, to further improve our service availability. We will keep you informed of the implementation of these measures.

We are very sorry for the inconvenience this incident may have caused, and would like to reiterate our sincerest apologies.
Regards, The OVH team

от редакции
по русски написано ТУТ

Подробнее написано в этом топике
hostsuki.pro/all/kak-poluchit-kompensaciyu-sla-ovh.html



Я щас буду все письма и сотню аккаунтов разгребать.
А потом уже в биллингах всех уведомлю. И на 4 дня даты изменю.

Les cellules haute tension 20kV de SBG1 avec les cellules motorisées et l'automate NSM qui n'a pas marché

travaux.ovh.net/?do=details&id=28242
There are still ~2000 ips that are still down on multiple hosts. Tech in DC working on it.
travaux.ovh.net/?do=details&id=28247
— pci / vps
64 hosts with
1000 VPS/PCI
no issue on ceph
A technician manages about 25 heavy interventions per day. With 400 issues to solve, the calculation is simple: we need between 15 to 25 technicians to complete the incident. That's why the teams take turns since yesterday noon thanks to the staff who arrived from the others DCs. OneTeam
У нас осталось чуть меньше 400 серверов. У нас есть все типы аппаратных проблем с этими серверами, и мы заменяем их к концу дня.

12-11-2017

• PCI/VPS: there is 10 hosts that has to be reparted. the host is very complex and we need 1H per host.
• Servers (SYS/OVH) We have 200 serveurs that the hardware issues that we are working on.

travaux.ovh.net/?do=details&id=28244
Краткое описание инцидента:
8h00: все ссылки 100G на DC Roubaix не работают.
8h15: невозможно подключиться к узлу
8h40: Мы перезапускаем главный кадр электрически.
9:00 утра: узел все еще недоступен.
9:15 утра: мы отказываемся от узла управления.
9:30 утра: Мы восстанавливаем контроль над Рубе.
9h40: Мы можем видеть все кадры, но на кадре нет тревоги, и конфигурация схемы исчезла.
10h00: Мы добавляем последнюю резервную копию базы данных на узле
10h15: схемы снова начинают подниматься
10h30: Большинство схем подняты, 8 все еще
11:00: Некоторые транспондеры не могут быть обнаружены системой, а усилитель неисправен, запускается RMA усилителя.
11h30: Мы сбросили все приемоответчики, не распознанные, все схемы подняты
14h15: Замена усилителя завершена
14h30: все схемы вставлены, функциональные защиты и последние тревоги были деградированы.

Объяснение:
Согласно журналам, собранным из всех кадров узла Roubaix (20), кажется, что у нас было три отдельных события, каскадирующих на узле Roubaix:

1. Перегрузка процессора узла (главный кадр)
Каждый оптический узел имеет главный кадр, который позволяет обмениваться информацией между узлами и обмениваться со своими подчиненными кадрами. На этом главном кадре база данных сохраняется на двух картах контроллера, а также на ЖК-дисплее.

С 7:50 а. м., мы заметили, что Roubaix начинает испытывать проблемы связи с узлами, напрямую связанными с ним, и показывает перегрузку ЦП на главном кадре. На сегодняшний день мы не уверены, что вызвало перегрузку процессора. Несмотря на то, что SBG раньше, мы смотрим на все возможные причины. Команды производителя все еще следят за этой причиной. Мы запланировали звонок в субботу, 11 ноября, чтобы узнать больше о первопричине.

2. Переключение каскадов
После перегрузки процессора узел, главный кадр сделал переключение плат контроллера. После первого переключения контроллеров и перегрузки процессора мы столкнулись с известной ошибкой программного обеспечения Cisco. Эта ошибка происходит на больших узлах и приводит к переключению контроллеров, которое происходит каждые 30 секунд. Обычно это переключение стабилизируется. Эта ошибка будет полностью исправлена ​​выпуском 10.8, который будет доступен 31 ноября.

3. Потеря базы данных
В 8 часов утра, после события переключения каскада, мы столкнулись с другой ошибкой программного обеспечения, которая де-синхронизирует синхронизацию между двумя картами контроллера основного кадра. Эта ошибка вызвала команду, отправленную на карту заказа контроллера, чтобы установить базу данных на 0. Контроллеры главных кадров отправили эту новую информацию в рамы Slaves и потеряли все ссылки 100G из Roubaix. Эта ошибка исправлена ​​в версии 10.7 и теперь доступна.

План Действий:
Вот план действий, который будет реализован с рекомендацией производителя:

• Две недели назад мы запустили замену контроллеров Roubaix и Gravelines с помощью TNCS (вместо TNCE), в результате чего вдвое увеличилась мощность процессора и удвоила оперативную память. Мы получили первые 2 вчера для Roubaix, и мы сделаем своп как можно скорее после проверки процесса с производителем. Мы собираемся подтолкнуть замену контроллеров на узлах Страсбурга и Франкфурта.
• Мы сейчас нажимаем обновление программного обеспечения на всех узлах, чтобы перейти на 10.8
• Теперь мы используем версию 10.5.2.6, мы должны пройти промежуточную версию 10.5.2.7, чтобы иметь возможность перейти в 10.7 или 10.8 после этого.
• Мы разделим большие узлы (POP / DC) на наличие как минимум 2 контроллеров узлов на POP / DC

Резюме:

• Шаг 1: Замена TNCE на RBX / GRA (ETA: понедельник, 13 ноября, вечер для RBX, вторник, 14 ноября, вечер для GRA)
• Шаг 2: Обновление программного обеспечения в 10.8 (возможно ETA: 4 недели)
• Шаг 3: Разделение больших узлов (ETA: TBA. Необходимо определить правильную стратегию и установить точный протокол, а затем работать над дорожной картой)

Стратегия потенциального разделения:
Можно полностью разделить сеть на 2 полностью независимых сети на уровне управления (всегда с возможностью повторного разбиения узлов внутри каждой сети). Благодаря «умному» красно-синему распределению оптических линий между двумя сетями каждый постоянный ток может достигать каждого POP в двух различных сетях.