Рассказываем что произошло в NL/DE

Рассказываем что произошло в NL/DE или «приключение на 20 минут, вошли и вышли».

• 2 июня: с разницей в 30 минут отключаются локации. Никакой ясности нет, явно что-то не так;
• К вечеру получаем сообщение, что датацентр nLighten по собственной инициативе обесточил всё оборудование и заблокировал доступ к серверным шкафам. Деталей очень мало;
• Деталей по-прежнему очень мало. Спустя несколько дней получаем сообщение, что процесс сдвинулся с мертвой точки, планируют назначение даты выгрузки оборудования;
• С 15 июня происходит выгрузка, миграция в другой датацентр;
• Сотрудники нового поставщика, к которому мы перевезли оборудование, не были готовы к проведению большого количества работ, что вызвало длительную задержку. В связи с этим было принято решение экстренно ехать сначала во Франкфурт-на-Майне, а затем и в Нидерланды для завершения работ своими силами.

20ого числа прибыли в Нидерланды, забрали нужные компоненты со склада и прямой дорогой отправились во Франкфурт. Дорога заняла примерно 5 часов на машине с минимальными остановками. В ночь с 20 на 21 июня запустили все сервисы в Германии как и обещали.

• Обратный маршрут был в Нидерланды. Согласовали пропуск в датацентр, подготовили все необходимое и также оперативно завершили работы с выявлением сломавшихся компонентов из-за резкого выключения питания и последующим запуском всех вычислительных узлов.
• Более 10 часов перелетов, 1500 километров дороги для финального решения всего инцидента.

Что стало причиной: доподлинно неизвестно, предварительно это беспрецедентное решение руководства сети датацентров nLighten на фоне заявлений журналистов про компанию Mirhosting, которая занимается сопровождением IT-инфраструктуры. К слову, Mirhosting на всем протяжении безупречно выполняли поставленные задачи и отличались высокими компетенциями. Сложно назвать произошедшее чем-то кроме поспешно сделанных решений, которые повлекли за собой последствия.

• Потери данных? Все данные за исключением одного гипервизора в полной сохранности. По нему все ещё ведется работа.
• Компенсации: начислено 22 дня + 1 полный месяц для всех услуг Германии и 25 дней + 1 полный месяц для всех услуг в Нидерландах.
• Выводы из всей истории: беспрецедентная непростая ситуация, по которой сложно было принять правильные решения ввиду абсурдности и очень малого количества деталей произошедшего.

Потихоньку будем формировать дополнительные площадки в тех же странах, чтобы дать возможность создать услугу на разных площадках, но в той же стране.

hip.hosting