Hip-hosting Хостинг

Рассказываем что произошло в NL/DE или «приключение на 20 минут, вошли и вышли».

• 2 июня: с разницей в 30 минут отключаются локации. Никакой ясности нет, явно что-то не так;
• К вечеру получаем сообщение, что датацентр nLighten по собственной инициативе обесточил всё оборудование и заблокировал доступ к серверным шкафам. Деталей очень мало;
• Деталей по-прежнему очень мало. Спустя несколько дней получаем сообщение, что процесс сдвинулся с мертвой точки, планируют назначение даты выгрузки оборудования;
• С 15 июня происходит выгрузка, миграция в другой датацентр;
• Сотрудники нового поставщика, к которому мы перевезли оборудование, не были готовы к проведению большого количества работ, что вызвало длительную задержку. В связи с этим было принято решение экстренно ехать сначала во Франкфурт-на-Майне, а затем и в Нидерланды для завершения работ своими силами.

20ого числа прибыли в Нидерланды, забрали нужные компоненты со склада и прямой дорогой отправились во Франкфурт. Дорога заняла примерно 5 часов на машине с минимальными остановками. В ночь с 20 на 21 июня запустили все сервисы в Германии как и обещали.

• Обратный маршрут был в Нидерланды. Согласовали пропуск в датацентр, подготовили все необходимое и также оперативно завершили работы с выявлением сломавшихся компонентов из-за резкого выключения питания и последующим запуском всех вычислительных узлов.
• Более 10 часов перелетов, 1500 километров дороги для финального решения всего инцидента.

Что стало причиной: доподлинно неизвестно, предварительно это беспрецедентное решение руководства сети датацентров nLighten на фоне заявлений журналистов про компанию Mirhosting, которая занимается сопровождением IT-инфраструктуры. К слову, Mirhosting на всем протяжении безупречно выполняли поставленные задачи и отличались высокими компетенциями. Сложно назвать произошедшее чем-то кроме поспешно сделанных решений, которые повлекли за собой последствия.

• Потери данных? Все данные за исключением одного гипервизора в полной сохранности. По нему все ещё ведется работа.
• Компенсации: начислено 22 дня + 1 полный месяц для всех услуг Германии и 25 дней + 1 полный месяц для всех услуг в Нидерландах.
• Выводы из всей истории: беспрецедентная непростая ситуация, по которой сложно было принять правильные решения ввиду абсурдности и очень малого количества деталей произошедшего.

Потихоньку будем формировать дополнительные площадки в тех же странах, чтобы дать возможность создать услугу на разных площадках, но в той же стране.

hip.hosting

Начислили компенсации для всех услуг в NL и DE. Помимо компенсации за время простоя мы начислили +1 месяц для всех услуг (да, за наш счет).
Из-за резкого выключения питания нашли некорректную работу компонентов на 2 вычислительных узлах в NL, поэтому если Ваш сервер ещё не поднялся, то это как раз связано с этим. Мы уже в процессе замены и начислим дополнительную компенсацию.

Compensation has been credited for all services in NL and DE. In addition to the downtime compensation, we have credited +1 month for all services (yes, on us).
Due to the abrupt power outage, we found components malfunctioning on 2 compute nodes in NL, so if your server hasn't come back online yet, this is exactly the reason. We're already in the process of replacing them and will credit additional compensation.

hip.hosting

Немного обновлений: позавчера запустили порядка 40% услуг в Германии. Сегодняшней ночью ожидается полный запуск всех серверов в DE.
Нидерланды в процессе, остался последний вопрос с сетевой частью после переезда. IP адреса и данные не затронуты.
—
A few updates: the day before yesterday we brought up around 40% of services in Germany. Tonight we expect a full launch of all servers in DE.

The Netherlands is in progress — there’s one last task remaining on the networking side after the move. IP addresses and data are unaffected.

100% услуг в Германии запущены после переезда в другой датацентр. До начисления компенсаций операции в личном кабинете (старт/стоп и тд) пока что не будут выполнять какие-либо действия с самой услугой.
—
All services in Germany are back online after the migration to a new data center. Until compensations are credited, dashboard actions (start/stop, etc.) will not take effect for now.

Перевезли серверы NL и DE в новые датацентры. Выполняем подключение, проверяем готовность систем и наконец-то запускаемся.

We've moved the NL and DE servers to new datacenters. We're now bringing them online, verifying system readiness, and finally going live.

hip.hosting

Получили уведомление о том, что вывоз оборудования запланирован на начало рабочей недели. После вывоза будет произведена установка в другом датацентре.
После подключения и проверки работы всех систем будет произведена компенсация для всех пользователей в локациях NL и DE.
Добавим сразу 1 месяц с актуализацией даты продления.
Приносим извинения за предоставленные неудобства.

We received notice that the equipment migration is scheduled for the beginning of the workweek. After migration, the equipment will be installed in another data center.
Once everything is connected and all systems have been checked, compensation will be provided to all users in the NL and DE locations.
We will add 1 month immediately, with the renewal date updated accordingly.