За два месяца на индустрию высыпалось очень много неприятностей. Из голландского ЦОДа кто-то атаковал правительственные сервисы ЕС, и там сделали массовое изъятие примерно 800 серверов, как бы у нас сказали, почти по беспределу. Но, поскольку это Европа, — в соответствии с духом просвещённой демократии. Сам дата-центр, когда узнал, что произошло, утрируя, поспешно разорвал контракты с оставшимися русскими, теми, кто знаком с Россией, с ней работает или вообще что-то про неё слышал.
А второй ЦОД, где любили вставать хостинги, поплавился от жары. На самом деле это не совсем так, но на жару очень удобно списывать. Кто ж знал, что лето настанет!
Тут интересно то, что никто ничего нормально не рассказывал клиентам, и, собственно, поэтому посты этих хостингов на Хабре превратились в жалобную книгу на некоторое время. Поэтому постить некоторые перестали, чтобы не размывать репутацию своих славных брендов.
Мы было успели обрадоваться, что нас не задело, но тут же случилось изъятие уже наших серверов в Казани. Приехали в дата-центр типа на осмотр и выгребли всё подчистую — копали под одного клиента. И очень интересно грузили и возили. Но мы об этом узнали не сразу. В общем, там тоже феерическая история, сейчас расскажу.
И напоследок прилетел масштабный DDoS, а потом ещё память подорожала на 70%, притом что в потребительском сегменте за месяц всего на 1—5%.
И да, я тот человек, который считал, что 2023 был тяжёлым годом. Но теперь есть с чем сравнить!
Зачем я это пишу
Во-первых, я считаю себя обязанным всё же рассказать сообществу, что случилось и как это выглядит изнутри. Мы когда-то давно обещали так делать, и поэтому рассказываем и подробно разбираем крупные инциденты, которые нас касаются, — даже если это играет нам тактически в минус.
Во-вторых, хочется рассказать просто по существу, показать реальную картину того, как сейчас работает вся отрасль в целом, без упоминания конкретных конкурентов в негативном ключе. Хочется показать, насколько эта инфраструктура хрупка и почему привычные схемы резервирования иногда дают сбой, когда тебя подводит партнёр.
В-третьих, у нас под постами не про хостинг тоже начались обсуждения про хостинг, и я бы хотел снять все возможные вопросы разом. Потому что, в целом, их надо задавать мне, а не нашим авторам.
Начать стоит с того, что произошло в Нидерландах
Из-за санкций и ограничений очевидно, что далеко не все дата-центры сейчас работают с русскими. В итоге все русские компании, которые есть на рынке и предоставляют зарубежные локации, оказались сконцентрированы у одних и тех же партнёров. И когда там начались проблемы, это ударило веером почти по всем — пострадало, по сути, 90% всех хостингов в Амстердаме, работающих с российскими клиентами. Хостеров тут по факту жёстко подвели дата-центры.
Сначала по европейским дата-центрам ударила аномальная жара под 40 градусов. Европейские ЦОДы исторически проектировались под пиковые температуры около +32 °C. В итоге в дата-центре Qupra, который обслуживает зону ams-1, банально не справилась система охлаждения. Один за другим начали выходить из строя промышленные чиллеры.
Но! Они могли знать, что так будет. Этот дата-центр штормило не только в мае—июне, у некоторых ещё в январе уже был из-за этого серьёзный даунтайм. По некоторым не очень точным слухам, системы охлаждения Qupra не справлялись не первый раз, они и так работали в номинал или за расчётными мощностями, а жара их добила.
Чтобы серверы не сгорели, стойки начали автоматически отключаться. Это растянулось на два месяца, но кульминация пришлась на конец июня. Подрядчики ЦОДа действовали крайне медленно, им не хватало силовых кабелей и профильных специалистов даже для подключения внешних мобильных охладителей. Сильнее всего там пострадал российский хостинг-провайдер, который как раз в мае перевёз туда своё оборудование из другого закрывающегося ЦОДа. По их же собственным данным, суммарный даунтайм клиентских машин составил не менее 70 часов, а в некоторых случаях продолжается до сих пор (на момент написания данной статьи).
Плюс ещё в начале мая был сильный пожар в дата-центре NorthC в Алмере, где выгорела часть силовой и технической зоны, из-за чего в офлайн на несколько часов ушёл IBM Cloud.
18 мая нидерландская полиция и фискальная служба FIOD провели жёсткие рейды сразу по пяти адресам, включая ЦОДы в Дронтене и бизнес-парке Схипхол-Рейк. Причиной стало расследование обхода санкций ЕС, наложенных ещё в 2025 году на владельцев PQ.Hosting. Следователи посчитали, что подсанкционная инфраструктура просто переехала на свежее голландское юрлицо WorkTitans (бренд THE.Hosting), а аплинк им давал MIRhosting.
В рамках этого уголовного дела правоохранители просто приехали и физически изъяли около 800 серверов (!) — и арестовали двух человек. Это затронуло огромное количество компаний в России. В смысле, изъятие, а не аресты.
Упрощая, остальные серверы, которые не забрали, просто отключили.
2 июня владельцы дата-центра nLighten испугались юридических рисков и просто в одностороннем порядке, без единого предупреждения, полностью обесточили всё их оборудование, чтобы минимизировать свои риски после рейдов. Так как MIRhosting был оптовым поставщиком мощностей, сработал эффект домино. В один момент легли и крупные российские хостинг-провайдеры, и куча мелких хостеров, кто там хостился.
А хостился там много кто, возможно, потому что Нидерланды — одна из ведущих стран по русскоязычному трафику. Особенно по ютуб-трафику. Ну или эти два факта никак не связаны.
В общей сложности отключилось не менее 15 тысяч сайтов. И бекапы у них были внутрь площадки, то есть географически там же, и даже в тех же стойках. Люди просто потеряли всё без возможности восстановления в моменте. Не все вышли в аптайм — некоторые ищут, куда переехать, некоторые пытаются восстановить железо.
Казань
Как начался инцидент с нашим оборудованием в Казани. Но, глядя на Нидерланды и на нас, нельзя однозначно сказать, что это только наши правоохранители такие.
Всё началось в четверг 11 июня утром. У нас резко пропал аптайм на части казанского оборудования. Первая мысль — дурацкая неполадка сети. Мы начали связываться с оператором. Оператор говорит: «Связываюсь с ЦОДом, ну, типа, там техработы».
Мы подумали, что там техработы. На самом деле там сидела большая опергруппа, которая запретила связываться со внешним миром до окончания мероприятий по выемке данных.
В рамках ОРМ они установили, что интересующие их данные находятся по адресу дата-центра в Казани. Более точно понять, на каком именно сервере, они не могли и не пытались. В итоге забрали всё. Это вообще очень логично, такие попытки случаются раз в год-два примерно, но каждый раз удаётся объяснить автоматчикам, что происходит, и выдать один снапшот виртуальной машины. Дальше они изымают флешку с ней и уходят пытаться её расшифровать, потому что злоумышленники редко когда что-то хранят в открытую.
Так вот. В этот раз мы не понимали, что происходит, потому что нам всё это рассказали уже, когда всё изъятие по факту произошло. В гермозоне оперативно-разыскные мероприятия. Дело там было очень серьёзное, даже не по линии полиции. И это всё из-за одного-единственного клиента, который держал у нас какой-то VPN-сервер.
Мы не могли даже увидеть постановление, потому что допуск требовал личного вручения, а мы были не в Казани. Пришлось ехать.
Если что, обид никаких. Все в этой цепочке правильно сработали. Правоохранители нашли злоумышленника, поставили задачу оперативной группе, группа очень грамотно заехала в здание и не менее грамотно провела мероприятия. Естественно, в группе там специалисты по погоне за отстреливающимися людьми и выпрыгивающими в окна директорами, поэтому выполнили задачу ровно так, как поставили. Профессионализм действий можно оценить по тому, что реально, пока они были на объекте, никто ничего никому не сказал про то, что происходит. Чтобы сохранить тайну следственных действий. Это без шуток очень круто.
Если бы нам сказали об изъятии прямо в процессе, мы бы, возможно, смогли их остановить, объяснив, что, грубо говоря, «это не те дроиды, которые вам нужны» — им нужны были виртуалки и логи, а не физические серверы!
По-хорошему, есть же каналы взаимодействия, мы регулярно реагируем на запросы органов. Но, повторюсь, когда дело серьёзное, почему-то в крупных расследованиях они действуют наверняка и стараются изъять физическое оборудование.
Вероятно, этот клиент накосячил очень сильно.
Здесь я хочу подчеркнуть ключевую деталь того, как мы выстраиваем работу с клиентами. Как только мы выяснили, кто, как и почему всё забрал, мы не стали юлить, а сразу написали в телеграм-канал, где наши клиенты. Врать клиентам в такой ситуации — самое глупое, что может быть. Мы моментально выпустили уведомление, что серверы физически изъяты силовыми структурами.
Мы не знали горизонт их возвращения (в целом вообще не думали, что в какой-то разумный срок вернём), поэтому сразу запустили процесс экстренной закупки аналогичного объёма оборудования для казанского ЦОДа. Понятно, что у нас такого объёма просто лежащего без дела нет, а закупка — процесс длительный. Но мы готовились к худшему: полностью заместить утраченное железо, если оно намертво превратится в вещдоки. А такой риск всегда есть, тогда бы до конца судов его не отдали бы.
В четверг серверы увезли, и до понедельника мы не могли достучаться до руководителей отделов силовых структур из-за выходных. В понедельник с утра наш старший технический специалист и мой коллега приехали в Казань.
Удалось обсудить вопрос. Тут взаимодействие было достаточно приятным — ну, насколько это вообще возможно в этой ситуации. В смысле, они пошли нам навстречу, сделали тут же официальный запрос, мы помогли выгрузить виртуальную машину и данные по клиенту, они довольно быстро отдали оборудование. Одно дело забирать серверы подозреваемого, другое — серверы хостинга. Случилось некоторое непонимание, но в понедельник оно почти всё разрешилось. Мы со своей стороны оказали им полное содействие, и они это признали.
Я знаю случаи, когда в таких ситуациях оно застревало надолго в архиве вещдоков.
Два сервера не запустились.
Сотрудники органов искренне уверяли нас, что перевозили серверы с максимальной аккуратностью, якобы буквально сдувая с них пылинки. Но мы-то точно знаем, что в ЦОДе их никто с кнопки штатно не выключал — просто выдернули из розеток. И оборудование перенесло 3 транспортировки: сначала в четверг куда-то неизвестно куда, а потом в понедельник в то место, где наши ребята должны были помогать им с данными (везли аккуратно, но на обычной «Газели»). Визуально железки выглядели целыми. Сколов и крупных царапин не добавилось.
Тут могла сыграть как перевозка, так и просто само включение-выключение. Железо, которое годами работает в стойке, не переносит таких приключений. При физической вибрации и тряске банально отходят контакты. У нас даже была ситуация, когда мы внутри одного ЦОДа аккуратно перевозили оборудование из стойки в стойку, и четыре сервера не включились. По-хорошему, после каждого перемещения сервера нужно полностью редеплоить ноду: сносить операционку и накатывать всё заново.
Главная беда была с SSD-дисками, собранными в RAID-массивы. У нас везде используются качественные комплектующие Huawei, мы всё гарантируем и меняем, но физику не обманешь. Когда ты резко выдёргиваешь шнур питания, RAID-контроллер, работающий с файловой системой, теряет информацию о структуре дисков. Батарейка на контроллере у серверов старше одного года часто недостаточна для записи остаточных транзакций (точнее, там уровень типа 95% надёжности), поэтому всегда все используют внешние ИБП. Но серверы при отключении выдёргивали именно из них.
При следующем запуске система может не подцепить старый массив дисков и выдаёт ошибку о критическом повреждении файловой системы либо уходит в цикличную перезагрузку.
У нас в одном сервере так полностью повредился диск и потерялась загрузочная запись. К счастью, ребилд и удалённое шаманство админов помогли, избыточность там достаточная.
А вот второй оказался куда сложнее. Мы были страшно стеснены во времени, клиенты буквально обрывали нам поддержку. Мы до последнего пытались завести мёртвый сервер, уже даже было принято решение упаковывать его и везти с собой в Москву. В самый последний момент наш старший админ с настоящими танцами с бубнами смог достучаться до него через IBMC. Появилась небольшая робкая надежда, но мы понимали, что люди не ждут.
Поэтому, когда даунтайм стал большим, мы решили не пытаться его реанимировать, а накатить бекапы на другие машины. И начали разворачивать клиентов там. Конечно, это затянуло время восстановления доступности для некоторых клиентов, но зато в итоге. они гарантированно получили доступные серверы.
Сам пострадавший сервер мы отправили на глубокую диагностику.
Клиенты, конечно, писали в чатах в духе: «Вот, оборудование-то вернули, почему оно не включено?!» Ну вот примерно так. И я думаю, их возмущение понятно: они платят деньги, у них несколько дней даунтайма (с четверга, когда оборудование изъяли), а тут ещё мы говорим, что раскатить всё заново из бэкапов можно, но надо ещё чуть-чуть подождать.
Итоговый простой составил около пяти дней (с утра четверга до вечера понедельника). У нас есть х5 компенсация по SLA из-за наших проблем и нашей зоны ответственности. Увы, тут форс-мажор, действия силовых структур такого типа — это не наша зона ответственности. У нас в команде даже была дискуссия на этот счёт. По оферте, если пропадает связь от провайдера, — мы тоже можем не компенсировать, хотя обычно всегда идём навстречу практически во всём. Но тут причина падения принципиально другая. Чистейший, стопроцентный форс-мажор, который мы никак не могли гарантировать или предотвратить. В итоге компенсировали простой х1.
Мы работаем на рынке больше 20 лет. Все эти годы к нам постоянно приходят во время оперативно-разыскных мероприятий, пытаются забрать оборудование. Всё время получалось защитить оборудование, а тут вот не получилось.
И теперь в комментариях под статьями нам пишут: «Ничего себе, я работаю с сервером, там задержка… О, а у вас там в Краснодаре тоже забрали серверы?». Нам, конечно, не очень смешно от этого.
И до кучи DDoS!
Били по клиенту. Били сильно. Мощность атаки была такова, что у нас наглухо зависли сетевые коммутаторы и все виртуальные свитчи.
Стратегия таких атак строится на том, что сервер коммутируется между физическим портом и виртуальными свитчами. Виртуальные свитчи ложатся, начинают сильно переполнять стек машины. В итоге процессор уходит в 100% загрузку, вся эта машина полностью зависает и перестаёт реагировать на любые команды. Её нельзя перезагрузить программно, она уже не откликнется — помогает только хард-ребут по питанию.
А при хард-ребуте по питанию массивы RAID… Но вы уже помните, да?
Самая большая проблема с такими масштабными DDoS-атаками — это невозможность понять, кого именно бьют и откуда. Если бы доступ был, можно было бы сразу отправить IP-адрес жертвы в блэкхоул. Но нет.
У нас есть несколько слоёв защиты от DDoS, но бесплатные направлены больше на то, чтобы с нашей инфраструктуры не проходила атака на нашу же инфраструктуру или наружу. А вот проконтролировать внешний трафик можно только через центры очистки с очень широкими каналами (шире суммарного канала DDoS). Такая услуга усиленной защиты у нас тоже есть, но там стоимость около 150 тысяч рублей в сутки без НДС, очевидно, это для корпоративных клиентов по запросу, и клиент её брать и не планировал.
DDoS сам по себе тоже дорог, поэтому любая атака имеет свой период, в конце которого она рано или поздно прекратится. Но пережить это — тот ещё фокус.
Самое сложное — найти клиента, которого атакуют. Потому что пролезть на сервер за телеметрией тоже никак не выйдет при 100% загрузке процессоров и сети. Поэтому нам пришлось применять единственное рабочее в таких условиях, проверенное прикладное решение, которым пользуются вообще все хостеры в таких ситуациях. Надёжное, как швейцарские часы. Мы временно отключаем всех клиентов от виртуального свитча, а затем начинаем постепенно, по одному, восстанавливать подключения. Сначала включаем VIP-клиентов и юрлиц с известной историей авторизаций и большим количеством ответственных. И так, ранжируя по признаку доверия, перебираем всех, пока не наткнёмся на того, на кого реально идут атаки. Это долгий и болезненный процесс.
И самое страшное при DDoS-ах — это последствия. Серверы не находятся в 100% даунтайме, они периодически включаются-выключаются (какие-то клиенты даже в это время работают), но бесконечные циклы ребутов убивают массивы. Самое страшное — потом поднимать вот эти все ноды.
И общий фон
Добавлю пару слов о железе.
Дефицит оперативной памяти, комплектующих и рост цен никуда не делись, ценник продолжает расти дальше.
Розничные цены в магазинах за май—июль подросли где-то на 1—5% в месяц, но это обманчивая цифра. Импорт-прайс уровень всегда реагирует с задержкой из-за длинных дилерских контрактов (зимой розница начала расти и сейчас уже достигла пика, хотя 5% в месяц — это тоже прилично). А вот оптовая контрактная цена для заводов за второй квартал (апрель—июнь) взлетела на 70—85%. Сейчас, при текущих заказах, мы уже видим полный эффект этого подорожания.
С сентября прошлого года оборудование подорожало где-то в два раза: оперативная память за второй квартал подорожала суммарно на 90%, а SSD-накопители — на 75%. И аналитики спешат обрадовать, прогнозируя, что в третьем квартале (в июле—сентябре) цены могут вырасти ещё на 40—50%.
Что я могу в этой ситуации посоветовать?
Во-первых, расслабиться и получать удовольствие. Мне советовали потрогать траву и попить чай. Не знаю, нормальный ли это совет.
Во-вторых, не выбирайте bulletproof-хостинги, которые не отвечают на абузы и не оказывают взаимодействие на запросы правоохранительных органов. Потому что, если 100 раз отбиться по мелочи, потом прилетит по-крупному. У нас железо вернули, как разобрались в ситуации. У тех в Нидерландах, у кого изъяли 800 серверов, никто ничего не вернул и, очень вероятно, уже не вернёт.
Во-третьих, если у вас критически важный проект и суперсерьёзные данные — многократная репликация данных и диверсификация по локациям. Понятно, что это дороже, но, если у вас задача, чтобы всё время работало, нужно хранить резервные копии в совершенно разных ЦОДах. Это основа ведения ИТ-бизнеса.
От форс-мажоров не застрахован никто, ни в одной юрисдикции.
Всё, теперь готов ответить на ваши вопросы, но сразу говорю — по Казани там дело с грифом, поэтому деталей именно правонарушения и нашего взаимодействия с органами не будет.
ruvds.com/ru-rub
