Nubes Хостинг

На связи Антон Турсунов. Я главный по эксплуатации центров обработки данных облачного провайдера Nubes, то есть директор по этой самой эксплуатации. И с удовольствием делюсь экспертным мнением по любым вопросам, касающимся дата-центров.

Сегодня расскажу об изменениях в законе «О связи», которые вступят в силу 1 марта 2026 года, и о том, действительно ли создание четких правил игры позволит отрасли развиваться более динамично, привлекать инвестиции и обеспечивать надежную инфраструктуру для хранения и обработки данных в масштабах страны.

Погнали!

Законодательство реагирует на тренд
Российский рынок ЦОДов очень быстро растёт — на 10-13 тысяч стойко-мест в год (13-18%). При этом частные инвесторы вкладывают в новые дата-центры порядка 55 млрд рублей в год, что составляет половину инвестиций в их строительство. Вторую половину затрат на ЦОДы берёт на себя государство.

Такими совместными усилиями каждый год вводятся в строй 20-25 новых частных и государственных дата-центров, что даёт клиентам облачных провайдеров возможность ещё быстрее наращивать мощности, повышать производительность, а также минимизировать простои IT-сервисов при технических проблемах. Проще говоря, чем больше ЦОДов, тем бизнесу лучше.

Однако, помимо возрастания нужд частного сектора, увеличивается доля государственных услуг для граждан, а также импортозамещённых сервисов. Строительство ЦОДов уже стало трендом, на который государство просто не может не реагировать, как заинтересованная сторона. В связи с этим стремление урегулировать деятельность рынка облачных сервисов вполне логично и ожидаемо.

Главные из ожидаемых нововведений:

• появление единого реестра ЦОД под управлением Минцифры;
• запрет майнинга в зарегистрированных дата-центрах;
• упрощение регуляторной нагрузки на операторов;
• возможности строительства по концессионным и ГЧП-соглашениям.

На позитивной волне
Итак, понятие «ЦОД» наконец-то будет чётко сформулировано в правовом поле. Под ним, согласно инициативе, подразумевается совокупность зданий, частей зданий или помещений с единым назначением, которые должны включать инженерно‑технические системы, предназначенные для размещения оборудования по обработке и хранению данных.

Раньше ЦОДы и операторы связи воспринимались пусть не как единое целое, но уж точно как ближайшие родственники. Теперь такие компании наконец разделятся. То есть к дата-центрам не будут применяться чуждые для них нормативные требования (обеспечение устойчивости функционирования систем связи, организация хранения метаданных и прочее). Это первый безусловный плюс для облачного бизнеса.

Второй ― перспективы увеличения инвестирования в отрасль. Но стоит учитывать, что в этом вопросе многое будет зависеть от реакции рынка на происходящие изменения. При этом предусмотренные новым законодательным актом реестр и классификация позволят дата-центрам рассчитывать на участие в программах государственной поддержки. Инициатива вполне способна обеспечить системный подход к поддержке ЦОД как объектов IT-инфраструктуры, а также она позволит изменить распределение господдержки и селективное финансирование закупок российского оборудования.

Также, с появлением реестра отрасль начнёт работать по единым правилам, а не каждый оператор ― в собственной парадигме. То есть бизнесу станет легче сравнивать поставщиков облачных услуг перед принятием конечного решения, что, безусловно, выгодно и удобно.

А с запретом майнинга в зарегистрированных дата-центрах будет исключена возможность получать льготы и субсидии направленные для поддержки ЦОД.

Кого сильнее зацепит ветер перемен
Большинство существующих дата-центров уже соответствует требованиям Федерального закона №152-ФЗ и Федерального закона №149-ФЗ, а также имеют необходимые сертификаты соответствия в области информационной безопасности. То есть нововведение сильнее всего затронет новых игроков рынка. Именно перед ними встанет вопрос обеспечения надлежащего оформления документации, необходимой для вхождения в реестр (исполнение требований к организации систем резервирования, противопожарной защиты, терморегуляции, отказоустойчивости IT-инфраструктуры). Все эти параметры станут обязательными для вхождения в реестр. А те, кто не сможет соответствовать установленным требованиям, неизбежно сойдут с дистанции. Что касается крупных игроков рынка, у них появится возможность стать ещё сильнее благодаря покупке активов менее конкурентоспособных. Не исключено и создание крупных объединений небольших операторов. То есть отрасль, вероятнее всего, подвергнется существенной реструктуризации.

К слову, благодаря просеиванию через реестр конечным потребителям облачных услуг станет удобнее оценивать уровень зрелости провайдеров и их готовность/неготовность к долгосрочному сотрудничеству.

Цифровое неравенство регионов, до свидания?
Появление реестра и нормативов способно помочь с устранением барьеров для появления дата-центров в российских регионах. Привлекательными для строительства ЦОД окажутся Рязанская, Новгородская и Тверская области. Они уже показывают значительный инвестиционный потенциал, и участвуют в реализации проектов по постройке ЦОД.

Перспективными локациями также способны стать Архангельская и Мурманская области, так как в этих регионах подходящий температурный режим, минимальные геополитические риски, а также Кольская АЭС, благодаря которой можно решить вопрос энергоснабжения. Схожая ситуация наблюдается в Сибири и на Дальнем Востоке.

Высоким потенциалом обладают крупные региональные центры с развитой транспортной доступностью, такие как Екатеринбург, Новосибирск, Казань, Красноярск и Челябинск.

После вступления закона в силу мы надеемся на появление новых точек присутствия и увеличение доступности услуг для региональных клиентов. Однако следует помнить, что строительство ЦОДов напрямую зависит от оптоволоконных сетей и стабильного интернет-соединения… И тут вся надежда на частное инвестирование и доступность мер государственной поддержки регионов.



А напоследок я скажу
Максимально практичным решением для представителей бизнеса, пользующегося облачными сервисами, будет выбор в пользу тех провайдеров, которые уже сейчас соответствуют всем необходимым критериям информационной безопасности. Следует обращать внимание на выполнение требований федеральных законов №149-ФЗ и №152-ФЗ, организацию систем резервирования, противопожарной защиты, терморегуляции, отказоустойчивости IT-инфраструктуры. Так вы сможете обезопасить себя от потери данных и ненужной спешки в случае внезапного краха своего нынешнего поставщика облачных услуг.

Меня зовут Николай Клягин, и я занимаюсь эксплуатацией и обслуживанием слаботочных систем в облачном провайдере Nubes. Проще говоря, я контролирую корректность работы автоматической пожарной сигнализации, системы оповещения и управления эвакуацией, автоматической системы газового пожаротушения, аспирационной системы раннего обнаружения пожара, системы контроля и управлением доступа, видеонаблюдением, охранной сигнализации, структурированных кабельных систем и, наконец, занимаюсь интеграцией этих систем в единую систему.

Все это нужно для высокого уровня безопасности в ЦОДе, а к безопасности у нас относятся очень ответственно. И именно поэтому мне поставили еще несколько интересных задач:

• ограничить доступ к серверным шкафам с нашим облачным оборудованием;
• обеспечить возможность отслеживания состояния дверей;
• настроить выгрузку событий по этим точкам доступа (дверям серверных шкафов).

Оборудование
Весь объект в компании охраняют контроллеры от компании НПО Болид, поэтому реализовывать ограниченный доступ к серверным шкафам было решено с помощью этих же контроллеров. Так проще включить их в общую систему доступа.

Новые точки доступа, которыми и являются контроллеры в наших шкафах, просто включаются в общий интерфейс RS-485 всего здания при помощи прибора С-2000-ПИ. Он позволяет создавать ответвления от общего контура интерфейса, при этом оставляя его изолированным от этих самых ответвлений, и защищает линию связи от искажений.

Из-за того, что эксплуатируемые источники питания были близки к своему пределу мощности потребления, мне пришлось выделить отдельную линию 220В и подключить ее через отдельный РИП-12.

Герконы и замки я использовал от компании Smartec. Замки – потому что подходили их габариты и якоря, а геркон – потому что работал с такой моделью в прошлом.

Геркон нормально замкнутый ST-DM130NC-SL


Электромагнитный замок ST-EL05S


Простое решение для сложной задачи
В решении этой задачи была одна основная проблема: нужно было как-то совместить якорь замка, сам замок, геркон и магнит. Выход оказался простым, но довольно-таки оригинальным.







На фото видно, что замок крепится легко и просто, поближе к заводскому отверстию в шкафу, чтобы в него сразу же убрать питающий кабель

Для крепления якоря к дверце я взял метчик М8 и нарезал в нем резьбу (отверстие есть уже с завода) и накрутил якорь на болт М8 х 35 сзади и М8 х 45 спереди, так как расстояние от стенки двери до конструктива шкафа спереди и сзади разное (для шкафов 600 мм). Для более равномерного давления на перфорированную часть двери я подложил кузовную шайбу М12 снаружи, а внутри шайбу М8 в месте прижатия к двери и притянул гайкой с гроверной шайбой. Якорь накручивается в последнюю очередь и распирается с обратной стороны гроверной шайбой М8 и гайкой.

Таким образом, вылет якоря можно регулировать по резьбе на глубину самого якоря (до 8 мм). За счет пружины в якоре и перфорации, которая пружинит сама по себе, якорь не закрепляется как бы «намертво» и имеет небольшой люфт. Он работает как буфер при закрытии двери, а пружина в якоре издает приятный щелчок при закрытии, который также дает понять, что якорь притянулся к замку и дверь закрыта.

Геркон крепится просто на конструктив шкафа в 4 см от замка, а ответная часть крепится на кусок алюминиевого уголка 30х30 мм. Его необходимо выпиливать самостоятельно и крепить насквозь, через уголок к верхней части двери.

На задней части шкафа геркон крепится аналогично, но в вертикальном положении, а магнит — на саму дверцу, на максимальную глубину, то есть как можно дальше от геркона в закрытом положении двери. Это важно, так как этот геркон будет замкнут на расстоянии от магнита до 40 мм и если не установить его на нужном расстоянии, слегка прикрытая створка двери будет замыкать геркон и впоследствии «Орион Про» выдаст нам сообщение о взломе. А взлома на самом деле не будет.

Со считывателями все гораздо проще. Они просто крепятся туда, куда хочется, но важно учитывать, что считыватель может захватить магнитное поле стоящего поблизости оборудования под напряжением. В моем случае это PDU.

А вообще, во многом, правильность, а порой и в целом работа считывателя в такой сборке зависит от качества самого считывателя. Некоторые дешевые аналоги no-name производителей «едят» все подряд наводки.

Я использовал мультиформатные считыватели Smartec ST-PR041EHM.

Все провода я собрал в черную гофру диаметром 9 мм и закрепил к самоклеящимся площадкам. В местах, где это было возможно, притянул стяжкой через технологические отверстия.

Выглядит установленный и готовый к работе считыватель так:



Сам же контроллер я закрепил внутри шкафа:


Как итог, мы получили СКУД на стойке, которая сможет достаточно крепко держать дверцы и при помощи датчиков двери, отследить все события по нашему шкафу: кто открывал, когда открывал, когда закрыл, взлом, подбор ключа, отключение точки доступа.

Стоимость этого моего творения на момент монтажа и настройки (март — апрель 2025) составила до 25 000 рублей, и эта стоимость может меняться только в зависимости от считывателей, которые вы решите использовать, но только при учете того, что делаем на Болиде, конечно же.

Стоимость РИП-12 с аккумулятором и С-2000-ПИ в этот прайс не входит.

Процесс ПНР в «Орион Про» вы можете найти самостоятельно и думаю, что этим уже никого не удивить.

Возможно, что-то я забыл описать в статье, поэтому готов ответить на вопросы в комментариях.

Всем спасибо за внимание.

Мы рады, что наш труд был высоко оценен профессиональным сообществом. Наше облако развивается каждый день и прирастает новыми опциями.

Впереди у нас еще много работы, а сегодня мы просто порадуемся своим успехам.

Добрый день, дорогой читатель. Меня зовут Селезнев Павел, я инженер второй линии поддержки в облачном провайдере Nubes. С каждой новой статьёй я расту в должности, поэтому пишу ещё одну :-)

Несколько месяцев назад нам с коллегой поставили задачу: провести сравнительные тесты, чтобы проверить, насколько сильно разогреется видеокарта под нагрузкой при использовании воздуха и диэлектрической жидкости.

Об этих тестах я и расскажу в статье, которая должна пролить свет на жизнь GPU в ЦОДе.

Предисловие
Как понятно из названия статьи, речь пойдёт о жизни GPU в контексте ЦОДа (центра обработки данных), проведённых тестах разных вариантов охлаждения и выводах, к которым пришла наша команда по итогу этих самых тестов и рассуждений.

Тестировали мы GPU NVIDIA A16 в течение нескольких дней.

На момент написания материала в нашем ЦОДе реализована система охлаждения посредством использования прецизионных кондиционеров, а в качестве хладагента — фреон.

Данная система представляет собой большие промышленные шкафы (кондиционеры), которые беспрерывно охлаждают нагретый оборудованием воздух с помощью того самого фреона. На картинке упрощённо показан процесс теплообмена.


В своей практике я видел и другие системы: водяные кондиционеры, контуры охлаждения на гликоле, чиллерные установки, рассеивающие тепло. О них тоже можно поговорить отдельно.

Ещё чуть-чуть и перейдём к тестам
Как я и сказал, нам поступила задача проверить рабочие температуры при использовании иммерсионного охлаждения — технологии жидкостного погружения.

Основа принципа не сильно отличается от воздушного охлаждения. Движение охлаждающего вещества (хладагента/иммерсионной жидкости/диэлектрической жидкости) происходит также естественно под действием конвекции (движения тёплых, холодных масс) и также с использованием дополнительных насосов в контуре (тепло рассеивается на внешних блоках). Оборудование полностью погружено в жидкость, исключая контакт с внешней средой.

Также из особенностей отметим, что для монтажа стенда требуется специальная погружная стойка и сервер. У подобного оборудования предусмотрены специальные отверстия для лучшей циркуляции охлаждающей жидкости. Плюс ко всему требуется дополнительная подготовка видеокарты перед подобным использованием — снятие радиаторов и кулеров (если говорить про любимые многими RTX 4090 и подобные). Из-за этого, прошу заметить, пропадает гарантия на оборудование.

Спецификация
Так вот, нам дали возможность пощупать что-то новое и провести сравнительный тест охлаждения под нагрузкой, к результатам которого я так долго подводил.
Спецификация и сухие цифры ниже.
У нас имеются:
NVIDIA A16

• Архитектура графического процессора: NVIDIA Ampere.
• Базовая частота чипа графического ускорителя: 1312 МГц.
• Число универсальных процессоров: 5120.
• Объём памяти: 64 Гб.
• Тип памяти: GDDR6.
• Частота видеопамяти: 12500 МГц.
• Система охлаждения: пассивная.
• TDP: 250 Вт.

2 среды

• Воздушная.
• Жидкостная (в нашем случае был полимер).

Софт для нагрузки видеокарты

• Aida64.
• Furmark.
• Hashcat (нагрузили перебором словарей).

Нагрузка и наблюдение за картами в течение 4 дней по 24 часа в сутки
Самое интересное — иммерсионная жидкость

• Используется диэлектрическая охлаждающая жидкость, полимер низкой вязкости ДОЖ1.
• Горючесть 600 градусов в открытом тигле.
• Температура рабочего диапазона -60С +180С.
• Срок службы не менее 10 лет.
• Уровень испаряемости низкий, поэтому подливать не нужно (если система не даст течь).
• Расчётный механический PUE 1.06.

Тесты
Скрины по результатам тестов ниже.
Воздушное охлаждение





Жидкостное охлаждение





Общая статистика: в таблицу собрал средние значения (то есть среднее по всем четырём ядрам).


Итоги теста

На практике была доказана более высокая эффективность использования жидкостного охлаждения.

Зачем оно всё было надо
На данный момент технологии ИИ развиваются бурно, и для обучения или использования искусственного интеллекта требуются вычислительные мощности. Получается, что ИИ = GPU.

Видеокарты, создание инфраструктуры и её поддержание в рабочем состояние – дорого. Поэтому GPU из облака выглядит довольно «вкусно», особенно предприятиям/компаниям/ИП, которые хотели бы «пощупать» карты в тесте (у нас, например, это 14 дней) или интегрировать ИИ в работу без постройки масштабных комплексов и дополнительных затрат.

Так зачем делали тесты-то? Всё ещё непонятно.
Раз ресурсы GPU востребованы на рынке, то, если один облачный провайдер хочет конкурировать с другими, в своём арсенале эти карточки обязательно нужно иметь. Nubes хочет предоставлять GPU-as-a-Service в большом количестве.

Большое количество графических процессоров – это много тепла и повышенная нагрузка на кондиционеры, которые работают… правильно, от электричества. Оно растёт в цене, следовательно, увеличиваются расходы на эксплуатацию. Жидкостное же охлаждение требует меньше энергии, и это весомая причина рассмотреть такой вариант.

Какие выводы мы сделали
Иммерсионное охлаждение — лучший холод, что, в свою очередь, увеличивает срок эксплуатации оборудования. Да и ёмкости с минеральным маслом шумят меньше, чем кондиционеры. Ещё один существенный плюс — иммерсионное решение не требует «особой» подготовки места: наличие фальшполов для циркуляции холодных воздушных масс, создание изолированных коридоров, место под кондиционеры.

Всё круто, всё здорово, но подходит такой вариант охлаждения не всем, и есть у него ряд существенных «но».

Во-первых, как уже было сказано, для использования такого вида охлаждения нужна подготовка видеокарты. Потребуется снятие термоинтерфейсов и системы воздушного охлаждения. Из-за этого теряется гарантия карточки. Для co-location, например, такой вариант не очень подходит.

Во-вторых, для иммерсионного охлаждения используются специальные сервера, которые по производительности RAM и CPU уступают дефолтным аналогам. Публичное облако на них построить можно, но вариант не приоритетный. Также погружные стойки, которые мы видели, рассчитаны всего на 26U, то есть на 26 позиций для серверов. Под заказ, конечно, сделают и больше, но стандартное решение у ТК «Связь» именно 26U.



В-третьих, жидкостное охлаждение не исключает необходимость установки внешних блоков для отвода тепла и резервирования электропитания.

В общем, вывод такой: технология есть, она эффективная, но далеко не во всех случаях. И нужно взвешивать плюс и минусы, ну и, конечно же, считать выгоду.

nubes.ru

Вот несколько инсайтов от нашего генерального директора Василия Степаненко:

• Всего 3 стойкоместа могут принять нагрузку в 50 кВт. Можно обойтись без межрядных кондиционеров.
• В одну такую стойку вмещается 26 серверов. Каждый можно оснастить 4 картами NVIDIA Tesla H100.
• Практически бесшумная работа (можно размещать хоть в офисном здании!).
• Чтобы установить такую систему охлаждения, придется попрощаться с гарантией производителя, т. к. в процессе установки сервер разбирают, убирают кулеры и меняют термопасту.
• Водяное охлаждение не требует масштабного техобслуживания — только базовый уход.

Для колокейшена такое решение, правда, не подойдет, но для облачного провайдера, специализирующегося на GPU-сервисах (а Nubes именно такой) — это многообещающая технология.

nubes.ru

Да, коммерческий дата-центр — место практически неприступное. И с физической точки зрения, и с информационной. А еще в нем есть резервирование энергоснабжения, современная система охлаждения, надежная телеком-инфраструктура и специалисты, которые помогают ЦОДу работать без сбоев.

Чтобы все это организовать собственными силами, нужно здорово вложиться. И деньгами, и человеческими ресурсами. Для стартапов (да и не только для них) такие затраты — роскошь на грани разорения. Иногда даже в буквальном смысле.

Мы это понимаем, принимаем и в список услуг добавили одну, которая порадует тех, кто не готов в моменте закупать оборудование, нанимать дополнительных людей в ИТ-команду и планирует быстро масштабироваться.

Теперь в Nubes можно взять в аренду сервер. И не просто взять, а взять на выгодных условиях — 90 000 руб/мес.

Конфигурация сервера:

• Серверная платформа 270W (8 U.2-NVMe/SATA+4 NVMe+2 M.2 x 3 PCIe4.0x16+1 PCIe4.0x8 + mezz PCIe4.0x16) — 1
• Intel Xeon Gold 6354 (18 cores, 3.0/3.6 Ghz, 39 MB Cache, 205W TDP) — 2
• 64GB 3200MHz DDR4 RDIMM ECC — 16
• SSD NVMe M.2.2280 PCIe 3,0x4 500 Gb — 1
• SSD U.2 2.5" NVMe 3.84TB PCIe Gen4x4 (7mm) — 8
• Карта 25 Gbps PCIe gen3/gen4 2 порта SFP28 — 2
• Оптический трансивер 25GE-SFP28 Optical Transceiver SR — 4

Что по плюсам?

• Совместим со многими программными продуктами. В том числе с OpenStack (РОСА, RED OS, Astra Linux, ALT Linux, ОСОН Основа и ОСОН Стрелец, Microsoft, RedHat, VMware и др.).
• Универсальный ЗИП, который позволяет быстро устранять проблемы с компонентами, если они вдруг возникнут.
• Обслуживанием и мониторингом оборудования занимаются наши специалисты, и нагрузки на ИТ-команду нет.
• Арендованное оборудование изолируется от всего остального в ЦОДе. Так еще больше повышается уровень безопасности данных.

nubes.ru

Для получения сертификата ЦОДы проверяют не только на устойчивость системы охлаждения, но и на устойчивость энергетической системы.

Как мы справились с этой частью, рассказал наш главный энергетик Олег Царев.

Первый и, наверное, самый важный шаг при прохождении подобных проверок — разработка плана действий каждого сотрудника. А сотрудников, которых мы привлекли к подготовке, было одиннадцать. И это только те, которые трудятся в штате.

Специалисты, которые участвовали в подготовке к сертификации, и их задачи

• Технический директор осуществлял общую координацию.
• Директор по эксплуатации координировал действия дежурной смены.
• Директор по строительству контролировал работу оборудования в ГРЩ.
• Главный энергетик выполнял переключения.
• Старший инженер холодоснабжения следил за работой кондиционеров.
• Специалист по мониторингу следил за его работой.
• Двое дежурных эксплуатации контролировали работу оборудования в машзалах.
• Двое дежурных инженеров и дежурный администратор следили за работой оборудования по мониторингу.

Для удобства мы сконфигурировали отдельный дашборд с отображением всех необходимых при прохождении сертификации параметров:

• Позальная и полная IT-мощность.
• Мощность каждого ГРЩ и полная мощность работающих кондиционеров.
• Мощность работающих ДГУ.
• Температура охлаждающей жидкости в ДГУ.
• Уровень топлива в ДГУ.
• Уровень масла в ДГУ.
• Мощность потребления каждого ЩИБП, ЩР, ЩК.
• Статус ИБП (процент заряда батарей, оставшееся время работы на батареях, потребляемая мощность ИБП, общая и по каждой фазе).

Кроме наших сотрудников, к подготовке мы привлекли по два человека от каждой подрядной организации, обслуживающей оборудование. Они делали необходимые переключения и находились на «боевом» дежурстве на случай возникновения аварийной ситуации.

Специалисты подрядных организаций

• Электрики, обслуживающие РУ 10кВ, отключали и включали по команде силовые трансформаторы, имитируя пропажу городского питания или вывод трансформаторов в ремонт.
• Электрики, обслуживающие низкую сторону, помогали с подключением тепловых пушек.
• Дизелисты контролировали работу ДГУ и выводили их в ремонт.
• Специалисты по ИБП следили за работой ИБП и аккумуляторов, осуществляли разборку ИБП.
• Специалисты по пожарной сигнализации осуществляли вывод системы в ремонт и производили контроль ее работы.
• Инженеры холодильного оборудования следили за кондиционерами.

Основной сложностью при прохождении сертификации было наличие действующих клиентов. Любая ошибка или авария — и работа клиентских сервисов могла бы встать. Права на ошибку не было.

Tier III подразумевает вывод любой единицы оборудования в ремонт без воздействия на критическую инфраструктуру при номинальной нагрузке. Например, одного из трех ГРЩ, одного из трех ДГУ, какого-нибудь ИБП или щитка, питающего АБК. А так как мы относительно молодой ЦОД, нагрузка еще не успела вырасти до номинальной, и пришлось добирать ее тепловыми пушками. Поэтому, чтобы тест прошел успешно, важно было сделать две вещи:

• Рассчитать недостающую нагрузку, чтобы компенсировать ее с помощью пушек.
• Доработать электрические щиты, чтобы была возможность подключить пушки большей мощности.

Вроде все достаточно просто, но и тут есть нюансы.

Во-первых, во время проведения сертификации прерывание мониторинга недопустимо. Поэтому к щитам мониторинга пришлось подводить второе питание.

Во-вторых, найти в необходимом количестве подходящие пушки, которые будут соответствовать проектной мощности стойки, сложно. Поэтому нам пришлось импровизировать и использовать пушки разной мощности. Частью из них, с нами поделились коллеги из Selectel, за что мы им сильно благодарны.

Наши сотрудники устанавливали маломощные пушки прямо в пустые стойки клиентов, предварительно получив их согласие. В большинстве случаев клиенты понимали важность сертификации и шли навстречу, но были и исключения. Тогда нам приходилось размещать пушки в других местах.

В-третьих, для подключения пушек нужны удлинители, с которыми тоже были сложности. Нам не хватило длины проводов, поэтому пришлось экстренно искать кабели, груши и людей, которые все это соберут воедино.


В-четвертых, постоянно менялась схема расстановки пушек, нужно было быстро реагировать и перемещать их.

В-пятых, у тепловых пушек есть своего рода «климат-контроль», который отключал их, когда температура вокруг становилась достаточно высокой. Из-за этого нам пришлось ставить дополнительные пушки, чтобы компенсировать мощность отключившихся.

Переключать питание пушек во время тестов по отключению одного из лучей — отдельный аттракцион, на который ушло много ресурсов. Все потому, что необходимо было сохранить номинальную нагрузку, а мест для подключения становилось меньше.

Очень опасным в плане надежности электроснабжения был тест с поочередным выведением в ремонт ДГУ. У проводящего сертификацию специалиста были считанные минуты на проверку выполнения теста, пока электроснабжение осуществлялось от аккумуляторных батарей.

Кстати, про ДГУ! Во время тестов именно они должны питать ЦОД, а не городская сеть. Поэтому крайне важно было следить за уровнем топлива постоянно. Здесь все достаточно просто: договорился с поставщиком, согласовал график подвоза топлива, заправил. Мы это делали каждую ночь в моменты перерывов между тестами. Так день начинался с полностью заправленными машинами, и можно было не переживать, что во время теста топливо закончится, и питание отключится.


Да, мероприятия подобного рода — серьезная вещь, но место забавным ситуациям все-таки нашлось.

• Мы разработали план действий на случай аварийного отключения питания. Этот план должен был снизить перегрев оборудования. Суть его была в том, что, услышав команду «Восстанавливаемся» по рации или в чате, сотрудники должны отключить тепловые пушки.
• Исполнитель отключил ИБП, замерил показатели и доложил о готовности к включению. В ответ получил: «Восстановление подтверждаю».
• Из-за схожести команд «Восстанавливаемся» и «Восстановление подтверждаю» случилась путаница. Сотрудники начали отключать пушки. Это показали датчики мониторинга — нагрузка в залах упала.
• Демонстрацию пришлось переделывать, и мы поняли: команды должны звучать максимально по-разному. Поэтому в следующий раз использовали кодовое слово «банан».

На этом история про аудит заканчивается, но работа над улучшениями продолжается. Ведь следующий шаг — получение сертификата Tier III Operations.

Представьте себе квест, где вам нужно превратить обычный дата-центр в настоящую холодильную камеру, при этом не заморозив клиентское оборудование и не устроив тропический рай там, где должен быть технологический холод. Или, например, нагрузить ЦОД по максимуму, а потом отключать источники питания, да так, чтобы все продолжало работать. И всё это под пристальным взглядом аудиторов, готовых придраться к каждому градусу!

В сентябре ЦОД Nubes прошел этот квест, чтобы заслужить сертификат Tier III Facility от UpTime Institute. И двое наших ребят поведали, как войти в ~5% дата-центров в мире, которые прошли проверку с находящимися в нем клиентами.

В этой статье Алексей Сидоров, старший инженер холодоснабжения, поделился своей историей и рассказал, как выжить в условиях, когда тепловые пушки и серверные стойки играют в свою версию «кошки-мышки», а система мониторинга решила устроить День независимости. Запасайтесь попкорном (только не кладите его близко к серверам) — будет жарко! Точнее, холодно. В общем, читайте сами!

Кто сильнее: тепловые пушки или кондиционеры?

Генеральный директор и директор по эксплуатации ЦОД поставили команде задачу — пройти аудит и получить сертификат Tier III Facility. Это важный для компании документ, который открывает двери для сотрудничества с самыми требовательными клиентами. Так как мы молодой провайдер, получить этот сертификат крайне необходимо.

У меня и моей команды подобного опыта раньше не было, и, если честно, я нервничал. Нервничал и активно готовился к проверке.

Глобально задача у старшего инженера холодоснабжения одна — привести все системы кондиционирования в «боевую» готовность, выйти на максимальную тепловую нагрузку и «простоять» на ней всю неделю, отключая резервные узлы согласно схеме резервирования. Плюсом надо было довести до идеала систему мониторинга и оповещения.



Кажется, что не так уж все и сложно. Пушки по всему ЦОДу врубил, кондиционеры активировал и ждешь себе спокойно семь дней. И так бы, может, оно и было, только первая и самая большая сложность в том, что дата-центр уже функционирует и в нем стоят десятки клиентов. Одна ошибка – и последствия будут печальными для всех.

А давайте-ка включим все на полную мощь и посмотрим, как все будет работать

Подготовка к аудиту — чудесная возможность увидеть недочеты и исправить их. В процессе тестирования мы столкнулись с неочевидными проблемами, которые в штатном режиме вряд ли бы заметили. Вот на что стоит обращать внимание:

1. При запуске всех прецизионных кондиционеров на полную обнаружились недостатки, которые мы не увидели в процессе комплексных испытаний. Например, время выхода компрессора на полную мощность после имитации пропажи питания достигало порядка 10 минут и температура поднималась до пиковых значений по условиям SLA. Нам пришлось долго изучать параметры и экспериментировать с конфигурациями, чтобы найти оптимальные настройки. После внесения корректировок время выхода кондиционера в нужный режим сократилось с 10 до 3 минут.

2. На дашборде мониторинга не отображались некоторые незначительные алармы кондиционеров, местами не соответствовала цветовая индикация, а расположения двух датчиков не соответствовали мнемосхеме. Разумеется, это все мы поправили.



3. На момент аудита в залах уже были клиентские стойки, что очень сильно ограничивало нас в плане размещения пушек. Их необходимо много, и размещать пушки важно так, чтобы поток горячего воздуха не перегревал клиентские стойки. Для этого мы решили изготовить «холодные» коридоры. Но так как количество времени было ограничено, мы могли использовать только те материалы, которые можно достать сверхбыстро. Армированная пленка, профиль и скотч — идеальные варианты!


Минусы, конечно, тоже были. Структура стоек оказалась слишком фактурной, скотч держался плохо, и приходилось постоянно подклеивать образовавшиеся отверстия. В целом такое решение себя полностью оправдало. Прибегнул бы я к нему в схожей ситуации? Однозначно да!


4. Когда кондиционеры начали работать на полную мощность, обнаружилась проблема с LAC-клапанами. После долгого простоя, рабочий шток внутри клапана закисал, оставляя клапан в открытом положении. Кондиционеры с избыточным количеством хладагента вставали по высокому давлению. А так как времени у нас было немного, приходилось буквально «перекусывать» трубки клапана, чтобы принудительно его закрывать. Клапаны, естественно, поменяли на новые.

Хорош не тот, кто не делает ошибок, а тот, кто делает выводы!

В конечном итоге, как вы уже поняли, все у нас получилось, но определенные выводы мы сделали. И если вы, как и я, отвечаете за холод в дата-центрах, то дочитайте до конца.

• Вывод №1. Проходить сертификацию Tier III Facility лучше до того, как в ЦОД заедут клиенты, чтобы не возникало опасности перегрева клиентского оборудования.
• Вывод №2. Подготовку к аудиту нужно начинать за 3-4 месяца.
• Вывод №3. Тестирование с последовательным отключением по уровню N+1 могло бы помочь выявить проблему со скоростью выхода компрессора на полную мощность раньше. Но из-за недостаточной нагрузки в дата-центре такой тест проводился в ограниченном режиме.
• Вывод №4. Важно фиксировать все изменения конфигураций, следить за количеством заправленного фреона, мониторить систему на предмет утечек и требовать от подрядчика официально оформленных объяснений, в случае если есть вопросы и сомнения.
• Вывод №5. При приемке оборудования необходимо сымитировать как можно больше ошибок в работе систем холодоснабжения, чтобы проверить их идентичность с системой мониторинга. Да и вообще, все оборудование нужно принимать строго по чек-листу.
• Вывод №6. Во время пусконаладочных работ клапан необходимо тщательно осматривать. Например, скрип при его работе — явный признак некачественного монтажа, что в дальнейшем приведет к его поломке.

nubes.ru/dc/colocation

Облачный провайдер Nubes (НУБЕС) планирует запустить новый ЦОД Nubes Strato в сентябре 2024 года. Дополнительные вычислительные мощности будут использоваться для развития облака NGcloud и облачных сервисов компании. Кроме того, клиенты смогут арендовать часть стоек для гибридных решений.

Дата-центр на 198 стоек строится на огороженной территории на юге Москвы (м. Царицыно). Новый объект находится рядом с Nubes Alto — первым ЦОД компании, который был запущен в 2022 году.

Запуск нового дата-центра планируется в сентябре 2024 года. На текущий момент в помещениях проходит монтаж инженерной инфраструктуры. В ближайшее время на площадке будут установлены источники бесперебойного и гарантированного электроснабжения (ДГУ). Параллельно провайдер занимается закупкой вычислительного и сетевого оборудования.

Мы строим второй дата-центр для расширения наших возможностей по предоставлению клиентам гибридных решений. Также на базе Nubes Strato продолжит развиваться наше облако нового поколения NGcloud со встроенными средствами защиты, а клиенты смогут размещать собственное оборудование в стойках и интегрировать его с облаком

рассказывает генеральный директор компании Nubes (НУБЕС) Василий Степаненко

Пока защищенное облако NGcloud функционирует на базе ЦОД Nubes Alto уровня Tier III. Здесь же развернуты все облачные ИБ-сервисы компании, а также решения для удаленной работы, хранения данных и других задач. Кроме того, в дата-центре Nubes Alto клиенты размещают собственное серверное и телеком-оборудование (colocation).

nubes.ru/cloud/resources/ngcloud