Как в одной стойке мы разместили не 8, а 21 сервер на Core i9 и Ryzen 9
Мы уже писали о том, как придумали использовать десктопные компоненты в серверных стойках. Сегодня рассказываем об очередном вызове — компоновке высокпроизводительного железа с водяным охлаждением.
Привет! На связи Виталий, дежурный системный инженер дата-центра в Selectel.
Продолжаем тему, поднятую в наших предыдущих публикациях, где мы говорили об уплотнении серверов линейки ChipCore и усмирении Ryzen® в мини‑корпусе. Сегодня углубимся в специфику размещения по‑настоящему мощного оборудования. Напомню, нашей главной целью было эффективно использовать стандартные 19‑дюймовые серверные стойки для размещения систем, собранных из высокопроизводительных десктопных компонентов. Очевидно, что для решения этой задачи, разработки собственного корпуса не избежать.
В отличие от прошлых проектов, появилась новая особенность — железо экстремальной производительности с потребляемой мощностью, значительно превышающей стандартные показатели TDP в 180 Вт. Конфигурации на базе процессоров Intel Core® i9-13900K или AMD Ryzen® 9 7950X с 128 ГБ памяти DDR5 и быстрыми NVMe-накопителями по 2 ТБ — настоящие «печки». Было изначально понятно, что без жидкостной системы охлаждения (СЖО) в этот раз не обойтись.
При создании серверов подобного уровня производительности мы сперва взяли стандартный корпус форм-фактора Tower АТХ. Он был оснащен СЖО — чаще всего мы брали модели MSI P240 и С240, которые хорошо справлялась с отводом тепла.
Возникла существенная проблема — нерациональное использование пространства внутри стандартных серверных шкафов. В 19-дюймовую стойку удалось установить максимум восемь–девять таких устройств. Этот факт стал значимым ограничением, ведь уровень заполнения стойки не превышал отметку в 18−20%. Такой подход вынудил нас искать пути улучшения компоновки.
Рассмотрим возможные способы увеличения плотности установки серверов аналогичного уровня производительности и энергозатрат. Важно: необходимо сохранить при этом высокую эффективность теплоотвода и надежность функционирования.
Slim Tower
Первоначальная модернизация предполагала создание специального шасси и монтажной панели. Корпус изготавливался методом лазерной резки и гибки из оцинкованного стального листа марки SGCC толщиной 1,2 мм с последующей порошковой окраской.
При разработке мы в значительной степени опирались на предыдущий опыт создания корпусов, о котором уже рассказывали в других статьях.
Высота получилась два юнита (2U). Поскольку корпуса расположились вертикально, их ряд занял 7,5U. Хотя общий объем увеличился по сравнению со стандартным АТХ с горизонтальным размером около 5U, такая компоновка вместила четыре мощнейших вычислительных узла на одной полке.
Вертикальный размер U = 1,75″ ≈ 44,45 мм.
Соответственно: 2U ≈ 9 см, 5U ≈ 22 см, 7,5U ≈ 33 см.
Для отвода тепла мы воспользовались системой жидкостного охлаждения с двухсекционным радиатором. При первичной отладке прототипов степень охлаждения поверхностей измеряли простым пирометром. Ни в одной точке он не зафиксировал температуру выше 85 5°C.
После финальной доработки наш смежный отдел тестирования оборудования провел полную серию нагрузочных испытаний. Они применяют специализированное программное обеспечение, которое доводит все компоненты до предельных режимов. Детали своей работы ребята не раскрывают, но финальный отчет подтвердил — система охлаждения полностью справляется с задачей, имеет стабильные показатели и не допускает перегрева никаких компонентов.
Блок питания размещался непосредственно внутри платформы. Такое решение дает дополнительное охлаждение и самого блока, и радиаторов СЖО воздухом из холодных коридоров серверной комнаты.
Для понимания среды, в которой работают серверы, отвлечемся на небольшое техническое описание горячих и холодных коридоров.
Стойки стоят плотными рядами. Их передние панели смотрят друг на друга и образуют «холодный коридор». Задние части также обращены друг к другу и формируют «горячий коридор».
Через перфорированные плиты фальшпола охлажденный воздух подается в холодный коридор. Затем он забирается вентиляторами систем охлаждения серверов и проходит через компоненты оборудования. Наконец, отобравший тепло воздух выбрасывается в изолированный горячий коридор. Оттуда поток возвращается к прецизионным кондиционерам для охлаждения и повторения цикла.
Система питания построена на связке двух компонентов:
- DELTA STS30002SR — автоматический ввод резерва в стойках;
- Tesla Power TP-STD-C20A04В — блоки распределения питания.
Продуманная конструкция платформ позволила использовать существующие кабели питания стандартной длины. Нам не пришлось усложнять кабель-менеджмент, изготавливать или заказывать что-то особенное — это еще один плюс к эффективности решения.
Внутри же платформ установлен кабель питания собственной разработки С13−С14 длиной 0,6 м с возможностью крепления его к корпусу и вставкой с плавким предохранителем.
Для удаленного контроля по‑прежнему используются внешние IP-KVM, о которых мы недавно подробно рассказали в статье.
Несмотря на успешность решения, необходимость в дальнейшем повышении компактности не отпала. Требовалось уменьшить размеры конструкции, сохранив возможность установки сетевых карт и компонентов.
UltraSlim
Вторая модификация продемонстрировала значительное улучшение эффективности. За счет уменьшения толщины конструкции на одной монтажной панели теперь удается разместить пять серверных платформенных блоков вместо прежних четырех.
Дополнительным преимуществом стала интеграция поддержки трехсекционного жидкостного охлаждения, что существенно увеличило потенциал теплоотвода.
Однако возникает закономерный вопрос: как оптимизировать размещение серверов, оснащенных графическими ускорителями? Решение найдено.
FatSlim
Разработанный нами новый корпус стал значительным прорывом — появилась возможность интегрировать видеокарты шириной до 142 мм и длиной до 337 мм. Внутри предусмотрено пространство для установки как двух-, так и трехсекционных систем жидкостного охлаждения. Остались посадочные места и для сетевых карт.
Крепление для видеокарт и карт расширения было скопировано с обычного ATX корпуса так, чтобы можно было устанавливать видеокарту без дополнительных кронштейнов.
Поскольку современные видеокарты отличаются высоким энергопотреблением и тепловыделением, мы применили комбинированный подход к монтажу: шесть мощных платформ типа FatSlim и пятнадцать облегченных моделей UltraSlim. Такое решение позволило равномерно распределить тепловую и электрическую нагрузки по всей стойке.
Итоги
Итак, завершилась разработка нашего нестандартного корпуса для высокопроизводительных серверов. Мы смогли кардинально переосмыслить использование стоечного пространства. Итоговая конфигурация из шести платформ FatSlim и пятнадцати UltraSlim позволила разместить 21 сервер в одной стойке. При этом плотность размещения оборудования увеличилась на 163%. Получился идеальный баланс между производительностью, компактностью и эффективностью охлаждения. Оборудование уже пользуется спросом у клиентов.
На данный момент не видится дальнейших идей по уплотнению — текущее решение полностью нас удовлетворяет. Нет никаких причин что-то исправлять или улучшать в обозримом будущем.
Впрочем… нет предела совершенству. Возможно, через несколько месяцев вы увидите новую статью о том, как мы еще улучшили компоновку высокопроизводительных десктопных компонентов для специальной линейки ChipCore.
