Каждый современный сервер работает под высокой нагрузкой и выделяет от 250 Вт тепла. Чтобы обеспечить надежность и производительность оборудования, важно поддерживать оптимальную температуру.
Рассказываем, что помогает нам избежать перегрева серверов и как работают системы охлаждения в дата-центрах, где мы размещаем оборудование.
Дата-центры Tier III
Всё оборудование мы размещаем в дата-центрах, которые соответствуют стандарту Tier III.
Такие ДЦ обладают вспомогательным (дублирующим) охлаждением и работают по принципу не менее чем N+1, а в некоторых случаях N+2 или даже 2N – если один элемент системы охлаждения ЦОД выходит из строя или обслуживается, остальные продолжают поддерживать требуемую температуру, поскольку нагрузка распределяется между оставшимся оборудованием.
Выход одного элемента из строя не приводит к существенным изменениям температуры – фреоновое охлаждение отличает гибкость и отказоустойчивость, элементы системы независимы друг от друга, а резервирование позволяет производить ремонт поломок кондиционеров без ущерба для серверного оборудования
Владимир Мыскин, заместитель руководителя отдела эксплуатации ЦОД “Миран”
Мониторинг и инспекция серверного оборудования
Регулярный контроль за оборудованием позволяет своевременно выявлять неисправности и предотвращать сбои.
В дата-центрах осуществляется круглосуточный контроль работы оборудования в режиме 24/7 – например, в дата-центре NLS все критические события и аварийные ситуации автоматически дублируются уведомлениями в Telegram, что позволяет оперативно реагировать на любые изменения.
Инспекция серверного оборудования осуществляется и в других дата-центрах – например, в ЦОД “Миран” дважды в сутки проводятся визуальные осмотры оборудования, раз в квартал – обслуживание с замерами рабочих параметров и ежегодно – планово-предупредительные ремонты.
Для профилактического обслуживания систем охлаждения действуют регламенты, согласованные и утвержденные службой эксплуатации и подрядной организацией. Они основаны на инструкциях и рекомендациях производителя оборудования. Решение о замене оборудования принимается в зависимости от срока эксплуатации единицы (учитывается фактическая нагрузка и рекомендации вендора) и ее аварийности – обращаем внимание на то, как часто возникает аварийная ситуация, с какими последствиями и какова стоимость поэлементного ремонта
Владимир Мыскин, заместитель руководителя отдела эксплуатации ЦОД “Миран”
В систему мониторинга дата-центра “РТК-ЦОД” стекаются сигналы от всего инженерного оборудования. Инженеры круглосуточно отслеживают основные показатели работы: состояние систем энергоснабжения и кондиционирования, климат в каждом зале, физическую безопасность. Для наблюдения за многими параметрами в центре мониторинга оборудована видеостена. У дежурных в диспетчерской также стоит отдельный монитор для слежения за системой.
Системы с холодными и горячими коридорами
В ЦОДах серверные стойки размещаются таким образом, чтобы потоки холодного и нагретого воздуха были физически разделены: холодный воздух подается к передней части серверов через холодные коридоры, а горячий – отводится через горячие коридоры, не смешиваясь с охлажденным потоком.
Подобная система охлаждения для сервера обеспечивает рациональное распределение воздушных потоков.
Холодные и горячие коридоры – это уже стандартная система организации воздушных потоков, повышающая эффективность системы отвода теплоизбытков: холодный и горячий воздух максимально разделены, что обеспечивает серверы воздухом нужной температуры, а кондиционеры защищает от зацикливания
Владимир Мыскин, заместитель руководителя отдела эксплуатации ЦОД “Миран”
Отгороженный холодный коридор между двумя рядами стоек в ЦОД “Миран”
Перфорированные плиты фальшпола, через которые в холодный коридор подается охлажденный воздух в ЦОД “Миран”
В дата-центре “РТК-ЦОД” стойки в залах также расставлены по принципу горячих и холодных коридоров. Оборудование выбрасывает нагретый воздух в горячий коридор и забирает охлажденный воздух из холодного коридора через перфорированные плитки фальшпола.
Поддержка оптимальной температуры в серверном зале
Каждый лишний градус может снизить срок службы оборудования и увеличить риск внезапного отказа в самый неподходящий момент, поэтому за температурой важно следить.
Например, в дата-центре “
РТК-ЦОД” в каждом холодном коридоре поддерживается температура 23±2 °C и влажность 30–70%.
В ЦОД “
Миран” оптимальной температурой серверного зала считается 22±2 °C в холодном коридоре (на входе в серверный шкаф), а PUE (Power Usage Effectiveness – показатель оценки энергоэффективности) поддерживается в диапазоне 1,4–1,6. При этом следить за показателями помогают датчики температуры и влажности: они расположены на дверях серверных стоек на высоте 1,4–1,6 м с шагом 3–4 стойки – таким образом происходит условное зонирование коридора.
Также в конце прошлого года оператор коммерческих центров обработки данных IXcellerate, где мы размещаем облачные гипервизоры, запатентовал инновационное устройство для охлаждения высоконагруженных машинных залов ЦОДов, которое позволяет:
- исключить риски перегрева высоконагруженного ИТ-оборудования;
- повысить энергоэффективность и обеспечить охлаждение ЦОД;
- снизить потребление электроэнергии за счет оптимизации системы;
- достигнуть оптимального температурного графика теплоносителя.
Учет тепловой нагрузки серверов
При подборе оборудования мы учитываем показатель TDP каждого компонента согласно спецификациям производителя. Таким образом можно заранее рассчитать тепловую нагрузку и подобрать систему, которая обеспечит охлаждение для сервера с необходимым запасом производительности. В результате оборудование работает в оптимальном температурном режиме даже при высоких нагрузках.
Ряд прецизионных кондиционеров, установленных в серверном зале ЦОД “Миран”
Кроме того, дата-центры оборудованы современными устройствами для охлаждения:
- в ЦОД “Миран” используется фреоновое охлаждение прецизионными или полупромышленными кондиционерами (CRAC/DX);
- в дата-центре NLS функционируют чиллеры HiRef и кондиционеры Conteg, зарекомендовавшие себя как надежные решения для объектов с повышенными требованиями к отказоустойчивости и контролю микроклимата;
- в дата-центре “РТК-ЦОД” охлаждение оборудования обеспечивает чиллерная схема холодоснабжения с этиленгликолем в качестве теплоносителя, при этом все элементы зарезервированы по схеме N+1.
Контроль воздушных потоков в серверных стойках
Неиспользуемые юниты и промежутки между серверами закрываются специальными заглушками, которые предотвращают смешивание холодного и горячего воздуха внутри стойки.
Такой подход снижает риск локального перегрева серверов и помогает поддерживать стабильную температуру даже при высокой плотности размещения оборудования.
Заглушки, закрывающие пустующие юниты для исключения паразитных перетоков горячего воздуха в ЦОД “Миран”
Мы тщательно контролируем воздушные потоки внутри стоек. Во-первых, серверы оборудованы системой активной вентиляции и самостоятельно прогоняют через себя необходимый объем воздуха. Во-вторых, у нас внедрена система изолированных холодных коридоров, куда воздух от кондиционеров нагнетается с избыточным давлением и естественным образом проходит через серверные шкафы, охлаждая оборудование без собственных вентиляторов. И, наконец, в-третьих, для исключения паразитных перетоков горячего воздуха пустующие юниты закрываются заглушками, а прочие зазоры заполняются теплоизолирующим материалом
Владимир Мыскин, заместитель руководителя отдела эксплуатации ЦОД “Миран”
Заключение
Охлаждение – одна из крупнейших постоянных статей расходов дата-центров.
При этом со своей стороны мы совместно с партнерами делаем всё для предотвращения перегревов и контроля температурного режима серверов – чтобы гарантировать бесперебойную работу ваших сервисов.
В будущем мы более подробно расскажем, как устроена инфраструктура дата-центров, где мы размещаем оборудование, и какие технологии помогают обеспечивать бесперебойную работу серверов даже при высоких нагрузках.
beget.com/ru/
