Для работы серверам необходимо питание. Каждая миллисекунда отключения питания приводит к простою сервера. Вот почему современные центры обработки данных используют сложные системы питания, чтобы поддерживать ваши проекты в режиме онлайн, даже если возникают проблемы с основным источником питания.
Давайте рассмотрим, как эти системы делают возможным такой уровень надежности. В статье ниже вы узнаете:
- Проектирование систем электроснабжения центров обработки данных
- Различные способы обеспечения избыточности питания
- Что произойдет, если отключится основное питание?
- Как системы резервного копирования поддерживают работу ваших серверов
- Почему современное управление питанием имеет значение для ваших проектов
В этой статье мы будем использовать Hub Europe, наш флагманский центр обработки данных, в качестве примера, чтобы показать вам, как работает электропитание центра обработки данных не только в теории, но и на практике.
Требования к электропитанию центра обработки данных
Центры обработки данных потребляют огромное количество электроэнергии — столько же, сколько тысячи домов вместе взятых. Вашим серверам, а также системам охлаждения и другой инфраструктуре нужны мегаватты электроэнергии, поставляемой надежно и круглосуточно. Для сравнения: центр обработки данных мощностью 3,1 МВт, такой как Hub Europe, потребляет примерно столько же электроэнергии, сколько небольшой город.
В то время как дом может без особых проблем пережить периодические отключения электроэнергии, центры обработки данных должны поддерживать рабочую нагрузку, которую клиенты выполняют на серверах, расположенных внутри.
Система уровней надежности
Способ, которым обеспечивается эта постоянная мощность, был кодифицирован Uptime Institute в уровневую систему. Различные уровни центров обработки данных предлагают существенно разные уровни надежности:
Центры обработки данных Tier I обеспечивают базовую емкость без избыточности. Они имеют один путь для питания и охлаждения, обеспечивая 99,671% времени безотказной работы (до 28,8 часов простоя в год). Во время обслуживания эти объекты должны полностью отключаться, что делает их пригодными только для некритических рабочих нагрузок.
Центры обработки данных Tier II добавляют некоторые избыточные компоненты, но по-прежнему поддерживают единый путь распределения. Они предлагают 99,741% времени безотказной работы (до 22 часов простоя в год). Хотя они включают избыточные критические компоненты питания и охлаждения, им не хватает нескольких путей распределения, необходимых для одновременного обслуживания.
Для центров обработки данных уровня III требуется:
- 72-часовое резервное питание на случай длительных отключений электроэнергии
- Избыточность N+1: каждая критическая система должна иметь как минимум одну дополнительную резервную копию, которая может взять на себя всю нагрузку исходной системы. Это позволяет проводить обслуживание, не прерывая ваши услуги.
Вышеуказанные стандарты призваны обеспечить 99,982% времени безотказной работы. Это до 1,6 часов потенциального простоя в год.
Принципы Tier III реализованы в нашем центре обработки данных Hub Europe, где есть двойные линии питания, несколько резервных систем и независимые пути питания для обеспечения питания на всем пути к вашим серверам. Система устроена как сеть подземных магистралей, по которым электричество подается через отдельные защищенные туннели. Даже если одна «дорога» блокируется, электричество продолжает бесперебойно течь по альтернативному маршруту.
Путешествие энергии через центр обработки данных
Энергия проходит тщательно спланированный путь от коммунальных компаний до серверов в центре обработки данных. Давайте проследим этот путь через каждый этап, чтобы лучше понять поток энергии.
От коммунального предприятия к объекту
Электроэнергия поступает через высоковольтные линии электропередач – обычно от 2 до 30+ киловольт. Аналогичные требования к электропитанию можно найти в торговых центрах, региональных больницах, университетских кампусах и на предприятиях тяжелой промышленности, таких как сталелитейные заводы или химические заводы.
Современные центры обработки данных, такие как Hub Europe, используют два независимых канала для резервирования. Каждое подключение 20 кВ создает собственную цепь питания с выделенным оборудованием — если одно подключение к сети выходит из строя, ваши серверы продолжают работать на другом.
Трансформаторы преобразуют входящее высоковольтное электричество в уровни, которые может использовать объект, понижая его до 480 вольт. Это создает два полностью независимых пути питания с самого первого этапа. Для сравнения, бытовой электронный трансформатор, который питает ваш ноутбук (обычно преобразуя напряжение розетки в 19 вольт), выполняет ту же основную функцию, что и эти огромные блоки центра обработки данных, но в крошечных масштабах — обрабатывает ватты вместо мегаватт.
Полная цепочка питания создает несколько точек преобразования, каждая из которых понижает напряжение до более управляемых уровней:
- Напряжение сети (20+ кВ на входе в центр обработки данных)
- Распределение мощности (480 В после преобразования трансформатора)
- Уровень оборудования (400 В в современных установках или 208 В в традиционных установках)
- Питание, готовое для сервера (обычно 208 В/120 В однофазное или 400 В/230 В трехфазное в зависимости от требований сервера)
Каждый шаг снижает напряжение до более управляемых и безопасных уровней, сохраняя при этом мощность, необходимую для работы серверного оборудования. Современные серверы обычно имеют блоки питания, которые принимают диапазон напряжений (100-240 В), что позволяет им работать эффективно независимо от незначительных изменений в конечном питании.
Центральный распределительный пункт
От трансформаторов электроэнергия поступает в центральный узел (например, в систему Low Voltage Main Distribution – LVMD – в случае Hub Europe). Эта сложная система объединяет функции распределения электроэнергии и переключения передачи в одном центральном узле. Она действует как контроллер трафика, направляя электроэнергию по нескольким путям:
- Через системы бесперебойного питания к вашим серверам
- Непосредственно к системам объекта, таким как охлаждение
Он также обрабатывает дополнительные / альтернативные источники энергии – в случае Hub Europe, например, солнечную батарею мощностью 250 кВт и аварийный дизельный генератор. Говоря о солнечной энергии в Hub Europe, 250-киловаттная батарею вырабатывает достаточно электроэнергии для питания около 125 домов одновременно.
Солнечная батарея — это лишь часть более широких инициатив по устойчивому развитию, реализуемых в Hub Europe, которые позволили Contabo подать заявку на сертификацию ISO 50001 для Hub Europe в качестве подтверждения нашей приверженности устойчивому развитию.
Системы защиты и резервного копирования
В состав LVMD входят компоненты автоматического переключения нагрузки (ATS). Эти компоненты постоянно контролируют качество входящей мощности, следя за:
- Полная потеря электроэнергии (отключение электроэнергии)
- Падения напряжения (провалы)
- Краткосрочные колебания
При отключении электроэнергии последовательность событий обеспечивает работу серверов:
- Системы ИБП активируются в течение миллисекунд, обеспечивая мгновенное резервное питание
- Аварийные генераторы запускаются немедленно, начиная процедуру прогрева.
- В течение следующих 10–15 секунд генераторы достигают полной скорости и стабильной производительности.
- АВР постоянно контролирует качество электроэнергии генератора.
- После стабилизации мощности генератора ATS переключает серверы с ИБП на питание от генератора.
- При восстановлении электроснабжения система ATS проверяет его стабильность перед обратным переключением.
- Во время этих переходов серверы продолжают работать без перебоев.
- Генераторам обычно требуется несколько секунд, чтобы достичь полной мощности и стабилизироваться. В течение этого переходного периода системы ИБП заполняют пробел, гарантируя, что серверы никогда не заметят переключения.
Подход к ИБП различается в зависимости от объекта — некоторые используют системы на основе батарей, обеспечивающие до 15 минут питания, в то время как другие используют маховиковые системы для более короткого покрытия. Hub Europe, наш пример, использует ИБП на основе батарей.
Сама система ИБП избыточна для дополнительной защиты и обслуживания без последствий. Двойные пути ИБП создают две полностью независимые системы защиты питания для ваших серверов. В Hub Europe это означает, что ваше оборудование получает питание от двух отдельных систем ИБП одновременно, каждая из которых способна справиться с полной нагрузкой, если другая выйдет из строя.
Когда один ИБП нуждается в обслуживании, серверы продолжают работать на втором пути без перерыва. Этот подход с двумя путями устраняет отдельные точки отказа в системе защиты питания — если один ИБП испытывает проблемы с батареями, электроникой или нуждается в обновлении прошивки, резервный ИБП поддерживает бесперебойную работу всего.
Окончательная поставка
Напольные блоки распределения питания (PDU — устройства, распределяющие электроэнергию по нескольким единицам оборудования в центре обработки данных) выполняют следующее преобразование напряжения. Они понижают напряжение с 480 В до 400 В (в современных помещениях) или до 208 В (в традиционных установках). Вариант 400 В снижает потери мощности во время распределения, повышая общую эффективность.
От PDU, Remote Power Panels (RPPs) распределяют питание по выделенным цепям, каждая из которых защищена собственным выключателем. В то время как традиционные объекты подают питание через кабели под полом, некоторые новые центры обработки данных используют системы воздушных шин для более гибкой подачи питания.
В каждой стойке силовые кабели заканчиваются в стандартизированных выходных коробках, установленных в верхней или нижней части серверного шкафа. Эти коробки подключаются к двум отдельным стоечным PDU — по одному от каждой цепи питания. Современные серверы используют преимущества этой двойной схемы питания с помощью резервных источников питания. Каждый источник питания подключается к разным PDU, получая питание от отдельных цепей. Если в какой-либо из цепей возникают проблемы, сервер автоматически работает полностью на оставшемся источнике питания без перерыва.
Избыточность в действии
Как мы видели, современные центры обработки данных используют несколько уровней защиты для поддержания питания в случае возникновения проблем. Чтобы проиллюстрировать это, давайте подробнее рассмотрим, как все работает в Hub Europe при возникновении различных сценариев.
Избыточность в действии
Нормальные операции
В стандартном режиме работы мощность поступает из первичной точки поставки 20 кВ через систему подачи и трансформатора мощности, а также фотоэлектрическую батарею. LVMD получает 3,1 МВт мощности от трансформатора (дополненную до 250 кВт от солнечной энергии) и распределяет ее по трем путям:
- Через линию 1 к системе ИБП
- Через линию 2 как резервный путь ИБП
- Непосредственно к системам объекта, таким как охлаждение и освещение
Если основная точка подачи питания выходит из строя, резервное соединение 20 кВ активируется автоматически. Переход происходит плавно через систему подачи питания, поддерживая постоянную подачу питания во все системы.
Полный отказ коммунальных служб
В редкой ситуации, когда выходят из строя оба источника электропитания, задействуются несколько систем:
- Система ИБП обеспечивает немедленное питание критических нагрузок
- Активируется аварийный генератор мощностью 3,1 МВт
- Обходная схема позволяет при необходимости напрямую подключать генератор.
- Солнечная энергия продолжает поставлять до 250 кВт в LVMD, если это возможно
Поддержание без перерыва
Помимо сценариев отключения электроэнергии, дата-центры требуют регулярного обслуживания для обеспечения надежной работы. Это включает замену батарей ИБП, тестирование генераторов и управление топливом, проверки компонентов распределения электроэнергии и модернизацию инфраструктуры. Избыточная конструкция Hub Europe означает, что эти важные действия происходят без влияния на серверы. Например, во время обслуживания ИБП:
- Инженеры сначала проверяют, сможет ли альтернативный путь электропитания выдержать полную нагрузку.
- Они активируют обходные цепи для изоляции зоны обслуживания.
- Энергия поступает через резервные системы, пока продолжается работа
- После тестирования системы восстанавливают соединение без прерывания обслуживания.
Как упоминалось ранее, стандарт избыточности N+1 означает, что каждая критическая система имеет по крайней мере одну независимую резервную копию. Эта избыточность распространяется на все системы защиты — от подачи питания до блоков ИБП и распределительных путей. Если какой-либо отдельный компонент нуждается в обслуживании или выходит из строя, ваши приложения остаются защищенными резервными системами.
Тестирование в реальных условиях
Системное тестирование используется для подтверждения того, насколько хорошо эти уровни защиты работают вместе. Например, стресс-тестирование в Hub Europe, проведенное в августе 2024 года, включало постепенное увеличение нагрузки по разным путям питания с одновременным мониторингом всех систем. Даже при пиковых нагрузках в 1800 кВт напряжение оставалось стабильным, а резервные системы сохраняли готовность.
Итог
Когда вы размещаете свои приложения в современном центре обработки данных, несколько систем защиты питания работают вместе, чтобы поддерживать ваши проекты в режиме онлайн. От двойных линий электропитания до резервирования на уровне стойки, каждый компонент добавляет еще один уровень защиты для ваших серверов.
В Hub Europe эта сложная инфраструктура питания доказывает свою ценность каждый день. Благодаря комплексным системам резервного копирования ваши серверы получают надежное питание, необходимое для бесперебойной работы.