DataCenter Scaleway DC5 (часть 1)

Scaleway Хостинг
8 февраля 2019, 16:06

Дата-центр Scaleway DC5 расположен в промышленной зоне Saint-Ouen-l'Aumône (95), небольшого городка на северо-западе Иль-де-Франс. Это бывший почтовый сортировочный центр, который был куплен Scaleway по низкой цене. Как и почти во всех почтовых сортировочных центрах, на площадке имеется 4G SFR-антенна, здесь это не исключение, и Scaleway сохранил ее. Вполне вероятно, что в будущем появится антенна Free Mobile.

Мы часто говорим о «зеленом центре данных», этот термин включает в себя два типа центров обработки данных:

Те, кто использует тепло, генерируемое центром обработки данных, для отопления близлежащих домов или производства горячей воды. Для этого они обычно используют стандартные кондиционеры и поэтому имеют высокий CPUE.
Те, кто использует свободное охлаждение. Идея состоит в том, чтобы использовать теплоемкость воздуха для охлаждения.

В категории естественного охлаждения снова выделяются два больших семейства:

Непрямое естественное охлаждение, как для DC3. Серверы охлаждают не наружный воздух, а воздух, который ограничивает потребление энергии компрессорами холодильной установки. Существует несколько типов косвенного естественного охлаждения, некоторые из которых используют адиабатическое охлаждение.
Прямое охлаждение. Здесь наружный воздух поступает в центр обработки данных для непосредственного охлаждения серверов.

Это сложно, потому что есть несколько типов центров обработки данных, использующих прямое естественное охлаждение:

Тот, кто использует естественное охлаждение без какой-либо системы для охлаждения воздуха: он очень недорогой (некоторые называют его «хижиной на дне сада» на этом форуме), но он не позволяет иметь воздух летом прохладно: если летом 40 ° C, воздух, поступающий на серверы, уже находится при 40 ° C. Хуже того, существует сильная разница в температуре между днем и ночью, что ухудшает срок службы серверов. Этот тип свободного охлаждения может быть связан или не связан с водяным охлаждением, чтобы лучше охлаждать самые горячие элементы серверов. Поэтому он очень экономичен в электроэнергии, но не позволяет обеспечить высокую надежность оборудования, размещенного во времени.
Тот, который использует естественное охлаждение с традиционным холодильным агрегатом и автоматами для поддержания стабильной температуры воздуха на входе официантов. Это случай дата-центра Maxnod. Когда снаружи меньше 28 ° C, это естественное охлаждение, когда выше 28 ° C, наружный воздух охлаждается перед вводом в центр обработки данных. Зимой автоматов забирают часть воздуха из дата-центра, чтобы поддерживать стабильную температуру 28 ° С. Такой тип установки позволяет поддерживать стабильную температуру 365 дней / год, что важно для долговечности серверов.
Наконец, есть прямое охлаждение ЦОД с адиабатическим охлаждением. Охлаждение воздуха основано на испарении воды: горячий и сухой воздух проходит через влажный теплообменник, здесь это адиабатическая среда. Энергия, необходимая для испарения воды, извлекается из воздуха, который охлаждается за счет рассеивания калорий. Опять же, существует несколько типов адиабатических центров обработки данных. Некоторые люди потребляют много воды и не знают, как поддерживать стабильную температуру. DC5 — это крем для адиабатического центра обработки данных с низким потреблением воды и стабильной температурой 30 ° C ± 1 ° C в холодных проходах, при этом не требуются терминалы кондиционирования воздуха. Отчет предназначен для объяснения того, как Scaleway смог реализовать эту технику. Обратите внимание, что адиабатическое охлаждение может не работать, когда горячий воздух очень влажный, что относительно редко.

Внимание только к серверным комнатам DC5 охлаждается адиабатическим процессом. Технические помещения и местные операторы охлаждаются прямым естественным охлаждением с помощью терминалов кондиционирования воздуха и традиционных холодильных установок. Но даже здесь Scaleway вводит новшества с огромным хранилищем льда для хранения энергии, необходимой для охлаждения этих помещений. Если серверы отлично работают при 30 ° C, срок службы батарей сокращается, поэтому следует выбрать Scaleway для поддержания их при более низкой температуре, то есть 25°C ± 2°C.

В этом центре обработки данных каждый второй этаж является серверной комнатой, а каждый второй этаж пуст, предназначенный только для перевозки больших объемов воздуха. Свежий воздух впрыскивается в холодные проходы серверных комнат, а затем горячий воздух извлекается из горячих проходов.

Дождевые экраны, показанные на фотографии ниже (перед DC5), позволяют пропускать воздух, избегая проникновения дождевой воды и летучих веществ.

Вот внутренний вид спереди, эти помещения еще не разработаны, это будущие транши DC5: на этом сайте запланировано всего 12 комнат (сегодня реализована только одна комната)

DC5 состоит из 12 независимых серверных комнат (по 1,8 МВт ИТ-мощности каждая, каждая со своими 2 TGBT, 2 трансформаторами, 2 генераторами). Строительство серверной комнаты, включая тестирование и ввод в эксплуатацию, осуществляется за 7 месяцев.

Вот фото воздухозаборника для первой комнаты. Отмечено, что моторизованные регистры были добавлены для регулирования и поддержания стабильной температуры выдувания снаружи ниже 30 ° C (чем холоднее, тем больше они закрываются и наоборот). Слева, на фото, мы предполагаем подводные камни.

Сзади установлены звуковые ловушки (как для продуваемого, так и для отверженного воздуха), что позволит центру обработки данных быть очень тихим (у некоторых возникли проблемы, когда они поселились в жилом районе — здесь Scaleway предпринял все меры предосторожности для соблюдения действующих норм).

Вот картина этих ловушек для его:

За этими ловушками присутствуют зонды для измерения температуры и гигрометрии наружного воздуха с целью адаптации регулировки моторизированных регистров и адиабатических сред.

Воздух затем переходит в новую серию жалюзи, здесь почти все закрыто.

Эти заслонки точно отрегулированы для обеспечения эквивалентного воздушного потока по всей фильтрующей стенке. Действительно, конечно, верхняя часть стены имеет тенденцию иметь более высокий поток в нижней части стены, что требует обходного пути воздуха.

Огромные промышленные воздушные фильтры предназначены для блокирования всех частиц, переносимых воздухом, как природной пыли минерального происхождения (песчаных или землистых частиц), пыли растительного происхождения или пыли, возникающей в результате сгорания автомобильных двигателей. (сажа) и производственная деятельность. Эти фильтры необходимо регулярно менять.

На фото ниже свежий воздух поступает справа. Заслонки с электроприводом слева обеспечивают возврат горячего воздуха из горячих проходов центра обработки данных: это необходимо для обеспечения того, чтобы воздух в холодных проходах всегда находился при 30° C, когда он ниже 30° C снаружи.

Вот возможности фильтров класса F7:

Вот жалюзи, которые позволяют возврат горячего воздуха из комнаты № 1.
Эта комната соединена с коридорами вытяжной вентиляции, расположенными над двумя горячими проходами.

В режиме смешивания заслонки открываются частично, и горячий воздух снова смешивается с наружным свежим воздухом, а затем распространяется сверху в серверные помещения.

Это один из 53 двигателей, который может очень точно контролировать открытие воздушных регистров. Отказ одного из них не имеет никакого значения, поскольку система спроектирована таким образом, чтобы компенсировать потери и поддерживать идентичный поток воздуха с температурой, соответствующей данному порядку.

Секрет DC5 лежит позади: воздух проходит через огромные адиабатические среды. Если необходимо снизить температуру воздуха, этот теплообменник увлажняют осмосной водой.

Энергия, необходимая для испарения воды, извлекается из воздуха, который охлаждается. Можно охладить сухой или слегка влажный воздух на 10 ° C. С другой стороны, невозможно охладить воздух, который сильно насыщен водой (например, тропический воздух).

Мы видим здесь влажные и сухие участки матрицы, для нашего визита автомат попросил охладить только некоторые адиабатические среды, что позволяет непосредственно видеть эффект холод / жар при прохождении позади.

Адиабатическая среда имеет теоретический срок службы 150 лет. Вы находите это удивительным, потому что испаряющаяся вода оставляет остатки…
Это тот случай, когда неочищенная городская вода распространяется по адиабатическим средам. Здесь Scaleway вложила значительные средства в производство воды, которая транслируется на адиабатических средах, мы рассмотрим производство воды.

Вот увеличение нескольких квадратных сантиметров адиабатических сред:

Вот задняя часть адиабатической среды, куда выходит охлажденный воздух. Сверху — фиолетовые трубы, подающие воду для осмоса, а слева — вентиляторы, всасывающие охлажденный воздух. Серые лезвия справа — это капельные щитки для удаления любых капель воды в жидкой форме, которые могут рассеиваться в воздухе.

Расход воды регулируется очень точно: вся вода осмоса должна испариться, когда система хорошо отрегулирована.
Вот 5 водяных клапанов осмоса, которые позволяют точно контролировать объем воды (литр), равномерно впрыскиваемый в адиабатическую среду:

Если в системе все еще есть суспендированная вода для осмоса, резервуар может восстановить ее (поместить в канализацию, невозможно повторно использовать теплую воду, которая может быть заражена воздухом), труба откачивает воду со дна лотка.

А что будет, если эвакуация закроется? У Scaleway все спланировано: эвакуация сверху. Вы увидите, что DC5 заполнен небольшой системой безопасности этого типа.

Обратите внимание, что установка не завершена, трубы для эвакуации вскоре будут закрыты металлической пластиной, чтобы предотвратить их поломку, если человек ходит по ошибке и обнаружение воды будет установлено на земле.

Тогда есть поклонники, которые сосут воздух:

На каждую серверную комнату установлено 28 вентиляторов. Эти 28 вентиляторов имеют конфигурацию N + 2, что позволяет иметь два отказа, не влияя на поток воздуха: контроллер, который управляет вентиляторами, затем настраивает другие вентиляторы на более высокой скорости, чтобы поддерживать тот же поток воздуха,

Эти 28 вентиляторов оснащены двигателем постоянного тока и потребляют в общей сложности около 100 кВт электроэнергии для охлаждения 1,8 МВт ИТ-энергии. Все они имеют переменную мощность и предназначены для использования в диапазонах максимальной эффективности.

Вот сторона, где воздух удаляется в серверную комнату:

Мы, конечно, проверили отключение вентилятора, чтобы увидеть реакцию контроллера: немедленно другие вентиляторы разгонятся, чтобы компенсировать его потерю.

Напротив есть огромные каналы для впуска воздуха в холодные коридоры, которые находятся на полу ниже.

Решетки на земле позволяют сбалансированное распространение свежего воздуха.

Справа и слева — стены горячих каналов, которые возвращают теплый воздух серверов.

Здесь мы находим наши датчики влажности и температуры (всего около тридцати разбросано повсюду):

Вы отметили на нескольких фотографиях наличие красной трубки на потолке?

Это трубы для отвода воздуха (есть небольшие отверстия для отбора проб воздуха).

На другом конце воздухозаборных труб многоточечная система обнаружения новейших технологий соответствует требованиям APSAD R7, которая способна обнаруживать любые частицы дыма и активировать сигнализацию.

На этом рисунке мы видим 3 системы VESDA и 3 красных трубы, которые идут в 3 разные зоны.

DC5 не оборудован автоматической системой пожаротушения:

Невозможно было использовать систему газового пожаротушения, которая работает путем подавления свободных радикалов, химических соединений, выделяющихся при сгорании. Почему? Поскольку атмосфера центра обработки данных обновляется за несколько десятков секунд, помещения находятся в открытой среде и не ограничены, как традиционные центры обработки данных,
Использовать систему пожаротушения водяным туманом было невозможно, так как это имеет место на DC3 с учетом скорости движения воздуха.

С другой стороны, обученный персонал присутствует круглосуточно в центре обработки данных. Как мера экономии, пожарный, который находится на приеме, постоянно контролирует отсеки SSI, камеры видеонаблюдения и контролирует безопасность доступа к сайту.

Вот автомат, управляющий вентиляционной установкой компьютерного зала № 1, который мы только что видели:

Но что произойдет, если контроллер выйдет из строя?

10 лет назад у крупной компании был центр обработки данных со всеми функциями безопасности с системой кондиционирования N + 2 и слотами для размещения мобильных устройств в случае сильного удара. Однажды ночью, в середине зимы, это был ПЛК, который контролировал всю систему кондиционирования, которая вышла из строя, отключив все кондиционеры. Затем температура увеличивается на один градус С. Каждые 6 минут. Через 2 часа после того, как резервная компания была на месте и переключила кондиционеры в автономный режим, но слишком поздно, некоторое оборудование остановилось.

В ноябре 2017 года крупный хозяин пострадал от самого большого инцидента, и в сложной цепочке инцидентов мы отмечаем: «Сегодня утром моторизованная система наклона не работала. Порядок старта групп не был задан ПЛК. Это ПЛК NSM (с нормальным питанием), поставляемый поставщиком высоковольтных ячеек 20 кВ. Мы находимся в контакте с ним, чтобы понять причину этой дисфункции. "

Чтобы вернуться к DC5, Арно хотел проверить различные маловероятные случаи отказа контроллера, чтобы убедиться, что все идет хорошо. При отсутствии ответа от PLC, сторожевой таймер вступает во владение. Это электронная схема, которая гарантирует, что автомат не сломается. Если ответа нет, сторожевой таймер переключит вентиляторы, адиабатическую систему и моторизованные регистры в ручном режиме, который настраивается потенциометрами, которые предварительно настроены на шкафу. Мы больше не находимся в режиме, контролируемом многими зондами, а заранее заданным режимом. Затем техническому специалисту потребуется вмешаться, чтобы отрегулировать настройку температуры вручную в ожидании ремонта.

Регулировочные потенциометры находятся на левой стороне двери:

Этот тип сторожевого таймера, вероятно, никогда не будет использоваться, потому что ПЛК чрезвычайно надежен, это не устройство с процессором / оперативной памятью / флэш-памятью, а арифметическая и логическая единица, которая считывает свои регистры и аккумуляторы в цикле. Поэтому это очень надежное оборудование, которое десятилетиями используется в промышленности.

Система, которая передает информацию из проприетарного протокола в IP, конечно, присутствует, но ее сбой не влияет на контроллер.

Ниже мы видим небольшой промышленный коммутатор на 5 портов, стойку и двойное питание:

Со стороны питания, контроллер имеет, конечно, два отдельных источника питания, я не уверен, что второй выключатель питания подключен, учитывая многочисленные меры безопасности на этапе питания.

Дисплей ПЛК полностью независим, и это экран, который объединяет ЦП / ОЗУ / флэш-память, необходимую для работы с графическим интерфейсом. Потеря ЦП экрана не влияет на контроллер.

В тот день, когда происходит немыслимое, мы ценим это обеспечение. (Напомним, что аварии на Фукусиме можно было бы избежать, если бы станция планировала соединить аварийные группы с аварийными подразделениями.) Группы, отправленные на вертолете в тот же день, не могли быть подключены. остановились, когда батареи были полностью разряжены, и мы знаем об остальном. Инженеры наверняка предположили, что шесть линий внешних источников питания — все отключены от землетрясения — и 12 дизельных аварийных генераторов, затопленных цунами это было бесполезно).

Вот экран контроллера CTA01 (вентиляционная установка компьютерной комнаты 01):
Для этих испытаний заданное значение составляет 28,0 ° C. Цель — 30 ° C в производстве.
Свежий воздух поступает при температуре 29,6 ° C, воздух вводится при температуре 26,6 ° C в холодных проходах.
Воздух в горячих проходах составляет 46,3 ° C для первого и 40,8 ° C для второго.
В отсутствие высокой температуры наружного воздуха в это время нашего визита система и банки нагрузки были вынуждены показать нам эффективность охлаждения адиабатической среды (следовательно, несоблюдение инструкций).

Влажность составляет 17,18 г / кг на входе и 20,67 г / кг после охлаждения: поэтому адиабатическое охлаждение добавило 3,49 г / кг к охлажденному воздуху на 3 ° C, что составляет 1,457 МВт.

Вы можете увидеть состояние различных систем регистров, вентиляторов, клапанов и нагрузки IT на диаграмме:

Контроллер имеет защиту для ограничения внезапных изменений температуры и предотвращения образования конденсата: он регулирует заданное значение температуры обдува в соответствии с температурой наружного воздуха. Это ограничено 1 градусом Цельсия в час, обозначенным как предел 2 градуса Цельсия за 120 минут на контроллере:

Чтобы срок службы адиабатической среды составлял 150 лет, требуется совершенно чистая и чистая вода, чтобы не оставлять остатки на адиабатической среде при испарении.

Scaleway вложила значительные средства в производство воды обратного осмоса: это относится к умягчающей воде и воде, обработанной обратным осмосом, которая отличает ее от дистиллированной или деминерализованной воды, давая более 99,9% чистой воды (состоящий только из молекул H2O). Вода лишается всех своих солей и минералов, проходя через мембрану обратного осмоса.

Scaleway обеспечил много безопасности и возможности ухудшенного режима, как показывают эти различные перепускные клапаны:

Максимальное потребление воды для осмоса составляет 25 м3 / ч для центра обработки данных, когда 12 серверных помещений находятся в эксплуатации. Это позволяет охлаждать воздух на 10 градусов Цельсия для примерно 22 МВт серверов.

Обмен между ионами кальция и магния, с одной стороны, и ионами натрия, с другой, позволяет удалять кальций и магний.

Присутствуют два умягчителя воды (синие воздушные шарики на картинке): хозяин и раб.

Рядом с каждым умягчителем находится резервуар с белым рассолом рядом с:

Рассол (вода и натрий) используется для регенерации ионообменной смолы в пластификаторе.

Рассол удаляет насыщенную кальцием смолу из ионов кальция и перезаряжает ее ионами натрия.

Для приготовления рассола умягчитель необходимо регулярно подавать в виде соленых гранул.

Для инактивации микроорганизмов (главным образом бактерий), а также микроводорослей, грибки, которые, помимо того, что некоторые из них могут быть патогенными, являются источником важной засоренности мембран, называемой биообрастанием:
— непосредственно через развитие биомассы;
или косвенно метаболитами, продуцируемыми микроорганизмами.

Это гипохлорит натрия (отбеливатель), который используется здесь для дезинфекции.

Его танк здесь:

Внутри этих белых трубок находится чрезвычайно тонкая мембрана, которая пропускает только молекулы H2O.

4 мембраны работают параллельно, обеспечивая более высокий расход воды: с помощью этой установки можно обрабатывать до 25 000 литров воды для осмоса в час, это потребление 12 помещений DC5, когда все клапаны осмоса открыты.