DataCenter Scaleway DC5 (часть 2)

• DataCenter Scaleway DC5 (часть 1)

DC5 имеет запас 234 000 литров воды для осмоса, разделенный на два подземных резервуара по 117 кубических метров (117 000 литров). Это дает не менее 10 часов автономии (экстремальный случай с наружной температурой 40 градусов Цельсия и 12 серверными комнатами при полной нагрузке).

Зачем хранить столько воды обратного осмоса? Справиться с разрывом воды или обратным осмосом.

ПЛК предназначен для хранения воды для осмоса и распределения воды в адиабатических средах.


ПЛК позволяет устанавливать пороги предупреждения (слишком полный, низкий уровень тревоги), а также порог, при котором контроллер запускает осмос для заполнения резервуара и тот, где он останавливает обратный осмос.


Со временем будет построено 12 компьютерных залов, все идентичные.
Установленная средняя электрическая мощность составляет 6 кВт на отсек, так что это очень высокая плотность.

Комната состоит из 4 рядов отсеков, расположенных вплотную: два горячих прохода и три холодных прохода.

С фото легче показать: ряды отсеков не закончены, но есть два горячих прохода, временно разделенных для ввода в эксплуатацию, в то время как остальная часть комнаты представляет собой холодные проходы (мы находимся в системе сдерживание горячего воздуха)


Вот угол комнаты, готовой к приему первых компьютерных отсеков, присутствует только рама вокруг будущей двери горячего прохода. Серверы не подключены к сети, они просто предназначены для загрузки и тестирования различных сценариев Scaleway, чтобы узнать среди прочего: потеря сектора ENEDIS, восстановление на генераторах, потеря инвертора, потеря ПЛК GE и т.д…


Свежий воздух подается через решетки с обеих сторон светильника для центрального холодного прохода:


Для холодных проходов, расположенных по бокам комнаты, присутствует только одна серия решеток для подачи свежего воздуха:


Металлическая труба, видимая на предыдущем рисунке, несет воздух, но воздух под высоким давлением, для пневматических инструментов техников.

Вот один из воздухозаборников для пневматического инструмента:



В углу вверху находится камера видеонаблюдения.

Справа от камеры находится странный корпус, похожий на камеру, обращенную к потолку: это линейный детектор дыма OSID.


Преимущества системы OSID:

• Быстрое и надежное обнаружение с абсолютной калибровкой
• Общая стойкость к пыли, пару, туману, конденсату и другим препятствиям
• Полная невосприимчивость к отражениям
• Равномерная производительность независимо от окружающего освещения или полной темноты
• Полная невосприимчивость к вибрациям и движениям здания

Вот описание на веб-сайте xtralis: «Компания, которая произвела революцию в раннем обнаружении дыма с помощью VESDA, только что заново изобрела обнаружение дыма в открытых пространствах с помощью Open-area Smoke Imaging Detection (OSID). Система OSID Xtralis обеспечивает надежное и экономичное обнаружение дыма на открытых пространствах, где обнаружение пожара сопряжено с уникальными проблемами, и раннее предупреждение не всегда является приоритетом.

В своей простейшей конфигурации система Xtralis OSID использует тепловизор, устройство типа камеры с широким полем зрения и проводной или аккумуляторный передатчик, приблизительно выровненный на противоположной стене внутри охраняемая территория. Излучатель отправляет инфракрасные и ультрафиолетовые световые сигналы на тепловизор. В случае нарушения приема световых сигналов из-за присутствия частиц дыма тепловизор выдает сигнал тревоги. Революционное использование двух световых частот в открытом устройстве позволяет системе OSID отличать фактический дым от других объектов, включая насекомых, пар, конденсат и пыль, значительно уменьшая ложные срабатывания


Здесь мы видим потолок горячего прохода, который пропускает горячий воздух через верхнюю галерею.


Каждый из электрических входов «A» и «Channel B» имеет мощность 6 кВт (автоматический выключатель на 32 А). На DC5 необходимо двойное питание: только один путь волнообразный. Этот выбор обеспечивает экономию и простоту: в каждой комнате 2 трансформатора по 20 000 Вольт с напряжением 1250 кВА, 2 генератора с напряжением 1315 кВт / 1650 кВА, 2 TGBT, 4 инвертора с напряжением 500 кВА, 16 отводных батарей…

В отличие от DC3, который имеет гораздо более сложную систему электропитания с 4 общими каналами электропитания по 2,5 МВт для всех комнат, все 4 гофрированных, но разделенных на два, чтобы получить номинальную скорость на каждом дорожка загружена на 75% и 100% в случае потери одной из четырех полос движения.


Этот выбор сопряжен с риском, если вмешательство в гофрированную цепь требует разрезания И в то же время происходит разрез Enedis. Scaleway имеет несколько устройств для снижения этого риска: можно обойти инверторы (Super Bypass) и через панель оболочки под названием «HQR» (High Quality Replacement), чтобы пополнить не гофрированный канал из производства. Полностью независимый рифленый, в том числе: 1 трансформатор + 1 генератор + 2 инвертора, одинаковой мощности и предназначены для этой аварийной ветви HQR. Таким образом, вмешательство в неисправную гофрированную цепочку может происходить без риска прерывания обслуживания серверов. Это независимое гофрированное производство объединено для всех 24 TGBT в центре обработки данных.

Обратите внимание, что риск меньше, чем когда у центра обработки данных один канал подачи (да, он существует, я не даю имя)

Это также меньше, чем в дата-центре, расположенном рядом с атомной электростанцией, который решил не ставить ни группы, ни инверторы (это тоже существует, я не даю названия).

Короче говоря, DC5 имеет среднюю позицию, а DC3 — на верхнем уровне. Вы не сможете арендовать отсеки в DC5, маркетинг осуществляется только за счет 278 отсеков или 550 м ². Целью DC5 является размещение крупных игроков в облаке, и первую комнату займут сервисы Dedibox и Cloud Scaleway, но другие крупные международные игроки проявляют большой интерес.

Эта галерея расположена над горячим проходом. Горячий воздух поступает в галерею через потолок горячего прохода.

Электрическое соединение отсеков осуществляется путем установки «горячей» соединительной коробки на «стержневой оболочке», набора из 4 медных полюсов (3 фазы и нейтраль), которые проводят высокую интенсивность электричество. Этот Бар Джек построен EAE Voltadis. Мы находим два пути, путь с красными прямоугольниками — это тот, который гофрирован (HQ) и спасен генератором. Белые корпуса имеют два нормальных (не волнистых) пути и опираются на генератор.

Желтый кабельный канал посвящен прохождению оптических волокон.
Зеленая канатная дорога посвящена прохождению слабых течений. (Контроль доступа, видеонаблюдение, BMS и т. Д.)
Красная канатная дорога посвящена проходу кабелей, связанных с пожарной безопасностью.
Серый кабельный лоток в верхней части служит для транспортировки шинных кабелей питания от TGBT. На фото четко различим 2 ряда компьютерных отсеков, образующих горячий коридор, в котором мы находимся.


В конце этой галереи есть 12 больших вентиляторов, которые извлекают горячий воздух в задней части здания:


Горячий воздух извлекается с этой стороны здания (часть почтового сортировочного центра, который был реконструирован для перестройки по-разному на 4 уровнях)


Что касается воздухозаборника, Scaleway поставил свои ловушки


Ниже приведены две красные коробки для патчей, которые используются для соединения двух отсеков под волнистой дорожкой оболочки EAE Voltadis Bar Sheath. Доступная мощность составляет 6 кВт на стойку (автоматический выключатель на 32 А) для каждого канала.


Подключение осуществляется без инструментов, горячее, без отключения планки оболочки:


Внутри находится автоматический выключатель на 32 А, достаточный для контроля этого автоматического выключателя, и два предохранителя для защиты устройства контроля:


Подключение к шине выполняется только после закрытия коробки: эти медные ножи позволяют установить контакт:


Одна фаза + Нейтральная, используется для подключения серверов:


Счетчик расхода отсутствует, потому что учет ведется по всей гильзе, сданной в аренду одному и тому же клиенту.

Вы заметили? Дифференциальная защита отсутствует при 30 мА!

Объяснение не является экономичным в поисках максимальной надежности.

Цитата от Арно

Мы не выращиваем морковь в сарае, все, что положительно влияет на уровень доступности, должно быть изучено, отменено и реализовано. Наилучшим примером являются дифференциальные автоматические выключатели, являющиеся источником многих проблем (непредвиденные разъединения) для многих клиентов. У вашего поставщика имеются дифференциальные автоматические выключатели или он работает в отделе ИТ, задайте себе вопросы.

DC3, высококлассный центр обработки данных Scaleway, Certification Uptime Institute Tier III, также не использует дифференциалы, при этом соблюдая NF C 15-100 и Трудовой кодекс.

Корпуса поставляются предварительно смонтированными с завода:


Контрольная шина, позволяющая подняться при срабатывании автоматического выключателя:


Чтобы протестировать свой центр обработки данных, Scaleway выбрала аренду банков с реальной нагрузкой у специализированной компании: Rentaload, так что каждый отсек взимается в размере 2 x 6 кВт. Это высококлассное оборудование с регулируемой вентиляцией позволяет вам настраивать дельту T °, эквивалентную компьютерным серверам.

Rentaload — это компания, которая специализируется на оборудовании для рецептов промышленной площадки в качестве дата-центра. Аренда этих грузовых банков на месяц стоит особенно дорого.


Как выглядит элемент заряда? Имеет большой тепловентилятор, используемый для обогрева складов, но это действительно инструмент для зарядки, с двойным источником питания, контролируемым зарядкой от ПК, с переменным током от 0,5 кВт до 0,5 кВт (максимум 7 кВт на единицу).


Вот задняя часть элемента после подключения:


В каждом слоте есть элемент, который заряжается на 6 кВт, а второй на 7 кВт, настроенный на нагрузку 6 кВт, для общей нагрузки 12 кВт, подключенной к гофрированному каналу. Второй канал не подключен.


Место для хранения ящиков, которые несут банки нагрузки:


На данный момент DC5 содержит только одну комнату оператора, предназначенную для установки передающего оборудования, коммутаторов и, возможно, маршрутизаторов. Scaleway запланировал возможность добавления второй комнаты оператора на этаже здания, идентичной этой.

Это не будет одноранговый сайт, такой как DC3 или DC4, однако некоторые локальные операторы петли присутствуют на месте, чтобы доставить клиентов в этот район.

Вот фотография операторской комнаты, которая пуста. Напротив источника питания (48В + 230В) канал B:


Для операторской комнаты источник питания резервируется двумя каналами, каналом A и каналом B.

• Слева отсек для батареи помогает спасти 48 В в случае сбоя.
• В центральных отсеках находятся выпрямители на 48 В, используемые для питания оборудования и зарядки аккумуляторов при необходимости. Мы на модульной архитектуре или выпрямители могут быть добавлены, как и когда спрос на энергию.
• Справа отсек инвертора с инверторами для производства выключателей 230 В и 230 В, используемый только для оборудования, которое не может питаться от 48 В. Обратите внимание, что инверторы подключены за 48 В, чтобы использовать батареи. Обратите внимание, что в 230 В потребление невелико: почти все оборудование работает от 48 В постоянного тока.

Эта же схема дублируется для пути подачи «A»:


Небольшое помещение DC5, в котором волокна поступают из здания и из волокон серверных комнат:


Вот первое установленное передающее оборудование:


Для холода это не прямое охлаждение с адиабатическим охлаждением, как для серверных помещений, а прямое естественное охлаждение с традиционным холодильным агрегатом, когда температура на улице превышает 25 ° C. Ниже этой температуры наружный воздух впрыскивается непосредственно в помещение после фильтрации.

Когда наружная температура слишком низкая, система будет работать в замкнутом контуре и смешивать рециркулируемый воздух с пропорцией наружного воздуха.


Вот забор воздуха с естественным охлаждением на входе в здание для комнаты оператора:


Здесь мы следуем наружному воздухозаборнику с естественным охлаждением для операторской комнаты:



Производство охлажденной воды используется только для технических помещений: TGBT, где расположены аккумуляторы и инверторы, и две операторские комнаты.

Слева, справа от здания, установлены две традиционные маломощные холодильные установки мощностью 350 кВт каждая.

Охлажденная вода используется только тогда, когда температура наружного воздуха выше 25 градусов С. Технические помещения находятся в режиме прямого естественного охлаждения, когда температура ниже.


Ниже, на переднем плане первые две холодильные установки.
Слева на заднем плане — контейнер для хранения льда: это аккумулятор холодильной энергии мощностью 6 МВтч.

Справа на заднем плане — техническое помещение, контролирующее производство охлажденной воды, с насосами, клапанами и теплообменником для хранения льда мощностью 1100 кВт.


Запланировано место для третьего холодильного агрегата, а также ожидания подключения мобильного холодильного агрегата в случае необходимости:


Хранение льда имеет отношение к DC5: требования к охлаждению в основном ограничены режимом работы инверторов, поэтому в случае пропадания питающей сети или значительного падения напряжения и / или частоты => инверторы переключаются в режим «Онлайн». И иметь эффективность 94%. Поэтому есть производство тепла.

Хранение льда, таким образом, позволяет быстро реагировать на немедленный холод и предотвращает короткие циклы работы холодильных установок. Заполнение хранилища льда происходит ночью, когда электричество дешевле, что оптимизирует энергозатраты. Емкость для хранения льда составляет 6 МВтч.

Хранение льда также обеспечивает избыточность с большой автономностью в случае потери холодильной установки.


Хранение льда постоянно поддерживается между 80 и 100% нагрузки. Ниже 80% холодильная установка работает при отрицательном холоде и производит лед.

Контейнер теплоизолирован. Потеря льда из-за потепления (это тропический контейнер, поэтому он хорошо изолирован) составляет 1% в день при температуре наружного воздуха выше 25 °C

В помещении для производства воды со льдом основной (групповой / ледяной склад) и вторичный контуры соединяются с техническими помещениями и комнатой оператора.


Каждый контур имеет два насоса: один активный и один резервный. Вот насосы первого контура:


Насосы марки Wilo, специалист по решениям и насосным системам.

Они допускают поток 105 кубометров в час при максимальной мощности.
Эти насосы работают от трехфазного (400 В) и потребляют 8,5 кВт при максимальной мощности.


Пластинчатый теплообменник (1100 кВт) позволяет приводить в действие первичную и вторичную сети без перемешивания жидкостей. Таким образом, калории от первичного контура до вторичного контура обмениваются.


Обменник позволяет иметь разные скорости потока между первичным и вторичным.

Здесь холодная вода находится на уровне 5 ° C в первичном контуре и на 7 ° C во вторичном контуре.


Обратите внимание, что существует только один холодный контур и, следовательно, только один теплообменник, один вторичный контур.

Scaleway также установила ожидания для добавления второго пластинчатого теплообменника.

Поскольку требования к охлаждению очень ограничены для DC5 (комната оператора + TGBT, главным образом, при перебоях в питании), риск ограничен, зная, что прямое естественное охлаждение используется главным образом, когда внешняя температура ниже 25 ° C.

Вот два из 4 насосов вторичного контура и справа группа автоматического поддержания давления для поддержания правильного давления в сети.


Здесь также маленькие насосы удваиваются, и счетчик воды контролируется дистанционно, чтобы обнаружить возможную утечку в сети.


Мы находим такую же установку для первичной цепи:


Рядом с ним находится резервуар с рассолом и насос для впрыска, используемый для заполнения сетей. Рассольная вода — это вода из городской сети, в которую был добавлен процент антифриза (например, 30% гликоля), чтобы эта вода не могла замерзнуть. Здесь городская вода была предварительно обработана и смягчена. Это не имеет ничего общего с водой обратного осмоса, используемой только для адиабатического охлаждения.


Конечно, как и везде, к чему вы привыкли, мы находим промышленный контроллер для управления установкой.


Именно он управляет аккумулятором, группами холода, клапанами с электроприводом и насосами:



Центр обработки данных должен быть подключен через оптоволокно, в противном случае его интерес почти равен нулю.

Scaleway создал рукава для подключения к другим центрам обработки данных. Таким образом, существует два отдельных поступления, использующих диаметрально противоположные пути, чтобы избежать единой точки отказа (SPOF), места, где проходят первичное и резервное волокна.

Вот одна из запираемых вытяжных камер из волокна:


16 рукавов были размещены на каждой стороне каждой вытяжной камеры. Тяговые камеры одного и того же волоконно-оптического входа взаимосвязаны.

Каждый рукав позволяет пропустить большой кабель 720fo с 720 оптическими волокнами.

Здесь было проложено и подключено первое оптическое волокно. Скоро начнется работа по извлечению следующего (он находится на критическом пути для производства)


Сайт является безопасным, но чтобы не видеть клиента, которому разрешено войти на сайт, чтобы положить нос, комнаты закрываются на ключ. Он чище металлических стержней с торцевым замком, который используется в некоторых дата-центрах для управления доступом в помещения.


Безопасность также позволяет избежать вторжений на сайт. Scaleway поставил пакет на DC5:
— Электрифицированная колючая проволока с сигнализацией на ПКС
— Инфракрасные барьеры с усилением тревоги на ПКС
— два шлюза (въезд / выезд) для проезда автомобилей, которые вскоре будут оснащены противооткатной системой.
— турникеты установлены на периферии площадки и внутри здания для контроля пешеходных потоков

DC2 и DC3 имеют большую крытую парковку, но было решено установить SAS из-за недостатка места.
Две двери шлюза не могут быть открыты одновременно (система защиты от обратного хода), за исключением исключения пропуска слишком длинных грузовиков.


Забор снабжен 3 кабелями, которые подают напряжение более 10 000 вольт, но с низкой интенсивностью, чтобы не подвергать опасности жизнь.

Ниже приведено прибытие электрификации 3-х кабелей:


Знак, ясно видимый снаружи, сигнализирует, что забор электрифицирован:


В старом почтовом сортировочном центре все еще много места, все кураторское и неразвитое. Они будут использованы для следующих 11 комнат:


Пространство, расположенное рядом с комнатой оператора, будет даже использоваться для климатической комнаты: это комната для проведения испытаний компьютерного оборудования в различных погодных ситуациях, искусственно воссозданного с контроллера, в коротких исследованиях и развитие, чтобы подтолкнуть материал к своим пределам.

Окна, используемые во времена центра почтового отделения для офисов, поданы и приговорены.


Вот внешний вид, с окнами перед вмешательством слева, затем первая оболочка облицовки, которая помещается для размещения теплоизоляции, и, наконец, вторая оболочка красной отделочной облицовки, которая будет оснащать все здание, кроме выделенных помещений. на впуск свежего воздуха или отвода горячего воздуха.


В дополнение к SFR, который был там со времени поста и останется там (возможно, к нему присоединился Free Mobile), Scaleway разместил на сайте много камер видеонаблюдения: