POC: водяное охлаждение 300 кВт и 1,2 МВА
Сокращение площади, стоимости, расхода воды и энергии, защита зимой, турбо для лета… Большое достижение!
POC Baby POC: KISS Watercooling для GPU < 100 Вт
Водяное охлаждение: от инноваций до разрушения - Часть II
В нашем предыдущем посте мы говорили о том, как наша технология водоблоков развивалась с 2003 по 2014 год. Сегодня мы продолжим эту тему, исследуя эту технологию после 2015 года. Мы сосредоточимся на текущем поколении водоблоков и дадим вам краткий обзор улучшения впереди.
2015
Приближался 2015 год, и наша главная цель заключалась в разработке водяных блоков с оптимальной мощностью 120 Вт и температурой воды 30C.
Чтобы упростить процесс и снизить затраты, мы заменили металлическую крышку на пластик АБС.
Использование пластиковых крышек также позволило построить прототипы без металлической арматуры для входной и выходной труб. Вместо фитингов трубы были непосредственно приклеены к крышке водоблока.
Как и в предыдущих итерациях, мы также производили водные блоки в меньших форм-факторах. Например, здесь у вас есть водоблок GPU:
3D печать водяных блоков
Использование пластиковых крышек для водяных блоков также открыло двери для нового процесса прототипирования, включая 3D-печать. Мы начали экспериментировать с водными блоками из АБС-пластика с 3D-печатью, тестируя различные типы крышек.
Варианты обложек с 3D-печатью:
CFD симуляции
Впервые в истории OVHcloud мы использовали расширенное моделирование CFD (Computational Fluid Dynamics). Это позволило нам оптимизировать термогидравлику пластин с медным основанием и еще больше улучшить производительность водяного блока.
Избыточность
Именно в это время мы впервые использовали четырехуровневые покрытия, добавив избыточность и повысив надежность.
2017
Мы всегда находимся в поиске высоко стандартизированных подходов, которые применяются к различным географическим зонам и потребностям местных клиентов. Наряду с международной экспансией мы придерживались экологически безопасного подхода, поддерживая очень низкий уровень ODP (потенциал разрушения озонового слоя) и GWP (потенциал глобального потепления) в наших центрах обработки данных.
К 2017 году мы смогли использовать водоблоки с оптимальной мощностью 200 Вт и температурой воды 30C, и все они были полностью спроектированы и изготовлены внутри компании OVHcloud.
После пластиковых крышек АБС пришло время испытать другие пластмассы, включая полиамиды.
Два примера водяных блоков: один для стандартных процессоров, другой для графических процессоров, с белыми полиамидными крышками:
Водоблок с белой полиамидной пластиковой крышкой для стандартных процессоров
Водоблок для процессоров высокой плотности с черной полиамидной пластиковой крышкой:
Эксперименты с полиамидным пластиком также позволили нам быстро разработать и протестировать различные прототипы для расширенной поддержки ЦП и снижения затрат.
2018-2019
В OVHcloud у нас есть полный контроль от R & D до развертывания центра обработки данных. Мы можем непрерывно вводить новшества в короткие циклы, что значительно сокращает время между прототипированием и крупномасштабным развертыванием.
В результате мы теперь как никогда способны выпускать новые продукты на рынок быстрее и с лучшей ценностью. Многие из наших серверов поставляются за 120 секунд со 100% непрерывностью обслуживания, повышенной доступностью и оптимизированной производительностью инфраструктуры.
За последние два года мы начали работать с новой технологией, используя сваренные лазером металлические опорные плиты и крышки. С помощью этой технологии мы можем избежать использования винтов и клея, а также минимизировать риск утечек.
На этих водяных блоках трубопроводы изготавливаются полностью с использованием труб, сваренных медью.
Как обычно, мы также строим водоблоки для определенных форм-факторов, таких как графические процессоры или процессоры высокой плотности.
2020- ...
В OVHcloud мы продолжаем выявлять, транспонировать и адаптировать то, что работает в других местах, чтобы позволить нам внедрять инновации и создавать наши собственные решения. Мы будем следовать циклам сбоев, чтобы повысить эффективность и сократить расходы, всегда стремясь создать добавленную стоимость для наших клиентов.
Мы работаем над водяными блоками 4-го уровня следующего поколения с нашей запатентованной технологией. Наши водоблоки 4-го уровня больше не являются прототипами, но уже готовы к работе, и мы активно работаем над моделированием и тестами для повышения производительности.
Мы стремимся к созданию водяных блоков мощностью 400 Вт с температурой воды 30C и полностью резервированной системой водоснабжения.
И кроме водяных блоков?
В OVHcloud мы гордимся нашими научно-исследовательскими лабораториями. Они полностью привержены продвижению наших конкурентных преимуществ в области аппаратного и программного обеспечения, а также наших проверенных на практике методов стресс-проверки и тестирования серверов. В наших лабораториях мы разрабатываем и тестируем решения для охлаждения, новые прототипы серверов и инновационные варианты хранения.
В будущих публикациях мы расскажем о других аспектах нашего процесса промышленных инноваций и посмотрим, как наши клиенты выигрывают от постоянного повышения надежности обслуживания и повышения ценовой эффективности.
2015
Приближался 2015 год, и наша главная цель заключалась в разработке водяных блоков с оптимальной мощностью 120 Вт и температурой воды 30C.
Чтобы упростить процесс и снизить затраты, мы заменили металлическую крышку на пластик АБС.
Использование пластиковых крышек также позволило построить прототипы без металлической арматуры для входной и выходной труб. Вместо фитингов трубы были непосредственно приклеены к крышке водоблока.
Как и в предыдущих итерациях, мы также производили водные блоки в меньших форм-факторах. Например, здесь у вас есть водоблок GPU:
3D печать водяных блоков
Использование пластиковых крышек для водяных блоков также открыло двери для нового процесса прототипирования, включая 3D-печать. Мы начали экспериментировать с водными блоками из АБС-пластика с 3D-печатью, тестируя различные типы крышек.
Варианты обложек с 3D-печатью:
CFD симуляции
Впервые в истории OVHcloud мы использовали расширенное моделирование CFD (Computational Fluid Dynamics). Это позволило нам оптимизировать термогидравлику пластин с медным основанием и еще больше улучшить производительность водяного блока.
Избыточность
Именно в это время мы впервые использовали четырехуровневые покрытия, добавив избыточность и повысив надежность.
2017
Мы всегда находимся в поиске высоко стандартизированных подходов, которые применяются к различным географическим зонам и потребностям местных клиентов. Наряду с международной экспансией мы придерживались экологически безопасного подхода, поддерживая очень низкий уровень ODP (потенциал разрушения озонового слоя) и GWP (потенциал глобального потепления) в наших центрах обработки данных.
К 2017 году мы смогли использовать водоблоки с оптимальной мощностью 200 Вт и температурой воды 30C, и все они были полностью спроектированы и изготовлены внутри компании OVHcloud.
После пластиковых крышек АБС пришло время испытать другие пластмассы, включая полиамиды.
Два примера водяных блоков: один для стандартных процессоров, другой для графических процессоров, с белыми полиамидными крышками:
Водоблок с белой полиамидной пластиковой крышкой для стандартных процессоров
Водоблок для процессоров высокой плотности с черной полиамидной пластиковой крышкой:
Эксперименты с полиамидным пластиком также позволили нам быстро разработать и протестировать различные прототипы для расширенной поддержки ЦП и снижения затрат.
2018-2019
В OVHcloud у нас есть полный контроль от R & D до развертывания центра обработки данных. Мы можем непрерывно вводить новшества в короткие циклы, что значительно сокращает время между прототипированием и крупномасштабным развертыванием.
В результате мы теперь как никогда способны выпускать новые продукты на рынок быстрее и с лучшей ценностью. Многие из наших серверов поставляются за 120 секунд со 100% непрерывностью обслуживания, повышенной доступностью и оптимизированной производительностью инфраструктуры.
За последние два года мы начали работать с новой технологией, используя сваренные лазером металлические опорные плиты и крышки. С помощью этой технологии мы можем избежать использования винтов и клея, а также минимизировать риск утечек.
На этих водяных блоках трубопроводы изготавливаются полностью с использованием труб, сваренных медью.
Как обычно, мы также строим водоблоки для определенных форм-факторов, таких как графические процессоры или процессоры высокой плотности.
2020- ...
В OVHcloud мы продолжаем выявлять, транспонировать и адаптировать то, что работает в других местах, чтобы позволить нам внедрять инновации и создавать наши собственные решения. Мы будем следовать циклам сбоев, чтобы повысить эффективность и сократить расходы, всегда стремясь создать добавленную стоимость для наших клиентов.
Мы работаем над водяными блоками 4-го уровня следующего поколения с нашей запатентованной технологией. Наши водоблоки 4-го уровня больше не являются прототипами, но уже готовы к работе, и мы активно работаем над моделированием и тестами для повышения производительности.
Мы стремимся к созданию водяных блоков мощностью 400 Вт с температурой воды 30C и полностью резервированной системой водоснабжения.
И кроме водяных блоков?
В OVHcloud мы гордимся нашими научно-исследовательскими лабораториями. Они полностью привержены продвижению наших конкурентных преимуществ в области аппаратного и программного обеспечения, а также наших проверенных на практике методов стресс-проверки и тестирования серверов. В наших лабораториях мы разрабатываем и тестируем решения для охлаждения, новые прототипы серверов и инновационные варианты хранения.
В будущих публикациях мы расскажем о других аспектах нашего процесса промышленных инноваций и посмотрим, как наши клиенты выигрывают от постоянного повышения надежности обслуживания и повышения ценовой эффективности.
Водяное охлаждение: от инноваций до разрушения - Часть I
Одним из успехов OVHcloud является наша способность развивать и продвигать инновации как в сфере ИТ, так и в промышленности. В течение двух десятилетий мы ставили инновации в центр нашей стратегии, это часть нашей ДНК. Мы постоянно исследуем и разрабатываем новые технологии для оптимизации производительности наших услуг.
Мы производим собственные серверы, создаем собственные центры обработки данных и поддерживаем прочные долгосрочные отношения с другими технологическими партнерами с четкой целью: предлагать самые инновационные решения с наилучшим соотношением цена / производительность. Наиболее очевидным примером, тесно связанным с нашей разработкой, является идея использования воды для охлаждения наших серверов.
Мы начали использовать водяное охлаждение в промышленных масштабах в 2003 году, хотя в то время это противоречило общепринятому мнению. Эта технология позволила нам постоянно повышать производительность серверов при одновременном снижении энергопотребления в наших центрах обработки данных. Задача состояла не только в том, чтобы найти правильную связь между давлением, расходом, температурой и диаметром труб, но, прежде всего, для производства решения в массовом масштабе.
Экологические проблемы, связанные с цифровыми услугами, также имеют жизненно важное значение, особенно для наших центров обработки данных. Мы хорошо осведомлены о нашем собственном воздействии на окружающую среду и постоянно стремимся уменьшить его на ежедневной основе. После включения питания охлаждение серверов, как правило, является наиболее дорогостоящим с точки зрения электричества для хостинг-провайдеров.
Водяное охлаждение в сочетании с внешней системой воздушного охлаждения позволяет нам значительно оптимизировать эффективность использования энергии (PUE) наших центров обработки данных. А меньшее потребление электроэнергии означает меньшие затраты для нас и наших клиентов, но также снижает воздействие на окружающую среду.
2003-2008
С 2003 года мы разрабатываем собственную систему водяного охлаждения и размещаем ее в наших новых центрах обработки данных. Наши исторические клиенты были первыми, кто воспользовался инновационным и высокоэффективным процессом в промышленном масштабе.
Наши первые поколения водоблочных технологий были разработаны нашими командами и изготовлены извне. Эти водоблоки имели оптимальную мощность 60 Вт при температуре воды 30 ° С.
В первом поколении водяного охлаждения использовались очень простые водяные блоки с двумя медными выпуклыми концами, согнутыми вместе:
Водоблок, состоящий из двух медных выпуклых концов, обжимаемых вместе
На следующей итерации наших водных блоков мы добавили некоторые изменения для повышения надежности и снижения затрат:
Для облегчения монтажа труб и улучшения герметизации мы снова изменили технологию водоблока, представив компрессионные фитинги, которые являются более надежными и более простыми в подключении.
Вид в разрезе водоблока показывает раннюю конструкцию термогидравлики, где полностью гладкая поверхность основания образует резервуар с крышкой:
2011
В отличие от других поставщиков, мы сохраняем полный контроль над нашей цепочкой создания стоимости, что означает, что мы можем предложить самые современные решения по очень конкурентоспособной цене, и это очень важно для наших клиентов.
В течение этого периода мы все еще проектировали наши водоблоки внутри и производили их снаружи. Оптимальная мощность для этого поколения водяных блоков составляет 60 Вт при температуре воды 30 ° C.
Наши водные блоки продолжали развиваться. Мы заменили медную выпуклую концевую опорную плиту на простую. Крест на крышке был заменен крестом внутри водоблока. Это позволило нам еще больше снизить стоимость водяных блоков без ущерба для производительности.
2013-2014
Мы всегда стараемся быть инновационными и идти своим путем. С 2013 года мы постоянно переосмысливаем нашу технологию водяного охлаждения, улучшая производительность, эксплуатацию и стоимость. Эта постоянная инновация позволяет нам идти в ногу с постоянно растущими потребностями наших клиентов в увеличении вычислительной мощности и емкости хранения данных, а также в постоянно увеличивающемся количестве выделяемого тепла.
Водные блоки, созданные в этот период, полностью отличались от предыдущих поколений. Мы заменили сварку на винтовую затяжку, а выпуклые верхние пластины были заменены пластинами со встроенными водоприемниками и выпускными отверстиями.
Другие факторы
На этом этапе мы начали вносить изменения в водоблоки, например, адаптируя их к меньшим форм-факторам графического процессора:
Здесь у вас есть параллельное сравнение стандартного, водоблока ЦП и более компактного водоблока графического процессора:
Мы также разработали несколько специальных конструкций водоблоков, адаптированных для конкретных ограничений:
Хорошим примером является водоблок, который мы разработали для процессоров IBM Power 8 высокой плотности. На следующем рисунке вы можете увидеть крышку и основания этого специального водоблока:
2015 и далее
В предыдущих параграфах описана наша технология водоблоков в 2014 году. С тех пор мы прошли большой путь. Мы использовали новые технологии, такие как 3D-печать, и внесли некоторые фундаментальные изменения в дизайн.
В ближайшие недели мы опубликуем следующие посты в нашей серии по водяному охлаждению. Они расскажут о том, как наши водные блоки развивались с 2015 года. Мы сосредоточимся на текущем поколении и кратко рассмотрим предстоящие улучшения.
Мы производим собственные серверы, создаем собственные центры обработки данных и поддерживаем прочные долгосрочные отношения с другими технологическими партнерами с четкой целью: предлагать самые инновационные решения с наилучшим соотношением цена / производительность. Наиболее очевидным примером, тесно связанным с нашей разработкой, является идея использования воды для охлаждения наших серверов.
Мы начали использовать водяное охлаждение в промышленных масштабах в 2003 году, хотя в то время это противоречило общепринятому мнению. Эта технология позволила нам постоянно повышать производительность серверов при одновременном снижении энергопотребления в наших центрах обработки данных. Задача состояла не только в том, чтобы найти правильную связь между давлением, расходом, температурой и диаметром труб, но, прежде всего, для производства решения в массовом масштабе.
Экологические проблемы, связанные с цифровыми услугами, также имеют жизненно важное значение, особенно для наших центров обработки данных. Мы хорошо осведомлены о нашем собственном воздействии на окружающую среду и постоянно стремимся уменьшить его на ежедневной основе. После включения питания охлаждение серверов, как правило, является наиболее дорогостоящим с точки зрения электричества для хостинг-провайдеров.
Водяное охлаждение в сочетании с внешней системой воздушного охлаждения позволяет нам значительно оптимизировать эффективность использования энергии (PUE) наших центров обработки данных. А меньшее потребление электроэнергии означает меньшие затраты для нас и наших клиентов, но также снижает воздействие на окружающую среду.
2003-2008
С 2003 года мы разрабатываем собственную систему водяного охлаждения и размещаем ее в наших новых центрах обработки данных. Наши исторические клиенты были первыми, кто воспользовался инновационным и высокоэффективным процессом в промышленном масштабе.
Наши первые поколения водоблочных технологий были разработаны нашими командами и изготовлены извне. Эти водоблоки имели оптимальную мощность 60 Вт при температуре воды 30 ° С.
В первом поколении водяного охлаждения использовались очень простые водяные блоки с двумя медными выпуклыми концами, согнутыми вместе:
Водоблок, состоящий из двух медных выпуклых концов, обжимаемых вместе
На следующей итерации наших водных блоков мы добавили некоторые изменения для повышения надежности и снижения затрат:
- Технология обжима заменена пайкой
- Вставные фитинги из нержавеющей стали заменили латунные
- Крест также добавлен к крышке, чтобы лучше закрепить водяной блок на чипе
Для облегчения монтажа труб и улучшения герметизации мы снова изменили технологию водоблока, представив компрессионные фитинги, которые являются более надежными и более простыми в подключении.
Вид в разрезе водоблока показывает раннюю конструкцию термогидравлики, где полностью гладкая поверхность основания образует резервуар с крышкой:
2011
В отличие от других поставщиков, мы сохраняем полный контроль над нашей цепочкой создания стоимости, что означает, что мы можем предложить самые современные решения по очень конкурентоспособной цене, и это очень важно для наших клиентов.
В течение этого периода мы все еще проектировали наши водоблоки внутри и производили их снаружи. Оптимальная мощность для этого поколения водяных блоков составляет 60 Вт при температуре воды 30 ° C.
Наши водные блоки продолжали развиваться. Мы заменили медную выпуклую концевую опорную плиту на простую. Крест на крышке был заменен крестом внутри водоблока. Это позволило нам еще больше снизить стоимость водяных блоков без ущерба для производительности.
2013-2014
Мы всегда стараемся быть инновационными и идти своим путем. С 2013 года мы постоянно переосмысливаем нашу технологию водяного охлаждения, улучшая производительность, эксплуатацию и стоимость. Эта постоянная инновация позволяет нам идти в ногу с постоянно растущими потребностями наших клиентов в увеличении вычислительной мощности и емкости хранения данных, а также в постоянно увеличивающемся количестве выделяемого тепла.
Водные блоки, созданные в этот период, полностью отличались от предыдущих поколений. Мы заменили сварку на винтовую затяжку, а выпуклые верхние пластины были заменены пластинами со встроенными водоприемниками и выпускными отверстиями.
Другие факторы
На этом этапе мы начали вносить изменения в водоблоки, например, адаптируя их к меньшим форм-факторам графического процессора:
Здесь у вас есть параллельное сравнение стандартного, водоблока ЦП и более компактного водоблока графического процессора:
Мы также разработали несколько специальных конструкций водоблоков, адаптированных для конкретных ограничений:
Хорошим примером является водоблок, который мы разработали для процессоров IBM Power 8 высокой плотности. На следующем рисунке вы можете увидеть крышку и основания этого специального водоблока:
2015 и далее
В предыдущих параграфах описана наша технология водоблоков в 2014 году. С тех пор мы прошли большой путь. Мы использовали новые технологии, такие как 3D-печать, и внесли некоторые фундаментальные изменения в дизайн.
В ближайшие недели мы опубликуем следующие посты в нашей серии по водяному охлаждению. Они расскажут о том, как наши водные блоки развивались с 2015 года. Мы сосредоточимся на текущем поколении и кратко рассмотрим предстоящие улучшения.
WaterCooling designed by OVH
Как сварен водоблок?
Some innovations: to control & to monitor the watercooling
Сварной водяной блок без какой-либо работы
Сварной водяной блок без какой-либо работы: мы последовательно выполнили 7 штук, которые были полностью собраны (водонепроницаемы), за один проход. Мы держим 10! в 0/1/10/100/1000 :)
Следующий шаг:
— тест на большой громкости
— проверить некоторые варианты параметров 1 на 1
Следующий шаг:
— тест на большой громкости
— проверить некоторые варианты параметров 1 на 1
Alpha GPU: GTX 1080 with the watercooling
