В ванне у нас 24 ячейки по 5 киловатт. То есть одна «лежачая стойка» — отвод 120 киловатт тепла. Это примерно в 20 раз больше, чем стойка в обычном ЦОДе.
Ячейка — 25х30 см. Туда по ширине влезает стандартная двухпроцессорная материнская плата.
Сама установка имеет габариты чуть больше двух метров в длину, порядка метра в ширину, и в высоту она у нас где-то сантиметров 80.
Внутри у нас не самое новое железо, которое мы чаще всего и погружаем, — то, что уже доживает свой век или изначально рассматривается как расходный материал.
Жидкость, которую мы используем, — диэлектрическая, то есть ток не проводит. Но она имеет масляную основу.
И ванна, как оказалось, вполне себе может гореть!
Мы это поняли на практике.
На фотографии просто ванна, которую повело от перегрева. А ещё одна сгорела, и сфотографировать мы это не успели. Это было задолго до публичного облака, ещё когда мы хостили криптанов с асиками. Пожарные, когда поняли, что горит целая ванна масла, сказали, что тушить её бесполезно и пока всё масло не выгорит, они будут просто смотреть, чтобы огонь не перекинулся на соседние.
Так мы провели вечер у костра.
Старые серверы мы разгоняем и топим. Это даёт +2 года использования в инференсе, а поскольку это гиперскейл в контейнерах — то, когда сервер умрёт, никто не заметит, это часть жизни.
Но сначала утопленника надо разогнать и подготовить.
- 1. Меняем провода на те, у которых изоляция не растворяется при +50 по Цельсию. Провода обычно выше процессора при вертикальном погружении, и туда доходит прямой поток тепла. А для изоляции обычных проводов такая температура очень неприятная.
- 2. Снимаем кулеры и всё движущееся, чтобы не мешали потоку жидкости. Движение жидкости обеспечивается насосом ванны и естественной конвекцией.
- 3. Если кулер снять, сойдёт с ума контроллер железяки (если он есть) и будет пытаться троттлить железку, потому что не получается выставить повышенные обороты кулеру. Заливаем новую прошивку или ломаем датчик, чтобы железка думала, что кулер всегда на максимуме.
- 4. Иногда надо отколупать или перевернуть радиаторы, они очень мешают потоку жидкости.
- 5. Такая же фигня с оперативкой рядами. Мы, например, искали платы, у которых процессор с оперативной памятью тоже ставится вертикально. У многих они ставятся горизонтально, что, соответственно, будет препятствовать нормальному охлаждению каждого второго, третьего и последующего модуля памяти в ряду. Жидкость должна проходить их насквозь, а не как пороги.
- 6. Обычная термопаста со временем растворяется и вымывается из-под радиатора. Есть специальная, устойчивая к вымыванию. Нам её поставляет производитель иммерсионных установок. Новая намазывается навсегда. У нас рекорд 4 года, поэтому навсегда равняется именно этому сроку. Дольше сервак в ванне не жил.
- 7. Жёсткие диски иногда очень сложно достать, если сервер уходит мордой вниз. Иногда нужны специальные салазки или что-то ещё, чтобы можно было вытащить диск для замены, не вынимая сервер из ванны.
h3llo.cloud/ru/
