Рост вычислительных мощностей последних поколений серверных процессоров привел к тому, что значительная доля старых ЦОДов, которые использовались десятилетия, теперь непригодны для установки современного оборудования.
К таким выводам пришли специалисты из Uptime Institute, организации, которая занимается, кроме прочего, сертификацией, обслуживанием, проектированием и другими вещами, связанными с дата-центрами.
По словам представителей Uptime Institute, современные процессоры значительно превосходят старые решения сразу в нескольких параметрах, что является проблемой для старых ЦОДов.
Первое — у новых процессоров намного более высокое энергопотребление отдельного чипа.
Второе — развитие материнских плат и контроллеров; сейчас двухсокетная 2U-система может нести на себе до двухсот х64-х86 ядер. Ранее для размещения таких мощностей потребовалась бы несколько узлов.
Третье — падение общей температуры шасси (именно падение).
Большинство старых ЦОДов редко имеют питание более 10 кВт на стойку. При текущем энергопотреблении серверных процессоров Intel Xeon Sapphire Rapids последнего поколения на уровне 350 Вт и AMD EPYC Genoa на уровне 400 Вт, старые дата-центры уже скоро столкнутся с тем, что для питания серверов им придется, как минимум, ограничивать наполняемость стойки. По сути, серверные CPU от Intel и AMD последних поколений приблизились к показателям TDP графических ускорителей. Центры обработки данных же, построенные для GPU, имеют совершенно другую инфраструктуру и иные, более жесткие требования к охлаждению систем и системам питания стоек.
Однако кроме роста TDP отдельных процессоров увеличивается и плотность ядер, то есть плотность выделяемого тепла. При этом общая температура шасси, за счет современных технологий и материалов, снизилась с 80-84 градусов до 52-58 градусов.
Казалось бы, снижение рабочих температур установки — инженерная победа, однако имея дело с такими системами, как дата-центры, в дело вступают совершенно иные факторы.
С точки зрения термодинамики общее рассеянное тепло шасси в 55-60 градусов отводить сложнее, чем если бы процессоры выдавали по 80-84 градуса, как ранее. По сути, современная гонка за равномерностью выделения тепла системами, привела к тому, что воздушные системы охлаждения старых ЦОД перестают справляться с охлаждением нового оборудования.
Для эффективного отвода большого объема тепла, распределенного по шасси, придется рассматривать жидкостные или погружные системы охлаждения на воде или минеральном масле. Как известно, первые, водяные системы — недостаточно надежны для корпоративных систем и требуют специальной инфраструктуры и обслуживания.
Погружные системы на базе минерального масла или другого диэлектрического проводника тепла могут решить возникшую проблему, но в этом случае мы возвращаемся к инфраструктурным вопросам внутри самого ЦОД и, что самое важное — к вопросу энергопотребления.
Воздушная система отвода тепла, которая до недавнего времени была весьма эффективна и работала по принципу разностей температур и организации воздушных коридоров внутри самого ЦОД между стойками, теперь неактуальна. Принудительно кондиционируемые системы проблему если и решают, то требуют глобальной перестройки всего ЦОД, а погружные системы требуют собственного электропитания для охлаждения циркулирующего внутри ванны проводника тепла.
Выходов из сложившейся ситуации два: старые дата-центры продолжат работу, однако не получат прироста вычислительных мощностей за счет установки нового оборудования, так как не могут обслужить высокую плотность ядер на стойку, либо они станут закрываться и/или реконструироваться. Вполне вероятно, что для использования процессоров Intel и AMD текущего и последующих поколений, провайдерам придется строить принципиально новые дата-центры по новым стандартам, а обслуживание в таком центре сложно будет назвать дешевым. Все это в итоге выливается в рост стоимости облачных сервисов, хостинга и прочих услуг ЦОД, которыми мы привыкли пользоваться.
Время у дата-центров и хостинг-провайдеров есть, условно, до окончания срока службы массовых сейчас Intel Xeon 2014-2016 годов выпуска, которые составляют костяк вычислительных мощностей человечества. Развитие нейросетей, таких как ChatGPT или MidJourney, и их проникновение в повседневную жизнь пользователей, а так же общий рост передаваемых и хранимых данных, все сильнее и сильнее подталкивает нас к переходу на современные процессоры и GPU-ускорители в качестве основных вычислительных платформ. Но, как заявляют специалисты, для них пока просто нет достаточного числа дата-центров и универсальных, обкатанных инфраструктурных решений.
