По мере масштабирования рабочих нагрузок ИИ во всех отраслях организациям необходимы вычислительные ресурсы, оптимизирующие пропускную способность, задержку и экономичность на протяжении всего жизненного цикла ИИ. Для удовлетворения этого спроса Oracle и Google Cloud объединяют усилия, чтобы предоставить процессоры Google Tensor Processing Units (TPU) для инфраструктуры Oracle Cloud Infrastructure (OCI), сделав OCI первым гипермасштабируемым провайдером за пределами Google, предлагающим TPU. Совместно мы начнем развертывание мощностей TPU на OCI начиная с 2027 календарного года.

TPU: Совместная разработка от кремниевой микросхемы до программного обеспечения.
Компания Google создала свой первый TPU более десяти лет назад, основываясь на четкой концепции продукта: совместная разработка специализированных микросхем с оптическими сетями, системами питания, жидкостным охлаждением и программным обеспечением компилятора обеспечивает прирост производительности на ватт и снижение общей стоимости владения, чего не могут достичь отдельные компоненты.

TPU v1 обеспечивал в 30 раз большую пропускную способность на ватт по сравнению с современными процессорами. Сегодня TPU используются для обучения и обслуживания Gemini в продуктах Google, насчитывающих миллиард пользователей, а TPU восьмого поколения обеспечивают до 12,6 PFLOPS нативных вычислений FP4 на чипе, что более чем в 100 раз превышает 92 TFLOPS у TPU v1 и в 2 раза повышает производительность на ватт по сравнению с предыдущим поколением. Однако одних только FLOPS недостаточно для определения экономической эффективности как обучения, так и вывода. Для обучения определяющим показателем является пропускная способность; процент времени, которое кластер тратит на продуктивные вычисления. Для вывода определяющими показателями являются задержка и стоимость на токен. TPU решают обе эти задачи за счет совместного проектирования на системном уровне.

Благодаря сочетанию внутрикристальной маршрутизации межсоединений (ICI) с оптической коммутацией каналов (OCS), плоскость управления обнаруживает аппаратные сбои или ухудшение качества связи и динамически перенаправляет оптические пути в обход неисправностей в режиме реального времени без перезапуска заданий, поддерживая пропускную способность более 97% на тысячах микросхем в крупномасштабных обучающих циклах и обеспечивая высокую доступность для обслуживания в производственной среде. Увеличенный объем SRAM на кристалле, большая емкость HBM и новая топология межсоединений малого диаметра, сокращающая количество сетевых переходов более чем на 50%, позволяют процессорам TPU последнего поколения обеспечивать до 80% лучшую производительность на доллар при обслуживании с низкой задержкой.

Эффективность аппаратного обеспечения приводит к ускорению разработки продукта, когда разработчики могут легко его внедрить. Наши недавние заявления на конференции PyTorch подтверждают наше стремление сделать программную экосистему Google TPU открытой и удобной для разработчиков средой для сообщества PyTorch. В частности, TorchTPU, наш собственный стек PyTorch для Google TPU, теперь доступен в качестве открытого исходного кода на GitHub. Теперь вы можете обучать, запускать и развертывать модели на TPU, используя уже используемые вами инструменты, включая vLLM, SGLang, llm-d, TorchTitan, Ray, TorchRec, Hugging Face, LiteRT.

Эта возможность переноса позволяет командам назначать каждую рабочую нагрузку акселератору, обеспечивающему наименьшую стоимость за токен или самое быстрое время обучения, без переписывания кода модели. А благодаря сегодняшнему объявлению, вскоре они смогут назначать эти рабочие нагрузки TPU в инфраструктуре Google Cloud или Oracle.

Расширение экосистемы инфраструктуры ИИ с помощью OCI
Даже несмотря на растущее внедрение TPU в Google Cloud, глобальный спрос на вычислительные ресурсы для ИИ превышает возможности любого отдельного облачного провайдера. Внедрение TPU в OCI предоставляет клиентам четыре существенных преимущества:

• Центры обработки данных, спроектированные для высокой плотности ИИ: системы TPU от Google разработаны для прямого жидкостного охлаждения в масштабе стоек, и центры обработки данных следующего поколения OCI созданы именно для этого профиля. Oracle предоставляет гибкие и надежные мощности, которые могут переключаться между обучением моделей на переднем крае вычислений и выводом результатов в производственной среде в зависимости от меняющегося спроса клиентов. Сочетание эффективности TPU с инновационными подходами Oracle к электропитанию и охлаждению помогает быстро и в глобальном масштабе вводить в эксплуатацию энергоэффективные вычислительные мощности для ИИ.
• Безопасная высокопроизводительная сеть с Oracle Acceleron: пока TPU передают трафик между чипами через ICI и OCS, Oracle Acceleron обеспечивает сетевую основу, соединяющую мощности TPU с остальной частью OCI. SmartNIC Acceleron с изоляцией арендаторов на аппаратном уровне, высокопроизводительной коммутационной матрицей и маршрутизацией пакетов с нулевым доверием обеспечивает передачу данных между базами данных Oracle, хранилищами и кластерами TPU с высокой пропускной способностью и низкой задержкой, не перегружая вычислительные ресурсы хостов и не ослабляя границы безопасности.
• Близость к корпоративным данным: базы данных Oracle часто являются основной системой учета для крупных организаций. Предложение TPU непосредственно в OCI позволяет организациям проводить тонкую настройку и вывод результатов рядом с существующими корпоративными данными без дорогостоящих межоблачных переносов.
• Возможность выбора различных архитектур: Предоставление TPU наряду с GPU в OCI дает командам гибкость в назначении оптимального ускорителя для каждого этапа рабочей нагрузки ИИ с учетом стоимости и производительности.

Благодаря интеграции вычислительных блоков Google TPU в облачную инфраструктуру Oracle, Google Cloud и Oracle открывают доступ к более чем десятилетнему опыту разработки специализированных систем искусственного интеллекта для более широкой экосистемы разработчиков. Когда у клиентов появляется больше вариантов специализированных вычислительных ресурсов в различных облачных средах, вся отрасль развивается быстрее и работает эффективнее. Мы с нетерпением ждём, что вы создадите.