Чтобы ускорить развертывание самых масштабных приложений машинного обучения (ML), развертываемых сегодня, и обеспечить быструю разработку приложений ML завтрашнего дня, Google создала специальные кремниевые чипы, называемые Tensor Processing Units (TPU). При сборке в многостоечные суперкомпьютеры ML, называемые модулем Cloud TPU, эти TPU могут выполнять рабочие нагрузки ML за считанные минуты или часы, которые ранее занимали дни или недели в других системах. Сегодня впервые бета-версии Google Cloud TPU v2 и Cloud TPU v3 представлены в бета-версии, чтобы помочь исследователям, инженерам и ученым в области ML быстрее выполнять итерации и обучать более способные модели машинного обучения.
cloud.google.com/tpu/docs/tpus
A full
Cloud TPU v3 Pod
Доставка стоимости бизнеса
Google Cloud стремится предоставить полный спектр ускорителей ML, включая облачные GPU и облачные TPU. Облачные TPU обеспечивают высокую конкурентоспособность производительности и стоимости, часто ускоряя обучение передовым моделям глубокого обучения и обеспечивая значительную экономию. Если ваша команда ML строит сложные модели и обучается на больших наборах данных, мы рекомендуем вам оценивать облачные TPU всякий раз, когда вам требуется:
- Сокращение времени на понимание — итерация быстрее при обучении больших моделей ML
- Более высокая точность — обучайте более точные модели, используя большие наборы данных (миллионы помеченных примеров; терабайты или петабайты данных)
- Частые обновления модели — переподготовка модели ежедневно или еженедельно по мере поступления новых данных
- Быстрое создание прототипов — начните быстро с наших оптимизированных эталонных моделей с открытым исходным кодом в сегментации изображений, обнаружении объектов, языковой обработке и других основных прикладных областях
Хотя некоторые пользовательские кремниевые микросхемы могут выполнять только одну функцию, TPU полностью программируются, а это означает, что облачные TPU Pod могут ускорять широкий спектр современных рабочих нагрузок ML, включая многие из самых популярных моделей глубокого обучения. Например, Cloud TPU v3 Pod может обучать ResNet-50 (классификация изображений) с нуля в наборе данных ImageNet всего за две минуты или BERT (NLP) всего за 76 минут.
Клиенты облачного TPU видят значительное ускорение в рабочих нагрузках, охватывающих визуальный поиск продуктов, финансовое моделирование, производство энергии и другие области. В недавнем тематическом исследовании Recursion Pharmaceuticals многократно проверяет жизнеспособность синтезированных молекул для лечения редких заболеваний. То, что заняло более 24 часов для обучения на их предварительном кластере, завершилось всего за 15 минут на облачном модуле TPU.
cloud.google.com/customers/recursion/
Что в облаке ТПУ Pod
Один модуль Cloud TPU может содержать более 1000 отдельных чипов TPU, которые соединены сверхбыстрой двумерной тороидальной ячеистой сетью, как показано ниже. Программный стек TPU использует эту ячеистую сеть, чтобы позволить многим стойкам машин быть запрограммированными как один гигантский суперкомпьютер ML через множество гибких высокоуровневых API.
2D тороидальная ячеистая сеть
Модули Cloud TPU v3 последнего поколения с жидкостным охлаждением обеспечивают максимальную производительность, и каждый из них обеспечивает более 100 вычислительных мощностей petaFLOP. С точки зрения необработанных математических операций в секунду, Cloud TPU v3 Pod сопоставим с топ-5 суперкомпьютерами в мире (хотя он работает с более низкой числовой точностью).
Также возможно использование небольших секций модулей Cloud TPU, называемых «срезами». Мы часто видим, что команды ML разрабатывают свои начальные модели на отдельных устройствах Cloud TPU (которые обычно доступны), а затем расширяются до постепенно увеличивающихся срезов блоков Cloud TPU посредством параллелизма данных. и моделирование параллелизма для достижения большей скорости обучения и масштабирования модели.
Вы можете узнать больше о базовой архитектуре TPU в этом блоге или на этом интерактивном веб-сайте, а также узнать больше об отдельных устройствах Cloud TPU и срезах Cloud TPU Pod здесь.
cloud.google.com/blog/products/ai-machine-learning/what-makes-tpus-fine-tuned-for-deep-learning
storage.googleapis.com/nexttpu/index.html
cloud.google.com/tpu/docs/deciding-pod-versus-tpu
Испытать Cloud TPU в вашем браузере легко и весело прямо сейчас с помощью этого интерактивного Colab, который позволяет вам применять предварительно обученную модель сегментации изображения R-CNN к изображению по вашему выбору. Вы можете узнать больше о сегментации изображений на облачных TPU в этом недавнем сообщении в блоге.
Далее, мы рекомендуем проработать наш быстрый запуск Cloud TPU, а затем поэкспериментировать с одной из оптимизированных эталонных моделей Cloud TPU с открытым исходным кодом, перечисленных ниже. Мы тщательно оптимизировали эти модели, чтобы сэкономить ваше время и усилия, и они демонстрируют множество лучших практик облачного TPU. Сравнительный анализ одной из наших официальных эталонных моделей в общедоступном наборе данных для больших и больших срезов стручков — отличный способ получить представление о производительности облачного TPU в масштабе.
Классификация изображений
Мобильная классификация изображений
Обнаружение объекта
Сегментация изображения
Обработка естественного языка
Распознавание речи
Генеративные Состязательные Сети
После работы с одной из вышеперечисленных эталонных моделей в Cloud TPU наше руководство по производительности, руководство по инструментам профилирования и руководство по устранению неполадок могут предоставить вам подробную техническую информацию, которая поможет вам самостоятельно создавать и оптимизировать модели машинного обучения с использованием высокоуровневого TensorFlow. API-интерфейсы. Если вы готовы запросить срезы Cloud TPU или Cloud TPU Pod для ускорения собственных рабочих нагрузок ML, обратитесь к торговому представителю Google Cloud.
cloud.google.com/tpu/docs/performance-guide
cloud.google.com/tpu/docs/cloud-tpu-tools
cloud.google.com/tpu/docs/troubleshooting
cloud.google.com/contact/
