GPUs as a service with Kubernetes Engine are now generally available

Сегодня мы рады объявить об общей доступности графических процессоров в Google Kubernetes Engine, которые стали одной из самых быстрорастущих функций платформы, так как они вступили в бета-версию в начале этого года, а основные часы выросли на 10X с конца 2017 года.

Совместно с GA Kubernetes Engine 1.10 графические процессоры делают Kubernetes Engine отличным для рабочих нагрузок для машинного обучения (ML). Используя GPU в Kubernetes Engine для ваших рабочих нагрузок CUDA, вы получаете максимальную вычислительную мощность графических процессоров, когда вам нужно, без необходимости управлять оборудованием или даже виртуальными машинами. Недавно мы представили новейший и самый быстрый NVIDIA Tesla V100 в портфолио, и P100, как правило, доступен. И последнее, но не менее важное: мы также предлагаем начальный уровень K80, который в значительной степени отвечает за популярность графических процессоров.

Все наши модели графических процессоров доступны в качестве превентивных графических процессоров, что позволяет снизить затраты при использовании графических процессоров в Google Cloud. Ознакомьтесь с последними ценами на графические процессоры здесь.
По мере роста основных часов GPU наши пользователи в восторге от GPU в Kubernetes Engine. Ocado, крупнейший в мире онлайн-магазин продуктов питания, всегда стремится применять современные модели машинного обучения для клиентов Ocado.com и партнеров по розничной торговле Ocado Smart Platform и запускает модели на превентивных экземплярах с ускорением GPU на Двигатель Кубернетеса.

Присоединенные к GPU узлы вместе с Kubernetes обеспечивают мощную, экономичную и гибкую среду для машинного обучения на уровне предприятия. Ocado выбрала Kubernetes за ее масштабируемость, мобильность, сильную экосистему и огромную поддержку сообщества. Он легче, гибче и удобнее в обслуживании по сравнению с кластером традиционных виртуальных машин. Он также имеет большую простоту в использовании и возможность прикреплять аппаратные ускорители, такие как графические процессоры и TPU, обеспечивая огромный прирост по сравнению с традиционными процессорами

— Мартин Николов, инженер-разработчик программного обеспечения, Ocado

Графические процессоры в Kubernetes Engine также имеют ряд уникальных возможностей:

• Узел пулов позволяет вашему существующему кластеру использовать графические процессоры, когда вам нужно.
• Autoscaler автоматически создает узлы с графическими процессорами, когда планируются графические процессоры, и масштабируются до нуля, когда графические процессоры больше не потребляются никакими активными модулями.
• Технология Taint и toleration гарантирует, что на узлах с графическими процессорами будут запланированы только те модули, которые запрашивают графические процессоры, и предотвращают запуск блоков, которые не требуют использования графических процессоров.
• Квота ресурсов, которая позволяет администраторам ограничить потребление ресурсов на пространство имен в большом кластере, совместно используемом несколькими пользователями или командами.

Мы также слышали от вас, что вам нужен простой способ понять, как работают ваши задачи GPU: насколько заняты графические процессоры, сколько памяти доступно и сколько памяти выделено. Мы очень рады сообщить, что теперь вы можете отслеживать эту информацию из консоли GCP. Вы также можете визуализировать эти показатели в Stackdriver.


Рис. 1. Использование памяти GPU и рабочий цикл
Общая доступность графических процессоров в Kubernetes Engine представляет собой тяжелую работу за кулисами, полировку внутренних компонентов для корпоративных нагрузок. Jiaying Zhang, технический лидер в этой общей доступности, возглавил усилия Device Plugins в Kubernetes 1.10, тесно сотрудничая с сообществом OSS, чтобы понять его потребности, определить общие требования и разработать план выполнения для создания готовой к производству системы.
Попробуйте их сегодня

Чтобы начать использовать графические процессоры в Kubernetes Engine с помощью бесплатной пробной версии в размере 300 долларов США, вам необходимо обновить свою учетную запись и подать заявку на получение квоты на использование графического процессора для вступления в силу кредитов. Для более подробного объяснения Kubernetes Engine с графическими процессорами, например, как установить драйверы NVIDIA и как настроить контейнер для использования графических процессоров, ознакомьтесь с документацией.
В дополнение к графическим процессорам в Kubernetes Engine облачные TPU также теперь доступны в Google Cloud. Например, RiseML использует Cloud TPU в Kubernetes Engine для простой в использовании инфраструктуры машинного обучения, которая проста в использовании, обладает высокой масштабируемостью и экономичностью. Если вы хотите быть одним из первых, кто получил доступ к Cloud TPU в Kubernetes Engine, присоединяйтесь к нашей программе раннего доступа сегодня.
Спасибо за ваши отзывы о том, как формировать нашу дорожную карту, чтобы лучше удовлетворить ваши потребности. Продолжайте разговор, соединившись с нами на канале Cubernetes Engine Slack.