Yandex Cloud

Yandex.Cloud растет и развивается. Сегодня в одном посте мы расскажем обо всех релизах Yandex Scale 2020, новых сервисах и возможностях облачной платформы.



Инфраструктура
Новые сервисы

• Certificate Manager перешел со стадии Preview в общий доступ. Теперь вы можете создавать TLS-сертификаты от Let’s Encrypt или импортировать пользовательские сертификаты для защиты своих сервисов.

Новые функциональности в сервисах

• Выделенные хосты в Compute Cloud — физически изолированные серверы, которые подойдут компаниям с высокими требованиями безопасности. С ними вы можете пользоваться сервисами Yandex.Cloud и устанавливать собственные лицензии Microsoft, Oracle и другие лицензии, требующие выделенных серверов.
• Нереплицируемые сетевые диски в Compute Cloud. Диски с повышенной производительностью за счет отказа от репликации данных. Такие диски вы можете использовать для баз данных с репликацией (MySQL®, PostgreSQL), в качестве зеркала для хранения данных в формате read-only, или для данных, которые можно вычислить заново (например, кэш).
• Нереплицируемые диски находятся в Preview, предоставляются по запросу и не тарифицируются.
• Технология NVIDIA® vGPU в Compute Cloud. Теперь в Yandex.Cloud вы можете использовать виртуальные графические ускорители (GPU).
• Доступна конфигурация ВМ с Intel Xeon Gold 6230R. С этой конфигурацией вы получите 80 vCPU и 640 ГБ RAM.
• 8 GPU в Compute Cloud. Теперь вы можете создавать высокопроизводительные виртуальные машины и устанавливать в них до 8 графических карт NVIDIA Tesla V100 с 32 ГБ памяти c высокой пропускной способностью.
• Рандомизация остановки прерываемых ВМ в группах Instance Groups. Это позволит вам поддерживать доступность группы одновременно созданных прерываемых ВМ.
• Instance Groups: деликатная стратегия остановки ВМ. При выборе такой стратегии сервис ожидает, когда ВМ остановятся самостоятельно или будут остановлены пользователем, и затем запускает обновление.
• Переменные в шаблонах виртуальных машин Instance Groups позволят вам из одного шаблона развернуть группу различных виртуальных машин.
• Версионирование в Object Storage. Теперь вы можете хранить историю объекта и восстанавливать нужную версию из списка. Это дополнительно защитит ваши данные как от непреднамеренных действий пользователя, так и от сбоев приложений.
• Политики доступа в бакеты Object Storage. С политиками доступа вы можете устанавливать права на действия с бакетами, объектами и группами объектов.
• Группы безопасности Yandex Virtual Private Cloud. С группами безопасности вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и настраивать правила для приёма и передачи трафика.
• Сервисные роли для более гибкого управления ресурсами Virtual Private Cloud и Load Balancer.
• Увеличение размера томов в Managed Service for Kubernetes.

Serverless
Новые сервисы

• Сервис Yandex Database (YDB) вышел в общий доступ. YDB — геораспределённая отказоустойчивая база данных, которая обеспечивает высокую доступность, масштабируемость, и, в то же время, строгую консистентность и поддержку ACID-транзакций. Теперь вы можете выбрать режим работы с выделенными серверами или бессерверный режим.
• Yandex API Gateway, сервис для создания API-шлюзов, стал общедоступным. С API Gateway вы можете организовать доступ к статическим данным напрямую из хранилища Object Storage, обработать запрос с помощью сервиса Cloud Functions или отправить HTTP-запрос в произвольный веб-сервис.

Новые функциональности в сервисах

• На serverless-решения до октября 2021 года действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.
• Бессерверный режим в Yandex Database. При создании кластера вы можете выбрать режим бессерверных вычислений и платить только за запросы к базе данных. Режим позволяет создавать таблицы двух типов: совместимые c API Amazon DynamoDB и с собственным YDB API.
• Новые языки Cloud Functions. Теперь вам доступны 8 языков программирования, включая Java, R и C#.
• Домены для Yandex API Gateway. Вы можете подтвердить права на домен в сервисе Certificate Manager и использовать этот домен для обращения к API.

Платформа данных
Новые сервисы

• Yandex Managed Service for SQL Server — управляемый сервис для СУБД SQL Server. Включает в себя Enterprise лицензии SQL Server 2016 ServicePack 2 и позволяет не беспокоиться об обслуживании баз данных.
• Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch. Вы можете загружать текстовые документы в JSON-формате с помощью API, индексировать и хранить их. С его помощью вы можете настроить полнотекстовый поиск и анализ информации, содержащейся в этих документах.
• Yandex Data Transfer — удобный инструмент для миграции баз данных и консолидации нескольких баз данных в одну. На данный момент доступна миграция однородных баз данных MySQL® и PostgreSQL.
• Все сервисы находятся на стадии Preview и не тарифицируются.

Новые функциональности в сервисах

• Гибридное хранение в Managed Service for ClickHouse. Теперь вы можете комбинировать сетевые диски и объектное хранилище Object Storage для хранения данных в кластерах ClickHouse.
• Автоматическое масштабирование Data Proc. Data Proc использует группы виртуальных машин для автоматического масштабирования подкластеров Compute Cloud, чтобы наращивать или уменьшать вычислительные ресурсы.
• Декомиссия в Data Proc поможет уменьшить размеры подкластеров и вывести хосты, если необходимо освободить мощности в COMPUTENODE и DATANODE подкластерах.
• Автоматическое масштабирование и декомиссия поддерживаются для кластеров Data Proc версии 1.2 и выше.
• Data Proc UI Proxy обеспечит доступ к web-интерфейсам компонентов кластера и позволит настроить совместную работу в Zeppelin notebooks.
• Инструмент диагностики PostgreSQL сочетает удобный интерфейс и понятную визуализацию для контроля нагрузки на базу данных и мониторинга состояния кластера Managed Service for PostgreSQL.
• Версия MongoDB 4.4. Теперь в Managed Service for MongoDB поддерживаются версии MongoDB 3.6, 4.0, 4.2 и 4.4.
• Версии PostgreSQL 11 и 12 для 1C. Вы можете выбрать версию 11-1c при создании кластера Managed Service for PostgreSQL в консоли управления, через CLI или API. Версия 12-1c доступна по запросу в техподдержку.
• Point in Time Recovery в Yandex Managed Service for MongoDB. Механизм позволяет восстановить базу данных из любого состояния за последние 7 дней.
• Шардинг MongoDB теперь на 40% дешевле за счет объединения mongos и mongocfg на одних хостах.
• При создании кластера вы можете настроить время, когда с кластером будут проводиться работы, требующие нарушения доступности.
• Последняя версия Redis 6 теперь и в Managed Service for Redis.

ML & AI
Новые сервисы
Yandex DataSphere — сервис, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы, необходимые для анализа данных, разработки и эксплуатации моделей машинного обучения. Сервис помогает пройти полный цикл создания модели: от эксперимента и разработки до запуска готовой версии в эксплуатацию на вычислительных мощностях Yandex.Cloud.
Yandex DataSphere выйдет в общий доступ 1 октября 2020 года.

Новые функциональности в сервисах
Интеграция с Apache Spark. Теперь в DataSphere вы можете выполнять распределённые вычисления на кластере Apache Spark, запущенном в сервисе Yandex Data Proc.

Мобильное приложение
Мы сделали платформу облачных технологий ещё удобнее и запустили приложение Yandex.Cloud на мобильных устройствах.
Приложение уже доступно для скачивания в App Store и Google Play.

Новые возможности для партнёров

• Yandex Cloud Marketplace расширяется и включает работу с данными DataLens. Теперь любая компания, разрабатывающая свои приложения и сервисы, может пользоваться геослоями и датасетами.
• Открыта реферальная программа: делитесь ссылками с клиентами и получайте 10% от их расходов в Yandex.Cloud.
• Специализация SpeechKit Pro позволит партнёрам создавать и реализовывать свои технологические решения с использованием расширенных возможностей синтеза и распознавания речи SpeechKit.

Мы готовы помочь, если у вас возникли вопросы, — напишите нам. И мы также открыты для ваших предложений на странице Идеи.

cloud.yandex.ru

1 октября заработает реферальная программа для партнеров Yandex.Cloud.

Схема работы очень простая: вы подключаетесь к партнерской программе, делитесь ссылкой с теми, кому могут быть интересны и полезны наши облачные решения, и, если в результате этого в Yandex.Cloud появляется новый пользователь, вы получаете вознаграждение. Оно составит 10% от ежемесячного потребления в течение года, но не более 2 500 ₽ в месяц за одного клиента. Подробнее в документации.
cloud.yandex.ru/docs/partner/program/referral

О том, сколько зарабатывают наши партнеры и какие услуги оказывают, читайте на странице программы Yandex Cloud Professionals.
cloud.yandex.ru/partners/service

В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей. Например, пользователи могут оценивать потенциальный спрос на продукты или перспективы открытия торговых точек, планировать расширение зон поставок или маркетинговые кампании.

В разделе уже доступен контент двух партнеров — «Центра пространственных исследований» на коммерческой основе и Росстата на безвозмездной, а также два примера геоаналитики от Яндекса — «Аудитория: интересы и соцдем» и «Организации: спрос и предложение». С помощью DataLens пользователи могут комбинировать и анализировать все пресеты данных для принятия бизнес-решений.

Мы стремимся дать партнерам не просто технологии, а инструменты для монетизации любого интеллектуального продукта, который может быть сделан или улучшен с помощью облака. Отдельно отмечу, что все весь контент раздела „Геослои“ — это исключительно агрегированные и обезличенные данные, по которым невозможно получить детализацию по конкретному устройству или пользователю

прокомментировал Олег Коверзнев, операционный директор Yandex.Cloud.

Соглашение о сотрудничестве с Росстатом предполагает совместную работу по подготовке пакетов различных открытых данных. Уже доступны показатели естественного движения населения, а также другая демографическая информация.

Росстат размещает в открытом доступе большие массивы данных, доступных любым пользователям. Благодаря сотрудничеству с Yandex.Cloud они приобретут дополнительную ценность для исследователей, аналитиков и бизнеса. Инструменты платформы позволяют объединять источники, делать быстрый анализ, строить наглядную визуализацию и в результате оперативно принимать стратегические решения

отметил Павел Смелов, заместитель руководителя Росстата.

«Центр пространственных исследований» предоставил геоинформационные данные по населению, домохозяйствам в новостройках, а также индексам бизнес-потенциала для различных сфер. Кроме того на бесплатной основе доступен дашборд по мониторингу сетевой торговли РФ, который ведется с 2015 года и содержит индекс развитости региона с точки зрения федеральных игроков ритейла.

Наши аналитические инструменты, индексы и экспертиза в сочетании с возможностями DataLens — своевременный ответ на запрос b2b- и b2c-рынков. Это и есть облачный вариант location intelligence, который в последнее время развивается за рубежом, а теперь и в России

прокомментировал Денис Струков, к. т. н., генеральный директор Центра пространственных исследований.


Общий доступ к маркетплпейсу Yandex.Cloud открыт в 2019 году. Это площадка, на которой клиенты могут напрямую получать от разработчиков и издателей доступ к бизнес-приложениями. Сегодня доступны 47 приложений и сервисов: от операционных систем до инструментов защиты информации генетического анализа.

К 2020 году сервис синтеза и распознавания речи SpeechKit стал самым востребованным ML-сервисом на платформе Yandex.Cloud.
Объём потребления сервиса за последний год вырос на 120%, а количество активных проектов превысило 500. Компании создают и внедряют роботов и голосовых помощников в бизнес-решения. О некоторых из них мы писали в разделе Истории успеха.
cloud.yandex.ru/services/speechkit

В рамках программы Yandex Cloud Professionals партнерам станет доступна специализация SpeechKit Pro. Компании, присоединившиеся к программе, получат доступ к расширенным инструментам SpeechKit для тонкой настройки голосовых моделей «под клиента» для решения бизнес-задач. SpeechKit Pro предусматривает ко-маркетинг, привлечение менеджеров Yandex.Cloud в крупные сделки и специальное предложение по предоставлению технической поддержки уровня Business. Главное преимущество программы — это возможность получать до 40% за сделки на использование технологий SpeechKit.
cloud.yandex.ru/services/speechkit/solutions

Специализацию SpeechKit Pro уже получили компании Neuro.net, Just.ai, Авиационные технологии связи, Naumen, Robovoice и Voximplant.

Чтобы воспользоваться преимуществами SpeechKit Pro, присоединяйтесь к партнёрской программе Yandex Cloud Professionals.
cloud.yandex.ru/partners/service

Мобильное приложение Yandex.Cloud — быстрый и удобный способ управлять облачными ресурсами с мобильного телефона. Приложение уже доступно для скачивания в App Store и Google Play.
apps.apple.com/ru/app/yandex-cloud/id1515465314
play.google.com/store/apps/details?id=ru.yandex.cloud



Чем удобно мобильное приложение
Будьте в курсе состояния вашего облака и ресурсов
На главном экране видны все важные показатели облака — текущее состояние счёта, статус сервисов, уведомления о переписке с поддержкой, предстоящие мероприятия. А на страницах ресурсов доступны детали — информация о работе ресурсов, графики мониторинга, сведения об операциях.

Следите за финансами
Смотрите остаток денег на счёте, пополняйте баланс и изучайте детализацию расходов прямо в приложении.

Общайтесь с технической поддержкой
Если возник вопрос или нужна помощь, напишите поддержке из приложения. А ещё можно приложить скриншоты, это поможет быстрее разобраться в ситуации.

Читайте новости Yandex.Cloud
Узнавайте о запусках сервисов, новостях платформы и анонсах мероприятий.


Если у вас есть идеи, как сделать мобильное приложение Yandex.Cloud ещё более удобным и функциональным, или вам не хватает каких-то возможностей, напишите нам на странице Идеи.
cloud.yandex.ru/features

Новое решение, которое мы представили на Yandex Scale совместно с компанией «Газпром нефть», даст клиентам возможность использовать облачные технологии Яндекса в собственном дата-центре в режиме частного или гибридного облака. Это сделает наши технологии ближе ко многим государственным и частным компаниям, где есть объективные технические или нормативные ограничения на использование публичных облачных сервисов.

Yandex.Cloud разворачивает облако на территории клиента и поставляет программно-аппаратные комплексы, построенные на базе оборудования и технологий, которые применяются в собственных дата-центрах. Кроме того, клиент получает сервис по поддержке и регулярному обновлению продукта с учетом развития публичной платформы.

Разработка нового продукта велась в сотрудничестве с компанией «Газпром нефть», которая рассматривает возможность применения гибридного облака для развития своего вычислительного кластера и разработок в области искусственного интеллекта — они используются для поиска новых запасов нефти и дистанционного управления технологическими операциями по ее добыче. Также дополнительные мощности могут быть задействованы для повышения эффективности балансировки нагрузок на производственную IT-инфраструктуру.

В развитии нового цифрового продукта также примут участие системные интеграторы. Планируется, что партнеры будут решать задачи по встраиванию продукта в существующий IT-ландшафт клиента, возьмут на себя поддержку и обслуживание, а также смогут реализовать свой опыт и компетенции в предоставлении дополнительных сервисов.

Чтобы узнать больше и оставить заявку, обращайтесь в отдел продаж.
cloud.yandex.ru/support#contact-form

Безопасность платформы
Мы заботимся о безопасности на всех этапах создания и эксплуатации сервисов Yandex.Cloud. Сейчас платформа соответствует требованиям ФЗ-152, GDPR и индустриальных стандартов — мы получили сертификаты соответствия ISO 27001, ISO 27017 и ISO 27018. Наша инфраструктура отвечает требованиям PCI DSS, что позволяет клиентам использовать облачные сервисы для обработки данных платежных карт. На странице Безопасность вы можете узнать подробнее об уровнях безопасности и ознакомиться с сертификатами.
cloud.yandex.ru/security

Сервисы
В этом году мы запускали и развивали сервисы, с помощью которых вы можете гибко управлять доступами, защищать данные и устанавливать безопасные соединения со своими проектами.

Yandex Key Management Service
Защищайте небольшие файлы-секреты, личные данные и другую конфиденциальную информацию, которую храните в облаке, с криптографическими ключами сервиса Key Management Service. О том, какие схемы используются в операциях шифрования и расшифровки при помощи ключей читайте в разделе Шифрование.
cloud.yandex.ru/docs/kms

Yandex Certificate Manager
Сервис для управления TLS-сертификатами Certificate Manager выходит в общий доступ. С его помощью вы можете получать новые TLS-сертификаты от Let’s Encrypt, добавлять свои сертификаты и использовать их при создании безопасных подключений к статическим сайтам в облаке. С 23 сентября сервис переходит из режима Preview в общий доступ.
cloud.yandex.ru/docs/certificate-manager

Yandex Identity Access Management
Identity Access Management (IAM) позволяет управлять доступом при помощи ролей. Так, сервисные роли определяют доступ к определенным типам ресурсов в указанном сервисе. Например, роль compute.disks.user даёт следующие доступы:

• получение списка дисков;
• получение информации о диске;
• использование диска для создания новых ресурсов (образов, снимков, новых дисков и виртуальных машин).

cloud.yandex.ru/docs/iam/concepts/access-control/roles

Группы безопасности в Virtual Private Cloud
В сервисе Virtual Private Cloud появились группы безопасности. С их помощью вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и гибко настраивать правила для приёма и передачи трафика.
cloud.yandex.ru/docs/vpc/concepts/security-groups

Партнёры в области безопасности
Безопасность — это очень широкое направление, и, где возможно, мы привлекаем проверенные партнерские решения, которые доступны в Cloud Marketplace.

Валарм
В Yandex Cloud вы можете воспользоваться решением Валарм WAF для защиты веб-приложений и API от самых распространенных кибератак.
cloud.yandex.ru/marketplace/products/f2emrc60s1nh9356v1rq

Валарм WAF помогает бороться с поиском уязвимостей и хакерскими атаками, которые могут привести к компрометации данных: SQL-инъекции, XSS, XXE, RCE и другие угрозы OWASP Top-10. Также ваши продукты получат защиту от брутфорса, кражи учетных записей и атак на логику приложения.

Hystax
Партнерское решение Hystax Acura Disaster Recovery позволяет автоматизировать процесс аварийного восстановления ИТ-инфраструктуры и данных с использованием Yandex.Cloud.
cloud.yandex.ru/marketplace/products/f2ed48or3933dg5mkv8o

Hystax Acura — полностью автоматизированное решение с консистентной репликацией и снапшотами, возможностями оркестрации, не зависящее от исходной используемой платформы. Внутренние алгоритмы обеспечивают достижение минимальных показателей RTO и RPO — времени простоя и объёма возможных потерь данных в случае сбоя. Решение для аварийного восстановления гарантирует ИТ-устойчивость и непрерывность бизнес-процессов.

Positive Technologies
Разработчик предоставил образ Application Firewall — инновационную систему защиты, которая точно обнаруживает и блокирует атаки, включая атаки из списка OWASP Top 10 и классификации WASC, L7 DDoS и атаки нулевого дня. Application Firewall обеспечивает непрерывную защиту приложений, пользователей и инфраструктуры и помогает соответствовать стандартам безопасности.
cloud.yandex.ru/marketplace/products/f2ermtj1a2od2n1pnjg2

1 октября Yandex DataSphere, сервис для ML-разработки, станет доступен всем пользователям платформы Yandex.Cloud. DataSphere предоставляет все необходимые инструменты и динамически масштабируемые ресурсы для полного цикла разработки машинного обучения от эксперимента до запуска готовой модели в эксплуатацию.

Создайте в консоли управления свой проект и работайте в привычном интерфейсе Jupyter Notebook.



DataSphere дает возможность реализовать все этапы проекта и при этом помогает значительно сэкономить за счет автоматического управления ресурсами:

• Вам не нужно тратить время на создание и обслуживание виртуальных машин — вычислительные ресурсы выделяются автоматически при создании нового проекта или запуске вычислений.
• Вы можете масштабировать ресурсы, не прерывая вычислительные процессы, в том числе бесшовно и за секунды переключаться между разными типами виртуальных машин: экономичными с CPU (обычными процессорами) и быстрыми с GPU (графическими ускорителями).
• Вы платите только за фактически потребленные серверные мощности во время выполнения ваших задач, но не за простой виртуальной машины, просмотр или редактирование кода. Тарифицируется только время непосредственных расчетов: обучение моделей, запуск, другие вычисления, и в этом уникальное преимущество DataSphere.

Ещё одна уникальная функция DataSphere, которой нет в других облаках: сохранение версий расчетов моделей по трем измерениям — данные, код и состояние. Это сделает процесс разработки более гибким с точки зрения бизнеса — вы сможете вернуться к любому этапу без потери прогресса.
cloud.yandex.ru/docs/datasphere
cloud.yandex.ru/docs/datasphere/pricing

Сервисы хранения данных и управления ими — одно из самых быстрорастущих направлений платформы Yandex.Cloud. Управляемые базы данных традиционно популярны и востребованы пользователями — с начала 2020 года потребление выросло в 3 раза, а количество созданных баз данных превысило 10 000. Как выглядит платформа данных Yandex.Cloud сейчас:


Сегодня мы запускаем два новых сервиса управляемых баз данных и рассказываем о новых сервисах для передачи и синхронизации данных.

Yandex Managed Service for SQL Server
Сервис управления базой данных SQL Server сделает облако ближе для Enterprise-пользователей в сегменте баз данных общего назначения.
cloud.yandex.ru/docs/managed-sqlserver/
cloud.yandex.ru/services/managed-sqlserver#form

Yandex Managed Service for Elasticsearch
Сервис предоставит новые возможности для аналитики, например, дополнит ClickHouse полнотекстовым поиском.
cloud.yandex.ru/docs/managed-elasticsearch
cloud.yandex.ru/services/managed-elasticsearch#form

Также мы продолжаем улучшать сценарии миграции данных и распределённой доставки, хранения и обработки данных в реальном времени.

Yandex Managed Service for Apache Kafka
Сервис позволяет создавать кластеры Apache Kafka в инфраструктуре Yandex.Cloud и поможет обеспечить потоковую передачу данных в аналитические системы.
cloud.yandex.ru/docs/managed-kafka
console.cloud.yandex.ru/link/managed-kafka/

Yandex Data Transfer
Новый специализированный сервис для быстрой и безопасной миграции данных. Он позволяет перемещать данные между СУБД и настраивать резервное копирование.
cloud.yandex.ru/docs/data-transfer
cloud.yandex.ru/services/data-transfer#form

Эти сервисы доступны пользователям в режиме Preview и не тарифицируются.

Yandex Database (YDB) — это уникальная отказоустойчивая NewSQL СУБД, разработанная в Яндексе. Она спроектирована с учетом возможности масштабирования до десятков тысяч серверов, обеспечивает высокую доступность и в то же время строгую консистентность данных и поддержку ACID-транзакций. Отработка сценариев взрывного роста нагрузки, кэширование результатов поиска, создание централизованной системы учета — вот лишь некоторые из задач, которые легко решаются с помощью YDB.

25 сентября YDB переходит из стадии Preview в общий доступ.
cloud.yandex.ru/docs/overview/concepts/launch-stages

Одновременно всем пользователям YDB станет доступен serverless-режим, который позволит легко создать базу данных и сразу начать пользоваться ей — без необходимости точно определять количество хостов, объем хранилища или настройки сети. Этот режим отлично подходит как для небольших проектов, когда отдельный сервер не нужен, так и для задач с неравномерной и плохо прогнозируемой нагрузкой. В этом режиме оплачиваются только фактические операции с базой и хранение данных и резервных копий.

API сервиса совместим с API Amazon DynamoDB и позволяет использовать AWS SDK на языках Java, JavaScript, Node.js, .NET, PHP, Python, Ruby.
cloud.yandex.ru/docs/ydb
cloud.yandex.ru/docs/ydb/pricing/serverless