Новое в документации за декабрь



Yandex Database
Сценарии использования
Новое:
Установка Mikrotik Cloud Hosted Router.
Сайт на WordPress с кластером БД MySQL.

Cloud Functions
Новое:
Описаны новые типы триггеров:
Таймер.
Триггер для Object Storage.
Изменены лимиты.
Добавлены справочник API Functions и справочник API Triggers.

DataLens
Новое:
Добавлен раздел про вычисляемые поля.

Identity and Access Management
Новое:
Добавление федеративных пользователей с помощью консоли управления.
Получение IAM-токена для федеративного пользователя с помощью CLI.

Instance Groups
Улучшения:
Добавлено подробное описание того, как работает автоматическое восстановление в Instance Groups.

IoT Core
Новое:
Описана авторизация по логину и паролю: концепции;
инструкция Управление паролями устройства;
инструкция Управление паролями реестра.
Добавлен справочник API.
Улучшения:
Добавлена инструкция про создание X.509-сертификата.

Managed Service for ClickHouse
Новое:
Поддержка Terraform.

Managed Service for PostgreSQL
Новое:
Создание кластера PostgreSQL для «1С: Предприятия».

Managed Service for Redis
Новое:
Поддержка Terraform.

Object Storage
Новое:
Теперь можно добавлять собственные сертификаты безопасности для своих доменов при хостинге статического сайта.
Расширились возможности по управлению публичным доступом к бакету в консоли управления.
Добавилась операция для изменения класса хранилища с помощью конфигурации жизненных циклов объектов.

SpeechKit
Новое:
Изменения в потоковом режиме распознавания:
В сообщении с настройками распознавания добавились параметры singleUtterance и rawResults.
В сообщении с результатами распознавания добавился флаг endOfUtterance.
Изменения в распознавании длинных аудио:
Установлен лимит на максимальную длительность аудио — 4 часа.
Добавлен раздел про особенности использования gRPC.

Vision
Новое:
Новая модель для распознавания отдельной строки текста: инструкция, концепции.
cloud.yandex.ru/docs/vision/operations/ocr/text-detection#string
cloud.yandex.ru/docs/vision/concepts/ocr/

Yandex Database
Улучшения:
Обновлен список публичных материалов.
cloud.yandex.ru/docs/ydb/public_talks

Итоги 2019 года в Яндекс.Облаке



В конце года хочется подвести итоги.
Новые сервисы, инструменты, мероприятия — на всё это нас вдохновили наши пользователи. Мы собрали самое важное, что было сделано в этом году для удобства работы в Облаке.

Про платформу
  • Запустили программу для партнёров.
  • Открыли маркетплейс и опубликовали 36 образов для решения различных задач.
  • Запустили Блог, чтобы делиться с вами новостями и статьями.
  • Первыми предоставили процессоры Intel Xeon Gold.
  • Провели первую конференцию Облака Yandex Scale.
  • Начали делиться историями успеха компаний, выбравших Яндекс.Облако.
  • Теперь вы можете рассказать, чего не хватает в Облаке — ждём вас в Сообществе.
  • Заключили партнёрское соглашение с MongoDB.
  • Добавили поиск на сайте и по документации.
  • Провели множество мероприятий — смотрите записи на YouTube канале.
  • Подготовили пошаговые инструкции для популярных сценариев в Облаке.

Про консоль
Добавили тёмную тему в консоли управления. Чтобы включить тёмную тему, перейдите в Настройки > Оформление.

Запустили раздел поддержки. В нём вы можете найти ответы на свои вопросы и следить за запросами в поддержку.


Запустили консоль управления на английском языке. Если работать в английском интерфейсе вам привычнее, переключите язык в Настройках > Язык и Регион. Welcome!

Добавили детализацию в разделе Биллинг.


Про сервисы
В этом году мы запустили 14 новых сервисов и 2 крупных функциональности. Все они созданы для надежной, быстрой и удобной работы ваших проектов в облаке.

Инфраструктурные сервисы

Сервисы ML & AI

Хранение, обработка и визуализация данных
  • Визуализация и анализ данных Yandex DataLens.
  • Управление кластерами Apache Hadoop и Apache Spark в инфраструктуре Облака — Yandex Data Proc.

Разработка приложений в облаке

Про деньги

Виртуальные машины с GPU стали доступнее



Преимущества вычислений с графическими ускорителями (GPU)
Несмотря на то, что на данный момент в сервисе Yandex Compute Cloud доступны виртуальные машины с 64 vCPU и 384 ГБ RAM, этих мощностей бывает недостаточно для интенсивных параллельных вычислений, проводимых в Data Science.

Для проведения высокопроизводительных вычислений для задач машинного обучения, глубокого обучения и обработки трехмерной графики применяются графические процессоры (GPU). Их особенность в том, что они содержат большое количество ядер для параллельного выполнения операций. А так как большинство операций в этих задачах однотипные и повторяющиеся, использование GPU значительно сокращает время вычислений.

Виртуальные машины с GPU в Облаке
В октябре мы расширили наш парк виртуальных машин графическим процессором NVIDIA® Tesla® V100. Он содержит 5120 ядер CUDA, позволяющих выполнять высокопроизводительные вычисления (High Performance Computing, HPC), а также 640 ядер Tensor, позволяющих решать задачи глубокого обучения (Deep Learning, DL).

Важная информация
Для безопасности работы в Облаке при удалении виртуальной машины всегда происходит очистка памяти GPU.

Что нового?
Мы сделали GPU ещё доступнее — теперь вы можете создавать прерываемые ВМ с GPU. Такие виртуальные машины могут быть принудительно остановлены в срок, не превышающий 24 часа с момента их создания, и подходят для краткосрочных интенсивных вычислений. Прерываемые ВМ с GPU предоставляются с большой скидкой.

Как использовать
В консоли управления при создании виртуальной машины выберите опцию Прерываемая.

Об условиях использования прерываемых виртуальных машин читайте в документации.
cloud.yandex.ru/docs/compute/concepts/preemptible-vm

Средний и малый бизнес могут снизить до 50% затрат на управление данными благодаря облачной подписке



Платформа управления данными «Юнидата» и Яндекс.Облако договорились о сотрудничестве. Теперь можно развернуть систему управления мастер-данными (Master Data Management, MDM) «Юнидата» в Яндекс.Облаке без капитальных вложений в инфраструктуру и гибко управлять затратами, оплачивая только реальное потребление. Такая модель позволит средним и малым компаниям упорядочить данные и сократить издержки.

Применение MDM-систем в бизнесе
Крупный бизнес с огромными массивами данных давно использует платформы класса MDM, однако они подходят и компаниям, где данных меньше, но важность каждой записи выше.

С платформой «Юнидата» на мощностях Яндекс.Облака взаимодействие через обмен данными становится понятным и прозрачным, особенно когда количество данных постоянно растёт, а их качество и целостность падают. Новые базы, разрозненные документы и Excel-таблицы, длинные почтовые переписки с вложениями, обсуждения в мессенджерах… Данных генерируется всё больше, работать с ними всё труднее — возникают ошибки качества, постоянно повышается нагрузка на IT-отдел. Технология MDM и концепция Data Quality позволяют сократить издержки компании, снизить непрофильную загрузку на IT-команду и освободить время на более важные для бизнеса задачи.

Преимущества интеграции с Яндекс.Облаком
Благодаря модели лицензирования и аренде облачных серверов по подписке компании малого и среднего бизнеса получат конкурентное преимущество. Облачная подписка обойдётся в 300 тысяч рублей в месяц, что в разы меньше, чем стоимость enterprise-лицензии MDM.

MDM-решение «Юнидата», развёрнутое в Яндекс.Облаке, встраивается в IT-инфраструктуру любого масштаба и гетерогенности и интегрируется с любыми системами хранения данных. Использование Облака может существенно изменить затраты средних и малых предприятий России, заинтересованных в MDM-решениях, поскольку Облако позволяет подобрать инструменты и конфигурацию виртуальных машин под конкретный бюджет и задачи.

Чтобы получить доступ к подписке на платформу — отправьте запрос на smb@unidata-platform.ru или посетите сайт компании «Юнидата».

7

Новости сервиса Yandex Cloud Functions – декабрь 2019



В декабре у сервиса Yandex Cloud Functions много интересных новостей.

Появилась возможность выполнять функции по таймеру
Таймер — это триггер, который запускает функцию по расписанию. Расписание задается в виде сron-выражения.
Как создать таймер cloud.yandex.ru/docs/functions/quickstart/timer-quickstart

Добавился триггер для Object Storage
Триггер запускает указанную функцию, когда в сервисе Yandex Object Storage производится одно из выбранных действий над объектом. Помимо этого есть возможность указать префикс и/или суффикс ключа объекта, чтобы подписаться только на изменение необходимой части хранимых данных. Триггер должен находиться в одном облаке с бакетом, на события которого он подписан.
Как создать триггер для Object Storage cloud.yandex.ru/docs/functions/quickstart/os-trigger-quickstart

Опубликованы справочники HTTP API для сервиса
Изменились лимиты для функций
  • Максимальное время выполнения функции до таймаута увеличено с 60 секунд до 5 минут.
  • Максимальный размер файла с кодом функции увеличен до 128 МБ.
  • ZIP-архив с функцией объёмом до 3,5 МБ можно загрузить через консоль управления при создании функции. ZIP-архив с функцией объёмом до 128 МБ необходимо загружать через Object Storage.
Посмотреть все квоты и лимиты cloud.yandex.ru/docs/functions/concepts/limits

Новые возможности Yandex Object Storage – декабрь 2019



Недавно мы снизили цены на исходящий трафик Yandex Object Storage, но это было лишь начало хороших новостей!

Сегодня мы готовы рассказать о новых возможностях сервиса, которые стали доступны в декабре:

Поддержка SSL сертификатов для своих доменов.
Теперь не нужно ставить и настраивать проксирующие веб-серверы — всё можно настроить в консоли управления.
Пошаговая инструкция cloud.yandex.ru/docs/storage/operations/buckets/certificate

Более гибкая настройка доступа к бакету без ACL.
Теперь бакет может быть не только «публичным» и «не публичным» — для каждого бакета вы можете отдельно открыть публичный доступ на чтение объектов, к списку объектов, на чтение настроек бакета.
Пошаговая инструкция cloud.yandex.ru/docs/storage/operations/buckets/bucket-availability

Изменения класса хранилища в рамках жизненного цикла объектов.
Теперь можно не перекладывать данные между стандартным и холодным хранилищем самостоятельно, а доверить этот процесс сервису. Object Storage позволяет автоматически изменить класс для отдельных объектов или групп объектов в бакете в заданные моменты времени.
Пошаговая инструкция cloud.yandex.ru/docs/storage/concepts/lifecycles

Снижаем цены на исходящий трафик в Yandex Object Storage



С 5 декабря 2019 года для всех пользователей хранилища Yandex Object Storage в Яндекс.Облаке изменятся расценки на исходящий трафик:
  • теперь цена за ГБ будет меняться в зависимости от объёма трафика,
  • первые 10 ГБ исходящего трафика для Object Storage будут учитываться независимо от других сервисов.
Вот как изменится цена за передачу в интернет данных из объектного хранилища:


При использовании Yandex Object Storage оплачивается только исходящий трафик из Облака в интернет. Передача трафика между сервисами Облака, как и входящий трафик из интернета, не тарифицируется.

Подробнее о том, из чего складываются цена за использование хранилища, читайте в разделе Тарифы.

Как сократить расходы в Облаке: 9 советов



По внутренней статистике Яндекс.Облака до 35% расходов (!) на облачные сервисы можно оптимизировать. Мы подготовили для вас 9 советов, как это сделать.

1. Планируйте по-новому
Особенности планирования ресурсов в облаке достаточно сильно отличаются от стандартной инфраструктуры. Уже на этапе тестирования (пробного периода) внимательно сравните информацию о загрузке ресурсов, которая предоставляется бесплатно из сервиса мониторинга, с данными Биллинга в денежном выражении. Это поможет определить, когда были запущены и оплачены лишние виртуальные машины (ВМ), как запускаются сервисы, на какие дни приходятся пики и плато нагрузки.

2. Анализируйте аномалии
Используя выгрузку в CSV и возможности сервисов анализа и визуализации данных, посмотрите, на что именно ушли деньги. На графиках хорошо видны всплески потребления баз данных. Задайтесь вопросом, какой продукт в это время тестировался, в рамках какого проекта случился всплеск, насколько это необходимо, успешен проект или нет. Мы рекомендуем для этой задачи сервис Yandex DataLens, но вы можете использовать любой привычный инструмент.

3. Исключите случайности
Глубокий анализ информации из сервиса мониторинга и оценка потребления сервиса Compute Cloud позволяет отслеживать расходы, чтобы они не выходили за пределы. У наших клиентов был случай, когда сотрудники забыли отключить дорогостоящую GPU-карту. В другом кейсе потребление ядер платформы Intel Cascade Lake резко подскочило и указало на то, что запущен какой-то проект, после чего потребовался анализ его успешности и целесообразности.

4. Прерывайте ВМ
Используйте прерываемые ВМ, которые будут принудительно остановлены в течение 24 часов. Данные при этом сохраняются. Они оптимально подходят для тестовых задач или для обсчёта большого количества данных за короткое время. При этом скидка может достигать 70%. Сервис Instance Groups позволяет автоматизировать запуск прерываемых ВМ, и таким образом экономить. Если в проекте заняты 100 ВМ, их можно запускать не все сразу, а периодически (например, блок машин через каждые 15 минут). Вероятность того, что 100 машин будут остановлены сервисом одновременно, практически стремится к нулю.

5. Используйте ядра частично
Если для проекта критически важна постоянная работа инфраструктуры и прерываемая ВМ не подходит, подумайте о ВМ с частичным использованием ядра. Скидка на виртуальные ядра составит до 65%, при этом вы гарантированно получите ту долю ядра, которую купите. Есть вероятность получить и до 100% ядра, если ваши соседи в этот момент не будут им пользоваться. Вариант подходит для пилота или демостенда.

6. Готовьтесь к пиковой нагрузке с автоскейлингом
Автоматизация масштабирования в Instance Groups помогает при волатильном спросе на ВМ. Вы просто настраиваете правила и задаёте условия, и сервис автоматически включает или выключает машины. Снижается риск человеческой ошибки, вероятность что-либо недоглядеть или забыть запустить.

7. Доверьтесь Managed Services
Использование наших управляемых сервисов позволяет оптимизировать расходы скорее на инфраструктуру в целом, чем именно на облачные ресурсы. Причём итоговая экономия может составлять от 20 до 80% для баз данных и достигать 150% для Managed Service for Kubernetes. Используя наши managed-сервисы, вы освобождаете сотрудников от рутинных задач. Яндекс.Облако отказоустойчиво, отвечает за обновление, техподдержку, мониторинг всего, что происходит. А ваши специалисты могут потратить время на продукты компании, что более ценно для развития бизнеса, чем администрирование базы данных.

8. Храните данные в Object Storage
Когда приходится записывать терабайты данных, один из вариантов оптимизировать расходы — использовать объектное хранилище Object Storage для определённых типов данных вместо хранения на дисках ВМ. В частности, сервис позволяет сократить затраты на хранение бэкапов, видео- и аудиофайлов. С Object Storage вам не нужно самостоятельно разворачивать отказоустойчивую систему через дублирование ВМ.

9. Считайте с Cloud Functions
На конференции Yandex Scale был представлен новый способ оптимизировать расходы: это сервис Cloud Functions, который позволяет решать задачи и платить только за вычисления. Например, для автоматизации системы учёта транзакций это самый дешёвый вариант эксплуатации. При этом затраты на надёжность также достаточно низкие, поскольку Cloud Functions при необходимости автоматически масштабируется.

Планы
Сервисы Яндекс.Облака постоянно совершенствуются, раздел Биллинг меняется, и в ближайшее время планируется запустить четыре интересные опции. Это:
  • Автоматизированная выгрузка данных из Биллинга в Yandex DataLens (сейчас для настройки необходимо обратиться в техподдержку).
  • Дополнительный инструмент анализа labels. Если ваши 10 ВМ заняты в разных проектах, полезно понимать, сколько одна ВМ потратила денег за отчётный период. Если присвоить ВМ лейбл, станет доступна информация о машине. Также появятся гибкие возможности получить целостную картину затрат на проект, что достаточно сложно на собственной инфраструктуре.
  • Функция бюджеты (предоплатное потребление) поможет гарантировать, что за месяц компания не потратит больше определённой суммы. Когда предел будет достигнут — придёт уведомление от службы поддержки, а потом виртуальные ресурсы приостановятся.
  • Прогнозирование затрат за любой отчётный период на основе истории потребления упростит управление расходами в Яндекс.Облаке, а также позволит избежать проблем с нулевым лицевым счётом.
Также рекомендуем посмотреть подробный доклад об экономике Облака с конференции Yandex Scale: за что снимаются деньги со счёта, как происходит переход из триала в платное пользование, чем полезны детализация и анализ и не только.

Новое в документации за ноябрь



Сценарии использования
Новое:
Веб-сайт на базе 1С-Битрикс.
Высокопроизводительные вычисления (HPC) на прерываемых виртуальных машинах.
Тестирование приложений с помощью GitLab.
Установка виртуального роутера Cisco CSR 1000v.
CLI
Новое:
Добавлены пошаговые инструкции про аутентификацию в CLI и работу с профилями.

Compute Cloud
Новое:
Теперь можно создавать прерываемые ВМ с GPU. Про стоимость читайте в правилах тарификации.
Добавили пошаговые инструкции для API (см. вкладку API):
Создать ВМ Linux.
Создать ВМ Windows.
Получить список публичных образов.
Улучшения:
Описаны особенности сетевых дисков.
Переписали концепции про метаданные. Описали, как передавать их на виртуальную машину и какие ключи обрабатываются в публичных образах Яндекс.Облака.

Identity and Access Management
Новое:
Список ресурсов Яндекс.Облака, на которые можно назначать роли.
Инструкция, как посмотреть назначенные роли.

Instance Groups
Новое:
В автоматическом масштабировании добавлена поддержка пользовательских метрик Yandex Monitoring. Раздел про автоматическое масштабирование переписали и сделали подробнее.
Добавлены инструкции про запуск и остановку группы.
Описаны статусы группы. Про статусы виртуальных машин в группе написали подробнее.

Managed Service for Kubernetes
Новое:
Добавлена инструкция про создание файла конфигурации.

Managed Service for MongoDB
Новое:
Поддержка MongoDB 4.2.

Managed Service for PostgreSQL
Новое:
Поддержка PostgreSQL 12 и PostgreSQL 10 для 1С.

Yandex Database
Новое:
Добавлен раздел с публичными материалами о YDB.

Три факта и девять тезисов про интернет вещей в Яндекс.Облаке



Мы пересмотрели еще раз выступления с Yandex Scale и подготовили для вас девять главных тезисов про интернет вещей (internet of things, IoT) в Яндекс.Облаке.

Три факта о нашем IoT:
  • 72 рубля стоит 1 ГБ или 1 млн сообщений, отправленных в облако с помощью сервиса Yandex IoT Core, следующие гигабайты еще дешевле.
  • Миллионы устройств — масштаб работы наших надёжных и безопасных, отказоустойчивых и масштабируемых сервисов.
  • Экономия ресурсов за счет использования интегрированных между собой платформенных сервисов — вы решаете свою бизнес-задачу и платите только за то, что действительно вам нужно.

Основные тезисы
  • Масштабный сценарий. Платформа Яндекс.Облако запускает свой сценарий интернета вещей. Почему сценарий? Потому что интернет вещей — всегда интеграция, а не отдельное решение. С Яндекс.Облаком в рамках проектов интернета вещей вы можете использовать больше разнообразных сервисов, которые отлично взаимодействуют между собой и позволяют эффективнее, дешевле и надёжнее реализовывать ваши сценарии для работы с устройствами.
  • Удобный сервис. В основе нашего сценария лежит новый сервис Yandex IoT Core, который выполняет роль универсального инструмента для создания решений в области интернета вещей. Сервис позволяет надёжно и безопасно передавать данные между облаками и устройствами по протоколу MQTT. Обеспечивает безопасную авторизацию и управление доступом. Обмен данными между устройствами происходит только после аутентификации, обеспечивается шифрование данных по всем точкам подключения.
  • Экономия на вычислениях. В рамках сценария интернета вещей представлена интеграция с новым сервисом функций Yandex Cloud Functions. Настроенная функция вызывается каждый раз, когда к вам попадает пакет с данными. Тем самым вы решаете две задачи. С одной стороны, обеспечиваете отказоустойчивость системы, потому что сервисы Яндекса гарантируют надёжность и автоматическое масштабирование. С другой стороны, эта связка позволяет существенно экономить, так как в данном случае вы платите только за объем данных, которые потребили. Использование функций полезно как на ранних этапах, когда устройств мало и система будет стоить очень дешёво, так и на этапе масштабирования, когда нужно будет поддерживать постоянно растущее количество устройств.
  • Интеграция и обработка. Сервис Yandex IoT Core умеет автоматически масштабироваться и обеспечивает обработку огромного количества данных, в том числе с помощью Yandex Cloud Functions. Кроме того, вы можете не только отправлять телеметрию в Yandex IoT Core, но еще отправлять команды из облака к устройствам. А данные, которые были приняты, вы можете обрабатывать всеми существующими сервисами платформы, в частности, собирать в хранилищах, использовать управляемые базы данных, ВМ, сети-балансировщики, а также визуализацию, например DataLens.
  • Технологии Moxa. Сценарии интернета вещей требуют сложных многослойных решений, поэтому к анонсу Yandex IoT Core было заключено несколько партнёрских соглашений. Первое — с компанией Moxa, производителем промышленного оборудования для интернета вещей. Интеграция с сервисами платформы Яндекс.Облако теперь реализована на уровне прошивки устройств Moxa.
  • Возможности KasperskyOS. Все устройства интернета вещей с установленной микроядерной операционной системой KasperskyOS автоматически совместимы с Yandex IoT Core. Операционную систему можно поставить на шлюз, который работает «в поле», и использовать для того, чтобы анализировать трафик и защищать от возможных атак или аномалий.
  • Оборудование RedBees. Для задач, предполагающих передачу данных по беспроводным сетям, например по 4G или по NB-IoT, мы рекомендуем оборудование от компании RedBees. Его отличает пониженное энергопотребление и расширенное покрытие, благодаря чему даже в труднодоступных местах устройство гарантированно будет связываться с сетью.
  • ПО SAYMON. Для расширения возможностей в области мониторинга данных, аналитики потребления и ее визуализации мы предлагаем программные решения от компании SAYMON, российского ISV-партнера платформы Яндекс.Облако.
  • Реализованные пилоты. Еще до публичного запуска Yandex IoT Core, некоторые партнёры активно проводили тестирование сервиса. На конференции своим опытом поделились компания MultiSoft, производящая кассовую технику, а также участники проекта по созданию системы автоматизированного сбора данных со счетчиков на базе сетей NB-IoT (реализован совместно SAYMON и RedBees). Развитие партнёрских отношений будет способствовать расширению предложений в формате «IoT из коробки».

Посмотреть запись сессии про интернет вещей можно по ссылке.
www.youtube.com/watch?v=A9ORCdSHv4Q