Компания LinkedIn в 2011 году разработала брокер сообщений Kafka. Сейчас Kafka — это отказоустойчивая распределенная стриминговая платформа с открытым исходным кодом, которая позволяет хранить, обрабатывать и доставлять огромные объемы данных в реальном времени.

Apache Kafka
Распределенные системы, как правило, состоят из множества сервисов: одни генерируют события (метрики, логи, события мониторинга, служебные события и т. д.), другие хотят эти данные получать. Kafka — гибрид распределенной базы данных и брокера сообщений с возможностью горизонтального масштабирования. Kafka собирает у приложений данные, хранит их в своем распределенном хранилище, группируя по топикам, и отдает компонентам приложения по подписке. При этом сообщения хранятся на различных узлах-брокерах, что обеспечивает высокую доступность и отказоустойчивость.

Топик — это способ группировки потоков сообщений в хранилище по категориям. Сервисы публикуют сообщения определенной категории в топик, а потребители подписываются на топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Разделы — это последовательность сообщений топика в порядке поступления.

Сообщения сохраняются в так называемом журнале, долговременной упорядоченной структуре данных. Записи в журнал можно только добавлять, их нельзя ни изменять, ни удалять, а информация считывается слева направо, что гарантирует правильный порядок элементов.

Apache Kafka — это не СУБД в чистом виде, несмотря на то что она обеспечивает атомарность, согласованность, изолированность и долговечность хранимых данных, а также предоставляет возможность избирательного доступа к данным с помощью KSQL — SQL-движка на базе API Kafka Streams. Платформу используют как журнал фиксации и интеграционный центр для множества внешних СУБД и хранилищ.


Kafka vs RabbitMQ
Kafka часто сравнивают с другим популярным программным брокером сообщений и системой управления очередями — RabbitMQ. Обе системы используются для обмена информацией между приложениями, работают по схеме «издатель — подписчик» и обеспечивают репликацию сообщений. Однако они реализуют принципиально разные модели доставки сообщений: Kafka — pull (получатели сами достают из топика сообщения), а RabbitMQ — push (отправляет сообщения получателям).

Также RabbitMQ удаляет сообщение после доставки, а Kafka хранит его до запланированной очистки журнала. Таким образом, Apache Kafka сохраняет текущее и все прежние состояния системы и может использоваться как достоверный источник исторических данных. Это позволяет множеству потребителей читать одни и те же данные независимо, и такой паттерн удобен, например, в event-driven-системах.

У RabbitMQ очень гибкое управление очередями сообщений (маршрутизация, шаблоны доставки, мониторинг получения), но при большой нагрузке это приводит к снижению производительности. Поэтому для сбора и агрегации событий из множества источников, метрик и логов лучше использовать Apache Kafka, а RabbitMQ подходит для быстрого обмена сообщениями между несколькими сервисами.

Где применяется Kafka
Основное назначение Apache Kafka — это централизованный сбор, обработка, безопасное хранение и передача большого количества сообщений от отделенных друг от друга сервисов. Эта распределенная, горизонтально масштабируемая платформа обычно применяется там, где очень много больших неструктурированных данных:
Масштабные IoT/IIoT-системы, характеризующиеся архитектурой с множеством датчиков, сенсоров, контроллеров и других конечных устройств.Системы аналитики. Например, Kafka используется в компаниях IBM и DataSift в качестве коллектора для мониторинга событий и трекера потребления потоков данных пользователями в режиме реального времени.Финансовые системы. Используют финансовые организации: Сбербанк, Тинькофф, Альфа-Банк, ING Bank.Социальные сети. В Twitter Kafka — часть инфраструктуры потоковой обработки, а в LinkedIn используется для потоковой передачи данных о деятельности и операционных показателях приложений.Системы геопозиционирования. Foursquare — для передачи сообщений между онлайн- и офлайн-системами, а также для интеграции средств мониторинга в свою big data инфраструктуру на базе Hadoop.Телеком-операторы. ВымпелКом, МТС, Ростелеком и др.Онлайн-игры. Например, Demonware, подразделение Activision Blizzard — для обработки логов пользователей.Самый простой пример: с помощью Apache Kafka можно собирать логи сеансов от клиентов в потоковом режиме или логи с физических файлов журналов с серверов, а затем помещать их в одном месте, например в HDFS — файловой системе Apache Hadoop. Также Apache Kafka позволяет построить конвейер данных, чтобы с помощью алгоритмов машинного обучения извлекать из сырой информации сведения, ценные для бизнеса.

Managed Service for Apache Kafka
Создание, настройка и управление кластерами Apache Kafka — очень сложная задача, требующая внимания сертифицированных специалистов. В Yandex.Cloud брокер сообщений предоставляется как управляемый сервис, управление и обслуживание которого производится на стороне облачной платформы. Пользователь может создавать и настраивать кластеры для решения своих задач, а управление брокерами, обновление и оптимизация работы Apache Kafka происходит автоматически.

Возможности управляемого сервиса Managed Service for Apache Kafka в Yandex.Cloud:
Быстрое добавление брокеров в кластер.Распределение брокеров кластера между зонами доступности.Быстрое изменение ресурсов высокодоступной конфигурации без остановки работы и потери данных.Настройка политики очистки лога, типа сжатия и максимального количества сообщений для эффективного использования вычислительных, сетевых и дисковых ресурсов.Настройка репликации для обеспечения отказоустойчивости.Анализ метрики и состояния кластера.Автоматическая замена узлов кластера при отказе.Шифрование соединений при помощи протокола TLS. Механизм SASL контролирует доступ пользователей к топикам по спискам контроля доступа (ACL).Соответствие требованиям 152-ФЗ, индустриальным стандартам ISO и GDPR.
Managed Service for Apache Kafka вместе с другими управляемыми сервисами Yandex.Cloud позволяет создавать на облачной платформе витрины данных. Например, Yandex Managed Service for ClickHouse отлично справляется с обработкой запросов к большим объемам данных, Yandex Data Proc автоматически создаст и настроит кластеры Spark, Hadoop и другие компоненты, а Yandex DataLens позволит визуализировать эти данные и построить отчеты. С помощью Apache Kafka можно поставлять данные напрямую в ClickHouse без дополнительной разработки.

console.cloud.yandex.ru/link/managed-kafka/

Сервис визуализации и анализа данных DataLens становится ещё более удобным и доступным. Мы упростили тарифы, добавили поддержку SQL-запросов в датасетах и множество очень полезных функций, о которых просили пользователи. Подробнее в нашей статье.
cloud.yandex.ru/services/datalens

Простые тарифы
С 1 февраля внутренние сессии становятся бесплатными, а для внешних сессий исчезает повышающий коэффициент, при этом фактические лимиты на них остаются прежними. Теперь использовать DataLens в связке с управляемыми базами данных Yandex Cloud можно бесплатно и без ограничений по количеству пользователей и сессий. Подробности в документации.

Функции геокодирования — GEOCODE и GEOINFO.
cloud.yandex.ru/docs/datalens/function-ref/GEOCODE
cloud.yandex.ru/docs/datalens/function-ref/GEOINFO
Переход на новую тарификацию происходит с началом нового расчетного периода в течение февраля. Уточнить расчетный период для своего аккаунта DataLens можно в разделе Биллинг.
Пример:
15.12.2020 — Пользователь активировал DataLens.
15.01.2021 — Начнется новый расчетный период и продлится до 14.02.2021 по старым тарифам.
15.02.2021 — Начнется новый расчетный период по новым тарифам.

SQL-запросы в датасетах
Теперь источник данных датасета можно определять произвольными запросами SQL над подключениями к ClickHouse, PostgreSQL, MySQL, MS SQL Server, Oracle. Текст запроса при обращении к источнику данных исполняется в виде подзапроса.

Строго рекомендуется:
Ограничить права пользователя, прописанного в подключении, до read-only.Ограничить права на подключение до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.Ограничить права на связанные с подключением датасеты до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.Включить использование подзапросов в качестве источника можно в настройках подключения.


Новый коннектор Albato в Marketplace
Мы запускаем новый партнерский коннектор от компании Albato. С его помощью вы можете настроить интеграцию с более чем 100 различных сервисов и приложений.
cloud.yandex.ru/marketplace/products/f2euehocmctm48ni9dvu
Как настроить подключение коннектора от Albato читайте в инструкции на сайте партнера.
blog.albato.ru/podklyuchenie-i-nastrojka-datalens/

Новые возможности разметки текста
Теперь вы можете создавать ссылки из текстовых полей при помощи функции URL(), например для таблиц и тултипов карт.

Затем такое поле можно использовать в визуализации и оно будет выглядеть как гиперссылка:

cloud.yandex.ru/docs/datalens/function-ref/markup-functions

Пагинация
В плоские таблицы добавлена пагинация. Для новых таблиц она будет включаться автоматически.


Оконные функции
Теперь доступны скользящие и нарастающие суммы, доли от общей суммы и отдельной группы измерений, ТОПы и многое другое. Отметим:
Оконные функции работают над показателями (полями с агрегацией). Измерения могут быть использованы в дополнительных аргументах, например, определяющих группировку.Часть агрегатных функций также могут быть использованы как оконные: SUM, SUM_IF, AVG, AVG_IF, MAX, MIN, COUNT, COUNT_IF.Ниже несколько примеров.

Важно
Использование скользящих функций, в том числе RSUM() и MAVG(), требует обязательной явной сортировки измерений (в секции Сортировка).
cloud.yandex.ru/docs/datalens/function-ref/window-functions

Функции AGO и LAG, или как посмотреть в прошлое
Стали доступны новые функции AGO() и LAG(), которые позволят решать следующие задачи:
Вывод значения показателя N периодов назад.Подсчёт прироста показателя, как отношение показателя в текущем и предыдущем периодах.Ссылка в формуле на значение предыдущей строки.
Настройки осей
Расширены настройки в секциях осей X и Y. На данный момент есть возможность:
работать с логарифмической шкалой;переименовывать оси;скрывать и менять направление подписей;управлять сеткой и масштабом оси;менять направление подписей.

Тёмная тема
В DataLens появилась возможность автоматического переключения темы интерфейса в зависимости от настроек операционной системы. Включается в настройках оформления консоли Yandex.Cloud.


DataLens в Telegram
У вас есть вопросы или хотите обсудить использование сервиса DataLens? Приходите в наш уютный чат в Telegram.
t.me/YandexDataLens

Чем запомнился год
Мы много работали над развитием платформы. В Yandex.Cloud появилось девять новых сервисов, а уже существующие получили новые возможности. Например, ML-разработчики теперь могут использовать привычный инструмент Jupyter Notebook в Yandex DataSphere, а потоковую обработку данных для своего приложения теперь можно реализовать с помощью Yandex Managed Service for Apache Kafka. Был запущен Yandex Data Transfer для простой миграции ваших баз данных в Yandex.Cloud и Certificate Manager для создания и управления TLS-сертификаты от Let’s Encrypt.

Наши усилия привели к тому, что с начала 2020 года количество компаний, использующих Yandex.Cloud для развития бизнеса, выросло на 70% и сейчас у нас более 7 тысяч клиентов. Стремительное развитие платформы позволило Яндексу выделить Yandex.Cloud в отдельную бизнес-единицу.
yandex.ru/company/press_releases/2020/2020-10-30

В 2020 году мы опубликовали на сайте более 30 историй успеха наших клиентов и множество статей в СМИ, провели более 75 различных мероприятий — вебинаров и хакатонов. В том числе вторую большую конференцию Yandex Scale 2020, которая в этом году прошла онлайн.


Отдельно про COVID-19
Пандемия коронавируса СOVID-19 и связанные с ней ограничительные меры стали серьёзным испытанием для бизнеса: упал спрос на продукты и услуги, усилилась нагрузка на онлайн-сервисы, появилась необходимость обеспечивать удалённый доступ работникам. Понимая это, мы запустили различные меры по поддержке среднего и малого бизнеса — зафиксировали цены, увеличили гранты и предоставили скидки. Также, для обеспечения непрерывной работы платформы мы предприняли дополнительные меры — перевели на удалёнку 90% команды, обеспечили необходимые средства профилактики и максимально ограничили визиты сотрудников и гостей в дата-центры.
cloud.yandex.ru/blog/posts/2020/03/smb-offer
cloud.yandex.ru/blog/posts/2020/03/covid-19
cloud.yandex.ru/blog/posts/2020/04/datalens-news

С помощью сервиса Yandex DataLens мы собрали в единый дашборд информацию из Роспотребнадзора, университета Джонса Хопкинса и данных сервисов Яндекса, чтобы любой человек или компания могли получать оперативные данные о распространении коронавируса.


Совместно с РБК мы провели серию мероприятий про локдаун и обсудили с лидерами рынка, какие IT-решения применяют они, что сейчас помогает бизнесу и как компании переживают кризис, всё ли работает так, как было задумано.

Но самое главное, что наши клиенты и партнёры в этом году активно использовали облачные технологии, чтобы помогать врачам эффективнее бороться с пандемией. Например, RADLogics, один из пионеров технологии компьютерного зрения, использует сервисы Yandex.Cloud для обработки и анализа медицинских снимков, что позволяет им тратить на одно исследование всего 8-12 минут. Создатели проекта «Мейкеры против COVID-19», которые безвозмездно помогают расходниками для ИВЛ любому государственному медучреждению, больнице или поликлинике, перенесли в Yandex.Cloud своё решение для управления распределенным производством и тысячами волонтеров. Это дало им возможность не только надёжно и без сбоев принимать заявки от больниц, но и прогнозировать количество таких заявок, чтобы распределять нагрузку на волонтёров.
cloud.yandex.ru/cases/radlogics
vc.ru/life/172758-300-siz-privozim-v-kliniku-bystree-chem-obychno-dostavlyayut-piccu-zachem-v-pandemiyu-soedinyayut-3d-pechatnikov-i-vrachey



Общие новости платформы
Получили сертификацию ISO
В 2020 году Yandex.Cloud стала первой в России и СНГ публичной облачной платформой, выстроившей управление информационной безопасностью по стандарту ISO/IEC 27017:2015 и обеспечившей защиту персональных данных пользователей по международному стандарту ISO/IEC 27018:2019. А на нашем сайте был запущен новый раздел «Безопасность Yandex.Cloud», в котором мы рассказали обо всех стандартах и законодательных требованиях, которым соответствует наше облако.

Запустили расширенную техническую поддержку
В прошедшем году мы начали предоставлять пользователям расширенную техническую поддержку, а также рассказали, как устроен наш саппорт. Доступно четыре тарифа: от базового бесплатного до премиума с SLA с высокой скоростью ответа на запросы по всем каналам обращений и индивидуальными условиями работы.

Объявили о партнёрстве с NVIDIA
Yandex.Cloud в партнёрстве с американской технологической компанией NVIDIA открыли для российских компаний библиотеку приложений для работы с искусственным интеллектом и машинным обучением — NVIDIA GPU Cloud (NGC).

Также, акселерационные программы Yandex Cloud Boost и NVIDIA Inception договорились о взаимной поддержке для своих участников. С апреля компании-разработчики в области искусственного интеллекта из NVIDIA Inception могут присоединиться к Cloud Boost по упрощенной процедуре. В свою очередь, ИИ-стартапы Cloud Boost получают доступ к ресурсам NVIDIA Inception на приоритетных условиях.

Упростили миграцию в облако с помощью Hystax
Миграция в Yandex.Cloud с других платформ, в том числе создание виртуальных машин, подбор конфигураций, контроль переноса данных, стала возможна в формате SaaS по максимально доступной цене с помощью специального приложения Hystax Acura, который можно найти в маркетплейсе платформы.

Анонсировали Zoom в Yandex.Cloud
Компании, которые приобретают у компании RightConf лицензию для использования Zoom, также могут выбрать размещение серверов на нашей облачной платформе. В этом случае весь трафик пользователей будет обрабатываться в России, что повысит безопасность и качество связи.

Представили новые продукты в маркетплейсе
В нашем Marketplace вышло много новых сервисов. Например, стали доступны лицензии службы Remote Desktop Services для Windows Server, а также сервис Валарм WAF для защиты веб-приложений и API от самых распространенных кибератак.

Запустили реферальную программу
1 октября заработала реферальная программа для партнеров Yandex.Cloud. Теперь вы можете делитесь ссылками с клиентами и получать 10% от их расходов в Yandex.Cloud.

Инфраструктура
Новые сервисы
Certificate Manager — сервис для управления TLS-сертификатами. Теперь вы можете создавать TLS-сертификаты от Let’s Encrypt® или импортировать пользовательские сертификаты для защиты своих сервисов.Сервис для управления криптографическими ключами Yandex Key Management Service — защищайте небольшие файлы-секреты, личные данные и другую конфиденциальную информацию, которую храните в облаке, с криптографическими ключами сервиса Key Management Service.Новые возможности в сервисах
Выделенные хосты в Compute Cloud — физически изолированные серверы, которые подойдут компаниям с высокими требованиями безопасности. С ними вы можете пользоваться сервисами Yandex.Cloud и устанавливать собственные лицензии Microsoft, Oracle и другие лицензии, требующие выделенных серверов.Нереплицируемые сетевые диски в Compute Cloud. Диски с повышенной производительностью за счет отказа от репликации данных. Такие диски вы можете использовать для баз данных с репликацией (MySQL, PostgreSQL), в качестве зеркала для хранения данных в формате read-only, или для данных, которые можно вычислить заново (например, кэш). Нереплицируемые диски находятся в Preview, предоставляются по запросу и не тарифицируются.Доступна конфигурация ВМ с Intel Xeon Gold 6230R. С этой конфигурацией вы получите 80 vCPU и 640 ГБ RAM.8 GPU в Compute Cloud. Теперь вы можете создавать высокопроизводительные виртуальные машины и устанавливать в них до 8 графических карт NVIDIA Tesla V100 с 32 ГБ памяти c высокой пропускной способностью.Instance Groups: деликатная стратегия остановкивиртуальных машин. При выборе такой стратегии сервис ожидает, когда виртуальные машины остановятся самостоятельно или будут остановлены пользователем, и затем запускает обновление.Переменные в шаблонах виртуальных машин Instance Groups позволят вам из одного шаблона развернуть группу различных виртуальных машин.Версионирование в Object Storage. Теперь вы можете хранить историю объекта и восстанавливать нужную версию из списка. Это дополнительно защитит ваши данные как от непреднамеренных действий пользователя, так и от сбоев приложений.Группы безопасности Yandex Virtual Private Cloud. С группами безопасности вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и настраивать правила для приёма и передачи трафика.В Yandex Monitoring появилась настройка алертов и уведомлений об изменении метрик.Метрики из Yandex Monitoring можно экспортировать в формате Prometheus.
Платформа данных
Сервисы хранения данных и управления ими — одно из самых быстрорастущих направлений платформы Yandex.Cloud. Управляемые базы данных традиционно популярны и востребованы пользователями — с начала 2020 года потребление выросло в 3 раза, а количество созданных баз данных превысило 10 000. Как выглядит платформа данных Yandex.Cloud сейчас:


Новые сервисы
Yandex Managed Service for SQL Server — управляемый сервис для СУБД SQL Server. Включает в себя Enterprise лицензии SQL Server 2016 ServicePack 2 и позволяет не беспокоиться об обслуживании баз данных.Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch. Вы можете загружать текстовые документы в JSON-формате с помощью API, индексировать и хранить их. С его помощью вы можете настроить полнотекстовый поиск и анализ информации, содержащейся в этих документах.Yandex Managed Service for Apache Kafka — сервис для создания и управления кластерами Apache Kafka в инфраструктуре Yandex.Cloud. С помощью Managed Service for Apache Kafka и Data Proc (компонент Apache Spark) вы можете настроить потоковую обработку данных для своего приложения. Управляемые сервисы помогут сэкономить время на создание, обслуживание и управление кластерами, а настроенные в сервисах репликация и система автоматического восстановления будут поддерживать кластеры в рабочем состоянии.Yandex Data Transfer — удобный инструмент для миграции баз данных и консолидации нескольких баз данных в одну. На данный момент доступна миграция однородных баз данных MySQL и PostgreSQL.Новые возможности в сервисах
Гибридное хранение в Managed Service for ClickHouse. Теперь вы можете комбинировать сетевые диски и объектное хранилище Object Storage для хранения данных в кластерах ClickHouse.Автоматическое масштабирование Data Proc. Data Proc использует группы виртуальных машин для автоматического масштабирования подкластеров Compute Cloud, чтобы наращивать или уменьшать вычислительные ресурсы.Data Proc UI Proxy обеспечит доступ к web-интерфейсам компонентов кластера и позволит настроить совместную работу в Zeppelin notebooks.Point in Time Recovery в Yandex Managed Service for MongoDB. Механизм позволяет восстановить базу данных из любого состояния за последние 7 дней.Последняя версия Redis 6 теперь и в Managed Service for Redis.В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей.В Yandex DataLens добавлен коннектор для 1С, появились зависимые селекторы, расширен функционал для геоаналитики, а также проведены усовершенствования UI и визуализаций.

Serverless
Новые сервисы
Бессерверный режим в Yandex Database. Теперь при создании кластера вы можете выбрать режим бессерверных вычислений и платить только за запросы к базе данных. Режим позволяет создавать таблицы двух типов: совместимые c API Amazon DynamoDB и с собственным Yandex Database API. На serverless-решения до октября 2021 года действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.Yandex API Gateway — сервис для создания API-шлюзов. С API Gateway вы можете организовать доступ к статическим данным напрямую из хранилища Object Storage, обработать запрос с помощью сервиса Cloud Functions или отправить HTTP-запрос в произвольный веб-сервис.Новые возможности в сервисах
Новые языки Cloud Functions. Теперь вам доступны 8 языков программирования.В Cloud Functions добавлена функция для создания снимков дисков по расписанию.Домены для Yandex API Gateway. Вы можете подтвердить права на домен в сервисе Certificate Manager и использовать этот домен для обращения к API.
ML & AI
Новые сервисы
Yandex DataSphere — сервис, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы, необходимые для анализа данных, разработки и эксплуатации моделей машинного обучения. DataSphere помогает пройти полный цикл создания модели: от эксперимента и разработки до запуска готовой версии в эксплуатацию на вычислительных мощностях Yandex.Cloud.
Новые возможности в сервисах
В рамках программы Yandex Cloud Professionals партнерам стала доступна специализация ML-сервиса синтеза и распознавания речи SpeechKit Pro, которая предусматривает ко-маркетинг, привлечение менеджеров Yandex.Cloud в крупные сделки и специальное предложение по предоставлению технической поддержки уровня Business. Главное преимущество программы — это возможность получать до 40% за сделки на использование технологий SpeechKit.
Мобильное приложение
Мы сделали работу с платформой ещё удобнее и запустили приложение Yandex.Cloud на мобильных устройствах. Приложение уже доступно для скачивания в App Store и Google Play.
apps.apple.com/ru/app/yandex-cloud/id1515465314
play.google.com/store/apps/details?id=ru.yandex.cloud

С Новым годом!
Весь прошедший год мы очень много работали на тем, чтобы дать бизнесу гибкость. Чтобы наши клиенты и партнёры могли использовать облачные технологии для роста своего бизнеса. Развитие платформы не останавливается ни на минуту и дальше будет ещё интереснее.
Команда Yandex.Cloud поздравляет Вас с наступающим 2021 годом, желает добиваться успехов и расти вместе с нами.

Новости сервисов
Yandex DataSphere
Сервис Yandex DataSphere перешел в общий доступ. DataSphere позволяет разрабатывать модели машинного обучения с сохранением версий расчетов по трем измерениям — данные, код и состояние. Это позволит вам вернуться к любому этапу разработки модели без потери прогресса и учитывать меняющиеся условия бизнеса.

На видео мы продемонстрировали, как просто сохранить состояние модели, вернуться к предыдущему состояию или поделиться им с внешними пользователями.

Yandex Managed Service for PostgreSQL
Появился статический анализатор SQL от holistic.dev для Managed Service for PostgreSQL.
Этот продукт проводит анализ схемы данных и запросов и подсказывает, где могут возникать ошибки.
На скриншоте пример использования сервиса. Пробуйте и изучайте рекомендации, чтобы не допускать ошибок при написании запросов.


Yandex Managed Service for ClickHouse
В первой статье про управляемые базы данных вы узнаете о преимуществах ClickHouse в облаке. Мы постарались ответить на вопросы: почему колоночные СУБД быстрее традиционных и какие задачи можно решать с помощью ClickHouse?

Специальные предложения
Черная пятница. Сделайте ваш сайт устойчивым к перегрузкам во время распродаж — мигрируйте в Yandex.Cloud быстро и с минимальными затратами. cloud.yandex.ru/promo/black-friday/

Резервируемое потребление (CVoS). Планируйте ИТ-бюджет на год с выгодой от использования вычислительных мощностей и платформенных сервисов. Цены для вас фиксируются и не будут зависеть от курса рубля. cloud.yandex.ru/promo/cvos/cio/

Новые образы в Marketplace
Kaspersky Security
Kaspersky Security для виртуальных и облачных сред защищает сервисы от программ-шифровальщиков и от бесфайлового вредоносного ПО, предотвращает использование эксплойтов, блокирует сетевые атаки, проводит поведенческий анализ вредоносного ПО. Образ доступен по модели BYOL (Bring Your Own License): подписка на услугу оформляется напрямую у «Лаборатории Касперского».
cloud.yandex.ru/marketplace/products/f2e6gdh3e3jjt58rc1md
Apache Airflow 1.10
Образ Apache Airflow позволит вам создавать графы выполнения задач (DAG) в облаке. Вы можете легко визуализировать запущенные задачи, наблюдать за прогрессом их выполнения и возникающими в процессе ошибками в удобном веб-интерфейсе.
cloud.yandex.ru/marketplace/products/f2evjfflh55novd70pd0
1С: Предприятие 8.3
Готовый образ сервера приложений 1С: Предприятие 8×64 на базе операционной системы семейства Linux для простого и быстрого развертывания 1С-инфраструктуры. Образ предоставляется партнером WiseAdvice специально для инфраструктуры Yandex.Cloud.
cloud.yandex.ru/marketplace/products/f2ej469j8ajoafnr7pa5

Вебинары
Прошедшие вебинары, доступные в записи:
Как избежать ошибок на этапе пилота голосового робота
Вебинар о Managed Service for Apache Kafka
Архитектуры обработки больших данных
Обзор платформы Yandex.Cloud

Истории успеха
«Почта России» использует Yandex SpeechKit
«Почта России» запустила собственного голосового ассистента на базе технологии Yandex SpeechKit. Он обслуживает запросы клиентов по 9 тематикам и уже обрабатывает 30% обращений. rb.ru/news/pochta-rossii-golosovoy-pomoshnik/

ЦНИИ Эпидемиологии обрабатывает данные о COVID-19 в Yandex.Cloud
На базе Центрального НИИ эпидемиологии работает Центр молекулярной диагностики (CMD) — один из крупнейших лабораторно-диагностических центров в России. С помощью партнёра Yandex.Cloud облачного провайдера «Аплана Диджитал» CMD смогли провести миграцию своей высоконагруженной инфраструктуры в облако с простоем всего в две минуты. cloud.yandex.ru/cases/cmd-online

Мгновенный анализ снимков для диагностики коронавируса COVID–19
Компания RADLogics обрабатывает и анализирует рентген-снимки и снимки компьютерной томографии в Yandex.Cloud. cloud.yandex.ru/cases/radlogics

Развертывание рабочих мест Zextras/Zimbra в Yandex.Cloud
Zextras — расширения почтового сервера Zimbra, которые добавляют в него возможности совместной работы и коммуникаций, поддержку хранилищ и мобильных устройств. Один из самых удобных и выгодных вариантов работы в Zextras — аренда ресурсов в облаке, а для развертывания в России был выбран Yandex.Cloud. cloud.yandex.ru/cases/zextras

Popmechanic: как мы «проели» инвестиции, но через год смогли успешно перезапуститься
Основатель Popmechanic рассказал, почему не стоит сдаваться и как в новых победах ему помогает участие в программе Yandex Cloud Boost. vc.ru/life/167546-kak-my-proeli-investicii-no-cherez-god-smogli-uspeshno-perezapustits

Документация

Мы открыли сервис Yandex Managed Service for Apache Kafka для тестирования по заявкам ещё летом, а на конференции Yandex Scale в сентябре предоставили всем пользователям возможность пользоваться сервисом бесплатно в рамках Preview.

Со 2 ноября сервис переходит в общий доступ. Это значит, что для него теперь действуют соглашение об уровне обслуживания (SLA) и правила тарификации.

Apache Kafka — это распределенная система обмена сообщениями с возможностью горизонтального масштабирования. С помощью Managed Service for Apache Kafka и Data Proc (компонент Apache Spark) вы можете настроить потоковую обработку данных для своего приложения. Управляемые сервисы помогут сэкономить время на создание, обслуживание и управление кластерами, а настроенные в сервисах репликация и система автоматического восстановления будут поддерживать кластеры в рабочем состоянии. Об этом подробно рассказал руководитель разработки сервисов Data Proc и Managed Service for Apache Kafka Михаил Епихин в докладе про сервисы для построения аналитической платформы.


Также с помощью Apache Kafka можно поставлять данные напрямую в базу данных ClickHouse без дополнительной разработки. Подключив сервис Yandex Datalens, вы сможете настроить систему аналитики: ClickHouse отлично справляется с обработкой запросов к большим объёмам данных, а DataLens позволит эти данные визуализировать и построить отчёты. Подробнее об этом сценарии мы рассказали на вебинаре про архитектуру обработки больших данных.

Подробнее о том, как работает сервис, вы можете узнать из:
документации;вебинара про Managed Service for Apache Kafka.

Появились новые сервисы:
Yandex Data Transfer — инструмент для миграции баз данных. Подробнее в документации.Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch и Kibana в инфраструктуре Yandex.Cloud. Подробнее в документации.Yandex Managed Service for SQL Server — сервис для управления кластерами популярной реляционной СУБД SQL Server в инфраструктуре Yandex.Cloud. Подробнее в документации.Мобильное приложение Yandex.Cloud. Подробнее в документации.Реферальная программа — программа привлечения новых клиентов Yandex.Cloud с помощью распространения реферальных ссылок. Подробнее в документации.
Обновились документы:
БиллингСценарии использованияYandex API GatewayYandex Certificate ManagerYandex Cloud FunctionsYandex Compute CloudYandex Container SolutionYandex Data ProcYandex DataLensYandex DataSphereYandex Instance GroupsYandex Managed Service for Apache KafkaYandex Managed Service for ClickHouseYandex Managed Service for KubernetesYandex Managed Service for MongoDBYandex Managed Service for MySQLYandex Managed Service for PostgreSQLYandex Managed Service for RedisYandex MonitoringYandex Object StorageYandex Virtual Private CloudYandex Database
cloud.yandex.ru/blog/posts/2020/10/docs-digest

Yandex.Cloud растет и развивается. Сегодня в одном посте мы расскажем обо всех релизах Yandex Scale 2020, новых сервисах и возможностях облачной платформы.



Инфраструктура
Новые сервисы
Certificate Manager перешел со стадии Preview в общий доступ. Теперь вы можете создавать TLS-сертификаты от Let’s Encrypt или импортировать пользовательские сертификаты для защиты своих сервисов.
Новые функциональности в сервисах
Выделенные хосты в Compute Cloud — физически изолированные серверы, которые подойдут компаниям с высокими требованиями безопасности. С ними вы можете пользоваться сервисами Yandex.Cloud и устанавливать собственные лицензии Microsoft, Oracle и другие лицензии, требующие выделенных серверов.Нереплицируемые сетевые диски в Compute Cloud. Диски с повышенной производительностью за счет отказа от репликации данных. Такие диски вы можете использовать для баз данных с репликацией (MySQL®, PostgreSQL), в качестве зеркала для хранения данных в формате read-only, или для данных, которые можно вычислить заново (например, кэш).Нереплицируемые диски находятся в Preview, предоставляются по запросу и не тарифицируются.Технология NVIDIA® vGPU в Compute Cloud. Теперь в Yandex.Cloud вы можете использовать виртуальные графические ускорители (GPU).Доступна конфигурация ВМ с Intel Xeon Gold 6230R. С этой конфигурацией вы получите 80 vCPU и 640 ГБ RAM.8 GPU в Compute Cloud. Теперь вы можете создавать высокопроизводительные виртуальные машины и устанавливать в них до 8 графических карт NVIDIA Tesla V100 с 32 ГБ памяти c высокой пропускной способностью.Рандомизация остановки прерываемых ВМ в группах Instance Groups. Это позволит вам поддерживать доступность группы одновременно созданных прерываемых ВМ.Instance Groups: деликатная стратегия остановки ВМ. При выборе такой стратегии сервис ожидает, когда ВМ остановятся самостоятельно или будут остановлены пользователем, и затем запускает обновление.Переменные в шаблонах виртуальных машин Instance Groups позволят вам из одного шаблона развернуть группу различных виртуальных машин.Версионирование в Object Storage. Теперь вы можете хранить историю объекта и восстанавливать нужную версию из списка. Это дополнительно защитит ваши данные как от непреднамеренных действий пользователя, так и от сбоев приложений.Политики доступа в бакеты Object Storage. С политиками доступа вы можете устанавливать права на действия с бакетами, объектами и группами объектов.Группы безопасности Yandex Virtual Private Cloud. С группами безопасности вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и настраивать правила для приёма и передачи трафика.Сервисные роли для более гибкого управления ресурсами Virtual Private Cloud и Load Balancer.Увеличение размера томов в Managed Service for Kubernetes.
Serverless
Новые сервисы
Сервис Yandex Database (YDB) вышел в общий доступ. YDB — геораспределённая отказоустойчивая база данных, которая обеспечивает высокую доступность, масштабируемость, и, в то же время, строгую консистентность и поддержку ACID-транзакций. Теперь вы можете выбрать режим работы с выделенными серверами или бессерверный режим.Yandex API Gateway, сервис для создания API-шлюзов, стал общедоступным. С API Gateway вы можете организовать доступ к статическим данным напрямую из хранилища Object Storage, обработать запрос с помощью сервиса Cloud Functions или отправить HTTP-запрос в произвольный веб-сервис.
Новые функциональности в сервисах
На serverless-решения до октября 2021 года действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.Бессерверный режим в Yandex Database. При создании кластера вы можете выбрать режим бессерверных вычислений и платить только за запросы к базе данных. Режим позволяет создавать таблицы двух типов: совместимые c API Amazon DynamoDB и с собственным YDB API.Новые языки Cloud Functions. Теперь вам доступны 8 языков программирования, включая Java, R и C#.Домены для Yandex API Gateway. Вы можете подтвердить права на домен в сервисе Certificate Manager и использовать этот домен для обращения к API.
Платформа данных
Новые сервисы
Yandex Managed Service for SQL Server — управляемый сервис для СУБД SQL Server. Включает в себя Enterprise лицензии SQL Server 2016 ServicePack 2 и позволяет не беспокоиться об обслуживании баз данных.Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch. Вы можете загружать текстовые документы в JSON-формате с помощью API, индексировать и хранить их. С его помощью вы можете настроить полнотекстовый поиск и анализ информации, содержащейся в этих документах.Yandex Data Transfer — удобный инструмент для миграции баз данных и консолидации нескольких баз данных в одну. На данный момент доступна миграция однородных баз данных MySQL® и PostgreSQL.Все сервисы находятся на стадии Preview и не тарифицируются.
Новые функциональности в сервисах
Гибридное хранение в Managed Service for ClickHouse. Теперь вы можете комбинировать сетевые диски и объектное хранилище Object Storage для хранения данных в кластерах ClickHouse.Автоматическое масштабирование Data Proc. Data Proc использует группы виртуальных машин для автоматического масштабирования подкластеров Compute Cloud, чтобы наращивать или уменьшать вычислительные ресурсы.Декомиссия в Data Proc поможет уменьшить размеры подкластеров и вывести хосты, если необходимо освободить мощности в COMPUTENODE и DATANODE подкластерах.Автоматическое масштабирование и декомиссия поддерживаются для кластеров Data Proc версии 1.2 и выше.Data Proc UI Proxy обеспечит доступ к web-интерфейсам компонентов кластера и позволит настроить совместную работу в Zeppelin notebooks.Инструмент диагностики PostgreSQL сочетает удобный интерфейс и понятную визуализацию для контроля нагрузки на базу данных и мониторинга состояния кластера Managed Service for PostgreSQL.Версия MongoDB 4.4. Теперь в Managed Service for MongoDB поддерживаются версии MongoDB 3.6, 4.0, 4.2 и 4.4.Версии PostgreSQL 11 и 12 для 1C. Вы можете выбрать версию 11-1c при создании кластера Managed Service for PostgreSQL в консоли управления, через CLI или API. Версия 12-1c доступна по запросу в техподдержку.Point in Time Recovery в Yandex Managed Service for MongoDB. Механизм позволяет восстановить базу данных из любого состояния за последние 7 дней.Шардинг MongoDB теперь на 40% дешевле за счет объединения mongos и mongocfg на одних хостах.При создании кластера вы можете настроить время, когда с кластером будут проводиться работы, требующие нарушения доступности.Последняя версия Redis 6 теперь и в Managed Service for Redis.
ML & AI
Новые сервисы
Yandex DataSphere — сервис, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы, необходимые для анализа данных, разработки и эксплуатации моделей машинного обучения. Сервис помогает пройти полный цикл создания модели: от эксперимента и разработки до запуска готовой версии в эксплуатацию на вычислительных мощностях Yandex.Cloud.
Yandex DataSphere выйдет в общий доступ 1 октября 2020 года.

Новые функциональности в сервисах
Интеграция с Apache Spark. Теперь в DataSphere вы можете выполнять распределённые вычисления на кластере Apache Spark, запущенном в сервисе Yandex Data Proc.

Мобильное приложение
Мы сделали платформу облачных технологий ещё удобнее и запустили приложение Yandex.Cloud на мобильных устройствах.
Приложение уже доступно для скачивания в App Store и Google Play.

Новые возможности для партнёров
Yandex Cloud Marketplace расширяется и включает работу с данными DataLens. Теперь любая компания, разрабатывающая свои приложения и сервисы, может пользоваться геослоями и датасетами.Открыта реферальная программа: делитесь ссылками с клиентами и получайте 10% от их расходов в Yandex.Cloud.Специализация SpeechKit Pro позволит партнёрам создавать и реализовывать свои технологические решения с использованием расширенных возможностей синтеза и распознавания речи SpeechKit.Мы готовы помочь, если у вас возникли вопросы, — напишите нам. И мы также открыты для ваших предложений на странице Идеи.

cloud.yandex.ru

Сервисы хранения данных и управления ими — одно из самых быстрорастущих направлений платформы Yandex.Cloud. Управляемые базы данных традиционно популярны и востребованы пользователями — с начала 2020 года потребление выросло в 3 раза, а количество созданных баз данных превысило 10 000. Как выглядит платформа данных Yandex.Cloud сейчас:


Сегодня мы запускаем два новых сервиса управляемых баз данных и рассказываем о новых сервисах для передачи и синхронизации данных.

Yandex Managed Service for SQL Server
Сервис управления базой данных SQL Server сделает облако ближе для Enterprise-пользователей в сегменте баз данных общего назначения.
cloud.yandex.ru/docs/managed-sqlserver/
cloud.yandex.ru/services/managed-sqlserver#form

Yandex Managed Service for Elasticsearch
Сервис предоставит новые возможности для аналитики, например, дополнит ClickHouse полнотекстовым поиском.
cloud.yandex.ru/docs/managed-elasticsearch
cloud.yandex.ru/services/managed-elasticsearch#form

Также мы продолжаем улучшать сценарии миграции данных и распределённой доставки, хранения и обработки данных в реальном времени.

Yandex Managed Service for Apache Kafka
Сервис позволяет создавать кластеры Apache Kafka в инфраструктуре Yandex.Cloud и поможет обеспечить потоковую передачу данных в аналитические системы.
cloud.yandex.ru/docs/managed-kafka
console.cloud.yandex.ru/link/managed-kafka/

Yandex Data Transfer
Новый специализированный сервис для быстрой и безопасной миграции данных. Он позволяет перемещать данные между СУБД и настраивать резервное копирование.
cloud.yandex.ru/docs/data-transfer
cloud.yandex.ru/services/data-transfer#form

Эти сервисы доступны пользователям в режиме Preview и не тарифицируются.

Появились новые сервисы:
Yandex DataSphere — среда для ML-разработки c привычным интерфейсом Jupyter Notebook. Подробнее в документации.
Yandex API Gateway — сервис для создания API-шлюзов, поддерживающий спецификацию OpenAPI 3.0. Подробнее в документации.
Yandex Managed Service for Apache Kafka — сервис для создания и управления кластерами Apache Kafka. Подробнее в документации.

Обновились документы:
Обзор платформы
Биллинг в Яндекс.Облаке
Сценарии использования платформы Яндекс.Облако
Yandex Key Management Service
Yandex Certificate Manager
Yandex Compute Cloud
Yandex Container Registry
Yandex DataLens
Yandex Cloud Functions
Yandex IoT Core
Yandex Managed Service for ClickHouse
Yandex Monitoring

Обзор платформы
Улучшения:
Обновлены рекомендации по безопасности.

Биллинг в Яндекс.Облаке
Улучшения:
Обновлена информация о кредитных лимитах.

Сценарии использования платформы Яндекс.Облако
Новое:
Добавлен сценарий Развертывание группы доступности Always On.

Yandex Key Management Service
Новое:
Добавлены правила тарификации.
Описаны способы шифрования данных:
С помощью CLI и API Яндекс.Облака.
С помощью SDK Яндекс.Облака.
С помощью AWS Encryption SDK.
С помощью Google Tink.
Добавлены сценарии использования:
Шифрование секретов в Yandex Managed Service for Kubernetes.
Управление ключами KMS с Hashicorp Terraform.
Шифрование секретов в Hashicorp Terraform.
Улучшения:
Обновлены концепции сервиса.

Yandex Certificate Manager
Новое:
Описана работа с доменами:
концепции;
пошаговые инструкции по работе с доменом.

Yandex Compute Cloud
Улучшения:
Подробнее описано обновление группы виртуальных машин:
концепции;
инструкция Постепенное обновление
инструкция Обновление без простоя.

Yandex Container Registry
Новое:
Описано управление политиками автоматического удаления Docker-образов.

Yandex Cloud Functions
Новое:
Добавлена разработка функций на языке Python.

Yandex IoT Core
Улучшения:
Обновлена информация о подписках на топики устройства и реестра
Описано управление сервисом из консоли управления.

Yandex Managed Service for ClickHouse
Улучшения:
Дополнены инструкции по началу работы с сервисом.
Обновлены инструкции по управлению пользователями ClickHouse.

Yandex Monitoring
Новое:
Описан язык запросов и функции для преобразования графиков
Описаны параметры создания интерактивных дашбордов.
Добавлен механизм удаления устаревших метрик (TTL).
Улучшения:
Изменены концепции сервиса: больше нет отдельной сущности «График» и деления на папки.

Среди управляемых сервисов для хранения и обработки данных появился новый сервис Yandex Managed Service for Apache Kafka. С его помощью вы можете создавать кластеры Apache Kafka в инфраструктуре Яндекс.Облака. Managed Service for Apache Kafka находится на стадии Preview и не тарифицируется.
cloud.yandex.ru/services/managed-kafka

Как работает Apache Kafka
Apache Kafka — распределенный брокер сообщений с возможностью горизонтального масштабирования для передачи данных между приложениями и их компонентами. Обмен сообщениями между производителями и потребителями происходит через топики с помощью механизма «публикация-подписка». Производители публикуют сообщения определенной категории в топик, а потребители подписываются на этот топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Количество разделов определяется пользователем, увеличение их количества позволяет нарастить пропускную способность кластера без изменения конфигурирации приложений.

Сценарии использования Managed Service for Apache Kafka
Каноничный брокер для доставки данных между различными компонентами приложения. Так, приложения могут писать в топики Kafka некоторые данные: бизнес-данные, метрики, журналы.


В Облаке потребители способны реализовать следующие сценарии:
Построение онлайн-аналитики или реакции на событие c использованием технологий стриминга, например Kafka Streams, Spark Streaming с использованием Yandex Data Prос;Перенаправление сообщений в Object Storage, Managed Service for ClickHouse, HDFS или любое другое подходящее для оффлайн-аналитики хранилище.
Использование Kafka для реализации захвата изменения потоковой передачи данных (change data capture) в онлайн-режиме в базах данных для последующей их передачи в хранилище (ClickHouse, HDFS) или пользовательские приложения.


С чего начать
Запросите доступ к сервису через форму заявки на странице сервиса или в консоли управления.
cloud.yandex.ru/services/managed-kafka

Создайте кластер Managed Service for Apache Kafka.

Создайте и настройте топик и разделы. Настройте фактор репликации.


Подробнее о сервисе читайте в документации.

Резюме по инциденту
В пятницу 19 июня некоторым клиентам были частично или полностью недоступны сервисы Compute Cloud, Managed Service for ClickHouse, Managed Service for Kubernetes, Managed Service for MongoDB, Managed Service for MySQL, Managed Service for PostgreSQL, Managed Service for Redis в зоне ru-central-b Яндекс.Облака. Проблема была локализована в 10:15, после чего наша команда точечно помогала пользователям устранять последствия инцидента.

Мы приносим свои извинения всем пользователям, кого затронул данный инцидент, и хотим рассказать подробнее о случившемся и мерах предотвращения повторения подобной ситуации в будущем.

Что произошло?
В Яндекс.Облаке данные хранятся в распределенной сетевой системе хранения данных собственной разработки. Сетевой диск выдерживает одновременный отказ двух серверов из своего сегмента без потери данных. Используемый в Яндекс.Облаке размер сегмента отказа — группа серверов, расположенных в разных серверных стойках. На каждом сервере для хранения данных конкретного сетевого диска используется один физический диск. В момент отказа физического диска или сервера данные начинают реплицироваться на другие серверы этого сегмента, пока коэффициент репликации каждого блока данных не будет восстановлен. 19 июня случилась маловероятная ситуация, когда произошел отказ четырех серверов, три из которых находились в одном сегменте отказа, что привело к тому, что не все данные успели реплицироваться. В результате часть данных на дисках оказалась потеряна и произошел сбой в работе перечисленных выше сервисов.

Ход событий:
8:40 — Выход из строя первого сервера, он признан невосстановимым. Ситуация штатная.
9:48 — Второй сервер того же сегмента признан невосстановимым. Сразу после этого сработала автоматика, оповещающая об угрозе потери данных. Команда сервиса сразу же приступила к поиску проблемы, поскольку это является опасной ситуацией, и потеря данных становится возможной, если в скором времени откажет третий сервер из сегмента.
10:09 — Вышел из строя третий сервер из этого же сегмента отказа. Локализовать проблему до выхода из строя третьего сервера не удалось. Сразу после этого автоматика была принудительно остановлена на всех серверах Яндекс.Облака.
10:15 — Вышел из строя сервер в другом сегменте отказа, который был упомянут в изначальном сообщении о проблеме. Но так как это был первый неработающий сервер в другом сегменте, то с данными в этом сегменте ничего не произошло. К тому же автоматика была уже остановлена и сервер был возвращен в строй.
10:15 — Мы начали оказывать помощь пострадавшим пользователям по их запросам.

На данный момент мы закончили устранение массовых последствий проблемы, локализовали пользователей, где есть потребность в дополнительной помощи, которую продолжим оказывать точечно, используя все возможности.

Последствия для пользователей:
В Compute Cloud сбой затронул часть дисков пользователей, находящихся в зоне ru-central-b. Часть данных на этих дисках была утрачена, что привело к частичной или полной потере диска. Пострадавшим пользователям были высланы рекомендации провести аварийное восстановление диска по инструкции. Все затронутые диски были отмечены в консоли Яндекс.Облака. При этом часть дисков мы смогли восстановить самостоятельно без участия пользователей, где пострадавшей оказалась внутренняя системная часть диска. С таких дисков отметка в консоли была снята, так что если сейчас в консоли Яндекс.Облака нет отметок о возможном повреждении жестких дисков, то никаких действий со стороны пользователя не требуется.Управляемые базы данных, кластера которых были развёрнуты с сетевыми дисками в нескольких зонах доступности, были недоступными на запись в течение нескольких минут. При этом потери данных не было. Такая недоступность — это внештатная ситуация, так как не была предусмотрена обработка частичной, а не полной, потери диска. Подобное поведение системы будет улучшено, переключение из-за длительных проблем с диском будет осуществляться за десятки секунд.Управляемые базы данных Managed Service for PostgreSQL и Managed Service for MySQL, кластера которых были развёрнуты только в пострадавшей зоне доступности ru-central-b, были восстановлены без потери данных из последней резервной копии, но с недоступностью сервиса на время восстановления.Управляемые базы данных Managed Service for ClickHouse, Managed Service for MongoDB и Managed Service for Redis, кластера которых были развёрнуты только в пострадавшей зоне доступности ru-central-b, были восстановлены из последней резервной копии с потерей данных за последний бизнес-день.Инцидент затронул только нескольких пользователей Managed Service for Kubernetes, которые использовали не отказоустойчивый тип мастеров. Во время инцидента для них был недоступен control plane Kubernetes, при этом запущенные в кластерах сервисы клиентов продолжали штатно функционировать. Эти мастера были восстановлены из последней резервной копии.
Причины
Причина сбоя нами была первоначально ошибочно идентифицирована как исключительно аппаратная, поскольку сбой произошел на уровне нашей базовой инфраструктуры. Автоматика в наших дата-центрах самостоятельно находит возможные проблемы с физическим оборудованием, после чего принимает решение о том, как исправить ситуацию. В зависимости от проблемы автоматическая система может дать указание на замену диска, перезагрузку сервера или полную перенастройку сервера, если другие меры не помогли. При этом пользователи Яндекс.Облака не замечают выход из строя сервера или диска и для них все сервисы продолжают работать в штатном режиме: виртуальные машины и данные автоматически переносятся на другие серверы.

Внутреннее расследование причин показало, что в автоматической процедуре исправления аппаратных проблем существовала ошибка: в маловероятной ситуации проблем с конкретным диском автоматика сделала вывод, что проблема касается всего сервера целиком, а точнее — всех его дисков, а не одного диска, как было на самом деле. Система перезагружала сервер, обнаруживала проблему снова и отправляла его в полную перенастройку. Попытки перенастройки оказались безуспешными, и в итоге была предпринята крайняя мера — процедура восстановления отформатировала все диски.

Неверное определение причины проблемы физической инфраструктуры не приводило к каким-либо видимым для пользователя последствиям. Отправка «здорового» сервера в полную перенастройку со всеми дисками незаметна пользователям и является штатной ситуацией. Но так как в данной ситуации произошёл одновременный выход из строя трёх серверов, в то время как в модель отказа Яндекс.Облака заложен одновременный выход из строя двух серверов в сегменте, данные на отформатированных дисках не были реплицированы и в итоге были утеряны.

Меры для предотвращения повторения подобной ситуации в будущем
Мы уже исправили ошибку в автоматической процедуре, которая неверно определяла уровень аппаратной проблемы.Перед отправкой сервера или диска в полную перенастройку по любой причине мы добавили обязательную задержку в одни сутки. Это позволит инженерам вручную обработать эту ситуацию и вернуть физические диски в кластер без потери данных.Будет добавлен дополнительный уровень проверки — теперь система хранения данных в Яндекс.Облаке будет явно подтверждать любое действие с оборудованием. Так мы сможем отложить работы с вышедшим из строя физическим диском или сервером на любой необходимый срок, пока не будем уверены в безопасности этого действия. В произошедшем инциденте это позволило бы не отправлять второй и третий серверы в перенастройку, а заморозить их до восстановления первого сервера.Мы введём обязательное резервное копирование мастеров Managed Service for Kubernetes с частотой несколько раз в сутки.
Мы также рекомендуем нашим клиентам:
Для повышения отказоустойчивости приложений использовать либо наши кросс-зональные решения, либо иметь резервную копию критичных данных в других зонах доступности Яндекс.Облака.Проработать систему активного мониторинга вашего сервиса, размещенного на нашей платформе, с целью повышения контроля доступности вашего сервиса. Если вам нужна помощь, мы всегда готовы помочь вам с подбором подходящего партнёра или же с настройкой мониторинга самостоятельно через обращение в службу поддержки.

Yandex Certificate Manager
Certificate Manager — сервис для получения и обновления TLS-сертификатов от Let’s Encrypt®, а также для загрузки собственных сертификатов. Подробнее в документации.
cloud.yandex.ru/services/certificate-manager
cloud.yandex.ru/docs/certificate-manager/

Сервисы управляемых баз данных
Новое:
Добавлены новые классы хостов на платформе Intel Cascade Lake: m2.7xlarge (56 vCPU, 448 ГБ) и m2.8xlarge (64 vCPU, 512 ГБ).
Обновлены описания классов хостов и правила тарификации для следующих сервисов:
Managed Service for PostgreSQL,Managed Service for ClickHouse,Managed Service for MongoDB,Managed Service for MySQL.
Сценарии использования
Новое:
Добавлен сценарий визуализации геоданных из CSV-файла.

Data Proc
Новое:
Добавлен сценарий использования Запуск заданий с удаленных хостов, не входящих в кластер Data Proc.

DataLens
Новое:
Добавлены новые типы связей в дашбордах.
Добавлен раздел, описывающий типы данных и их соответствие с типами из источников.
Описаны новые типы чартов — линейчатая и нормированная линейчатая диаграммы.
Улучшения:
Описаны обновленные настройки датасета.
Добавлена инструкция о том, как скачать данные с дашборда Коронавирус: дашборд.

Изменения в API:
Новые возможности:
Во время загрузки данных можно заменить существующие данные в таблице по ключу.
Перед загрузкой данных можно очистить таблицу, в которую данные загружаются с помощью заголовка X-DL-Force-Truncate.
Изменились пути во всех методах, где используются таблицы в качестве path-параметра:
/provider/v1/connection/{ИД соединения}/{имя таблицы}/ -> /provider/v1/connection/{ИД соединения}/table/{имя таблицы}/

IoT Core
Новое:
Добавлены сценарии использования IoT Core на разных языках программирования: C#, Java.
Поддержка Terraform для создания и удаления реестров и устройств.

Managed Service for Kubernetes
Новое:
Обновлен список версий Kubernetes, доступных на релизных каналах.

SpeechKit
Улучшения:
Для потокового распознавания добавлены экспериментальные дополнительные настройки распознавания.
Обновлен раздел Модели распознавания: подробнее описаны модели, добавлена информация об изменениях в последнем релизе.
Для синтеза речи теперь поддерживается изменение скорости речи премиум-голосов.

Object Storage
Новое:
Добавлена инструкция как добавить сертификат для хостинга статического сайта из сервиса Certificate Manager.

В сентябре прошлого года мы ввели лимиты на количество операций чтения и записи (input/output operations per second, IOPS) и на пропускную способность (bandwidth) сетевых SSD-дисков. Чтобы гарантировать производительность и безопасность при работе с виртуальными машинами и дисками в Облаке, мы переходим к следующим шагам.

Приводим фактические лимиты в соответствие с документацией
Мы старались, чтобы процесс ввода лимитов был плавным для тех пользователей, которые на тот момент использовали диски сверх ограничений. Поэтому фактические лимиты на пропускную способность сейчас выше, чем указано в документации.

С 12 мая 2020 года мы фиксируем лимиты на блоки размещения (allocation unit) для дисков:
SSD, пропускная способность на чтение: 15 МБ/с на блок размещения (32 ГБ).SSD, пропускная способность на запись: 15 МБ/с на блок размещения (32 ГБ).HDD, пропускная способность на чтение: 30 МБ/с на блок размещения (256 ГБ).HDD, пропускная способность на запись: 30 МБ/с на блок размещения (256 ГБ).Это отразится на пропускной способности для следующих сценариев:
Чтение с SSD-диска размером менее 1 ТБ;Запись на SSD-диск размером менее 320 ГБ;Чтение с HDD-диска размером менее 2 ТБ;Запись на HDD-диск размером менее 1,25 ТБ.Лимиты на IOPS на данный момент соответствуют значениям в документации

Вводим ограничения на количество vCPU
Это ограничение связано с аппаратными уязвимостями Meltdown и Spectre, затрагивающими микропроцессоры Intel. Из-за этих уязвимостей вредоносный код может получить несанкционированный доступ на чтение к памяти других виртуальных машин на сервере. Поэтому использование виртуальных машин с определённым количеством ядер — 1, 18, 22, 26, 30 — мы считаем потенциально небезопасным и будем планово вводить ограничения на работу с такими конфигурациями. Ограничения будут применены не только к консоли управления, но и к интерфейсу командной строки CLI, API, SDK и Terraform.

Конфигурации с большим числом ядер менее востребованы, в то время как ВМ с 1 vCPU популярны за счёт низкой цены. Вводимые ограничения в первую очередь затронут вычислительные ресурсы с 1 vCPU на платформе Intel Broadwell (standard-v1).

Отказ от создания конфигураций с 1 vCPU
Управляемые базы данных
В первую очередь мы отказались от использования хостов с 1 vCPU на платформе Intel Broadwell в сервисах управляемых баз данных:
Managed Service for PostgreSQLManaged Service for ClickHouseManaged Service for MongoDBManaged Service for MySQLManaged Service for RedisData Proc (кластеры Apache Hadoop)Уже сейчас при создании кластера БД минимальный класс хоста — b1.nano (5% × 2 vCPU Intel Broadwell, 2 ГБ RAM), для кластера Data Proc — b1.small (20% × 2 vCPU Intel Broadwell, 4 ГБ RAM).


Все запущенные кластеры БД с конфигурациями с 1 vCPU продолжат работать. Добавить новые хосты в такие кластеры невозможно, пока не будут изменены хосты с 1 vCPU. Вы сможете изменить конфигурацию хостов самостоятельно до 1 июля 2020 года, затем они будут изменены на стороне сервиса.

Yandex Managed Service for Kubernetes
С 1 июля 2020 года при создании группы узлов кластера Managed Service for Kubernetes нельзя будет выбрать 1 vCPU на платформе Intel Broadwell (standard-v1) в блоке Вычислительные ресурсы для группы узлов.


С этого момента перестанет работать автоматическое масштабирование и нельзя будет внести изменения в группу узлов. Группу узлов необходимо будет обновить с новой конфигурацией CPU/RAM со сменой платформы на Intel Cascade Lake (standard-v2).

Yandex Instance Groups
С 1 июля 2020 года вы не сможете выбрать шаблон виртуальной машины с 1 vCPU на платформе Intel Broadwell (standard-v1) при создании групп виртуальных машин в Instance Groups.

Для групп виртуальных машин, уже созданных на Intel Broadwell (standard-v1) с 1 vCPU, будет недоступно ручное и автоматическое масштабирование и автоматическое восстановление. Группу виртуальных машин необходимо будет обновить с новой конфигурацией CPU/RAM со сменой платформы на Intel Cascade Lake (standard-v2).

Совет
Если у вас в настоящее время используются виртуальные машины с 1, 18, 22, 26, 30 vCPU на платформе Intel Broadwell (standard-v1), мы рекомендуем до 1 июля 2020 года запланировать переход на конфигурацию с 2 vCPU или на платформу Intel Cascade Lake (standard-v2).
Ограничение на количество vCPU в Yandex Compute Cloud
С 1 июля 2020 года в сервисе Compute Cloud вы не сможете выбрать 1, 18, 22, 26, 30 vCPU при создании новых и изменении существующих виртуальных машин. Это ограничение будет применено ко всем инструментам в Облаке — консоли управления, интерфейсу командной строки CLI, API, SDK и Terraform. При этом вы сможете остановить, изменить и запустить существующие ВМ таких конфигураций.

Дальнейшие действия
До 1 июля 2020 года мы свяжемся с пользователями, использующими виртуальные машины с 1, 18, 22, 26, 30 vCPU в сервисах управляемых баз данных, Instance Groups и Managed Service for Kubernetes.

После 1 июля 2020 года такие ВМ будут принудительно остановлены и изменены одним из способов:
будет изменено количество vCPU:
с 1 на 2,с 18 на 20,с 22 на 24,с 26 на 28,с 30 на 32;или будет изменена платформа со Intel Broadwell (standard-v1) на Intel Cascade Lake (standard-v2) с сохранением значений CPU и RAM.

О конфигурациях, которые будут использоваться при переходе, мы сообщим заранее. Виртуальные машины с 1, 18, 22, 26, 30 vCPU, созданные в сервисе Compute Cloud, будут изменены в последнюю очередь. О точной дате мы сообщим в отдельном посте.

Библиотека AI-программ от Яндекс.Облака и NVIDIA
NVIDIA GPU Cloud (NGC) — бесплатная библиотека ПО, в которой доступно более 80 приложений для работы с искусственным интеллектом, машинным обучением, нейронными сетями и высокопроизводительными вычислениями.
Теперь разработчики моделей машинного обучения могут сразу перейти к обучению и тренировке алгоритмов, не тратя время на настройку специализированного ПО.
hosting.kitchen/yandex-cloud/yandeksoblako-i-nvidia-delayut-vnedrenie-iskusstvennogo-intellekta-bolee-dostupnym-dlya-rossiyskih-kompaniy.html


Сервис автоматической миграции от Яндекс.Облака и Hystax
Теперь вы можете мигрировать через приложение Hystax Acura, которое есть в маркетплейсе Облака. Автоматизированный перенос данных с любой платформы без простоев и потери данных — теперь в 8 раз быстрее.
И можно настроить автоматическое восстановление приложения, размещённого на другой площадке, в Облако.
hosting.kitchen/yandex-cloud/yandeksoblako-i-hystax-zapuskayut-servis-avtomaticheskoy-migracii.html

Миграция Cartaxi
Крупнейший сервис по эвакуации автомобилей в России переехал в Облако.
Из статьи вы узнаете о том, какие задачи они решили с помощью миграции, как оптимизировали сервис и почему выбрали Яндекс.Облако.
cloud.yandex.ru/cases/cartaxi

Другие истории наших пользователей
Первый в России PLM-as-a-Service
Connective PLM внедряет технологии управления жизненным циклом продукции (PLM). В статье мы рассказали, как компания провела цифровизацию типовых задач в нефтегазовой компании, используя первый в России облачный PLM-сервис.
Подробнее cloud.yandex.ru/cases/connective-plm

Сбор показаний с помощью Yandex SpeechKit
«Газпром межрегионгаз Ухта» автоматизировали сбор показаний счетчиков по телефону. Раньше расшифровка разговоров занимала много времени. Теперь Yandex SpeechKit обрабатывает 75% звонков, и время приема показаний сократилось в два раза.
Подробнее cloud.yandex.ru/cases/gazprom

Новое в Облаке
Познакомьтесь с ClickHouse, не создавая тестовый кластер
Встречайте сайт-песочницу play.clickhouse.tech на базе Yandex Managed Service for ClickHouse. Там вы можете оценить возможности ClickHouse, не разворачивая базу данных. На сайте есть тестовые датасеты.
На play.clickhouse.tech можно:
познакомиться с синтаксисом запросов;попробовать примеры из документации;разобрать специфичные сценарии.Облачный сервис Managed Service for ClickHouse поможет легко развернуть кластер БД и масштабировать его. Обслуживание БД мы берем на себя. Подробнее в документации.
Алертинг в Yandex Monitoring
Теперь вы можете настраивать уведомления об изменении метрик. Укажите пороговые значения, по достижении которых вы получите письмо или SMS.
Лицензии Microsoft Remote Desktop Services в Облаке
Служба удалённых рабочих столов Microsoft Remote Desktop Services позволяет централизованно управлять приложениями и пользователями. С помощью лицензий вы можете устанавливать более двух удаленных Remote Desktop подключений к вашим серверам одновременно.

Мы снижаем цены на резервируемый объём ресурсов (Committed Volume of Services, СVoS) — зарезервируйте определённый объём облачных сервисов на один год или на три года и платите меньше.

Скидка доступна всем пользователям — а экономия достигает 49 %. Стоимость ресурсов не изменится на протяжении всего срока действия скидки.

Подробнее об условиях
Вы получите скидку, если зарезервируете определённое количество CPU и RAM на один год или на три года. Мы даём скидку на суммарное потребление CPU и RAM, это позволит вам гибко управлять вычислительными ресурсами. Конфигурация хостов и распределение по зонам доступности не имеют значения. Вы будете ежемесячно получать фиксированный счёт, независимо от того, пользовались вы всеми ресурсами или нет.

Скидка предоставляется на сервисы управляемых баз данных:
Managed Service for PostgreSQLManaged Service for MySQLManaged Service for ClickHouseManaged Service for MongoDBиспользующие платформу с процессорами Intel Cascade Lake

Не все ресурсы можно зарезервировать. В правилах тарификации сервисов рядом с ресурсами, недоступными для резервирования, стоят прочерки.

Услуги сервисов Яндекс.Облака, на которые не распространяются условия CVoS, оплачиваются по стандартным тарифам. Например, вы используете хост s2.medium и зарезервировали 8 CPU и 32 ГБ RAM, и теперь вам необходимо увеличить его до m2.xlarge с конфигурацией 12 CPU и 96 ГБ RAM. Вы можете:
увеличить его в консоли управления и тогда на 8 CPU и 32 ГБ RAM и дальше будет работать скидка, а остальные 4 CPU и 64 ГБ RAM оплачивать по стандартным тарифам;или
зарезервировать дополнительно 4 CPU и 64 ГБ RAM и получить скидку на все необходимые мощности.Как получить скидку
В разделе Биллинг вы увидите, сколько сэкономите, если подключите CVoS на те ресурсы, которые используете сейчас. Там же вы сможете рассчитать ежемесячные платежи для разного количества CPU и RAM, чтобы выбрать наиболее выгодный план.


Подключить CVoS можно в консоли управления. Для этого:
Перейдите в раздел Биллинг и выберите платёжный аккаунт.Перейдите в раздел Специальные предложения.Укажите нужное количество ядер, объем памяти и срок резервирования.Нажмите кнопку Подключить CVoS.

Подробнее о подключении CVoS читайте в документации.
cloud.yandex.ru/docs/billing/concepts/cvos
Стоимость хостов со скидкой можно найти в действующих правилах тарификации для каждого из сервисов.
cloud.yandex.ru/prices#services

Обычно мы рассказываем вам о новостях платформы Mail.ru Cloud Solutions за прошедший месяц, но в этот раз не удержались и решили поделиться и самыми свежими новостями марта.

Провайдер Terraform для MCS
Возможно, вы не знали, но у MCS уже давно есть полноценная поддержка Terraform. С помощью него вы можете создавать сложные облачные топологии, включающие виртуальные машины, диски, сети, балансировщики нагрузки, правила firewall, а также PaaS-сервисы, например кластеры Kubernetes и БД.

Начать работу с Terraform в MCS теперь стало проще: можно скачать файл провайдера Terraform прямо в портале MCS.
Об управлении инфраструктурой в MCS с помощью Terraform.
mcs.mail.ru/help/iaas-api/infrastructure-terraform


Kubernetes 1.16
Теперь в MCS можно развернуть кластеры Kubernetes версии 1.16. Крупные изменения в этой версии:
Эфемерные контейнерыМенеджер топологии узлаПроверка контейнеров при их запускеПоддержка двойного сетевого стека IP4 + IP6Новый API для endpointsmcs.mail.ru/help/kubernetes/clusterfast

Webhooks для S3
Webhooks для S3 — это возможность настраивать отправку HTTP/S запросов по событиям для бакета, используя API. Например, вы можете:
Настроить обработку и конвертирование файлов после загрузкиИнтегрироваться с любыми внешними системамиНастроить логирование для объектного хранилищаmcs.mail.ru/help/storage-api/webhooks-s3

Подключение расширения мониторинга для баз данных
Для управляемых баз данных теперь можно подключить мониторинг с помощью Prometheus. Для этого мы добавили возможность устанавливать различные расширения ко всем поддерживаемым СУБД. Сейчас поддерживается установка Prometheus exporters в качестве расширений для MySQL, PostgreSQL, MongoDB, ClickHouse и Redis. В следующих релизах будут также доступны специализированные расширения для PostgreSQL и других БД.

Для подключения зайдите в инстанс базы данных и перейдите на вкладку Расширения.
mcs.mail.ru/help/db-faq/db-extensions

Новые сервисы на платформе MCS
Анти-DDoS, защита от DDoS и других атак.Web Application Firewall, фильтрация трафика и защита от атак.CDN, географически распределённая инфраструктура доставки контента.mcs.mail.ru/app/auth/

Простой доступ к дополнительным сервисам
Оставьте заявку в разделе Специальные сервисы, чтобы подключить:
Аварийное восстановление, резервирование инфраструктуры на случай сбоев.Автоматическая миграция с любых железных или облачных серверов на MCS.Cloud Managed Services — администрирование вашей облачной IT-инфраструктуры «под ключ».Виртуальное частное облако, инфраструктура публичного облака MCS на изолированных физических серверах.mcs.mail.ru/app/special-services/

VPNaaS в веб-интерфейс
Теперь VPN доступен в виде отдельного сервиса в разделе Облачные вычисления. Тип VPN — site-to-site IPsec.
Подробнее о работе с VPN.
mcs.mail.ru/help/network/vpn-mcs

Доступ к машинам через RDP в два клика
Для доступа к Windows-машине можно скачать конфиг RDP. На машине под Windows его запуск открывает настроенную панель удалённого доступа. Такой файл доступен для машин, подключенных к внешней сети.
mcs.mail.ru/help/iaas-create/rdp-connect

Инкрементальные бэкапы для виртуальных машин
Раньше инкрементальные бэкапы можно было настроить только при создании виртуальной машины. Теперь их можно включить в любой момент. Инкрементальные бэкапы занимают меньше места и быстрее создаются.
mcs.mail.ru/help/settings/servers-backup

Стоп и старт кластера для Kubernetes через веб-интерфейс
Теперь можно сделать через веб-интерфейс. Если вы остановите кластер, то не будете платить за использование памяти и процессорной мощности, пока он остановлен. Это может сэкономить вам до 60% для тестовых сред и является хорошей альтернативой спотовым инстансам.

Оперативно получать новости платформы MCS можно в нашем Telegram-канале.
t.me/mcsnews

Почитать
Хабр: Устройство Helm и его подводные камни
Завтра облачно: Managed Services: как аутсорс поможет сэкономить на зарплате IT-отдела
Завтра облачно: Что угрожает безопасности бизнеса: 4 главные киберугрозы 2020 года
Следите за выпусками «‎Завтра облачно»:
t.me/zavtra_oblachno
www.facebook.com/Mail.ruCloudSolutions/

С уважением, Илья Летунов
Руководитель платформы
Mail‌.ru Cloud Solutions

Добавлены справочники gRPC API во всех сервисах, кроме DataLens, Message Queue, Monitoring, Object Storage, SpeechKit и Yandex Database.

С 1 февраля следующие сервисы переходят на новую схему ценообразования:
Managed Service for MongoDBManaged Service for MySQLManaged Service for RedisManaged Service for PostgreSQL
Помимо этого обновились документы:
Cloud FunctionsCompute CloudData ProcManaged ClickHouseManaged Service for KubernetesCloud Functions
Подробнее
cloud.yandex.ru/blog/posts/2020/01/docs-digest

Yandex Database
Сценарии использования
Новое:
Установка Mikrotik Cloud Hosted Router.
Сайт на WordPress с кластером БД MySQL.

Cloud Functions
Новое:
Описаны новые типы триггеров:
Таймер.
Триггер для Object Storage.
Изменены лимиты.
Добавлены справочник API Functions и справочник API Triggers.

DataLens
Новое:
Добавлен раздел про вычисляемые поля.

Identity and Access Management
Новое:
Добавление федеративных пользователей с помощью консоли управления.
Получение IAM-токена для федеративного пользователя с помощью CLI.

Instance Groups
Улучшения:
Добавлено подробное описание того, как работает автоматическое восстановление в Instance Groups.

IoT Core
Новое:
Описана авторизация по логину и паролю: концепции;
инструкция Управление паролями устройства;
инструкция Управление паролями реестра.
Добавлен справочник API.
Улучшения:
Добавлена инструкция про создание X.509-сертификата.

Managed Service for ClickHouse
Новое:
Поддержка Terraform.

Managed Service for PostgreSQL
Новое:
Создание кластера PostgreSQL для «1С: Предприятия».

Managed Service for Redis
Новое:
Поддержка Terraform.

Object Storage
Новое:
Теперь можно добавлять собственные сертификаты безопасности для своих доменов при хостинге статического сайта.
Расширились возможности по управлению публичным доступом к бакету в консоли управления.
Добавилась операция для изменения класса хранилища с помощью конфигурации жизненных циклов объектов.

SpeechKit
Новое:
Изменения в потоковом режиме распознавания:
В сообщении с настройками распознавания добавились параметры singleUtterance и rawResults.
В сообщении с результатами распознавания добавился флаг endOfUtterance.
Изменения в распознавании длинных аудио:
Установлен лимит на максимальную длительность аудио — 4 часа.
Добавлен раздел про особенности использования gRPC.

Vision
Новое:
Новая модель для распознавания отдельной строки текста: инструкция, концепции.
cloud.yandex.ru/docs/vision/operations/ocr/text-detection#string
cloud.yandex.ru/docs/vision/concepts/ocr/

Yandex Database
Улучшения:
Обновлен список публичных материалов.
cloud.yandex.ru/docs/ydb/public_talks

29 ноября мы провели первую большую конференцию @Kubernetes, собрав докладчиков из крупнейших компаний страны, которые рассказали про свой опыт внедрения Kubernetes и разработки приложений под него. Как это было — смотрите на YouTube.

У нас активно готовятся к запуску целых 3 новых облачных сервиса, следите за нашими новостями. А пока расскажем, что нового MCS приготовил для вас в ноябре.

Про фичи


Управление SSH-ключами теперь доступно в кабинете администратора. Здесь ключи можно посмотреть, а также загрузить новые.
mcs.mail.ru/help/network/keypair_rules

Как создать отказоустойчивое приложение на MCS
Мы создали для вас перечень рекомендаций для построения отказоустойчивых приложений. Здесь собраны общие моменты, настройка зон доступности, отказоустойчивости баз данных, блочных хранилищ, QoS, балансировке.
mcs.mail.ru/help/infra/fault-tolerant-guidelines

Хелп: мониторинг инфраструктуры с помощью Prometheus
Рассказываем, как настроить мониторинг серверов на основе Prometheus, Grafana и Node_exporter. Описаны экспортеры для MySQL, Redis, PostgreSQL и Clickhouse.
mcs.mail.ru/help/monitoring-with-prometheus

Про контент
Хабы и раздел подкастов в журнале «Завтра облачно»
Мы, кстати, выпускаем онлайн-журнал «Завтра облачно». И в ноябре в нём появились хабы по разным тематикам: технологии, разработка, бизнес и так далее.


А подкасты «Завтра облачно» теперь можно послушать прямо из журнала.
mcs.mail.ru/blog/hubs/podcasts

Оперативно получать новости платформы можно в нашем телеграм-канале.
t.me/mailrucloudsolutionsbot
До связи!

Обзор платформы
Улучшения:
Обновили список инструкций по началу работы с Яндекс.Облаком и список список справочников API.
Описание технической поддержки
Новое:
Уведомления от Яндекс.Облака.Запросы данных у технической поддержки.
Сценарии использования
Новое:Непрерывное развертывание контейнеризованных приложений с помощью GitLab.Развертывание Active Directory.Развертывание Microsoft Exchange.Загрузка состояний Terraform в Object Storage.Автоматизация сборки образов с помощью Jenkins и Packer.
Compute Cloud
Новое:
Как аутентифицироваться в Яндекс.Облаке изнутри виртуальной машины.Виртуальные машины с GPU:Концепции.Как создать ВМ с GPU.Добавить GPU к существующей ВМ.Изменить количество GPU.Установкай NVIDIA драйверов.Подключать и отключать диски теперь можно не останавливая виртуальную машину.Улучшения:
Написали о том, как происходит динамическая миграция.Написали подробнее про операции чтения и записи для дисков.
DataLens
Новое:
Добавили возможность предоставлять доступ к дашбордам и чартам для любых пользователей.Добавили разграничение доступа на уровне строк (RLS).Добавили новые инструкции: материализация датасета, назначение, удаление, запрос прав доступа, а также публикациии чартов и дашбордов.Обновили существующие и добавили новые сценарии использования: теперь вы можете изучить, как визуализировать данные из AppMetrica, Metrica Logs API и опубликовать данные из CSV-файла.
Identity and Access Management
Новое:
Рекомендации по безопасному использованию Яндекс.Облака.Пример создания JSON Web Token на Ruby. JWT необходим для получения IAM-токена для сервисного аккаунта.Новые роли для сервисов Cloud Functions, Container Registry и DataLens.Улучшения:
Написали подробнее про IAM-токен и OAuth-токен в концепциях, в частности про время жизни токенов.Сервисные аккаунты: начало работы и отличия от пользовательских аккаунтов.
Managed Service for ClickHouse
Новое:
Словари: концепции и инструкция по подключению внешних словарей.
Managed Service for Redis
Новое:
Redis Cluster (Шардирование) + инструкции.Изменение настроек кластера
Message Queue
Новое:
Отложенная доставка сообщений в очереди.Примеры использования с помощью разных инструментов: Python, Node.js, PHP, Celery, JMS, Laravel.
Resource Manager
Новое:
Переименование облака.
SpeechKit
Новое:
Синтез речи:
Премиум-голоса: концепции, список, цены.3 новых стандартных голоса: silaerkan, erkanyavas, nick.Написали, как выбор голоса и другие параметры влияют на качество произношения.Изменились правила тарификации для распознавания в потоковом режиме: тарификация начинается с отправки сообщения с настройками распознавания.Новый пример распознавания в потоковом режиме для Node.JS.Уменьшились лимиты для распознавания коротких аудио: максимальная длительность аудио в запросе теперь составляет 30 секунд.
Virtual Private Cloud
Новое:
Инструкция по включению NAT в интернет.Улучшения:
Расширенный пример тарификации DDoS Protection.
Vision
Новое:
Автоматическое определение языка: инструкция, концепции.