Yandex Cloud

Мы хотим поделиться с вами подробностями развития платформы Yandex.Cloud в 2020 году и рассказать о наших финансовых показателях, а также об особенностях спроса и потребления облачных сервисов нашей платформы.



В 2020 году выручка платформы Yandex.Cloud увеличилась в 4,5 раза и достигла 1 миллиарда рублей. Количество коммерческих клиентов Yandex.Cloud увеличилось в 2020 году по сравнению с 2019 годом в 1,4 раза и составило 9 700, а средний чек одного клиента увеличился за этот период в 3 раза.

Мы выделяем несколько главных причин такого роста. Во-первых, российские и международные компании стали более активно создавать и развивать собственные цифровые продукты. Во-вторых, многие отрасли, например ритейл и e-commerce, столкнулись с резким ростом нагрузки на онлайн-сервисы из-за пандемии, и компании искали в облаках возможность быстрого расширения ИТ-инфраструктуры, повышения производительности и отказоустойчивости.

Yandex.Cloud 2020: крупные клиенты увеличили объемы потребления
Крупными потребителями облачных сервисов Yandex.Cloud стали 270 клиентов. К ним относятся компании, занимающие лидирующие позиции в своих отраслях по капитализации, доле рынка и темпам роста. Это такие компании, как Леруа Мерлен, Ozon, М.Видео, ВТБ, SkyEng, Национальный исследовательский университет «Высшая школа экономики» и другие. Такие клиенты обрабатывают большие объемы данных, активно развивают корпоративные и отраслевые цифровые платформы для управления внутренними процессами бизнеса, запуска и поддержки новых приложений и сервисов.

В 2020 году количество крупных клиентов платформы Yandex.Cloud увеличилось более чем в 2 раза, а объем потребления ими сервисов Yandex.Cloud вырос почти в 5 раз. Доля крупных клиентов в общей выручке Yandex.Cloud составила 48%. Этот показатель вырос по сравнению с 2019 годом на 4 процентных пункта.

Стоит отметить, что доля компаний группы Яндекса в структуре выручки платформы Yandex.Cloud в 2020 году составила 4%. При расчете показателя учитывается только потребление Yandex.Cloud сервисами ГК Яндекс по общим рыночным условиям. Объем потребления ресурсов внутренней облачной платформы, локализованной под задачи компаний и отдельных сервисов ГК Яндекс, в структуре выручки Yandex.Cloud не учитывается.

Облака — не отдельные технологии, а платформа для роста бизнеса
Мы считаем, что в ближайшие несколько лет бизнес массово будет использовать облака как целостные платформы, на которых по запросу можно получить все необходимые сервисы для решения задач по развитию бизнеса.

На опыте Yandex.Cloud мы выделили 4 основных сценария потребления облачных сервисов компаниями:

• перенос из собственной инфраструктуры на облачную корпоративных приложений и сервисов;
• развитие единой среды разработки, тестирования и запуска новых бизнес-приложений (цифровых продуктов);
• создание корпоративной платформы данных для хранения, обработки и анализа данных;
• применение сервисов на базе искусственного интеллекта и инструментов машинного обучения.

В свою очередь, сервисы платформы, которые наиболее активно участвуют в достижении этих сценариев, мы разделили на 4 основные группы и оценили, каким спросом они пользовались в 2020 году.

Группа № 1: «Базовая инфраструктура и сеть». Вклад в выручку Yandex.Cloud в 2020 году — 60%. В группу входят виртуальные машины, сетевые диски, инструменты управления виртуальными сетями. Это наиболее востребованная группа сервисов, на нее в 2020 году пришлось 60% выручки платформы Yandex.Cloud. Активные потребители сервисов этой группы — интернет-магазин Ozon.ru, DIY-ритейлер Leroy Merlin, разработчик мобильных игр Axlebolt.

Группа № 2: «Машинное обучение». Вклад в выручку Yandex.Cloud в 2020 году — 14%. В группу входят сервисы на базе уникальных технологий Яндекса в области машинного обучения и искусственного интеллекта. Сервисы машинного обучения активно используют такие компании, как Signal AI, Badoo, разработчик и интегратор голосовых сервисов АТС (разрабатывает сервисы для Альфа-Банка, Мегафона, ДИТ Москвы, Министерства здравоохранения МО). Наибольший рост — в 9 раз — показал сервис синтеза и распознавания речи Yandex SpeechKit. Это также подтверждает интерес партнеров, за 2020 год количество компаний, специализирующихся на разработке и внедрении голосовых сервисов выросло до 30. Сервис машинного перевода Yandex Translate принес 32% выручки направления, в том числе за счет спроса со стороны зарубежных клиентов, которых привлекает соотношение цены и качества перевода многих языковых пар, превосходящее такое соотношение в аналогичных сервисах.

Группа № 3 «Платформа данных». Вклад в выручку Yandex.Cloud — 12%. Экосистема облачных сервисов для полного цикла работы с данными. Самыми востребованными стали системы управления базами данных, предоставляемые на платформе как сервис. На первом месте по популярности — PostgreSQL, также в тройку входят ClickHouse и MySQL. Количество компаний-пользователей MDB в 2020 году достигло 1 350. Рост группы «Платформа данных» в 2020 году — в 8 раз. У нас хранят свои данные ВТБ, М.Видео и Декатлон.

Группа № 4 «Автоматизированное управление контейнерами». Вклад группы в выручку Yandex.Cloud — 7%. Основной сервис Managed Service for Kubernetes — для автоматизации развертывания, масштабирования и управления контейнеризированными приложениями. Коммерческими пользователями сервиса Managed Kubernetes в 2020 году стали 260 клиентов Yandex.Cloud. Общий рост группы в 2020 году — в 18 раз. Активные потребители сервисов группы: компания ПИК, «Альфа-Страхование», Инвестиционная группа «Севергрупп».

Еще 7% выручки Yandex.Cloud в 2020 году относятся к маркетплейсу и платной поддержке.

Что дальше: больше возможностей клиентам Yandex.Cloud в 2021 году
В 2021 году спрос компаний на облачные технологии будет увеличиваться. Мы планируем, что выручка от потребления сервисов нашей платформы вырастет в 2,6 раза. Мы прогнозируем увеличение спроса на облачные мощности, которыми крупные промышленные компании и государственные организации будут дополнять собственную инфраструктуру. Также в 2021 году мы планируем сделать акцент на развитии экосистемных сервисов: DataSphere, DataLens, бессерверных вычислениях.

Приоритетными остаются развитие безопасность и надежность платформы Yandex.Cloud, в том числе увеличение количества дополнительных сервисов от ведущих разработчиков в нашем маркетплейсе.

На платформе Yandex.Cloud появился сервис Yandex Application Load Balancer для создания масштабируемых управляемых балансировщиков HTTP-трафика. Сервис берет на себя маршрутизацию трафика с учетом HTTP-запросов и заголовков, терминирование TLS и обеспечение безопасности соединений между компонентами приложений.

Сервис сетевых балансировщиков нагрузки Yandex Load Balancer теперь называется Yandex Network Load Balancer. Сетевые балансировщики работают на на 4-м уровне сетевой модели OSI и распределяют пакеты данных, учитывая адрес и порт клиента, доступность ресурсов и сетевой протокол.
cloud.yandex.ru/services/network-load-balancer

Как работает сервис
Application Load Balancer работает на 7 уровне модели OSI и служит для приема входящего трафика и передачи его на приложения, развернутые в Yandex.Cloud. Маршрутизация запросов происходит по правилам, описанным в HTTP-роутерах, подключенных к обработчикам балансировщика. Настройки подачи трафика на бэкенды указываются в группах бэкендов, который создаются поверх целевых групп.

cloud.yandex.ru/docs/application-load-balancer/concepts/

Какие задачи поможет решить

• Облегчить построение микросервисной архитектуры. Application Load Balancer предоставит масштабируемую инфраструктуру подачи HTTP-трафика при построении микросервисной архитектуры.
• Реализовать различные сценарии развертывания. Это позволит легче реализовывать сценарии развертывания canary и blue-green и проводить эксперименты для разных групп пользователей за счет распределения нагрузки.
• Реализовать сценарий Virtual Hosting. Вы можете настроить использование разных сертификатов для разных доменов на одном балансировщике нагрузки, используя механизм TLS SNI. Задайте SNI-обработчики для нужных доменов, выберите подходящие сертификаты в Certifiсate Manager и направьте обработчики на отдельные HTTP-роутеры, описывающие маршруты для разных доменов.
• Обеспечивать безопасность соединений Сервис использует современные протоколы и наборы шифров TLS и интегрирован с Certificate Manager для установки сертификатов безопасности.

Сервис находится на стадии Preview и не тарифицируется.
cloud.yandex.ru/docs/overview/concepts/launch-stages

Компания LinkedIn в 2011 году разработала брокер сообщений Kafka. Сейчас Kafka — это отказоустойчивая распределенная стриминговая платформа с открытым исходным кодом, которая позволяет хранить, обрабатывать и доставлять огромные объемы данных в реальном времени.

Apache Kafka
Распределенные системы, как правило, состоят из множества сервисов: одни генерируют события (метрики, логи, события мониторинга, служебные события и т. д.), другие хотят эти данные получать. Kafka — гибрид распределенной базы данных и брокера сообщений с возможностью горизонтального масштабирования. Kafka собирает у приложений данные, хранит их в своем распределенном хранилище, группируя по топикам, и отдает компонентам приложения по подписке. При этом сообщения хранятся на различных узлах-брокерах, что обеспечивает высокую доступность и отказоустойчивость.

Топик — это способ группировки потоков сообщений в хранилище по категориям. Сервисы публикуют сообщения определенной категории в топик, а потребители подписываются на топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Разделы — это последовательность сообщений топика в порядке поступления.

Сообщения сохраняются в так называемом журнале, долговременной упорядоченной структуре данных. Записи в журнал можно только добавлять, их нельзя ни изменять, ни удалять, а информация считывается слева направо, что гарантирует правильный порядок элементов.

Apache Kafka — это не СУБД в чистом виде, несмотря на то что она обеспечивает атомарность, согласованность, изолированность и долговечность хранимых данных, а также предоставляет возможность избирательного доступа к данным с помощью KSQL — SQL-движка на базе API Kafka Streams. Платформу используют как журнал фиксации и интеграционный центр для множества внешних СУБД и хранилищ.


Kafka vs RabbitMQ
Kafka часто сравнивают с другим популярным программным брокером сообщений и системой управления очередями — RabbitMQ. Обе системы используются для обмена информацией между приложениями, работают по схеме «издатель — подписчик» и обеспечивают репликацию сообщений. Однако они реализуют принципиально разные модели доставки сообщений: Kafka — pull (получатели сами достают из топика сообщения), а RabbitMQ — push (отправляет сообщения получателям).

Также RabbitMQ удаляет сообщение после доставки, а Kafka хранит его до запланированной очистки журнала. Таким образом, Apache Kafka сохраняет текущее и все прежние состояния системы и может использоваться как достоверный источник исторических данных. Это позволяет множеству потребителей читать одни и те же данные независимо, и такой паттерн удобен, например, в event-driven-системах.

У RabbitMQ очень гибкое управление очередями сообщений (маршрутизация, шаблоны доставки, мониторинг получения), но при большой нагрузке это приводит к снижению производительности. Поэтому для сбора и агрегации событий из множества источников, метрик и логов лучше использовать Apache Kafka, а RabbitMQ подходит для быстрого обмена сообщениями между несколькими сервисами.

Где применяется Kafka
Основное назначение Apache Kafka — это централизованный сбор, обработка, безопасное хранение и передача большого количества сообщений от отделенных друг от друга сервисов. Эта распределенная, горизонтально масштабируемая платформа обычно применяется там, где очень много больших неструктурированных данных:

• Масштабные IoT/IIoT-системы, характеризующиеся архитектурой с множеством датчиков, сенсоров, контроллеров и других конечных устройств.
• Системы аналитики. Например, Kafka используется в компаниях IBM и DataSift в качестве коллектора для мониторинга событий и трекера потребления потоков данных пользователями в режиме реального времени.
• Финансовые системы. Используют финансовые организации: Сбербанк, Тинькофф, Альфа-Банк, ING Bank.
• Социальные сети. В Twitter Kafka — часть инфраструктуры потоковой обработки, а в LinkedIn используется для потоковой передачи данных о деятельности и операционных показателях приложений.
• Системы геопозиционирования. Foursquare — для передачи сообщений между онлайн- и офлайн-системами, а также для интеграции средств мониторинга в свою big data инфраструктуру на базе Hadoop.
• Телеком-операторы. ВымпелКом, МТС, Ростелеком и др.
• Онлайн-игры. Например, Demonware, подразделение Activision Blizzard — для обработки логов пользователей.

Самый простой пример: с помощью Apache Kafka можно собирать логи сеансов от клиентов в потоковом режиме или логи с физических файлов журналов с серверов, а затем помещать их в одном месте, например в HDFS — файловой системе Apache Hadoop. Также Apache Kafka позволяет построить конвейер данных, чтобы с помощью алгоритмов машинного обучения извлекать из сырой информации сведения, ценные для бизнеса.

Managed Service for Apache Kafka
Создание, настройка и управление кластерами Apache Kafka — очень сложная задача, требующая внимания сертифицированных специалистов. В Yandex.Cloud брокер сообщений предоставляется как управляемый сервис, управление и обслуживание которого производится на стороне облачной платформы. Пользователь может создавать и настраивать кластеры для решения своих задач, а управление брокерами, обновление и оптимизация работы Apache Kafka происходит автоматически.

Возможности управляемого сервиса Managed Service for Apache Kafka в Yandex.Cloud:

• Быстрое добавление брокеров в кластер.
• Распределение брокеров кластера между зонами доступности.
• Быстрое изменение ресурсов высокодоступной конфигурации без остановки работы и потери данных.
• Настройка политики очистки лога, типа сжатия и максимального количества сообщений для эффективного использования вычислительных, сетевых и дисковых ресурсов.
• Настройка репликации для обеспечения отказоустойчивости.
• Анализ метрики и состояния кластера.
• Автоматическая замена узлов кластера при отказе.
• Шифрование соединений при помощи протокола TLS. Механизм SASL контролирует доступ пользователей к топикам по спискам контроля доступа (ACL).
• Соответствие требованиям 152-ФЗ, индустриальным стандартам ISO и GDPR.

Managed Service for Apache Kafka вместе с другими управляемыми сервисами Yandex.Cloud позволяет создавать на облачной платформе витрины данных. Например, Yandex Managed Service for ClickHouse отлично справляется с обработкой запросов к большим объемам данных, Yandex Data Proc автоматически создаст и настроит кластеры Spark, Hadoop и другие компоненты, а Yandex DataLens позволит визуализировать эти данные и построить отчеты. С помощью Apache Kafka можно поставлять данные напрямую в ClickHouse без дополнительной разработки.

console.cloud.yandex.ru/link/managed-kafka/

Yandex.Cloud в Telegram
Облако растёт: мы добавляем новые сервисы и продукты, расширяем Marketplace, пишем документацию. Ожидаемо вместе с Yandex.Cloud растёт количество вопросов у пользователей. Большую их часть закрывают документация и техподдержка. Но есть ситуации, когда совет нужен прямо сейчас, и вопросы, на которые лучше ответят практики.

На этот случай мы собрали каналы и чаты в Telegram, где говорим об облаке — общие, для отдельных сервисов, с оповещениями и дискуссиями. Они не заменят поддержку, но помогут найти решение и поделиться идеями.

Telegram-каналы
Главный канал Yandex.Cloud
Все новости и обновления платформы.
t.me/yandexcloudnews

Alert-канал Yandex.Cloud.
Оповещения о доступности сервисов и инцидентах.
t.me/yandexcloudalerts

Telegram-чаты
Главный чат Yandex.Cloud
Обсудить любой вопрос о платформе и пообщаться с участниками сообщества.
t.me/yandexcloud_chat

Чат Yandex Serverless Ecosystem
Functions, API Gateway, Message Queue и другие компоненты экосистемы.
t.me/YandexCloudFunctions

Чат Yandex Database
NewSQL СУБД и бессерверные вычисления на её основе.
t.me/yandexdatabase_ru

Чат Yandex DataSphere
ML-разработка в облаке.
t.me/yandex_datasphere

Чат Yandex DataLens
Всё, что волнует аналитика: графики, дашбоорды, датасеты.
t.me/YandexDataLens

Чат Yandex Monitoring
Алёртинг, выгрузка метрик и облачный мониторинг.
t.me/yandexmonitoring_ru

Подписывайтесь, присоединяйтесь, делитесь опытом. В чатах интереснее обсуждать новости и проще задать вопрос.

Безопасность
Платформа Yandex.Cloud получила подтверждение соответствия международному стандарту безопасности данных платежных карт PCI DSS (Payment Card Industry Data Security Standard) и высшему уровню защищенности персональных данных УЗ-1. Теперь вы можете хранить и обрабатывать в облаке данные платежных карт, а также медицинские, специальные и биометрические данные.
storage.yandexcloud.net/yc-compliance/conformance_ru_new.pdf

На странице Безопасность мы выложили все подтверждающие документы и описали, как построена архитектура для соответствия PCI DSS в Yandex.Cloud.
cloud.yandex.ru/security

Yandex Certificate Manager
Сервис для управления TLS-сертификатами Yandex Certificate Manager теперь интегрирован с Yandex Monitoring.
Monitoring позволяет отправлять сервису метрики по сертификатам, а также настраивать алерты для этих метрик. Из метрик можно узнать, сколько дней осталось до истечения сертификата, о его неработоспособности и текущее потребление квоты. Вы можете наблюдать за графиками метрик на сервисных или собственных дашбордах и подписываться на оповещения через email или sms.

Yandex Managed Service for MongoDB
Изменились политики резервного копирования в Yandex Managed Service for MongoDB. Для автоматических резервных копий можно выбрать период хранения от 7 до 35 дней, а для ручных копий бессрочно. Функционалность находится на стадии Preview.

Yandex Instance Groups
Обновились стратегии остановки виртуальных машин. Можно выбрать две опции остановки: принудительную (PROACTIVE) или деликатную (OPPORTUNISTIC):

• Если выбрана принудительная стратегия, Instance Groups самостоятельно выбирает, какие виртуальные машины остановить.
• При деликатной стратегии Instance Groups не останавливает виртуальные машины, а ожидает выполнения некоторых условий.

Yandex Object Storage
Теперь вы можете управлять облачных хранилищем из мобильного приложения Yandex.Cloud.

Terraform
Вышло несколько улучшений TerraForm для сервисов управляемых баз данных, Yandex Virtual Private Cloud, Yandex Compute Cloud и Yandex Object Storage.

Новые образы в Marketplace
В Yandex Cloud Marketplace вышли новые образы операционных систем с поддержкой GPU:

• CentOS 7 GPU
• Ubuntu 16.04 LTS GPU
• Ubuntu 18.04 LTS vGPU
• Ubuntu 18.04 LTS GPU
• Debian 10 GPU
• CentOS 8 GPU
• Ubuntu 20.04 LTS GPU

Для сервиса визуализации и анализа данных DataLens появился новый партнерский коннектор от компании Albato. С его помощью вы можете настроить интеграцию с более чем 100 различных сервисов и приложений:
Albato 130+ интеграций

Мероприятия
26 января состоялся вебинар по практическому применению Serverless. Мы показали, как интегрировать сервисы Yandex.Cloud с голосовыми технологиями компании Voximplant, и рассказали, зачем это нужно.
Набираем обороты после большого отдыха. В феврале вас ждут 5 мероприятий, посвященных безопасности, ML-технологиям и речевой аналитике. Регистрация уже открыта.
cloud.yandex.ru/events

Публикации в СМИ
За какими трендами в развитии речевых технологий следить в 2021 году
Менеджер по развитию ML-сервисов Yandex.Cloud Никита Ткачев рассказал о главных трендах в развитии речевых технологий в 2021 году и о том, что дает бизнесу их кастомизация. rb.ru/opinion/rechtehnologij-v-2021/

Как облачные технологии помогают медицине меняться
Руководитель направления по работе с клиентами медицинского сектора платформы Yandex.Cloud Евгений Михайленко рассказал о востребованных направлениях развития облачных технологий в медицине. hightech.fm/2020/12/24/clouds-medicine

Коронакризис гонит финансистов в облака
Руководитель по работе с финансовым сектором Yandex.Cloud Александр Черников рассказал про развитие облачных технологий и их применение в финансовой сфере. nbj.ru/publs/upgrade-modernizatsija-i-razvitie/2020/12/29/koronakrizis-gonit-finansistov-v-oblaka/index.html

Истории успеха
Как сервис Yandex Vision помог роботизировать логистические задачи
С применением робота ElectroNeek Studio и Yandex Vision крупной торгово-промышленной компании удалось существенно ускорить работу с документами на отгрузку. Робот справляется с внесением и проверкой данных в восемь раз быстрее человека — всего за 30 секунд. Ошибок при внесении данных теперь не возникает, и сотрудникам не надо тратить время на проверку и исправления. cloud.yandex.ru/cases/electroneek

Как в МОЭК создали систему для автоматического приема показаний счетчиков по телефону
Команде разработки МОЭК требовалось оптимизировать две внутренние задачи, одна из которых заставляла пользователей тратить много времени на звонки в компанию, а вторая отнимала много времени у сотрудников контакт-центра. Всего за месяц штатными специалистами были разработаны все алгоритмы, и система заработала на производстве. cloud.yandex.ru/cases/moek

Как Авто.ру провел экзамен по ПДД с помощью serverless-технологий
Компания foobar.engineering использовала serverless-технологии от Yandex.Cloud для реализации социального проекта «Большой экзамен ПДД» на сервисе Авто.ру. Благодаря выбору Yandex Cloud Functions и Yandex Database разработчики занимались только кодом, а не переживали за настройку и поддержку серверов с приложением, масштабирование и добавление ресурсов СУБД. cloud.yandex.ru/cases/autoru

Как биоинформатики Genotek разработали сервис генеалогических деревьев
Биоинформатики компании Genotek с помощью Yandex Cloud Functions разработали новый сервис для создания генеалогических деревьев. Применение serverless-подхода позволило биоинформатикам сосредоточиться только на написании или интеграции кода и не задумываться о производительности, обслуживании и масштабировании баз данных. cloud.yandex.ru/cases/genotek-genealogical-tree

Сервис визуализации и анализа данных DataLens становится ещё более удобным и доступным. Мы упростили тарифы, добавили поддержку SQL-запросов в датасетах и множество очень полезных функций, о которых просили пользователи. Подробнее в нашей статье.
cloud.yandex.ru/services/datalens

Простые тарифы
С 1 февраля внутренние сессии становятся бесплатными, а для внешних сессий исчезает повышающий коэффициент, при этом фактические лимиты на них остаются прежними. Теперь использовать DataLens в связке с управляемыми базами данных Yandex Cloud можно бесплатно и без ограничений по количеству пользователей и сессий. Подробности в документации.

Функции геокодирования — GEOCODE и GEOINFO.
cloud.yandex.ru/docs/datalens/function-ref/GEOCODE
cloud.yandex.ru/docs/datalens/function-ref/GEOINFO
Переход на новую тарификацию происходит с началом нового расчетного периода в течение февраля. Уточнить расчетный период для своего аккаунта DataLens можно в разделе Биллинг.
Пример:
15.12.2020 — Пользователь активировал DataLens.
15.01.2021 — Начнется новый расчетный период и продлится до 14.02.2021 по старым тарифам.
15.02.2021 — Начнется новый расчетный период по новым тарифам.

SQL-запросы в датасетах
Теперь источник данных датасета можно определять произвольными запросами SQL над подключениями к ClickHouse, PostgreSQL, MySQL, MS SQL Server, Oracle. Текст запроса при обращении к источнику данных исполняется в виде подзапроса.

Строго рекомендуется:

• Ограничить права пользователя, прописанного в подключении, до read-only.
• Ограничить права на подключение до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.
• Ограничить права на связанные с подключением датасеты до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.

Включить использование подзапросов в качестве источника можно в настройках подключения.


Новый коннектор Albato в Marketplace
Мы запускаем новый партнерский коннектор от компании Albato. С его помощью вы можете настроить интеграцию с более чем 100 различных сервисов и приложений.
cloud.yandex.ru/marketplace/products/f2euehocmctm48ni9dvu
Как настроить подключение коннектора от Albato читайте в инструкции на сайте партнера.
blog.albato.ru/podklyuchenie-i-nastrojka-datalens/

Новые возможности разметки текста
Теперь вы можете создавать ссылки из текстовых полей при помощи функции URL(), например для таблиц и тултипов карт.

Затем такое поле можно использовать в визуализации и оно будет выглядеть как гиперссылка:

cloud.yandex.ru/docs/datalens/function-ref/markup-functions

Пагинация
В плоские таблицы добавлена пагинация. Для новых таблиц она будет включаться автоматически.


Оконные функции
Теперь доступны скользящие и нарастающие суммы, доли от общей суммы и отдельной группы измерений, ТОПы и многое другое. Отметим:

• Оконные функции работают над показателями (полями с агрегацией). Измерения могут быть использованы в дополнительных аргументах, например, определяющих группировку.
• Часть агрегатных функций также могут быть использованы как оконные: SUM, SUM_IF, AVG, AVG_IF, MAX, MIN, COUNT, COUNT_IF.

Ниже несколько примеров.

Важно
Использование скользящих функций, в том числе RSUM() и MAVG(), требует обязательной явной сортировки измерений (в секции Сортировка).
cloud.yandex.ru/docs/datalens/function-ref/window-functions

Функции AGO и LAG, или как посмотреть в прошлое
Стали доступны новые функции AGO() и LAG(), которые позволят решать следующие задачи:

• Вывод значения показателя N периодов назад.
• Подсчёт прироста показателя, как отношение показателя в текущем и предыдущем периодах.
• Ссылка в формуле на значение предыдущей строки.

Настройки осей
Расширены настройки в секциях осей X и Y. На данный момент есть возможность:

• работать с логарифмической шкалой;
• переименовывать оси;
• скрывать и менять направление подписей;
• управлять сеткой и масштабом оси;
• менять направление подписей.

Тёмная тема
В DataLens появилась возможность автоматического переключения темы интерфейса в зависимости от настроек операционной системы. Включается в настройках оформления консоли Yandex.Cloud.


DataLens в Telegram
У вас есть вопросы или хотите обсудить использование сервиса DataLens? Приходите в наш уютный чат в Telegram.
t.me/YandexDataLens

В прошлом году мы выпустили мобильное приложение Yandex.Cloud и презентовали его на конференции Scale 2020. С тех пор мы добавили возможность авторизации через федерацию удостоверений, push‑уведомления и поддержку Yandex Object Storage.

Федерации удостоверений
В первой версии приложения войти в аккаунт Yandex.Cloud можно было только с помощью аккаунта в Яндекс. Однако, большинство компаний настраивают собственную систему управления пользователями.

Yandex.Cloud поддерживает идентификацию федераций удостоверений, с помощью которых любая компания может настроить Single Sign‑On — аутентификацию в Yandex.Cloud через свой сервер. В этом случае сотрудники смогут использовать свои корпоративные аккаунты для работы в Yandex.Cloud.

В новой версии мобильного приложения Yandex.Cloud мы добавили возможность входа через федерацию удостоверений.
cloud.yandex.ru/docs/iam/concepts/users/identity-federations

Push-уведомления
Теперь мобильное приложение Yandex.Cloud может присылать системные push-уведомления. Например, при общении с технической поддержкой их ответ сразу же появится в уведомлениях, а для того, чтобы ответить на их вопросы или задать свои, вам не нужно открывать консоль с компьютера. Это можно сделать прямо из приложения, нажав на push‑уведомление.

Object Storage
Мы добавили в приложение поддержку сервиса Object Storage — масштабируемого решения для хранения данных. Теперь вы можете прямо со смартфона иметь доступ к файлам своего проекта и следить за состоянием объектного хранилища.
cloud.yandex.ru/services/storage



Также с помощью мобильного приложения Yandex.Cloud вы можете:

• просматривать статусы работы облачных ресурсов;
• изучать графики во вкладках Мониторинг внутри сервисов;
• управлять средствами на лицевом счете: проверять остаток, просматривать детализацию, пополнять баланс;
• общаться с технической поддержкой;
• быть в курсе последних новостей Yandex.Cloud и анонсов мероприятий.

Скачайте мобильное приложение Yandex.Cloud в App Store или Google Play.
apps.apple.com/ru/app/yandex-cloud/id1515465314
play.google.com/store/apps/details?id=ru.yandex.cloud

Сервис для управления TLS-сертификатами Yandex Certificate Manager теперь интегрирован с Yandex Monitoring. Monitoring позволяет отправлять сервису метрики по сертификатам, а также настраивать алерты для этих метрик. Из метрик можно узнать, сколько дней осталось до истечения сертификата, о его неработоспособности и текущее потребление квоты. Вы можете наблюдать за графиками метрик на сервисных или собственных дашбордах и подписываться на оповещения через email или sms.

Предупреждение о скором истечении срока действия сертификата

• Перейдите в Yandex Monitoring, раздел Алерты и создайте новый алерт. Задайте имя и описание алерта.
• В настройках метрики выберите service = Certificate Manager, name = certificate.days_until_expiration.
• Если нужно следить за определенным сертификатом, выберите его идентификатор в качестве значения параметра certificate, иначе certificate = *.
• Если выбрано больше одного сертификата, то используйте функцию агрегации, выбирающую наменьшее значение — series_min().
• Задайте условие срабатывания — «меньше или равно», и число дней для Alarm и Warning, например, 3 и 14 дней.
• Затем выберите канал для уведомлений и нажмите Сохранить алерт.

Предупреждение о неработоспособности сертификата

• Перейдите в Yandex Monitoring, раздел Алерты и создайте новый алерт. Задайте имя и описание алерта.
• В настройках метрики выберите service = Certificate Manager, name = certificate.is_out_of_order.
• Если нужно следить за определенным сертификатом, выберите его идентификатор в качестве значения параметра certificate, иначе certificate = *.
• Если выбрано больше одного сертификата, то используйте суммирующую функцию агрегации series_sum().
• Задайте условие срабатывания — «больше», и значение 0 для Alarm.
• Затем выберите канал для уведомлений и нажмите Сохранить алерт.

cloud.yandex.ru/docs/certificate-manager/operations/alert

Чем запомнился год
Мы много работали над развитием платформы. В Yandex.Cloud появилось девять новых сервисов, а уже существующие получили новые возможности. Например, ML-разработчики теперь могут использовать привычный инструмент Jupyter Notebook в Yandex DataSphere, а потоковую обработку данных для своего приложения теперь можно реализовать с помощью Yandex Managed Service for Apache Kafka. Был запущен Yandex Data Transfer для простой миграции ваших баз данных в Yandex.Cloud и Certificate Manager для создания и управления TLS-сертификаты от Let’s Encrypt.

Наши усилия привели к тому, что с начала 2020 года количество компаний, использующих Yandex.Cloud для развития бизнеса, выросло на 70% и сейчас у нас более 7 тысяч клиентов. Стремительное развитие платформы позволило Яндексу выделить Yandex.Cloud в отдельную бизнес-единицу.
yandex.ru/company/press_releases/2020/2020-10-30

В 2020 году мы опубликовали на сайте более 30 историй успеха наших клиентов и множество статей в СМИ, провели более 75 различных мероприятий — вебинаров и хакатонов. В том числе вторую большую конференцию Yandex Scale 2020, которая в этом году прошла онлайн.


Отдельно про COVID-19
Пандемия коронавируса СOVID-19 и связанные с ней ограничительные меры стали серьёзным испытанием для бизнеса: упал спрос на продукты и услуги, усилилась нагрузка на онлайн-сервисы, появилась необходимость обеспечивать удалённый доступ работникам. Понимая это, мы запустили различные меры по поддержке среднего и малого бизнеса — зафиксировали цены, увеличили гранты и предоставили скидки. Также, для обеспечения непрерывной работы платформы мы предприняли дополнительные меры — перевели на удалёнку 90% команды, обеспечили необходимые средства профилактики и максимально ограничили визиты сотрудников и гостей в дата-центры.
cloud.yandex.ru/blog/posts/2020/03/smb-offer
cloud.yandex.ru/blog/posts/2020/03/covid-19
cloud.yandex.ru/blog/posts/2020/04/datalens-news

С помощью сервиса Yandex DataLens мы собрали в единый дашборд информацию из Роспотребнадзора, университета Джонса Хопкинса и данных сервисов Яндекса, чтобы любой человек или компания могли получать оперативные данные о распространении коронавируса.


Совместно с РБК мы провели серию мероприятий про локдаун и обсудили с лидерами рынка, какие IT-решения применяют они, что сейчас помогает бизнесу и как компании переживают кризис, всё ли работает так, как было задумано.

Но самое главное, что наши клиенты и партнёры в этом году активно использовали облачные технологии, чтобы помогать врачам эффективнее бороться с пандемией. Например, RADLogics, один из пионеров технологии компьютерного зрения, использует сервисы Yandex.Cloud для обработки и анализа медицинских снимков, что позволяет им тратить на одно исследование всего 8-12 минут. Создатели проекта «Мейкеры против COVID-19», которые безвозмездно помогают расходниками для ИВЛ любому государственному медучреждению, больнице или поликлинике, перенесли в Yandex.Cloud своё решение для управления распределенным производством и тысячами волонтеров. Это дало им возможность не только надёжно и без сбоев принимать заявки от больниц, но и прогнозировать количество таких заявок, чтобы распределять нагрузку на волонтёров.
cloud.yandex.ru/cases/radlogics
vc.ru/life/172758-300-siz-privozim-v-kliniku-bystree-chem-obychno-dostavlyayut-piccu-zachem-v-pandemiyu-soedinyayut-3d-pechatnikov-i-vrachey



Общие новости платформы
Получили сертификацию ISO
В 2020 году Yandex.Cloud стала первой в России и СНГ публичной облачной платформой, выстроившей управление информационной безопасностью по стандарту ISO/IEC 27017:2015 и обеспечившей защиту персональных данных пользователей по международному стандарту ISO/IEC 27018:2019. А на нашем сайте был запущен новый раздел «Безопасность Yandex.Cloud», в котором мы рассказали обо всех стандартах и законодательных требованиях, которым соответствует наше облако.

Запустили расширенную техническую поддержку
В прошедшем году мы начали предоставлять пользователям расширенную техническую поддержку, а также рассказали, как устроен наш саппорт. Доступно четыре тарифа: от базового бесплатного до премиума с SLA с высокой скоростью ответа на запросы по всем каналам обращений и индивидуальными условиями работы.

Объявили о партнёрстве с NVIDIA
Yandex.Cloud в партнёрстве с американской технологической компанией NVIDIA открыли для российских компаний библиотеку приложений для работы с искусственным интеллектом и машинным обучением — NVIDIA GPU Cloud (NGC).

Также, акселерационные программы Yandex Cloud Boost и NVIDIA Inception договорились о взаимной поддержке для своих участников. С апреля компании-разработчики в области искусственного интеллекта из NVIDIA Inception могут присоединиться к Cloud Boost по упрощенной процедуре. В свою очередь, ИИ-стартапы Cloud Boost получают доступ к ресурсам NVIDIA Inception на приоритетных условиях.

Упростили миграцию в облако с помощью Hystax
Миграция в Yandex.Cloud с других платформ, в том числе создание виртуальных машин, подбор конфигураций, контроль переноса данных, стала возможна в формате SaaS по максимально доступной цене с помощью специального приложения Hystax Acura, который можно найти в маркетплейсе платформы.

Анонсировали Zoom в Yandex.Cloud
Компании, которые приобретают у компании RightConf лицензию для использования Zoom, также могут выбрать размещение серверов на нашей облачной платформе. В этом случае весь трафик пользователей будет обрабатываться в России, что повысит безопасность и качество связи.

Представили новые продукты в маркетплейсе
В нашем Marketplace вышло много новых сервисов. Например, стали доступны лицензии службы Remote Desktop Services для Windows Server, а также сервис Валарм WAF для защиты веб-приложений и API от самых распространенных кибератак.

Запустили реферальную программу
1 октября заработала реферальная программа для партнеров Yandex.Cloud. Теперь вы можете делитесь ссылками с клиентами и получать 10% от их расходов в Yandex.Cloud.

Инфраструктура
Новые сервисы

• Certificate Manager — сервис для управления TLS-сертификатами. Теперь вы можете создавать TLS-сертификаты от Let’s Encrypt® или импортировать пользовательские сертификаты для защиты своих сервисов.
• Сервис для управления криптографическими ключами Yandex Key Management Service — защищайте небольшие файлы-секреты, личные данные и другую конфиденциальную информацию, которую храните в облаке, с криптографическими ключами сервиса Key Management Service.

Новые возможности в сервисах

• Выделенные хосты в Compute Cloud — физически изолированные серверы, которые подойдут компаниям с высокими требованиями безопасности. С ними вы можете пользоваться сервисами Yandex.Cloud и устанавливать собственные лицензии Microsoft, Oracle и другие лицензии, требующие выделенных серверов.
• Нереплицируемые сетевые диски в Compute Cloud. Диски с повышенной производительностью за счет отказа от репликации данных. Такие диски вы можете использовать для баз данных с репликацией (MySQL, PostgreSQL), в качестве зеркала для хранения данных в формате read-only, или для данных, которые можно вычислить заново (например, кэш). Нереплицируемые диски находятся в Preview, предоставляются по запросу и не тарифицируются.
• Доступна конфигурация ВМ с Intel Xeon Gold 6230R. С этой конфигурацией вы получите 80 vCPU и 640 ГБ RAM.
• 8 GPU в Compute Cloud. Теперь вы можете создавать высокопроизводительные виртуальные машины и устанавливать в них до 8 графических карт NVIDIA Tesla V100 с 32 ГБ памяти c высокой пропускной способностью.
• Instance Groups: деликатная стратегия остановкивиртуальных машин. При выборе такой стратегии сервис ожидает, когда виртуальные машины остановятся самостоятельно или будут остановлены пользователем, и затем запускает обновление.
• Переменные в шаблонах виртуальных машин Instance Groups позволят вам из одного шаблона развернуть группу различных виртуальных машин.
• Версионирование в Object Storage. Теперь вы можете хранить историю объекта и восстанавливать нужную версию из списка. Это дополнительно защитит ваши данные как от непреднамеренных действий пользователя, так и от сбоев приложений.
• Группы безопасности Yandex Virtual Private Cloud. С группами безопасности вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и настраивать правила для приёма и передачи трафика.
• В Yandex Monitoring появилась настройка алертов и уведомлений об изменении метрик.
• Метрики из Yandex Monitoring можно экспортировать в формате Prometheus.

Платформа данных
Сервисы хранения данных и управления ими — одно из самых быстрорастущих направлений платформы Yandex.Cloud. Управляемые базы данных традиционно популярны и востребованы пользователями — с начала 2020 года потребление выросло в 3 раза, а количество созданных баз данных превысило 10 000. Как выглядит платформа данных Yandex.Cloud сейчас:


Новые сервисы

• Yandex Managed Service for SQL Server — управляемый сервис для СУБД SQL Server. Включает в себя Enterprise лицензии SQL Server 2016 ServicePack 2 и позволяет не беспокоиться об обслуживании баз данных.
• Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch. Вы можете загружать текстовые документы в JSON-формате с помощью API, индексировать и хранить их. С его помощью вы можете настроить полнотекстовый поиск и анализ информации, содержащейся в этих документах.
• Yandex Managed Service for Apache Kafka — сервис для создания и управления кластерами Apache Kafka в инфраструктуре Yandex.Cloud. С помощью Managed Service for Apache Kafka и Data Proc (компонент Apache Spark) вы можете настроить потоковую обработку данных для своего приложения. Управляемые сервисы помогут сэкономить время на создание, обслуживание и управление кластерами, а настроенные в сервисах репликация и система автоматического восстановления будут поддерживать кластеры в рабочем состоянии.
• Yandex Data Transfer — удобный инструмент для миграции баз данных и консолидации нескольких баз данных в одну. На данный момент доступна миграция однородных баз данных MySQL и PostgreSQL.

Новые возможности в сервисах

• Гибридное хранение в Managed Service for ClickHouse. Теперь вы можете комбинировать сетевые диски и объектное хранилище Object Storage для хранения данных в кластерах ClickHouse.
• Автоматическое масштабирование Data Proc. Data Proc использует группы виртуальных машин для автоматического масштабирования подкластеров Compute Cloud, чтобы наращивать или уменьшать вычислительные ресурсы.
• Data Proc UI Proxy обеспечит доступ к web-интерфейсам компонентов кластера и позволит настроить совместную работу в Zeppelin notebooks.
• Point in Time Recovery в Yandex Managed Service for MongoDB. Механизм позволяет восстановить базу данных из любого состояния за последние 7 дней.
• Последняя версия Redis 6 теперь и в Managed Service for Redis.
• В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей.
• В Yandex DataLens добавлен коннектор для 1С, появились зависимые селекторы, расширен функционал для геоаналитики, а также проведены усовершенствования UI и визуализаций.

Serverless
Новые сервисы

• Бессерверный режим в Yandex Database. Теперь при создании кластера вы можете выбрать режим бессерверных вычислений и платить только за запросы к базе данных. Режим позволяет создавать таблицы двух типов: совместимые c API Amazon DynamoDB и с собственным Yandex Database API. На serverless-решения до октября 2021 года действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.
• Yandex API Gateway — сервис для создания API-шлюзов. С API Gateway вы можете организовать доступ к статическим данным напрямую из хранилища Object Storage, обработать запрос с помощью сервиса Cloud Functions или отправить HTTP-запрос в произвольный веб-сервис.

Новые возможности в сервисах

• Новые языки Cloud Functions. Теперь вам доступны 8 языков программирования.
• В Cloud Functions добавлена функция для создания снимков дисков по расписанию.
• Домены для Yandex API Gateway. Вы можете подтвердить права на домен в сервисе Certificate Manager и использовать этот домен для обращения к API.

ML & AI
Новые сервисы

• Yandex DataSphere — сервис, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы, необходимые для анализа данных, разработки и эксплуатации моделей машинного обучения. DataSphere помогает пройти полный цикл создания модели: от эксперимента и разработки до запуска готовой версии в эксплуатацию на вычислительных мощностях Yandex.Cloud.

Новые возможности в сервисах

• В рамках программы Yandex Cloud Professionals партнерам стала доступна специализация ML-сервиса синтеза и распознавания речи SpeechKit Pro, которая предусматривает ко-маркетинг, привлечение менеджеров Yandex.Cloud в крупные сделки и специальное предложение по предоставлению технической поддержки уровня Business. Главное преимущество программы — это возможность получать до 40% за сделки на использование технологий SpeechKit.

Мобильное приложение
Мы сделали работу с платформой ещё удобнее и запустили приложение Yandex.Cloud на мобильных устройствах. Приложение уже доступно для скачивания в App Store и Google Play.
apps.apple.com/ru/app/yandex-cloud/id1515465314
play.google.com/store/apps/details?id=ru.yandex.cloud

С Новым годом!
Весь прошедший год мы очень много работали на тем, чтобы дать бизнесу гибкость. Чтобы наши клиенты и партнёры могли использовать облачные технологии для роста своего бизнеса. Развитие платформы не останавливается ни на минуту и дальше будет ещё интереснее.
Команда Yandex.Cloud поздравляет Вас с наступающим 2021 годом, желает добиваться успехов и расти вместе с нами.

Подписан закон о возвращении Волгоградской области к московской часовой зоне (UTC+3), вступающий в силу 27 декабря 2020 года. Мы рекомендуем нашим пользователям обратить внимание на обновление базы данных часовых поясов tzdata в дистрибутивах операционных систем и базах данных. Обновления имеют минорный характер, но могут сильно повлиять на отображение и выполнение операций, если вы вручную выбрали использование волгоградского времени на вашем сервере.

Мы следим за изменениями tzdata и добавим их в образы Marketplace со следующим регулярным обновлением, после того, как изменения попадут в upstream.
cloud.yandex.ru/marketplace

На действующих инсталляциях достаточно обновить tzdata:

• Если вы используете стандартные дистрибутивы ОС, то установить обновление tzdata можно через пакетные менеджеры (GNU/UNIX/BSD OS) или менеджеры обновлений (Windows/macOS).
• Если вы используете нестандартные дистрибутивы, то обратите внимание на страницу новостей IANA. Обновления, касающиеся изменения часовой зоны Волгоградской области, содержатся в релизе Release 2020e — 22.12.2020 15:14:34 -0800.

Подробнее о работе tzdata.