Yandex Key Management Service выходит в общий доступ



Сервис для управления криптографическими ключами Yandex Key Management Service (Yandex KMS) вышел в общий доступ.

Создавайте и храните криптографические ключи в Yandex KMS. Используйте ключи, чтобы защитить секреты, личные данные и другую конфиденциальную информацию, которую храните в облаке. О том, какие схемы используются в операциях шифрования и расшифровки при помощи ключей читайте в разделе Шифрование.

Где можно использовать ключи Yandex KMS
— В сервисах Яндекс.Облака:
— При работе с Terraform.
— В библиотеках шифрования:
В ближайшее время добавится интеграция ключей Yandex KMS в хранилище Object Storage и возможность добавлять пользовательские криптографические ключи в Certificate Manager.

Что меняется в общедоступной версии
Для общедоступной версии сервиса действует соглашение об уровне обслуживания (SLA), а также тарифицируются операции и время использования ключей. Подробнее в разделах:

Новое в документации за май



Появился новый сервис:
DataSpere — среда для ML-разработки с привычным интерфейсом Jupyter Notebook. Подробнее в документации.

Обзор платформы
Новое:
Добавлен раздел Безопасность платформы Яндекс.Облако.
Улучшения:
Обновлены правила проведения внешних сканирований безопасности.

Cloud Functions
Новое:
Добавлены инструкции про создание и удаление функции с помощью Terraform.

DataLens
Новое:
Использование Markdown в DataLens.

Managed Service for MongoDB
Новое:
Добавлены инструкции про создание и удаление кластера с помощью Terraform.

Managed Service for MySQL
Новое:
Добавлены инструкции про создание и удаление кластера с помощью Terraform.

Managed Service for PostgreSQL
Новое:
Создание логической реплики Аmazon RDS для PostgreSQL.
Добавлены инструкции про создание и удаление кластера с помощью Terraform.

Managed Service for Redis
Новое:
Доступна новая платформа для хостов — Intel Cascade Lake.

SpeechKit
Новое:
Описаны изменения в последних релизах моделей распознавания.

Translate
Новое:
Добавлено дообучение моделей.

Vision
Новое:
Добавлено распознавание шаблонов.

Yandex DataSphere, проект с РБК и другие новости



Локдаун: Как IT помогает выжить бизнесу
Все лето мы будем выходить в эфир вместе с РБК и следить за тем, как бизнес подстраивается под текущую ситуацию. Говорим о том, как IT помогает компаниям пережить кризис и что происходит на облачном рынке. Среди участников — S7 Group, Леруа Мерлен, Mindbox.
lockdown.rbc.ru/live


Новый облачный сервис для ML-разработки
Yandex DataSphere сочетает привычный интерфейс Jupyter Notebook с уникальными возможностями для ML-разработки:
  • меняйте конфигурацию с CPU на GPU без остановки проекта и с сохранением прогресса;
  • запускайте разные части кода на разных вычислительных ресурсах в текущем проекте.
Yandex DataSphere находится на стадии Preview и не тарифицируется. Запросить доступ к сервису можно на сайте.
cloud.yandex.ru/services/datasphere


IoT-аналитика для кофемашины
Компания FESCOM внедрила IoT-систему на базе AggreGate в одной из подмосковных кофеен с помощью сервисов Яндекс.Облака и компании Tibbo Systems. Это позволило разобраться в реальных расходах и построить эффективную систему учета.
Читать кейс cloud.yandex.ru/cases/fescom
Участвуйте в программе для компаний-разработчиков, чтобы получить грант и реализовать свой IoT проект в Облаке.

Другие истории наших пользователей
ПИК Digital: как создать и вывести на рынок облачный SaaS-продукт
IT-компания ПИК Digital занимается разработкой и внедрением ПО для группы компаний ПИК. Они создали SaaS-решение «Банковский портал» вместе с партнером Облака Express 42. Как им удалось быстро вывести продукт на рынок — читайте в блоге.
Читать cloud.yandex.ru/cases/pik-digital

Компания «21 век» перенесет 1С в Облако
Облачный 1С сократит расходы на приобретение или аренду инфраструктуры. Компания организует сетевые папки Windows, работу с файловой БД 1С и перенос в Облако серверной части 1С — СУБД Microsoft SQL и PostgreSQL.
Узнать больше www.1c.rent/go1c

Хорошие новости для пользователей управляемых баз данных.
  • Для сервисов управляемых баз данных и Yandex Data Proc расширена линейка классов хостов. Теперь вы можете выбрать конфигурацию до 64 vCPU и 512 GB RAM.
  • В Yandex Managed Service for Redis доступны хосты на платформе Intel Cascade Lake. Они производительнее и дешевле, чем Intel Broadwell.
  • В сервисе Yandex Managed Service for Redis появилась возможность резервировать ресурсы CPU и RAM на один или на три года. Рассчитать экономию можно в разделе Биллинг в консоли управления. О тарифах на резервируемые ресурсы читайте на сайте.

Топ-10 образов в Yandex Cloud Marketplace
  • LAMP. Образ для создания сайтов и веб-приложений с набором Linux, Apache, MySQL, PHP.
  • LEMP. Вариация LAMP-стека с Linux, Nginx, MySQL и PHP для создания сайтов. Подробнее о создании сайтов на LAMP/LEMP.
  • 1С-Битрикс. Образ с тремя продуктами: 1С-Битрикс: Управление сайтом», 1С-Битрикс24», 1С-Битрикс: Внутренний портал учебного заведения».
  • GitLab. Cистема с открытым исходным кодом для управления Git-репозиториями.
  • WordPress. Самая популярная CMS с открытым исходным кодом для создания веб-сайтов.
  • Node.js. Среда с открытым исходным кодом для разработки приложений.
  • Яндекс.Диалоги. Платформа для запуска навыков Алисы.
  • Joomla!.. CMS с открытым исходным кодом для создания веб-сайтов — инструкция по созданию сайта на ней.
  • Django. Фреймворк для разработки на языке программирования Python.
  • Redmine. Cистема управления проектами Redmine, СУБД MySQL, веб-сервер Nginx и сервер веб-приложений Passenger.
cloud.yandex.ru/marketplace

cloud.yandex.ru

Новый сервис Yandex DataSphere для разработчиков машинного обучения



В Облаке появился сервис Yandex DataSphere для разработчиков машинного обучения. Сервис доступен в режиме Preview: для доступа к сервису нужна предварительная регистрация, до конца июня пользоваться Yandex DataSphere можно бесплатно.

О сервисе
Yandex DataSphere — это облачная среда для использования инструментов машинного обучения. Разработчикам предлагается привычный интерфейс Jupyter Notebook, одного из наиболее популярных инструментов ML-разработки. При этом возможности Jupyter Notebook адаптированы к работе в облаке и существенно расширены.


Yandex DatаSphere использует технологию бессерверных вычислений (serverless computing) при работе с машинным обучением. Это значит, что при редактировании и просмотре кода не задействуются вычислительные ресурсы CPU или GPU, виртуальная машина нужного типа подключается только на время непосредственных расчетов: обучение моделей, запуск, другие вычисления. При таком подходе пользователь платит только за время реального использования вычислительных ресурсов. Время редактирования и просмотра кода, случайный простой не выключенной ночью или на выходных виртуальной машины не тарифицируется.

Преимущества Yandex DataSphere
В Yandex DataSphere реализовано бесшовное переключение между разными конфигурациями виртуальных машин
Вы можете без остановки вычислений и с сохранением прогресса применять разные типы виртуальных машин: экономичные с CPU и быстрые с GPU. В большинстве облачных сред разработки машинного обучения возможен запуск расчетов модели только на машине одного типа. Если часть вычислений требует использования более дорогой машины с GPU, на ней будет вычисляться весь проект.

Запуск отдельных частей кода на разных виртуальных машинах без остановки проекта
В Yandex DatаSphere разные части кода могут быть исполнены на ВМ разного типа, при этом результаты предыдущих вычислений сохранятся. При этом для переключения на ВМ другого типа не нужно запускать весь проект заново. Это ускоряет разработку, позволяет экономнее и эффективнее использовать более дорогие вычислительные ресурсы.

Подробнее о сервисе читайте в документации.
cloud.yandex.ru/docs/datasphere

Знакомые продукты Microsoft в Яндекс.Облаке



Удалённые рабочие столы по RDP, настройка Active Directory, развёртывание почтового сервера или 1С с MS SQL — всё выполнимо на базе Яндекс.Облака.
Мы записали вебинар и подготовили пошаговые инструкции для работы с сервисами:
Стоимость
Размещать сервисы в Облаке выгодно — посмотрите здесь сравнение цен. Стоимость с Windows Server Standard зафиксирована и не зависит от конфигурации ВМ. Для конфигураций от 8 ядер Windows Server Standard выгоднее, чем Windows Datacenter.
cloud.yandex.ru/promo/ws-in-cloud/

Новое в документации за апрель



Yandex Certificate Manager
Certificate Manager — сервис для получения и обновления TLS-сертификатов от Let’s Encrypt®, а также для загрузки собственных сертификатов. Подробнее в документации.
cloud.yandex.ru/services/certificate-manager
cloud.yandex.ru/docs/certificate-manager/

Сервисы управляемых баз данных
Новое:
Добавлены новые классы хостов на платформе Intel Cascade Lake: m2.7xlarge (56 vCPU, 448 ГБ) и m2.8xlarge (64 vCPU, 512 ГБ).
Обновлены описания классов хостов и правила тарификации для следующих сервисов:

Сценарии использования
Новое:
Добавлен сценарий визуализации геоданных из CSV-файла.

Data Proc
Новое:
Добавлен сценарий использования Запуск заданий с удаленных хостов, не входящих в кластер Data Proc.

DataLens
Новое:
Добавлены новые типы связей в дашбордах.
Добавлен раздел, описывающий типы данных и их соответствие с типами из источников.
Описаны новые типы чартов — линейчатая и нормированная линейчатая диаграммы.
Улучшения:
Описаны обновленные настройки датасета.
Добавлена инструкция о том, как скачать данные с дашборда Коронавирус: дашборд.

Изменения в API:
Новые возможности:
Во время загрузки данных можно заменить существующие данные в таблице по ключу.
Перед загрузкой данных можно очистить таблицу, в которую данные загружаются с помощью заголовка X-DL-Force-Truncate.
Изменились пути во всех методах, где используются таблицы в качестве path-параметра:
/provider/v1/connection/{ИД соединения}/{имя таблицы}/ -> /provider/v1/connection/{ИД соединения}/table/{имя таблицы}/


IoT Core
Новое:
Добавлены сценарии использования IoT Core на разных языках программирования: C#, Java.
Поддержка Terraform для создания и удаления реестров и устройств.

Managed Service for Kubernetes
Новое:
Обновлен список версий Kubernetes, доступных на релизных каналах.

SpeechKit
Улучшения:
Для потокового распознавания добавлены экспериментальные дополнительные настройки распознавания.
Обновлен раздел Модели распознавания: подробнее описаны модели, добавлена информация об изменениях в последнем релизе.
Для синтеза речи теперь поддерживается изменение скорости речи премиум-голосов.

Object Storage
Новое:
Добавлена инструкция как добавить сертификат для хостинга статического сайта из сервиса Certificate Manager.

Защита от уязвимостей Meltdown и Spectre и лимиты на пропускную способность сетевых дисков



В сентябре прошлого года мы ввели лимиты на количество операций чтения и записи (input/output operations per second, IOPS) и на пропускную способность (bandwidth) сетевых SSD-дисков. Чтобы гарантировать производительность и безопасность при работе с виртуальными машинами и дисками в Облаке, мы переходим к следующим шагам.

Приводим фактические лимиты в соответствие с документацией
Мы старались, чтобы процесс ввода лимитов был плавным для тех пользователей, которые на тот момент использовали диски сверх ограничений. Поэтому фактические лимиты на пропускную способность сейчас выше, чем указано в документации.

С 12 мая 2020 года мы фиксируем лимиты на блоки размещения (allocation unit) для дисков:
  • SSD, пропускная способность на чтение: 15 МБ/с на блок размещения (32 ГБ).
  • SSD, пропускная способность на запись: 15 МБ/с на блок размещения (32 ГБ).
  • HDD, пропускная способность на чтение: 30 МБ/с на блок размещения (256 ГБ).
  • HDD, пропускная способность на запись: 30 МБ/с на блок размещения (256 ГБ).
Это отразится на пропускной способности для следующих сценариев:
  • Чтение с SSD-диска размером менее 1 ТБ;
  • Запись на SSD-диск размером менее 320 ГБ;
  • Чтение с HDD-диска размером менее 2 ТБ;
  • Запись на HDD-диск размером менее 1,25 ТБ.
Лимиты на IOPS на данный момент соответствуют значениям в документации

Вводим ограничения на количество vCPU
Это ограничение связано с аппаратными уязвимостями Meltdown и Spectre, затрагивающими микропроцессоры Intel. Из-за этих уязвимостей вредоносный код может получить несанкционированный доступ на чтение к памяти других виртуальных машин на сервере. Поэтому использование виртуальных машин с определённым количеством ядер — 1, 18, 22, 26, 30 — мы считаем потенциально небезопасным и будем планово вводить ограничения на работу с такими конфигурациями. Ограничения будут применены не только к консоли управления, но и к интерфейсу командной строки CLI, API, SDK и Terraform.

Конфигурации с большим числом ядер менее востребованы, в то время как ВМ с 1 vCPU популярны за счёт низкой цены. Вводимые ограничения в первую очередь затронут вычислительные ресурсы с 1 vCPU на платформе Intel Broadwell (standard-v1).

Отказ от создания конфигураций с 1 vCPU
Управляемые базы данных
В первую очередь мы отказались от использования хостов с 1 vCPU на платформе Intel Broadwell в сервисах управляемых баз данных:
  • Managed Service for PostgreSQL
  • Managed Service for ClickHouse
  • Managed Service for MongoDB
  • Managed Service for MySQL
  • Managed Service for Redis
  • Data Proc (кластеры Apache Hadoop)
Уже сейчас при создании кластера БД минимальный класс хоста — b1.nano (5% × 2 vCPU Intel Broadwell, 2 ГБ RAM), для кластера Data Proc — b1.small (20% × 2 vCPU Intel Broadwell, 4 ГБ RAM).


Все запущенные кластеры БД с конфигурациями с 1 vCPU продолжат работать. Добавить новые хосты в такие кластеры невозможно, пока не будут изменены хосты с 1 vCPU. Вы сможете изменить конфигурацию хостов самостоятельно до 1 июля 2020 года, затем они будут изменены на стороне сервиса.

Yandex Managed Service for Kubernetes
С 1 июля 2020 года при создании группы узлов кластера Managed Service for Kubernetes нельзя будет выбрать 1 vCPU на платформе Intel Broadwell (standard-v1) в блоке Вычислительные ресурсы для группы узлов.


С этого момента перестанет работать автоматическое масштабирование и нельзя будет внести изменения в группу узлов. Группу узлов необходимо будет обновить с новой конфигурацией CPU/RAM со сменой платформы на Intel Cascade Lake (standard-v2).

Yandex Instance Groups
С 1 июля 2020 года вы не сможете выбрать шаблон виртуальной машины с 1 vCPU на платформе Intel Broadwell (standard-v1) при создании групп виртуальных машин в Instance Groups.

Для групп виртуальных машин, уже созданных на Intel Broadwell (standard-v1) с 1 vCPU, будет недоступно ручное и автоматическое масштабирование и автоматическое восстановление. Группу виртуальных машин необходимо будет обновить с новой конфигурацией CPU/RAM со сменой платформы на Intel Cascade Lake (standard-v2).

Совет
Если у вас в настоящее время используются виртуальные машины с 1, 18, 22, 26, 30 vCPU на платформе Intel Broadwell (standard-v1), мы рекомендуем до 1 июля 2020 года запланировать переход на конфигурацию с 2 vCPU или на платформу Intel Cascade Lake (standard-v2).

Ограничение на количество vCPU в Yandex Compute Cloud
С 1 июля 2020 года в сервисе Compute Cloud вы не сможете выбрать 1, 18, 22, 26, 30 vCPU при создании новых и изменении существующих виртуальных машин. Это ограничение будет применено ко всем инструментам в Облаке — консоли управления, интерфейсу командной строки CLI, API, SDK и Terraform. При этом вы сможете остановить, изменить и запустить существующие ВМ таких конфигураций.

Дальнейшие действия
До 1 июля 2020 года мы свяжемся с пользователями, использующими виртуальные машины с 1, 18, 22, 26, 30 vCPU в сервисах управляемых баз данных, Instance Groups и Managed Service for Kubernetes.

После 1 июля 2020 года такие ВМ будут принудительно остановлены и изменены одним из способов:
будет изменено количество vCPU:
  • с 1 на 2,
  • с 18 на 20,
  • с 22 на 24,
  • с 26 на 28,
  • с 30 на 32;
или будет изменена платформа со Intel Broadwell (standard-v1) на Intel Cascade Lake (standard-v2) с сохранением значений CPU и RAM.

О конфигурациях, которые будут использоваться при переходе, мы сообщим заранее. Виртуальные машины с 1, 18, 22, 26, 30 vCPU, созданные в сервисе Compute Cloud, будут изменены в последнюю очередь. О точной дате мы сообщим в отдельном посте.

Реализованные идеи и предложения пользователей Яндекс.Облака



Мы получаем много полезных идей от наших пользователей. Спасибо, что делитесь своими предложениями. Это помогает нам делать Облако ещё более функциональным и удобным. В этом обзоре рассказываем о тех идеях, которые мы уже реализовали и какие новые возможности добавили.

Миграция в Яндекс.Облако из AWS с использованием Hystax
В маркетплейс Яндекс.Облака добавлено приложение Hystax Acura. Оно позволяет автоматизировать все основные этапы миграции: создание виртуальных машин, подбор конфигураций, контроль переноса данных. Поддерживается перенос инфраструктуры с платформ любых облачных провайдеров, в том числе Amazon Web Services (AWS). Миграция выполняется без простоев и ускоряет процесс переноса в среднем в 8 раз. Подробно о миграции с помощью Hystax и необходимых ресурсах можно узнать из документации.


Управление публичными IP-адресами виртуальных машин
В Яндекс.Облаке появилась возможность управлять публичными адресами виртуальных машин.

В консоли управления выберите виртуальную машину, которой хотите назначить публичный адрес, кликните на ••• в разделе Сеть и выберите Добавить публичный IP-адрес.


Адрес можно назначить автоматически или выбрать из списка, а также при необходимости включить защиту от DDoS-атак.


Если потребуется удалить адрес, кликните на ••• и выберите Удалить публичный IP-адрес.


Управлять публичными IP-адресами можно при помощи интерфейса командной строки (CLI).
В команду yc compute instance create в флаге --network-interface добавлен параметр nat-address. Он позволяет указать «белый» адрес для создаваемого инстанса. А с помощью команд yc compute instance add-one-to-one-nat и yc compute instance remove-one-to-one-nat вы можете управлять NAT-адресами на уже созданных виртуальных машинах.

Пример удаления публичного адреса:
yc compute instance remove-one-to-one-nat --id=<id_виртуальной_машины> --network-interface-index=0

Пример добавления заранее созданного публичного адреса:
yc compute instance add-one-to-one-nat --id=<id_виртуальной_машины> --network-interface-index=0 --nat-address=77.77.77.77


Уведомления по почте и СМС-оповещения в Yandex Monitoring
Мы реализовали отправку оповещений — в Yandex Monitoring появились алерты. Это удобный способ оперативно узнавать о важных изменениях. Можно настроить получение уведомлений по почте или в СМС при достижении пороговых значений, которые вы сами задаете для нужных метрик. Новый алерт можно создать на странице дашборда или использовать готовый график в качестве шаблона. Получатель или группа получателей алерта настраивается с помощью канала уведомления. Подробнее об алертах читайте в документации.


Доступ к биллингу для федеративных пользователей
Теперь доступ к биллингу могут получить не только пользователи с аккаунтом на Яндексе, но и пользователи федераций. Роли для федеративных пользователей назначаются в консоли управления. Аутентификация в Облаке может выполняться с использованием G-Suite от Google, Active Directory от Microsoft или других SAML-совместимых федераций. Подробнее о настройке аутентификации федеративных пользователей читайте в документации.
cloud.yandex.ru/docs/iam/concepts/users/identity-federations
cloud.yandex.ru/docs/iam/operations/federations/integration-common

Новые возможности Yandex Cloud Functions
Поддержка языка Go
Сервис Cloud Functions теперь поддерживает приложения, написанные на языке программирования Go. Среда выполнения работает с Golang версии 1.14 и операционной системой Ubuntu 18.04 LTS. С описанием разработки на Go можно ознакомиться в документации.

Добавлен язык PHP
Также добавлена поддержка языка PHP. Сервис предоставляет среду выполнения с версией языка 7.4.3 и операционной системой Ubuntu 18.04 LTS. Описание работы и примеры функций на PHP смотрите в документации.

Поддержка asyncio-окружения для языка Python
Мы поддержали возможность асинхронной разработки для языка Python. Сервис Cloud Functions предоставляет среду выполнения с поддержкой asyncio-окружения.

Новая версия Node.js
Для Node.js появилась возможность автоматического управления зависимостями. При использовании новой версии nodejs12-preview сервис самостоятельно устанавливает все объявленные в package.json зависимости в момент создания новой версии функции. Подробности читайте в разделе документации, посвящённом разработке функций на языке JavaScript.

Среда выполнения Bash
Теперь вы можете запускать приложения, написанные на Bash. Подробные инструкции читайте в документации.

Если вы хотите, чтобы мы добавили новую функциональность в Облако, или вам интересно, что ещё было предложено и реализовано, ждём вас в разделе Сообщество!
cloud.yandex.ru/community

Новости сервиса Yandex DataLens



С начала этого года сервис Yandex DataLens получил несколько новых функций и долгожданное дополнение для работы с данными 1С. А для тех, кто начинает работу с DataLens, мы подготовили новую пошаговую инструкцию. Рассказываем об этих и других новостях.

Добавлен коннектор для 1С
Теперь вы можете импортировать данные из «1С: Предприятие 8» для анализа и построения дашбордов. ДашбордКоннектор от компании «Вебзавод» позволяет выбирать сущности для выгрузки и анализа, чтобы работать с данными 1С в Yandex DataLens. При этом можно задавать расписание для синхронизации и использовать заранее настроенные шаблоны отчётов, например «Отчёт о прибылях» и «Отчёт по розничным продажам». ДашбордКоннектор можно приобрести в маркетплейсе DataLens. При приобретении до 15 мая 2020 года, первый месяц использования — бесплатный.


Обновлена мобильная версия
Обновлена адаптивная вёрстка для мобильных браузеров. Теперь дашбордами удобно пользоваться с телефона. Визуализации выстраиваются в единую полосу, по порядку «слева направо, сверху вниз». Переход к взаимодействию с отдельными визуализациями выполняется простым нажатием. После этого вы сможете подвинуть карту, сделать зум или, например, показать тултип. Ознакомиться с новой вёрсткой можно на примере публичного дашборда.


Появились зависимые селекторы
Зависимые селекторы фильтруют друг друга по выбранным значениям. Это упрощает и ускоряет выбор нужных опций. Например, при выборе страны в первом селекторе во втором ограничивается список доступных городов, и наоборот. Селекторы над полями из одного датасета связываются автоматически.


Для ранее созданных дашбордов зависимые селекторы нужно включить в настройках, а чтобы изменить зависимости нажмите Связи в режиме редактирования дашборда.


Публичные чарты теперь можно встраивать
Чтобы встроить опубликованный чарт, добавьте параметр embedded=1 к ссылке:
https://datalens.yandex/oxxbqilhotpgk?_embedded=1

После этого код можно встроить:
<iframe src="https://datalens.yandex/oxxbqilhotpgk?_embedded=1></iframe>


Расширен функционал для геоаналитики
Для работы с фоновой картой и геополигонами добавлены новые градиенты для заливки цветом, тултипы с возможностью отображения нескольких значений, отображение легенды и скрытие границ полигонов. Теперь с помощью DataLens в несколько кликов можно сделать, например, такую визуализацию:


Также появилась новая функция geoinfo(address, scale). Она преобразует address в название географического объекта (топоним), который соответствует указанному масштабу (scale: «country», «country_code», «region», «locality»). Теперь, имея, например, только адреса своих клиентов, вы сможете не только нарисовать их точками на карте, используя функцию geocode для получения координат по адресу, но и построить аналитику по регионам страны или районам города.

Усовершенствования UI и визуализаций
Новые типы визуализации
Линейчатую и линейчатую нормированную визуализацию удобно использовать при большом количестве категорий с длинными наименованиями, например ФИО.


Новое окно настройки чартов
Появилось окно настройки, в котором можно задать отключаемую легенду и отображение заголовков чартов.


Отключаемая группировка в таблицах
Теперь группировку можно отключить. Это важно, если нужно посмотреть на данные без агрегации — в том виде, как они лежат в БД.


Новые фильтры дат
Стало удобнее задавать фильтры дат, особенно относительные.


Обновлённые тултипы для диаграмм
Теперь тултипы информативно отображают даже большие списки показателей и рассчитывают их суммы.


Во весь экран
Новый режим удобен для вывода дашбордов на большие ТВ-панели. При переключении в полноэкранный просмотр в URL проставляется параметр mode=tv, это позволяет делиться ссылкой на дашборд с сохранением режима просмотра.


Подключение облачных БД в несколько кликов
Для подключения к сервисам управляемых баз данных больше не нужно вручную прописывать реквизиты доступа. Достаточно выбрать нужную базу данных из списка уже созданных в Яндекс.Облаке.


Пошаговая инструкция
Для быстрого начала работы с DataLens мы подготовили новую пошаговую инструкцию. С её помощью вы пройдёте весь путь от загрузки данных до создания публичного дашборда, узнаете, как работать с геоданными в DataLens и как объединять источники на уровне датасета на примере открытых данных по ДТП в РФ.
cloud.yandex.ru/docs/solutions/datalens/data-from-csv-geo-visualization

Дашборд COVID–19
Мы подготовили публичный дашборд со статистикой самоизоляции и распространения коронавируса в мире и России. Чтобы изменить графики или обогатить их собственными данными, вы можете развернуть пресет дашборда с обновляемыми датасетами из нашего маркетплейса.
datalens.yandex/covid19
datalens.yandex.ru/marketplace/7o6xrxcmx85y3

Проблемы с DNS-сервисом 6 и 7 апреля 2020 года



Резюме по инцидентам
6 апреля с 16:51 до 17:40 (в зоне доступности ru-central1-c), 7 апреля с 13:41 до 14:32 (в зоне доступности ru-central1-b) и с 21:03 до 21:29 (в зоне доступности ru-central1-a) по Москве некоторые пользователи Яндекс.Облака сталкивались с недоступностью работы сети на своих ВМ. Во время сбоя резолвинг доменных имён из виртуальных машин, расположенных в соответствующих зонах, работал с перебоями, в ответ на часть запросов DNS-сервера Облака возвращали ответ SERVFAIL или REFUSED. Мы приносим свои извинения всем пользователям, кого затронул данный инцидент, и хотим рассказать подробнее о случившемся и мерах предотвращения повторения подобной ситуации в будущем.
status.cloud.yandex.ru/dashboard

Что произошло?
DNS-сервис Облака состоит из двух частей. Мы называем их Data plane и Control plane. Data plane отвечает непосредственно за резолвинг доменных имён — он получает DNS-запросы от пользователей и возвращает им ответы. Control plane следит за информацией об облаках пользователей (например, о создаваемых и удаляемых виртуальных машинах) и соответствующим образом меняет конфигурацию сервиса Data plane. Сервис Data plane самостоятельно резолвит внутренние адреса облака (например, адреса виртуальных машин и баз данных), остальные запросы рекурсивно отправляет на вышестоящие DNS-сервера Яндекса. Произошедший сбой в зоне ru-central1-c был вызван выходом из строя Control plane.

Причины
На каждой машине в кластере DNS-серверов подняты оба сервиса — и Control plane, и Data plane. Работа серверов практически никак не связана друг с другом, выход строя одного или даже нескольких из них не влияет на работу DNS-резолвинга в Облаке. Сервис Control plane независимо от «соседей» генерирует конфигурацию для своего, локального, сервиса Data plane.

6 апреля в 16:47:05 сервис Control plane на одном из серверов аварийно завершился и перезапустился. В момент запуска сервис Control plane очищает конфигурацию для Data plane, после чего генерирует её с нуля. Это занимает от 5 до 10 минут. После перезапуска он загрузил всю необходимую информацию в себя и приступил к генерации конфигурационных файлов для сервиса Data plane.

В 16:51:05 и 16:51:15 аналогично упали и перезапустились сервисы Control plane ещё на двух серверах. В этот момент дежурные начали разбираться с тем, почему падают сервисы Control plane. К сожалению, падения продолжались — сервисы упали и перезапустились на всех DNS-серверах в зоне ru-central1-c, и продолжали перезапускаться примерно раз в минуту.

Падение одного сервиса вызвало массовое переподключение виртуальных роутеров к копии сервиса на другом сервере, что также приводило к его падению. Таким образом образовалась цепочка циклических падений и рестартов сервисов Control plane на всех серверах. Сервисы Data plane при этом продолжали работать, но так как Control plane очистили при своих рестартах конфигурацию, то в реальности Data plane не выполнял свою работу и отвечал на запросы пользователей кодом REFUSED. К 17:04 дежурным удалось остановить каскад падений сервисов и запустить сервис сначала на одном из них, а к 17:07 — на всех остальных.

Следующие десять минут вновь поднятые сервисы Control plane собирали нужную информацию о сетях и виртуальных машинах и готовили конфигурационные файлы для Data plane. В 17:16 сервисы Data plane начали корректно отвечать на часть DNS-запросов. Постепенно всё большее количество запросов обрабатывались корректно, однако полная работоспособность DNS в ru-central1-c восстановилась только в 17:40. Мы разбираемся, почему этот процесс занял ещё 24 минуты.

О проблеме в сервисе Control plane, которая приводит в падениям, нам было известно уже некоторое время до этого, мы подготовили релиз для его исправления. Релиз, содержащий увеличение этого лимита в 10 раз, выехал в зону ru-central1-a 6 апреля — всё прошло гладко. Через несколько часов мы заметили очередное приближение к лимиту, но только на одном из серверов в этой зоне, остальные показывали запас минимум в 100 раз. Мы решили не блокировать выкладку релиза в другие зоны доступности, а разобраться с этой аномалией позже. Нагрузка на все сервера в кластере идёт одинаковая, и тот факт, что на одном из них вдруг стало использоваться в сто раз больше обработчиков запросов, скорее указывало на проблемы в сервере, чем на проблему в релизе.

7 апреля этот релиз выехал в зону ru-central1-b. Через несколько часов работы, в 13:09, проблема воспроизвелась на одном из серверов и в этой зоне — дежурные начали внимательно изучать, что именно отличает сервера с проблемой от аналогичных серверов без них. Через полчаса, в 13:41, наши мониторинги сообщили, что теперь на всех серверах лимит (увеличенный с релизом в 10 раз) исчерпался. Это было странно, первым делом мы заподозрили, что появилась аномальная нагрузка на наши DNS-серверы. Дежурные начали искать подтверждения этой гипотезе, но ничего не нашли — аномальной нагрузки не было, и тем не менее DNS-сервера рапортовали об исчерпании лимита на обработчики запросов.

В 13:55 дежурные запустили откат релиза на одном сервере в зоне ru-central1-b. Это помогло, и откат запустили на остальных серверах. После стабилизации ситуации в ru-central1-b мы откатили релиз и в ru-central1-a, однако не рестартовали сервисы Data plane — предположили, что из-за меньшей нагрузки в этой зоне и работы в этой зоне в течение суток проблем быть не должно. К сожалению, это предположение было ошибкой.

В 21:03 мониторинги в зоне ru-central1-a аналогично отрапортовали о превышении лимита на всех серверах в этой зоне, что приводило к отбрасыванию части запросов и возвращению кода SERVFAIL. Дежурные постепенно рестартовали сервисы на всех серверах, и ситуация нормализовалась к 21:29. Примерно столько времени занимает плановый рестарт всех DNS-серверов в кластере одной зоны доступности. Как выяснилось позже, причиной проблемы с лимитами стала несогласованность параметров Data plane. Увеличив количество обработчиков рекурсивных запросов, мы оставили прежним количество потоков, в которых они запущены, что и привело к проблемам.

Меры для предотвращения повторения подобной ситуации в будущем:
  • Мы предотвратили возможное повторение сбоя — ограничили подключения от виртуальных роутеров до сервисов Control plane и откатили проблемный релиз для Data plane.
  • Мы обновили версию Data plane, которая не очищает конфигурацию в случае падения и перезапуска Control plane. Это позволит сохранять работоспособность Data plane даже при полном отказе Control plane.
  • В ближайшее время мы обновим версию Data plane, которая при перезапуске попытается сразу начинать работать с конфигурацией, оставшейся до падения. Уже после запуска Control plane поправит конфигурацию в тех местах, где во время недоступности Data plane что-то поменялось. Будем работать над уменьшением времени возвращения связки Control plane + Data plane к полностью рабочему состоянию после падения любого из сервисов.