Рейтинг
0.00

Yandex Cloud

5 читателей, 267 топиков

Новый сервис Yandex DataSphere для разработчиков машинного обучения



В Облаке появился сервис Yandex DataSphere для разработчиков машинного обучения. Сервис доступен в режиме Preview: для доступа к сервису нужна предварительная регистрация, до конца июня пользоваться Yandex DataSphere можно бесплатно.

О сервисе
Yandex DataSphere — это облачная среда для использования инструментов машинного обучения. Разработчикам предлагается привычный интерфейс Jupyter Notebook, одного из наиболее популярных инструментов ML-разработки. При этом возможности Jupyter Notebook адаптированы к работе в облаке и существенно расширены.


Yandex DatаSphere использует технологию бессерверных вычислений (serverless computing) при работе с машинным обучением. Это значит, что при редактировании и просмотре кода не задействуются вычислительные ресурсы CPU или GPU, виртуальная машина нужного типа подключается только на время непосредственных расчетов: обучение моделей, запуск, другие вычисления. При таком подходе пользователь платит только за время реального использования вычислительных ресурсов. Время редактирования и просмотра кода, случайный простой не выключенной ночью или на выходных виртуальной машины не тарифицируется.

Преимущества Yandex DataSphere
В Yandex DataSphere реализовано бесшовное переключение между разными конфигурациями виртуальных машин
Вы можете без остановки вычислений и с сохранением прогресса применять разные типы виртуальных машин: экономичные с CPU и быстрые с GPU. В большинстве облачных сред разработки машинного обучения возможен запуск расчетов модели только на машине одного типа. Если часть вычислений требует использования более дорогой машины с GPU, на ней будет вычисляться весь проект.

Запуск отдельных частей кода на разных виртуальных машинах без остановки проекта
В Yandex DatаSphere разные части кода могут быть исполнены на ВМ разного типа, при этом результаты предыдущих вычислений сохранятся. При этом для переключения на ВМ другого типа не нужно запускать весь проект заново. Это ускоряет разработку, позволяет экономнее и эффективнее использовать более дорогие вычислительные ресурсы.

Подробнее о сервисе читайте в документации.
cloud.yandex.ru/docs/datasphere

Знакомые продукты Microsoft в Яндекс.Облаке



Удалённые рабочие столы по RDP, настройка Active Directory, развёртывание почтового сервера или 1С с MS SQL — всё выполнимо на базе Яндекс.Облака.
Мы записали вебинар и подготовили пошаговые инструкции для работы с сервисами:
Стоимость
Размещать сервисы в Облаке выгодно — посмотрите здесь сравнение цен. Стоимость с Windows Server Standard зафиксирована и не зависит от конфигурации ВМ. Для конфигураций от 8 ядер Windows Server Standard выгоднее, чем Windows Datacenter.
cloud.yandex.ru/promo/ws-in-cloud/

Новое в документации за апрель



Yandex Certificate Manager
Certificate Manager — сервис для получения и обновления TLS-сертификатов от Let’s Encrypt®, а также для загрузки собственных сертификатов. Подробнее в документации.
cloud.yandex.ru/services/certificate-manager
cloud.yandex.ru/docs/certificate-manager/

Сервисы управляемых баз данных
Новое:
Добавлены новые классы хостов на платформе Intel Cascade Lake: m2.7xlarge (56 vCPU, 448 ГБ) и m2.8xlarge (64 vCPU, 512 ГБ).
Обновлены описания классов хостов и правила тарификации для следующих сервисов:

Сценарии использования
Новое:
Добавлен сценарий визуализации геоданных из CSV-файла.

Data Proc
Новое:
Добавлен сценарий использования Запуск заданий с удаленных хостов, не входящих в кластер Data Proc.

DataLens
Новое:
Добавлены новые типы связей в дашбордах.
Добавлен раздел, описывающий типы данных и их соответствие с типами из источников.
Описаны новые типы чартов — линейчатая и нормированная линейчатая диаграммы.
Улучшения:
Описаны обновленные настройки датасета.
Добавлена инструкция о том, как скачать данные с дашборда Коронавирус: дашборд.

Изменения в API:
Новые возможности:
Во время загрузки данных можно заменить существующие данные в таблице по ключу.
Перед загрузкой данных можно очистить таблицу, в которую данные загружаются с помощью заголовка X-DL-Force-Truncate.
Изменились пути во всех методах, где используются таблицы в качестве path-параметра:
/provider/v1/connection/{ИД соединения}/{имя таблицы}/ -> /provider/v1/connection/{ИД соединения}/table/{имя таблицы}/


IoT Core
Новое:
Добавлены сценарии использования IoT Core на разных языках программирования: C#, Java.
Поддержка Terraform для создания и удаления реестров и устройств.

Managed Service for Kubernetes
Новое:
Обновлен список версий Kubernetes, доступных на релизных каналах.

SpeechKit
Улучшения:
Для потокового распознавания добавлены экспериментальные дополнительные настройки распознавания.
Обновлен раздел Модели распознавания: подробнее описаны модели, добавлена информация об изменениях в последнем релизе.
Для синтеза речи теперь поддерживается изменение скорости речи премиум-голосов.

Object Storage
Новое:
Добавлена инструкция как добавить сертификат для хостинга статического сайта из сервиса Certificate Manager.

Защита от уязвимостей Meltdown и Spectre и лимиты на пропускную способность сетевых дисков



В сентябре прошлого года мы ввели лимиты на количество операций чтения и записи (input/output operations per second, IOPS) и на пропускную способность (bandwidth) сетевых SSD-дисков. Чтобы гарантировать производительность и безопасность при работе с виртуальными машинами и дисками в Облаке, мы переходим к следующим шагам.

Приводим фактические лимиты в соответствие с документацией
Мы старались, чтобы процесс ввода лимитов был плавным для тех пользователей, которые на тот момент использовали диски сверх ограничений. Поэтому фактические лимиты на пропускную способность сейчас выше, чем указано в документации.

С 12 мая 2020 года мы фиксируем лимиты на блоки размещения (allocation unit) для дисков:
  • SSD, пропускная способность на чтение: 15 МБ/с на блок размещения (32 ГБ).
  • SSD, пропускная способность на запись: 15 МБ/с на блок размещения (32 ГБ).
  • HDD, пропускная способность на чтение: 30 МБ/с на блок размещения (256 ГБ).
  • HDD, пропускная способность на запись: 30 МБ/с на блок размещения (256 ГБ).
Это отразится на пропускной способности для следующих сценариев:
  • Чтение с SSD-диска размером менее 1 ТБ;
  • Запись на SSD-диск размером менее 320 ГБ;
  • Чтение с HDD-диска размером менее 2 ТБ;
  • Запись на HDD-диск размером менее 1,25 ТБ.
Лимиты на IOPS на данный момент соответствуют значениям в документации

Вводим ограничения на количество vCPU
Это ограничение связано с аппаратными уязвимостями Meltdown и Spectre, затрагивающими микропроцессоры Intel. Из-за этих уязвимостей вредоносный код может получить несанкционированный доступ на чтение к памяти других виртуальных машин на сервере. Поэтому использование виртуальных машин с определённым количеством ядер — 1, 18, 22, 26, 30 — мы считаем потенциально небезопасным и будем планово вводить ограничения на работу с такими конфигурациями. Ограничения будут применены не только к консоли управления, но и к интерфейсу командной строки CLI, API, SDK и Terraform.

Конфигурации с большим числом ядер менее востребованы, в то время как ВМ с 1 vCPU популярны за счёт низкой цены. Вводимые ограничения в первую очередь затронут вычислительные ресурсы с 1 vCPU на платформе Intel Broadwell (standard-v1).

Отказ от создания конфигураций с 1 vCPU
Управляемые базы данных
В первую очередь мы отказались от использования хостов с 1 vCPU на платформе Intel Broadwell в сервисах управляемых баз данных:
  • Managed Service for PostgreSQL
  • Managed Service for ClickHouse
  • Managed Service for MongoDB
  • Managed Service for MySQL
  • Managed Service for Redis
  • Data Proc (кластеры Apache Hadoop)
Уже сейчас при создании кластера БД минимальный класс хоста — b1.nano (5% × 2 vCPU Intel Broadwell, 2 ГБ RAM), для кластера Data Proc — b1.small (20% × 2 vCPU Intel Broadwell, 4 ГБ RAM).


Все запущенные кластеры БД с конфигурациями с 1 vCPU продолжат работать. Добавить новые хосты в такие кластеры невозможно, пока не будут изменены хосты с 1 vCPU. Вы сможете изменить конфигурацию хостов самостоятельно до 1 июля 2020 года, затем они будут изменены на стороне сервиса.

Yandex Managed Service for Kubernetes
С 1 июля 2020 года при создании группы узлов кластера Managed Service for Kubernetes нельзя будет выбрать 1 vCPU на платформе Intel Broadwell (standard-v1) в блоке Вычислительные ресурсы для группы узлов.


С этого момента перестанет работать автоматическое масштабирование и нельзя будет внести изменения в группу узлов. Группу узлов необходимо будет обновить с новой конфигурацией CPU/RAM со сменой платформы на Intel Cascade Lake (standard-v2).

Yandex Instance Groups
С 1 июля 2020 года вы не сможете выбрать шаблон виртуальной машины с 1 vCPU на платформе Intel Broadwell (standard-v1) при создании групп виртуальных машин в Instance Groups.

Для групп виртуальных машин, уже созданных на Intel Broadwell (standard-v1) с 1 vCPU, будет недоступно ручное и автоматическое масштабирование и автоматическое восстановление. Группу виртуальных машин необходимо будет обновить с новой конфигурацией CPU/RAM со сменой платформы на Intel Cascade Lake (standard-v2).

Совет
Если у вас в настоящее время используются виртуальные машины с 1, 18, 22, 26, 30 vCPU на платформе Intel Broadwell (standard-v1), мы рекомендуем до 1 июля 2020 года запланировать переход на конфигурацию с 2 vCPU или на платформу Intel Cascade Lake (standard-v2).

Ограничение на количество vCPU в Yandex Compute Cloud
С 1 июля 2020 года в сервисе Compute Cloud вы не сможете выбрать 1, 18, 22, 26, 30 vCPU при создании новых и изменении существующих виртуальных машин. Это ограничение будет применено ко всем инструментам в Облаке — консоли управления, интерфейсу командной строки CLI, API, SDK и Terraform. При этом вы сможете остановить, изменить и запустить существующие ВМ таких конфигураций.

Дальнейшие действия
До 1 июля 2020 года мы свяжемся с пользователями, использующими виртуальные машины с 1, 18, 22, 26, 30 vCPU в сервисах управляемых баз данных, Instance Groups и Managed Service for Kubernetes.

После 1 июля 2020 года такие ВМ будут принудительно остановлены и изменены одним из способов:
будет изменено количество vCPU:
  • с 1 на 2,
  • с 18 на 20,
  • с 22 на 24,
  • с 26 на 28,
  • с 30 на 32;
или будет изменена платформа со Intel Broadwell (standard-v1) на Intel Cascade Lake (standard-v2) с сохранением значений CPU и RAM.

О конфигурациях, которые будут использоваться при переходе, мы сообщим заранее. Виртуальные машины с 1, 18, 22, 26, 30 vCPU, созданные в сервисе Compute Cloud, будут изменены в последнюю очередь. О точной дате мы сообщим в отдельном посте.

Реализованные идеи и предложения пользователей Яндекс.Облака



Мы получаем много полезных идей от наших пользователей. Спасибо, что делитесь своими предложениями. Это помогает нам делать Облако ещё более функциональным и удобным. В этом обзоре рассказываем о тех идеях, которые мы уже реализовали и какие новые возможности добавили.

Миграция в Яндекс.Облако из AWS с использованием Hystax
В маркетплейс Яндекс.Облака добавлено приложение Hystax Acura. Оно позволяет автоматизировать все основные этапы миграции: создание виртуальных машин, подбор конфигураций, контроль переноса данных. Поддерживается перенос инфраструктуры с платформ любых облачных провайдеров, в том числе Amazon Web Services (AWS). Миграция выполняется без простоев и ускоряет процесс переноса в среднем в 8 раз. Подробно о миграции с помощью Hystax и необходимых ресурсах можно узнать из документации.


Управление публичными IP-адресами виртуальных машин
В Яндекс.Облаке появилась возможность управлять публичными адресами виртуальных машин.

В консоли управления выберите виртуальную машину, которой хотите назначить публичный адрес, кликните на ••• в разделе Сеть и выберите Добавить публичный IP-адрес.


Адрес можно назначить автоматически или выбрать из списка, а также при необходимости включить защиту от DDoS-атак.


Если потребуется удалить адрес, кликните на ••• и выберите Удалить публичный IP-адрес.


Управлять публичными IP-адресами можно при помощи интерфейса командной строки (CLI).
В команду yc compute instance create в флаге --network-interface добавлен параметр nat-address. Он позволяет указать «белый» адрес для создаваемого инстанса. А с помощью команд yc compute instance add-one-to-one-nat и yc compute instance remove-one-to-one-nat вы можете управлять NAT-адресами на уже созданных виртуальных машинах.

Пример удаления публичного адреса:
yc compute instance remove-one-to-one-nat --id=<id_виртуальной_машины> --network-interface-index=0

Пример добавления заранее созданного публичного адреса:
yc compute instance add-one-to-one-nat --id=<id_виртуальной_машины> --network-interface-index=0 --nat-address=77.77.77.77


Уведомления по почте и СМС-оповещения в Yandex Monitoring
Мы реализовали отправку оповещений — в Yandex Monitoring появились алерты. Это удобный способ оперативно узнавать о важных изменениях. Можно настроить получение уведомлений по почте или в СМС при достижении пороговых значений, которые вы сами задаете для нужных метрик. Новый алерт можно создать на странице дашборда или использовать готовый график в качестве шаблона. Получатель или группа получателей алерта настраивается с помощью канала уведомления. Подробнее об алертах читайте в документации.


Доступ к биллингу для федеративных пользователей
Теперь доступ к биллингу могут получить не только пользователи с аккаунтом на Яндексе, но и пользователи федераций. Роли для федеративных пользователей назначаются в консоли управления. Аутентификация в Облаке может выполняться с использованием G-Suite от Google, Active Directory от Microsoft или других SAML-совместимых федераций. Подробнее о настройке аутентификации федеративных пользователей читайте в документации.
cloud.yandex.ru/docs/iam/concepts/users/identity-federations
cloud.yandex.ru/docs/iam/operations/federations/integration-common

Новые возможности Yandex Cloud Functions
Поддержка языка Go
Сервис Cloud Functions теперь поддерживает приложения, написанные на языке программирования Go. Среда выполнения работает с Golang версии 1.14 и операционной системой Ubuntu 18.04 LTS. С описанием разработки на Go можно ознакомиться в документации.

Добавлен язык PHP
Также добавлена поддержка языка PHP. Сервис предоставляет среду выполнения с версией языка 7.4.3 и операционной системой Ubuntu 18.04 LTS. Описание работы и примеры функций на PHP смотрите в документации.

Поддержка asyncio-окружения для языка Python
Мы поддержали возможность асинхронной разработки для языка Python. Сервис Cloud Functions предоставляет среду выполнения с поддержкой asyncio-окружения.

Новая версия Node.js
Для Node.js появилась возможность автоматического управления зависимостями. При использовании новой версии nodejs12-preview сервис самостоятельно устанавливает все объявленные в package.json зависимости в момент создания новой версии функции. Подробности читайте в разделе документации, посвящённом разработке функций на языке JavaScript.

Среда выполнения Bash
Теперь вы можете запускать приложения, написанные на Bash. Подробные инструкции читайте в документации.

Если вы хотите, чтобы мы добавили новую функциональность в Облако, или вам интересно, что ещё было предложено и реализовано, ждём вас в разделе Сообщество!
cloud.yandex.ru/community

Новости сервиса Yandex DataLens



С начала этого года сервис Yandex DataLens получил несколько новых функций и долгожданное дополнение для работы с данными 1С. А для тех, кто начинает работу с DataLens, мы подготовили новую пошаговую инструкцию. Рассказываем об этих и других новостях.

Добавлен коннектор для 1С
Теперь вы можете импортировать данные из «1С: Предприятие 8» для анализа и построения дашбордов. ДашбордКоннектор от компании «Вебзавод» позволяет выбирать сущности для выгрузки и анализа, чтобы работать с данными 1С в Yandex DataLens. При этом можно задавать расписание для синхронизации и использовать заранее настроенные шаблоны отчётов, например «Отчёт о прибылях» и «Отчёт по розничным продажам». ДашбордКоннектор можно приобрести в маркетплейсе DataLens. При приобретении до 15 мая 2020 года, первый месяц использования — бесплатный.


Обновлена мобильная версия
Обновлена адаптивная вёрстка для мобильных браузеров. Теперь дашбордами удобно пользоваться с телефона. Визуализации выстраиваются в единую полосу, по порядку «слева направо, сверху вниз». Переход к взаимодействию с отдельными визуализациями выполняется простым нажатием. После этого вы сможете подвинуть карту, сделать зум или, например, показать тултип. Ознакомиться с новой вёрсткой можно на примере публичного дашборда.


Появились зависимые селекторы
Зависимые селекторы фильтруют друг друга по выбранным значениям. Это упрощает и ускоряет выбор нужных опций. Например, при выборе страны в первом селекторе во втором ограничивается список доступных городов, и наоборот. Селекторы над полями из одного датасета связываются автоматически.


Для ранее созданных дашбордов зависимые селекторы нужно включить в настройках, а чтобы изменить зависимости нажмите Связи в режиме редактирования дашборда.


Публичные чарты теперь можно встраивать
Чтобы встроить опубликованный чарт, добавьте параметр embedded=1 к ссылке:
https://datalens.yandex/oxxbqilhotpgk?_embedded=1

После этого код можно встроить:
<iframe src="https://datalens.yandex/oxxbqilhotpgk?_embedded=1></iframe>


Расширен функционал для геоаналитики
Для работы с фоновой картой и геополигонами добавлены новые градиенты для заливки цветом, тултипы с возможностью отображения нескольких значений, отображение легенды и скрытие границ полигонов. Теперь с помощью DataLens в несколько кликов можно сделать, например, такую визуализацию:


Также появилась новая функция geoinfo(address, scale). Она преобразует address в название географического объекта (топоним), который соответствует указанному масштабу (scale: «country», «country_code», «region», «locality»). Теперь, имея, например, только адреса своих клиентов, вы сможете не только нарисовать их точками на карте, используя функцию geocode для получения координат по адресу, но и построить аналитику по регионам страны или районам города.

Усовершенствования UI и визуализаций
Новые типы визуализации
Линейчатую и линейчатую нормированную визуализацию удобно использовать при большом количестве категорий с длинными наименованиями, например ФИО.


Новое окно настройки чартов
Появилось окно настройки, в котором можно задать отключаемую легенду и отображение заголовков чартов.


Отключаемая группировка в таблицах
Теперь группировку можно отключить. Это важно, если нужно посмотреть на данные без агрегации — в том виде, как они лежат в БД.


Новые фильтры дат
Стало удобнее задавать фильтры дат, особенно относительные.


Обновлённые тултипы для диаграмм
Теперь тултипы информативно отображают даже большие списки показателей и рассчитывают их суммы.


Во весь экран
Новый режим удобен для вывода дашбордов на большие ТВ-панели. При переключении в полноэкранный просмотр в URL проставляется параметр mode=tv, это позволяет делиться ссылкой на дашборд с сохранением режима просмотра.


Подключение облачных БД в несколько кликов
Для подключения к сервисам управляемых баз данных больше не нужно вручную прописывать реквизиты доступа. Достаточно выбрать нужную базу данных из списка уже созданных в Яндекс.Облаке.


Пошаговая инструкция
Для быстрого начала работы с DataLens мы подготовили новую пошаговую инструкцию. С её помощью вы пройдёте весь путь от загрузки данных до создания публичного дашборда, узнаете, как работать с геоданными в DataLens и как объединять источники на уровне датасета на примере открытых данных по ДТП в РФ.
cloud.yandex.ru/docs/solutions/datalens/data-from-csv-geo-visualization

Дашборд COVID–19
Мы подготовили публичный дашборд со статистикой самоизоляции и распространения коронавируса в мире и России. Чтобы изменить графики или обогатить их собственными данными, вы можете развернуть пресет дашборда с обновляемыми датасетами из нашего маркетплейса.
datalens.yandex/covid19
datalens.yandex.ru/marketplace/7o6xrxcmx85y3

Проблемы с DNS-сервисом 6 и 7 апреля 2020 года



Резюме по инцидентам
6 апреля с 16:51 до 17:40 (в зоне доступности ru-central1-c), 7 апреля с 13:41 до 14:32 (в зоне доступности ru-central1-b) и с 21:03 до 21:29 (в зоне доступности ru-central1-a) по Москве некоторые пользователи Яндекс.Облака сталкивались с недоступностью работы сети на своих ВМ. Во время сбоя резолвинг доменных имён из виртуальных машин, расположенных в соответствующих зонах, работал с перебоями, в ответ на часть запросов DNS-сервера Облака возвращали ответ SERVFAIL или REFUSED. Мы приносим свои извинения всем пользователям, кого затронул данный инцидент, и хотим рассказать подробнее о случившемся и мерах предотвращения повторения подобной ситуации в будущем.
status.cloud.yandex.ru/dashboard

Что произошло?
DNS-сервис Облака состоит из двух частей. Мы называем их Data plane и Control plane. Data plane отвечает непосредственно за резолвинг доменных имён — он получает DNS-запросы от пользователей и возвращает им ответы. Control plane следит за информацией об облаках пользователей (например, о создаваемых и удаляемых виртуальных машинах) и соответствующим образом меняет конфигурацию сервиса Data plane. Сервис Data plane самостоятельно резолвит внутренние адреса облака (например, адреса виртуальных машин и баз данных), остальные запросы рекурсивно отправляет на вышестоящие DNS-сервера Яндекса. Произошедший сбой в зоне ru-central1-c был вызван выходом из строя Control plane.

Причины
На каждой машине в кластере DNS-серверов подняты оба сервиса — и Control plane, и Data plane. Работа серверов практически никак не связана друг с другом, выход строя одного или даже нескольких из них не влияет на работу DNS-резолвинга в Облаке. Сервис Control plane независимо от «соседей» генерирует конфигурацию для своего, локального, сервиса Data plane.

6 апреля в 16:47:05 сервис Control plane на одном из серверов аварийно завершился и перезапустился. В момент запуска сервис Control plane очищает конфигурацию для Data plane, после чего генерирует её с нуля. Это занимает от 5 до 10 минут. После перезапуска он загрузил всю необходимую информацию в себя и приступил к генерации конфигурационных файлов для сервиса Data plane.

В 16:51:05 и 16:51:15 аналогично упали и перезапустились сервисы Control plane ещё на двух серверах. В этот момент дежурные начали разбираться с тем, почему падают сервисы Control plane. К сожалению, падения продолжались — сервисы упали и перезапустились на всех DNS-серверах в зоне ru-central1-c, и продолжали перезапускаться примерно раз в минуту.

Падение одного сервиса вызвало массовое переподключение виртуальных роутеров к копии сервиса на другом сервере, что также приводило к его падению. Таким образом образовалась цепочка циклических падений и рестартов сервисов Control plane на всех серверах. Сервисы Data plane при этом продолжали работать, но так как Control plane очистили при своих рестартах конфигурацию, то в реальности Data plane не выполнял свою работу и отвечал на запросы пользователей кодом REFUSED. К 17:04 дежурным удалось остановить каскад падений сервисов и запустить сервис сначала на одном из них, а к 17:07 — на всех остальных.

Следующие десять минут вновь поднятые сервисы Control plane собирали нужную информацию о сетях и виртуальных машинах и готовили конфигурационные файлы для Data plane. В 17:16 сервисы Data plane начали корректно отвечать на часть DNS-запросов. Постепенно всё большее количество запросов обрабатывались корректно, однако полная работоспособность DNS в ru-central1-c восстановилась только в 17:40. Мы разбираемся, почему этот процесс занял ещё 24 минуты.

О проблеме в сервисе Control plane, которая приводит в падениям, нам было известно уже некоторое время до этого, мы подготовили релиз для его исправления. Релиз, содержащий увеличение этого лимита в 10 раз, выехал в зону ru-central1-a 6 апреля — всё прошло гладко. Через несколько часов мы заметили очередное приближение к лимиту, но только на одном из серверов в этой зоне, остальные показывали запас минимум в 100 раз. Мы решили не блокировать выкладку релиза в другие зоны доступности, а разобраться с этой аномалией позже. Нагрузка на все сервера в кластере идёт одинаковая, и тот факт, что на одном из них вдруг стало использоваться в сто раз больше обработчиков запросов, скорее указывало на проблемы в сервере, чем на проблему в релизе.

7 апреля этот релиз выехал в зону ru-central1-b. Через несколько часов работы, в 13:09, проблема воспроизвелась на одном из серверов и в этой зоне — дежурные начали внимательно изучать, что именно отличает сервера с проблемой от аналогичных серверов без них. Через полчаса, в 13:41, наши мониторинги сообщили, что теперь на всех серверах лимит (увеличенный с релизом в 10 раз) исчерпался. Это было странно, первым делом мы заподозрили, что появилась аномальная нагрузка на наши DNS-серверы. Дежурные начали искать подтверждения этой гипотезе, но ничего не нашли — аномальной нагрузки не было, и тем не менее DNS-сервера рапортовали об исчерпании лимита на обработчики запросов.

В 13:55 дежурные запустили откат релиза на одном сервере в зоне ru-central1-b. Это помогло, и откат запустили на остальных серверах. После стабилизации ситуации в ru-central1-b мы откатили релиз и в ru-central1-a, однако не рестартовали сервисы Data plane — предположили, что из-за меньшей нагрузки в этой зоне и работы в этой зоне в течение суток проблем быть не должно. К сожалению, это предположение было ошибкой.

В 21:03 мониторинги в зоне ru-central1-a аналогично отрапортовали о превышении лимита на всех серверах в этой зоне, что приводило к отбрасыванию части запросов и возвращению кода SERVFAIL. Дежурные постепенно рестартовали сервисы на всех серверах, и ситуация нормализовалась к 21:29. Примерно столько времени занимает плановый рестарт всех DNS-серверов в кластере одной зоны доступности. Как выяснилось позже, причиной проблемы с лимитами стала несогласованность параметров Data plane. Увеличив количество обработчиков рекурсивных запросов, мы оставили прежним количество потоков, в которых они запущены, что и привело к проблемам.

Меры для предотвращения повторения подобной ситуации в будущем:
  • Мы предотвратили возможное повторение сбоя — ограничили подключения от виртуальных роутеров до сервисов Control plane и откатили проблемный релиз для Data plane.
  • Мы обновили версию Data plane, которая не очищает конфигурацию в случае падения и перезапуска Control plane. Это позволит сохранять работоспособность Data plane даже при полном отказе Control plane.
  • В ближайшее время мы обновим версию Data plane, которая при перезапуске попытается сразу начинать работать с конфигурацией, оставшейся до падения. Уже после запуска Control plane поправит конфигурацию в тех местах, где во время недоступности Data plane что-то поменялось. Будем работать над уменьшением времени возвращения связки Control plane + Data plane к полностью рабочему состоянию после падения любого из сервисов.

Яндекс.Облако и NVIDIA совместно поддержат ИИ-стартапы



Акселерационные программы Yandex Cloud Boost и NVIDIA Inception договорились о взаимной поддержке для своих участников. С апреля 2020 года компании-разработчики в области искусственного интеллекта из NVIDIA Inception могут присоединиться к Cloud Boost по упрощенной процедуре. В свою очередь, ИИ-стартапы Cloud Boost получают доступ к ресурсам NVIDIA Inception на приоритетных условиях.

Что получает компания-участник NVIDIA Inception, присоединившись к программе Yandex Cloud Boost
  • Грант от 200 000 руб. (с НДС) на тестирование и использование инфраструктурных сервисов и сервисов Data Storage & Analytics, Cloud-Native, ML & AI: при этом половину гранта, а не четверть, как это предусмотрено стандартными условиями программы, можно потратить на ресурсы с GPU;
  • помощь архитекторов в развертывании инфраструктуры на платформе Яндекс.Облако;
  • скидку 20% на год на сервисы Data Storage & Analytics и Cloud-Native;
  • бесплатную техническую поддержку;
  • доступ к закрытому тестированию новых сервисов;
  • содействие в продвижении продукта.

Что получает стартап в Yandex Cloud Boost, присоединившись к NVIDIA Inception
  • доступ к технологиям: программным инструментам, отдельным графическим процессорам NVIDIA и вычислительным системам линейки NVIDIA DGX;
  • бесплатный доступ ко всем онлайн-курсам в Институте глубокого обучения NVIDIA;
  • рекомендации по выбору приложений и оборудования на GPU;
  • специальные цены на оборудование;
  • маркетинговую поддержку.
Для кого это предложение
Специальное предложение от Yandex Cloud Boost и NVIDIA Inception ориентировано на компании, которые ведут работы в области изучения и применения искусственного интеллекта. Теперь сотни стартапов-участников акселерационных программ получат доступ к ресурсам и сервисам для полноценного тестирования AI-проекта.

Как стартапу воспользоваться специальным предложением от Yandex Cloud Boost и NVIDIA Inception
Компании-участнику NVIDIA Inception необходимо заполнить заявку на сайте Yandex Cloud Boost, указав в комментариях кодовое слово «NVIDIA».

Компании-участнику Yandex Cloud Boost нужно оставить заявку на странице NVIDIA Inception, в разделе «Which accelerators/incubators are you currently part or have you been part of?» указав программу Yandex Cloud Boost.

Запросы автоматически получат менеджеры соответствующих программ лояльности и откроют доступ к привилегиям.

По всем вопросам, связанным с данным предложением, просьба обращаться к Марине Поликарповой: marinapolik@yandex-team.ru

Яндекс.Облако открывает доступ к анализу данных по самоизоляции и распространению коронавируса



Платформа Яндекс.Облако открывает доступ к инструменту для работы с данными по распространению коронавируса в России и мире.

С помощью технологии Yandex DataLens мы собрали в единую информационно-аналитическую панель (дашборд) информацию из трёх источников:
  • Роспотребнадзор: статистика о количестве заражений, выздоровлений и летальных исходов в России;
  • Университет Джонса Хопкинса: аналогичные данные по всему миру;
  • данные сервисов Яндекса: индекс самоизоляции.


Yandex DataLens позволяет гибко работать с данными: загружать, объединять, мгновенно делать наглядные визуализации — графики, диаграммы, таблицы, а также накладывать показатели на карту. В дополнение к данным, которые предоставляет Яндекс.Облако, пользователи могут подключать собственные источники. Полученными результатами можно делиться с коллегами и публиковать их в открытом доступе на любых внешних ресурсах. Все данные обновляются в режиме реального времени: как только новая информация появляется в источниках, она становится доступна в Yandex DataLens.


Данные по распространению коронавируса в России доступны с детализацией по регионам. Для индекса самоизоляции представлен исторический срез средних дневных значений по городам с 23 февраля 2020, а также актуальные данные по часам за последние сутки.

Изучить публичный дашборд можно по ссылке datalens.yandex/covid19

Если вы хотите сохранить себе копию дашборда, изменить её, создать собственные визуализации или дополнить своими данными — нужно завести учётную запись в Yandex DataLens и импортировать пресет из маркетплейса.


Для работы с этим пресетом достаточно бесплатного тарифа Yandex DataLens.

Yandex Certificate Manager — сервис для управления TLS-сертификатами



В Облаке появился сервис, который сделает управление TLS-сертификатами удобнее. С его помощью вы можете получать новые TLS-сертификаты от Let’s Encrypt, добавлять свои сертификаты и использовать их при создании безопасных подключений к статическим сайтам в Облаке.

Let’s Encrypt предоставляет Domain Validation (DV) TLS-сертификаты со сроком действия 90 дней. Такие сертификаты подтверждают, что домен принадлежит заявителю. Если вам нужны сертификаты Organization Validation (OV) или Extended Validation (EV), вы можете получить их в стороннем центре сертификации и загрузить в Certificate Manager.

Certificate Manager, управляет сертификатами от Let’s Encrypt и автоматически запросит их обновление за 30 дней до окончания срока действия. Вам необходимо только подтвердить права на домены, и все ресурсы Облака, которые используют сертификат, получат его новую версию.

Если у вас уже есть сертификат, полученный в стороннем центре сертификации, вы можете загрузить его в Certificate Manager и использовать в Облаке. Вам нужно будет самостоятельно следить за сроком действия таких сертификатов, своевременно обновлять и загружать их в Certificate Manager. После загрузки сертификаты обновятся для всех ресурсов, и это обеспечит их бесперебойную работу. Читайте подробнее о требованиях к пользовательским сертификатам в документации.

Certificate Manager находится на стадии Preview. Запросить доступ к сервису можно через форму заявки на странице сервиса или в консоли управления.