Резюме по инцидентам
6 апреля с 16:51 до 17:40 (в зоне доступности ru-central1-c), 7 апреля с 13:41 до 14:32 (в зоне доступности ru-central1-b) и с 21:03 до 21:29 (в зоне доступности ru-central1-a) по Москве некоторые пользователи Яндекс.Облака сталкивались с недоступностью работы сети на своих ВМ. Во время сбоя резолвинг доменных имён из виртуальных машин, расположенных в соответствующих зонах, работал с перебоями, в ответ на часть запросов DNS-сервера Облака возвращали ответ SERVFAIL или REFUSED. Мы приносим свои извинения всем пользователям, кого затронул данный инцидент, и хотим рассказать подробнее о случившемся и мерах предотвращения повторения подобной ситуации в будущем.
status.cloud.yandex.ru/dashboard

Что произошло?
DNS-сервис Облака состоит из двух частей. Мы называем их Data plane и Control plane. Data plane отвечает непосредственно за резолвинг доменных имён — он получает DNS-запросы от пользователей и возвращает им ответы. Control plane следит за информацией об облаках пользователей (например, о создаваемых и удаляемых виртуальных машинах) и соответствующим образом меняет конфигурацию сервиса Data plane. Сервис Data plane самостоятельно резолвит внутренние адреса облака (например, адреса виртуальных машин и баз данных), остальные запросы рекурсивно отправляет на вышестоящие DNS-сервера Яндекса. Произошедший сбой в зоне ru-central1-c был вызван выходом из строя Control plane.

Причины
На каждой машине в кластере DNS-серверов подняты оба сервиса — и Control plane, и Data plane. Работа серверов практически никак не связана друг с другом, выход строя одного или даже нескольких из них не влияет на работу DNS-резолвинга в Облаке. Сервис Control plane независимо от «соседей» генерирует конфигурацию для своего, локального, сервиса Data plane.

6 апреля в 16:47:05 сервис Control plane на одном из серверов аварийно завершился и перезапустился. В момент запуска сервис Control plane очищает конфигурацию для Data plane, после чего генерирует её с нуля. Это занимает от 5 до 10 минут. После перезапуска он загрузил всю необходимую информацию в себя и приступил к генерации конфигурационных файлов для сервиса Data plane.

В 16:51:05 и 16:51:15 аналогично упали и перезапустились сервисы Control plane ещё на двух серверах. В этот момент дежурные начали разбираться с тем, почему падают сервисы Control plane. К сожалению, падения продолжались — сервисы упали и перезапустились на всех DNS-серверах в зоне ru-central1-c, и продолжали перезапускаться примерно раз в минуту.

Падение одного сервиса вызвало массовое переподключение виртуальных роутеров к копии сервиса на другом сервере, что также приводило к его падению. Таким образом образовалась цепочка циклических падений и рестартов сервисов Control plane на всех серверах. Сервисы Data plane при этом продолжали работать, но так как Control plane очистили при своих рестартах конфигурацию, то в реальности Data plane не выполнял свою работу и отвечал на запросы пользователей кодом REFUSED. К 17:04 дежурным удалось остановить каскад падений сервисов и запустить сервис сначала на одном из них, а к 17:07 — на всех остальных.

Следующие десять минут вновь поднятые сервисы Control plane собирали нужную информацию о сетях и виртуальных машинах и готовили конфигурационные файлы для Data plane. В 17:16 сервисы Data plane начали корректно отвечать на часть DNS-запросов. Постепенно всё большее количество запросов обрабатывались корректно, однако полная работоспособность DNS в ru-central1-c восстановилась только в 17:40. Мы разбираемся, почему этот процесс занял ещё 24 минуты.

О проблеме в сервисе Control plane, которая приводит в падениям, нам было известно уже некоторое время до этого, мы подготовили релиз для его исправления. Релиз, содержащий увеличение этого лимита в 10 раз, выехал в зону ru-central1-a 6 апреля — всё прошло гладко. Через несколько часов мы заметили очередное приближение к лимиту, но только на одном из серверов в этой зоне, остальные показывали запас минимум в 100 раз. Мы решили не блокировать выкладку релиза в другие зоны доступности, а разобраться с этой аномалией позже. Нагрузка на все сервера в кластере идёт одинаковая, и тот факт, что на одном из них вдруг стало использоваться в сто раз больше обработчиков запросов, скорее указывало на проблемы в сервере, чем на проблему в релизе.

7 апреля этот релиз выехал в зону ru-central1-b. Через несколько часов работы, в 13:09, проблема воспроизвелась на одном из серверов и в этой зоне — дежурные начали внимательно изучать, что именно отличает сервера с проблемой от аналогичных серверов без них. Через полчаса, в 13:41, наши мониторинги сообщили, что теперь на всех серверах лимит (увеличенный с релизом в 10 раз) исчерпался. Это было странно, первым делом мы заподозрили, что появилась аномальная нагрузка на наши DNS-серверы. Дежурные начали искать подтверждения этой гипотезе, но ничего не нашли — аномальной нагрузки не было, и тем не менее DNS-сервера рапортовали об исчерпании лимита на обработчики запросов.

В 13:55 дежурные запустили откат релиза на одном сервере в зоне ru-central1-b. Это помогло, и откат запустили на остальных серверах. После стабилизации ситуации в ru-central1-b мы откатили релиз и в ru-central1-a, однако не рестартовали сервисы Data plane — предположили, что из-за меньшей нагрузки в этой зоне и работы в этой зоне в течение суток проблем быть не должно. К сожалению, это предположение было ошибкой.

В 21:03 мониторинги в зоне ru-central1-a аналогично отрапортовали о превышении лимита на всех серверах в этой зоне, что приводило к отбрасыванию части запросов и возвращению кода SERVFAIL. Дежурные постепенно рестартовали сервисы на всех серверах, и ситуация нормализовалась к 21:29. Примерно столько времени занимает плановый рестарт всех DNS-серверов в кластере одной зоны доступности. Как выяснилось позже, причиной проблемы с лимитами стала несогласованность параметров Data plane. Увеличив количество обработчиков рекурсивных запросов, мы оставили прежним количество потоков, в которых они запущены, что и привело к проблемам.

Меры для предотвращения повторения подобной ситуации в будущем:

• Мы предотвратили возможное повторение сбоя — ограничили подключения от виртуальных роутеров до сервисов Control plane и откатили проблемный релиз для Data plane.
• Мы обновили версию Data plane, которая не очищает конфигурацию в случае падения и перезапуска Control plane. Это позволит сохранять работоспособность Data plane даже при полном отказе Control plane.
• В ближайшее время мы обновим версию Data plane, которая при перезапуске попытается сразу начинать работать с конфигурацией, оставшейся до падения. Уже после запуска Control plane поправит конфигурацию в тех местах, где во время недоступности Data plane что-то поменялось. Будем работать над уменьшением времени возвращения связки Control plane + Data plane к полностью рабочему состоянию после падения любого из сервисов.

Акселерационные программы Yandex Cloud Boost и NVIDIA Inception договорились о взаимной поддержке для своих участников. С апреля 2020 года компании-разработчики в области искусственного интеллекта из NVIDIA Inception могут присоединиться к Cloud Boost по упрощенной процедуре. В свою очередь, ИИ-стартапы Cloud Boost получают доступ к ресурсам NVIDIA Inception на приоритетных условиях.

Что получает компания-участник NVIDIA Inception, присоединившись к программе Yandex Cloud Boost

• Грант от 200 000 руб. (с НДС) на тестирование и использование инфраструктурных сервисов и сервисов Data Storage & Analytics, Cloud-Native, ML & AI: при этом половину гранта, а не четверть, как это предусмотрено стандартными условиями программы, можно потратить на ресурсы с GPU;
• помощь архитекторов в развертывании инфраструктуры на платформе Яндекс.Облако;
• скидку 20% на год на сервисы Data Storage & Analytics и Cloud-Native;
• бесплатную техническую поддержку;
• доступ к закрытому тестированию новых сервисов;
• содействие в продвижении продукта.

Что получает стартап в Yandex Cloud Boost, присоединившись к NVIDIA Inception

• доступ к технологиям: программным инструментам, отдельным графическим процессорам NVIDIA и вычислительным системам линейки NVIDIA DGX;
• бесплатный доступ ко всем онлайн-курсам в Институте глубокого обучения NVIDIA;
• рекомендации по выбору приложений и оборудования на GPU;
• специальные цены на оборудование;
• маркетинговую поддержку.

Для кого это предложение
Специальное предложение от Yandex Cloud Boost и NVIDIA Inception ориентировано на компании, которые ведут работы в области изучения и применения искусственного интеллекта. Теперь сотни стартапов-участников акселерационных программ получат доступ к ресурсам и сервисам для полноценного тестирования AI-проекта.

Как стартапу воспользоваться специальным предложением от Yandex Cloud Boost и NVIDIA Inception
Компании-участнику NVIDIA Inception необходимо заполнить заявку на сайте Yandex Cloud Boost, указав в комментариях кодовое слово «NVIDIA».

Компании-участнику Yandex Cloud Boost нужно оставить заявку на странице NVIDIA Inception, в разделе «Which accelerators/incubators are you currently part or have you been part of?» указав программу Yandex Cloud Boost.

Запросы автоматически получат менеджеры соответствующих программ лояльности и откроют доступ к привилегиям.

По всем вопросам, связанным с данным предложением, просьба обращаться к Марине Поликарповой: marinapolik@yandex-team.ru

Платформа Яндекс.Облако открывает доступ к инструменту для работы с данными по распространению коронавируса в России и мире.

С помощью технологии Yandex DataLens мы собрали в единую информационно-аналитическую панель (дашборд) информацию из трёх источников:

• Роспотребнадзор: статистика о количестве заражений, выздоровлений и летальных исходов в России;
• Университет Джонса Хопкинса: аналогичные данные по всему миру;
• данные сервисов Яндекса: индекс самоизоляции.

Yandex DataLens позволяет гибко работать с данными: загружать, объединять, мгновенно делать наглядные визуализации — графики, диаграммы, таблицы, а также накладывать показатели на карту. В дополнение к данным, которые предоставляет Яндекс.Облако, пользователи могут подключать собственные источники. Полученными результатами можно делиться с коллегами и публиковать их в открытом доступе на любых внешних ресурсах. Все данные обновляются в режиме реального времени: как только новая информация появляется в источниках, она становится доступна в Yandex DataLens.


Данные по распространению коронавируса в России доступны с детализацией по регионам. Для индекса самоизоляции представлен исторический срез средних дневных значений по городам с 23 февраля 2020, а также актуальные данные по часам за последние сутки.

Изучить публичный дашборд можно по ссылке datalens.yandex/covid19

Если вы хотите сохранить себе копию дашборда, изменить её, создать собственные визуализации или дополнить своими данными — нужно завести учётную запись в Yandex DataLens и импортировать пресет из маркетплейса.


Для работы с этим пресетом достаточно бесплатного тарифа Yandex DataLens.

В Облаке появился сервис, который сделает управление TLS-сертификатами удобнее. С его помощью вы можете получать новые TLS-сертификаты от Let’s Encrypt, добавлять свои сертификаты и использовать их при создании безопасных подключений к статическим сайтам в Облаке.

Let’s Encrypt предоставляет Domain Validation (DV) TLS-сертификаты со сроком действия 90 дней. Такие сертификаты подтверждают, что домен принадлежит заявителю. Если вам нужны сертификаты Organization Validation (OV) или Extended Validation (EV), вы можете получить их в стороннем центре сертификации и загрузить в Certificate Manager.

Certificate Manager, управляет сертификатами от Let’s Encrypt и автоматически запросит их обновление за 30 дней до окончания срока действия. Вам необходимо только подтвердить права на домены, и все ресурсы Облака, которые используют сертификат, получат его новую версию.

Если у вас уже есть сертификат, полученный в стороннем центре сертификации, вы можете загрузить его в Certificate Manager и использовать в Облаке. Вам нужно будет самостоятельно следить за сроком действия таких сертификатов, своевременно обновлять и загружать их в Certificate Manager. После загрузки сертификаты обновятся для всех ресурсов, и это обеспечит их бесперебойную работу. Читайте подробнее о требованиях к пользовательским сертификатам в документации.

Certificate Manager находится на стадии Preview. Запросить доступ к сервису можно через форму заявки на странице сервиса или в консоли управления.

Библиотека AI-программ от Яндекс.Облака и NVIDIA
NVIDIA GPU Cloud (NGC) — бесплатная библиотека ПО, в которой доступно более 80 приложений для работы с искусственным интеллектом, машинным обучением, нейронными сетями и высокопроизводительными вычислениями.
Теперь разработчики моделей машинного обучения могут сразу перейти к обучению и тренировке алгоритмов, не тратя время на настройку специализированного ПО.
hosting.kitchen/yandex-cloud/yandeksoblako-i-nvidia-delayut-vnedrenie-iskusstvennogo-intellekta-bolee-dostupnym-dlya-rossiyskih-kompaniy.html


Сервис автоматической миграции от Яндекс.Облака и Hystax
Теперь вы можете мигрировать через приложение Hystax Acura, которое есть в маркетплейсе Облака. Автоматизированный перенос данных с любой платформы без простоев и потери данных — теперь в 8 раз быстрее.
И можно настроить автоматическое восстановление приложения, размещённого на другой площадке, в Облако.
hosting.kitchen/yandex-cloud/yandeksoblako-i-hystax-zapuskayut-servis-avtomaticheskoy-migracii.html

Миграция Cartaxi
Крупнейший сервис по эвакуации автомобилей в России переехал в Облако.
Из статьи вы узнаете о том, какие задачи они решили с помощью миграции, как оптимизировали сервис и почему выбрали Яндекс.Облако.
cloud.yandex.ru/cases/cartaxi

Другие истории наших пользователей
Первый в России PLM-as-a-Service
Connective PLM внедряет технологии управления жизненным циклом продукции (PLM). В статье мы рассказали, как компания провела цифровизацию типовых задач в нефтегазовой компании, используя первый в России облачный PLM-сервис.
Подробнее cloud.yandex.ru/cases/connective-plm

Сбор показаний с помощью Yandex SpeechKit
«Газпром межрегионгаз Ухта» автоматизировали сбор показаний счетчиков по телефону. Раньше расшифровка разговоров занимала много времени. Теперь Yandex SpeechKit обрабатывает 75% звонков, и время приема показаний сократилось в два раза.
Подробнее cloud.yandex.ru/cases/gazprom

Новое в Облаке
Познакомьтесь с ClickHouse, не создавая тестовый кластер
Встречайте сайт-песочницу play.clickhouse.tech на базе Yandex Managed Service for ClickHouse. Там вы можете оценить возможности ClickHouse, не разворачивая базу данных. На сайте есть тестовые датасеты.
На play.clickhouse.tech можно:

• познакомиться с синтаксисом запросов;
• попробовать примеры из документации;
• разобрать специфичные сценарии.

Облачный сервис Managed Service for ClickHouse поможет легко развернуть кластер БД и масштабировать его. Обслуживание БД мы берем на себя. Подробнее в документации.
Алертинг в Yandex Monitoring
Теперь вы можете настраивать уведомления об изменении метрик. Укажите пороговые значения, по достижении которых вы получите письмо или SMS.
Лицензии Microsoft Remote Desktop Services в Облаке
Служба удалённых рабочих столов Microsoft Remote Desktop Services позволяет централизованно управлять приложениями и пользователями. С помощью лицензий вы можете устанавливать более двух удаленных Remote Desktop подключений к вашим серверам одновременно.

Пара минут простоя работы, вызванного отказом сервера или зоны доступности, могут привести к финансовым потерям бизнеса. Мы записали видео, где есть примеры архитектуры, способной выдержать сбои и обеспечить отказоустойчивость.

• Базовые принципы отказоустойчивости в Облаке
• Практическая настройка

Вы увидите, как устроены 3-tier архитектура (с отказоустойчивостью на трёх уровнях) и сервис на базе Kubernetes, и узнаете, почему сервис лучше размещать сразу в нескольких зонах доступности.

В Маркетплейсе Облака вы можете найти несколько образов с продуктами Microsoft:

• Windows Server 2012/2016/2019 выпуски Standard и Datacenter, включая оптимизированный для сложных вычислений образ Windows Server 2019 Datacenter GPU
• SQL Server Standard
• SQL Server Enterprise

Теперь стали доступны лицензии службы Remote Desktop Services (RDS) для Windows Server. Служба удалённых рабочих столов Microsoft Remote Desktop Services позволяет эффективно использовать ресурсы сервера, централизованно управлять приложениями и пользователями. С помощью лицензий вы можете устанавливать более двух одновременных Remote Desktop подключений к вашим серверам.

Образ RDS с лицензиями доступен при создании виртуальной машины или в списке образов в Маркетплейсе.


Лицензии подготовлены пакетами для максимального удобства и гибкости по 5/10/25/50/100/250/500 лицензий — вы можете выбрать тот объём, который необходим для реализации вашего проекта. В образ входит лицензия Microsoft Windows Server Datacenter и лицензии Remote Desktop Services. Итоговая стоимость складывается из стоимости лицензий, а также стоимости используемых дополнительных ресурсов Облака. Подробнее о ценах → cloud.yandex.ru/docs/compute/pricing#prices-os

Развёртывание выполняется в несколько шагов: необходимо создать виртуальную машину, настроить службу Active Directory, сервер лицензирования и создать конечных пользователей. При этом каждый конечный пользователь получит изолированный рабочий стол, как если бы это был локальный рабочий компьютер.

Мы подготовили пошаговые инструкции для работы с сервисами Microsoft в Облаке:

• Развёртывание Microsoft Remote Desktop Services. В документацию →
• Развёртывание Active Directory. В документацию →
• Развёртывание почтовых серверов Microsoft Exchange. Настройте корпоративную почту для пользователей — Microsoft Exchange является наиболее популярным решением с гибким управлением электронной почтой, адресной книгой и расширенными возможностями календаря и задач при использовании с Microsoft Outlook. В документацию →

Мы все находимся в очень трудной ситуации из-за распространения СOVID-19 и связанных с этим ограничительных мер. Но особенно сложно сейчас компаниям малого и среднего бизнеса: падает спрос на привычные продукты и услуги, усиливается нагрузка на онлайн-сервисы, необходимо обеспечивать удалённый доступ работникам. Мы хотим помочь в решении этих задач и делаем облачные ресурсы доступнее для компаний СМБ.

Цены на все сервисы Яндекс.Облака зафиксированы в рублях до конца 2020 года
Вы можете быть уверены, что использование сервисов Облака не потребует дополнительных затрат. Цены не будут меняться до 31 декабря 2020 года вне зависимости от курса рубля.

Гранты для новых компаний в Облаке увеличены до 8 тысяч рублей
Облачные сервисы помогут справиться с кризисными задачами: сократить затраты, повысить надёжность, ускорить выпуск продуктов. Если ваша компания зарегистрирована в РФ, начните пользоваться Облаком в апреле или мае, и мы удвоим размер стартового гранта для юридических лиц — вместо 4000 рублей, он составит 8000 рублей. Обратите внимание на ограничения при оплате картой: 2000 рублей из гранта можно потратить на Compute Cloud и 6000 на остальные сервисы. При оплате с расчётного счета всю сумму стартового гранта можно потратить на любые сервисы без ограничений. Подробнее в документации.
cloud.yandex.ru/services/compute
cloud.yandex.ru/docs/free-trial/concepts/usage-grant

20% скидки на ресурсы Облака для ВУЗов до конца 2020 года
С 1 апреля мы предлагаем скидку на основные ресурсы Облака для всех государственных и коммерческих учреждений высшего образования. Этот поможет в короткий срок нарастить объёмы ИТ-инфраструктуры и повысить надежность работы инструментов для онлайн-обучения.

Чтобы получить скидку, пожалуйста, напишите в отдел продаж.

Условия участия в программе:

• Организация имеет действующую лицензию на образовательную деятельность на территории РФ;
• Организация не имеет действующего соглашения на резерв сервисов в Яндекс.Облаке;
• Организация заключит договор с ООО «Яндекс.Облако» с 01.04.2020 по 31.12.2020;
• Скидка не распространяется на образы Marketplace, GPU, резервируемые ресурсы управляемых баз данных, прерываемые ВМ.

Cloud Boost продолжает работу
Роль онлайн-сервисов возросла, и для многих направлений бизнеса они стали единственным способом поддерживать работу в ближайшее время. Компании, которые разрабатывают свой цифровой продукт, могут получить в Облаке гранты и индивидуальную поддержку: консультации архитекторов Облака, помощь в миграции, доступ к закрытому тестированию новых сервисов. Оформить заявку cloud.yandex.ru/cloud-boost#join

Мы надеемся, что эти шаги помогут вашему бизнесу. Если вы уже пользуетесь Облаком и испытываете трудности в текущей ситуации, пожалуйста, напишите нам. Мы стараемся войти в положение каждого пользователя и не оставим без внимания вашу заявку.
cloud.yandex.ru/support#contact-form

Спасибо за работу с сервисами платформы Яндекс.Облако!
В этом письме мы расскажем об изменениях в предоставлении сервисов.

• Мы увеличили размер установленных квот для всех ресурсов сервисов облачных вычислений (Yandex Compute Cloud) и сервисов управления данными (Yandex Managed Databases). Это улучшение действует согласно п.7.2.3. Оферты.
• Правила допустимого использования сервисов платформы Яндекс.Облако будут дополнены п.1.5 для уточнения положения о размещении значимых объектов критической инфраструктуры, предусмотренного 187-ФЗ. Изменение вступает в силу с 6 апреля 2020 года.

Если у вас возникнут вопросы, пожалуйста, обращайтесь в техническую поддержку.
yandex.ru/legal/cloud_aup

Облачная платформа Яндекс.Облако в партнёрстве с американской технологической компанией NVIDIA открывают для российских компаний библиотеку приложений для работы с искусственным интеллектом (ИИ) и машинным обучением — NVIDIA GPU Cloud (NGC).

NVIDIA GPU Cloud (NGC) — это библиотека специализированного ПО, сейчас в ней доступно более 80 оптимизированных приложений для работы с искусственным интеллектом, машинным обучением, нейронными сетями и высокопроизводительными вычислениями (HPC). В библиотеку постоянно добавляются новые приложения. Доступ к NGC бесплатный. Все приложения оптимизированы для максимальной производительности при работе с графическими процессорами NVIDIA и упакованы в контейнеры.

NGC повышает эффективность облачных вычислений на графических процессорах (GPU), обеспечивает значительный рост производительности работы разработчиков моделей машинного обучения, позволяет получить экономию затрат до 30% на разработку решений по искусственному интеллекту, сокращая время их внедрения от недель и дней до часов. Сами графические процессоры NVIDIA TESLA V100 доступны пользователям Яндекс.Облака с конца 2019 года.

Благодаря совместной работе компаний, платформа Яндекс.Облака стала первым публичным облаком в России, получившим статус официального партнера c NGC-сертификацией от NVIDIA.


Российские компании могут применять приложения NGС для решения прикладных бизнес-задач: построения рекомендательных систем, оптимизированного управления запасами, оптического контроля на производстве, организации дорожного движения в умных городах, разработки различных приложений и систем на основе компьютерного зрения.

Готовые приложения для работы с ИИ и машинным обучением также помогут в создании принципиально новых продуктов и сервисов «завтрашнего дня»: в сфере беспилотного транспорта, генного анализа и медицинских исследований, дополненной и виртуальной реальности. Например, среди приложений есть программное обеспечение Parabricks, которое применяется исследователями Covid-19. ПО Parabricks для геномного анализа основано на популярном наборе инструментов Genome Analysis и работает на GPU, ускоряя анализ данных до 50 раз. NVIDIA бесплатно предоставляет 90-дневную лицензию на Parabricks всем исследователям нового коронавируса. Среди других популярных фреймворков: Tensorflow и TensorRT.

По данным исследования Headhunter, за два года спрос на специалистов в сфере Data Science вырос на 234%, кроме того, они входят в число наиболее высокооплачиваемых специалистов. Использование приложений NGC сэкономит до 30% времени команд по анализу данных: вместо настроек узкоспециализированного ПО, разработчики моделей машинного обучения могут сразу перейти к обучению и тренировке алгоритмов.

По данным IDC, инвестиции на российском рынке искусственного интеллекта могут увеличиться вдвое к 2023 году. 70% опрошенных компаний из различных секторов экономики готовы приступить к внедрению ИИ-решений в течение двух лет, более 80% участников исследования планируют снизить затраты и увеличить производительность в бизнес-процессах за счет когнитивных технологий и AI-систем. Доступ к приложениям NGC в Яндекс.Облаке поможет этим компаниям начать использование этой технологии с меньшими затратами: за счет экономии на приобретении и настройке необходимой ИТ-инфраструктуры.