Календарь ближайших вебинаров и мероприятий Яндекс.Облака



Знакомим вас с нашим планом вебинаров и мероприятий на ближайшее время.

Сервисы ML и AI API в Яндекс.Облаке
28 мая. Вебинар о возможностях и новинках ML/AI-сервисов с примерами и реальными кейсами их использования.
Регистрация events.yandex.ru/events/webinars/may-28/
Cloudflare Moscow Meetup
30 мая. Гостевое мероприятие Cloudflare Moscow Meetup.
Регистрация www.eventbrite.co.uk/e/cloudflare-moscow-meetup-registration-59714496667
Вебинар о сервисе Yandex Data Proc
6 июня. Вебинар о сервисе Yandex Data Proc. Данный сервис помогает разворачивать кластеры Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака.
Регистрация events.yandex.ru/events/webinars/jun-6/
Yandex Database Meetup
10 июня. Meetup, посвящённый Yandex Database (YDB) — новой распределённой отказоустойчивой СУБД. Актуально для тех, кто работает с высоконагруженными OLTP-системами и распределёнными базами данных.
Регистрация events.yandex.ru/events/meetings/jun-10/
about:cloud
15 июня. Очередной about:cloud. В это раз поговорим о следующих сервисах: Yandex Managed Service for Kubernetes, Yandex Monitoring, Yandex Instance Groups, Yandex Message Queue, Yandex Serverless Functions.
Регистрация events.yandex.ru/events/meetings/jun-15/

Самое важное про Облако: опыт Skyeng, новые сервисы и линейка процессоров нового поколения


Примерно за месяц мигрировали из AWS в Яндекс.Облако среду разработки для команды из 70 человек. Сразу получили весомую экономию в месяц, а общие затраты на миграцию окупятся уже в этом году. Планируем постепенно расширяться!
Артём Науменко, Руководитель IT-инфраструктуры в Skyeng
Как Skyeng это сделали?


Yandex Vision — компьютерное зрение в Яндекс.Облаке
Новый сервис Yandex Vision распознает текст, определяет людей и их количество на изображении и модерирует визуальный контент вашего сервиса.
Благодаря технологии OCR (Optical Character Recognition) сервис одинаково хорошо определяет текст на сканах документов, фотографиях и рисунках. Yandex Vision поддерживает 46 языков.
Одна страница текста, полученная с помощью Yandex Vision, стоит всего 10 копеек.
cloud.yandex.ru/docs/vision/quickstart

Новые процессоры Intel Xeon Gold (Cascade Lake)
Технологии нового поколения доступны для наших пользователей раньше всех: в консоли Яндекс.Облака вы можете выбрать новые процессоры Intel Cascade Lake при создании ВМ. Они производительнее предыдущей линейки процессоров, при этом дешевле.
Наша самая популярная конфигурация с 2 vCPU, 4 RAM и диском 13 ГБ обойдётся в 1673.89 ₽ в месяц с НДС. Такая же конфигурация на процессорах предыдущей линейки стоит 1740.56 ₽.
hosting.kitchen/yandex-cloud/novye-processory-intel-xeon-cascade-lake-dostupny-uzhe-segodnya-v-yandeksoblake.html

Коротко о важном
Кластеры Apache Hadoop и Apache Spark
Мы запустили Yandex Data Proc — сервис, который помогает разворачивать кластеры Apache Hadoop и Apache Spark в Яндекс.Облаке.
Определите размер кластера, мощность узлов и набор сервисов Apache — Yandex Data Proc сам создаст хосты и настроит их. После создания кластера вы сможете изменять количество и мощности хостов, а также загружать свои приложения и необходимые сервисы Hadoop.
Доступ к новому сервису предоставляется по заявке — заполните её на нашем сайте.
Узнать подробнее про Yandex Data Proc

Yandex DDoS Protection
Встречайте новый компонент сервиса Yandex Virtual Private Cloud — Yandex DDoS Protection.
Мы создали его в партнёрстве Qrator Labs, задействовав внешнюю опорную сеть Qrator. Она мгновенно фильтрует весь входящий трафик, независимо от того, есть атака или нет. Наш сервис обнаруживает самые распространенные DDoS-атаки и SYN-флуд без вашего участия.
Подключить Yandex DDoS Protection

Хабр: архитектура балансировщика в Яндекс.Облаке
Сергей Еланцев, разработчик сервиса Yandex Load Balancer, написал подробную статью про балансировщик нагрузки в Облаке. Он рассказал, как управлять нагрузкой на облачной платформе, каким мы видим идеальный балансировщик и что делаем, чтобы создать такой.
Статья обширная, и мы верим, что она будет вам полезна.
Читать статью на Хабре

Вебинары и видеокурсы

Изменения в предоставлении сервисов Облака



Спасибо за работу с сервисами платформы Яндекс.Облако!
С 1 июня 2019 года в Оферту Яндекс.Облака будут внесены изменения, касающиеся сроков хранения данных клиента в случае приостановки доступа или прекращения договора.
Если у вас возникнут вопросы по работе с платформой, пожалуйста, обратитесь в службу техподдержки.

yandex.ru/legal/cloud_oferta/?lang=ru

Информация об инциденте в Яндекс.Облаке 16 мая 2019 года



Хотим поделиться подробной информацией с нашими пользователями, которые столкнулись с потерей доступа к своим виртуальным машинам и данным.

16 мая были запланированы регулярные технические работы по остановке и удалению виртуальных машин в облаках пользователей, заблокированных из-за неоплаты или нарушения правил использования сервисов Яндекс.Облака. Это стандартная процедура по высвобождению ресурсов Облака.

В 16:35 (MSK) была запущена команда по удалению виртуальных машин согласно сформированному списку. В 16:51 была обнаружена ошибка, и в 16:56 выполнение команды было остановлено в срочном порядке. Выяснилось, что при формировании списка был применен неверный принцип фильтрации, и в список попали активные виртуальные машины. Сейчас мы в процессе расследования ситуации и выяснения деталей.

В результате инцидента были удалены 0,77% от общего числа виртуальных машин и boot-дисков. При этом были затронуты виртуальные машины только в зоне ru-central1-c. Дополнительно созданные диски остались в сохранности. Пользователи, у которых были сделаны снимки дисков, смогли восстановить свои данные.

Мы не считаем это рядовой ситуацией. Для нас важен каждый пользователь, и мы осознаем свою полную ответственность за надежность нашей платформы.

Для предотвращения подобных инцидентов в будущем мы примем следующие меры:
  1. В рамках процедуры блокировок облаков мы строго разделим остановку и удаление виртуальной машины и её дисков — промежуток между этими операциями будет составлять минимум 7 дней.
  2. При удалении диска виртуальной машины будет автоматически создаваться его копия, которая позволит восстановить данные. Подробную информацию о дизайне решения мы сообщим позднее.

Помимо действий с нашей стороны, мы рекомендуем всем нашим пользователям:
  1. Не забывать делать снимки дисков или резервные копии своих данных.
  2. Разделять загрузочные диски и дополнительные диски, предназначенные для хранения данных.
  3. Резервировать критичные для вас сервисы в нескольких зонах доступности.

Мы хотим принести извинения каждому, кого затронул технический сбой в работе Облака. На данный момент наша техническая поддержка работает в формате горячей линии, и мы оперативно помогаем каждому пользователю. В качестве компенсации всем, кого затронул инцидент, будут начислены гранты. Размер гранта будет определен индивидуально для каждого пользователя. Гранты станут доступны в личном кабинете в консоли Облака в течение трёх рабочих дней. Кроме того, для пострадавших пользователей снимки дисков не будут тарифицироваться в течение 90 дней (нулевая тарификация вступит в силу также в течение трёх рабочих дней).

Ян Лещинский,
руководитель платформы Яндекс.Облако

Технические работы (13-15 мая)



Для повышения стабильности DNS и сети в целом мы проведём технические работы в зонах доступности: 13 мая — ru-central1-a, 14 мая — ru-central1-b, 15 мая — ru-central1-c. Работы будут проводиться с 09:00 по 17:00 по Московскому времени. Ожидаемый перерыв сетевой связности во время работ составит не более 10 секунд.
Если у вас возникнут вопросы или проблемы при работе с сервисами после проведения технических работ, пожалуйста, обратитесь в службу технической поддержки. Форма обращения находится в консоли управления. Вы также можете написать в ответ на это письмо. Наши специалисты ответят на ваши вопросы и помогут с решением проблем — по почте или через чат.

С 1 мая снизятся расценки на вычислительные ресурсы прерываемых виртуальных машин




С 1 мая 2019 года для всех пользователей сервиса Yandex Compute Cloud в Яндекс.Облаке снижаются расценки на вычислительные ресурсы прерываемых виртуальных машин. Цены поменяются для виртуальных машин на платформе Intel Broadwell с производительностью 20% vCPU и для виртуальных машин на платформе Intel Cascade Lake с производительностью 20% vCPU и 50% vCPU.

Вот как изменятся расценки:


Цены снизятся почти вдвое. Если вы ещё не знакомы с Yandex Compute Cloud, сейчас самое время попробовать!
Подробное описание тарифов можно найти в нашей документации.

Новые процессоры Intel в Облаке и возможности для экономии



В Yandex Compute Cloud теперь можно создавать виртуальные машины на базе нового поколения процессоров Intel Xeon Gold (Cascade Lake). Благодаря сотрудничеству Яндекса и Intel мы первыми в России предлагаем своим пользователям мощности новых процессоров Intel Xeon Gold среди облачных провайдеров.
Мы протестировали новые процессоры в Облаке и подтвердили, что виртуальные машины на Intel Xeon Gold производительнее, чем ВМ на процессорах предыдущей линейки.
При этом виртуальные машины на базе новых процессоров обойдутся вам дешевле: например, наша самая популярная конфигурация в 2 vCPU, 4 RAM и диском 13 ГБ обойдётся в 1673.89 ₽ в месяц. Такая же конфигурация на процессорах предыдущей линейки стоит 1740.56 ₽.


Вы сможете сэкономить ещё больше, если выберете виртуальную машину с частичной загрузкой ядра — 5%, 20% или 50% vCPU. Например, та же конфигурация ВМ 2 vCPU, 4 RAM и диском 13 ГБ, но с гарантированной долей 20% vCPU будет стоить 1037.98 ₽.


Управляемые базы данных в Облаке теперь тоже доступны по более выгодным ценам. Разверните БД с неполным уровнем производительности хоста (burstable) и используйте их для тестирования и разработки — такие БД стоят от 530 ₽ в месяц.


Подробности о новых процессорах и их возможностях читайте в документации.
cloud.yandex.ru/docs/compute/concepts/vm-platforms
Чтобы работать с ВМ на базе нового поколения процессоров, выбирайте Intel Cascade Lake при создании ВМ в поле «Тип платформы».
cloud.yandex.ru

В общий доступ выходит Instance Groups – компонент для управления группами виртуальных машин




Мы сделали работу в Облаке ещё немного удобнее. Из стадии Preview в общий доступ вышел компонент Yandex Instance Groups. Он упрощает развертывание и управление группами однотипных виртуальных машин.

Вам достаточно указать характеристики и количество виртуальных машин и задать политики, по которым они будут создаваться и восстанавливаться в случае возможного сбоя. Instance Groups самостоятельно проведет развертывание и будет следить, чтобы количество и статус машин в группе соответствовали настроенным политикам. Политики описывают, в каких зонах доступности размещать, каким образом создавать, проверять работоспособность и масштабировать виртуальные машины. Всего вы можете развернуть до 10 групп в одном облаке.

Виртуальные машины внутри группы могут распределяться между разными зонами доступности Яндекс.Облака. Зоны изолированы друг от друга: локальный сбой в одной не повлияет на работоспособность остальных. Распределение по нескольким зонам доступности увеличивает отказоустойчивость приложений и заметно снижает вероятность потери данных. Если сбой всё-таки произошёл, Instance Groups выявит и перезапустит неработоспособную виртуальную машину автоматически.

На этом возможности Instance Groups по обеспечению отказоустойчивости приложений не исчерпываются. Компонент интегрирован с сервисом Yandex Load Balancer) и позволяет использовать группу виртуальных машин в качестве целевой группы сетевого балансировщика нагрузки. Если параметры или состав группы изменятся, балансировщик подстроится автоматически.

Сейчас в Instance Groups действует фиксированная политика масштабирования группы при увеличении или уменьшении нагрузки. В ближайшее время станет доступна функция гибкого автоматического масштабирования.

Обратите внимание: выполнение операций в Instance Groups, таких как создание, обновление и удаление виртуальных машин, возможно только от имени сервисного аккаунта.

Подробности здесь:
Начало работы
Текущие квоты и лимиты
Документация

Управление Apache Hadoop в Облаке, MySQL в общедоступной версии и новые классы хостов




Сегодня у нас три новости о дополнительных инструментах для всех, кто работает с данными. Для распределенного хранения и обработки больших объемов появляется возможность попробовать развертывание кластеров Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака. Тех, кто делает web-проекты, обрадует переход Yandex Managed Service for MySQL в общедоступную версию. А для случаев, когда вам не нужна максимальная производительность виртуального ядра, мы запустили новые классы хостов для кластеров БД. Их использование стоит в 3,5 раза дешевле самого выгодного из прежних вариантов.

Первое событие — запуск нового сервиса Yandex Data Proc, который помогает разворачивать кластеры Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака. При этом пользователь самостоятельно определяет размер кластера, мощность узлов и набор сервисов Apache (Spark, HDFS, YARN, Hive, HBase, Oozie, Sqoop, Flume, Tez, Zeppelin).

Вы можете создавать постоянно запущенные кластеры, а можете создавать их в один клик для временных расчётов и останавливать или удалять по требованию. Данные при этом можно сохранять либо в HDFS поверх сетевых дисков Яндекс.Облака, либо в Object storage. Это даёт гибкие возможности экономии для распределённого хранения и обработки данных.

Вторая новость: запуск новых классов хостов для кластеров БД с частичным использованием vCPU. Для наших пользователей хосты в кластерах Managed Service for PostgreSQL, Managed Service for MySQL, Managed Service for MongoDB и Managed Service for ClickHouse разворачиваются на базе виртуальных машин Yandex Compute Cloud. Эти виртуальные машины могут быть созданы на любой из платформ, которые поддерживает Compute Cloud, а класс хостов определяет вычислительные мощности и объем хранилища, которые выделяются для каждого хоста в кластере.

На практике не каждая решаемая задача требует постоянной гарантии производительности vCPU на 100%. Особенно это актуально для тестовых окружений. На этот случай мы подготовили машины, которые обеспечивают базовый уровень производительности vCPU с вероятностью временного повышения вплоть до 100%. При их использовании стоимость БД для пользователя теперь начинается от 530 рублей.

Полный список доступных конфигураций можно изучить на странице Классы хостов.

И третья новость сервис Yandex Managed Service for MySQL перешел из стадии preview в общедоступную версию. Теперь вам станет легче эксплуатировать шаблонные базы данных, не заботясь об администрировании, включая мониторинг, резервное копирование данных и обновление ПО. Сервис Managed Service for MySQL позволяет создавать базы данных с необходимыми параметрами производительности, масштабировать вычислительные мощности и выделенный объем хранилища для баз данных по мере необходимости, получать журналы работы баз данных. Чтобы начать работу с сервисом, пройдите по ссылке.

Приходите в ближайшую субботу к нам на встречу about: cloud, расскажем подробности, ответим на вопросы про MDB в Яндекс.Облаке!

Запуск нового сервиса компьютерного зрения Yandex Vision для анализа изображений




22 апреля на платформе Яндекс.Облако стал доступен сервис компьютерного зрения Yandex Vision для распознавания информации на изображениях. Теперь вы можете использовать технологии и экспертизу Яндекса в области работы с изображениями для решения собственных задач или разработки новых коммерческих продуктов.

Документальный пример: распознавание текста на картинке с Yandex Vision
Сервис Yandex Vision объединяет технологии OCR (Optical Character Recognition, OCR), автоматическую модерацию контента и определение присутствия человека на изображении.

В качестве источника можно использовать любое изображение скан документа, фотографию, рисунок. При этом необходимо учитывать, что качество распознавания снижается в следующих случаях:
  • наклон текста составляет более 15 градусов;
  • на изображении рукописный текст;
  • использованы художественные шрифты;
  • слово написано сверху вниз;
  • очень крупный текст (одно слово занимает все изображение).

Хороший пример использования технологий Yandex Vision демонстрирует платформа программной роботизации процессов electroNeek. Она в том числе помогает компаниям малого и среднего бизнеса автоматизировать документооборот, исключив из процесса работы с оцифрованными документами человеческий фактор. С помощью Yandex Vision решается задача по доставке распознанных данных в системы. Робот распознаёт документ, далее через настроенную логику производит обработку и ввод данных в нужную систему. После завершения он передаёт отчёт с результатом человеку.

Как отмечает Сергей Юдовский, CEO electroNeek Robotics, Inc.:
Мы внедрили Yandex Vision в нашу платформу для автоматизации бизнес-задач и получили десятикратное ускорение обработки документов, возможность полностью исключить ручной труд при переносе данных системы документооборота. Отдельно стоит отметить высокое качество работы Yandex Vision с текстами на языках стран СНГ — ни одно из представленных на рынке решений по автоматическому распознаванию текста не дает такой точности

Основы работы с Yandex Vision
Начать пользоваться новым инструментом может любой пользователь платформы Яндекс.Облако — для подключения через API достаточно выполнить действия, описанные в руководстве. Учтите, что на данный момент действуют следующие технические ограничения в работе:
  • 10 запросов в секунду
  • 5 распознаваний текста в секунду
  • поддерживаемые форматы файлов: JPEG, PNG
  • 1 Мб — максимальный размер файла
  • 20 мегапикселей — максимальный размер изображения

46 языковых моделей, точность до 96%, страница текста — 10 копеек
Распознавание текста проходит в два этапа: сначала определяется языковая модель, потом производится поиск текста на изображении.

Первым делом вы указываете языки для распознавания, поскольку это напрямую влияет на качество конченого результата. На данный момент представлено 46 языковых моделей. Подробнее об этом можно в разделе Поддерживаемые языки и модели распознавания. Отметим лишь, что если с англо-русской моделью хорошо справляются несколько технологий, присутствующих на рынке, то при работе с языками стран СНГ наши технологии имеют преимущество. Например, для отсканированных документов русский и английский текст распознается Yandex Vision со средней точностью около 96%, казахский — с точностью 94%.

На этапе поиска текста на изображении Yandex Vision вычленяет текст (если он есть на картинке) и группирует по уровням: слова в строки, строки в блоки, блоки в страницы.

Стоимость одной страницы текста, полученной с помощью сервиса Yandex.Vision составляет всего 10 копеек. По сравнению с решениями аналогичного уровня качества наши цены позволяют добиться существенной экономии.

Попробовать YandexVision