Yandex Cloud

Примерно за месяц мигрировали из AWS в Яндекс.Облако среду разработки для команды из 70 человек. Сразу получили весомую экономию в месяц, а общие затраты на миграцию окупятся уже в этом году. Планируем постепенно расширяться!

Артём Науменко, Руководитель IT-инфраструктуры в Skyeng
Как Skyeng это сделали?


Yandex Vision — компьютерное зрение в Яндекс.Облаке
Новый сервис Yandex Vision распознает текст, определяет людей и их количество на изображении и модерирует визуальный контент вашего сервиса.
Благодаря технологии OCR (Optical Character Recognition) сервис одинаково хорошо определяет текст на сканах документов, фотографиях и рисунках. Yandex Vision поддерживает 46 языков.
Одна страница текста, полученная с помощью Yandex Vision, стоит всего 10 копеек.
cloud.yandex.ru/docs/vision/quickstart

Новые процессоры Intel Xeon Gold (Cascade Lake)
Технологии нового поколения доступны для наших пользователей раньше всех: в консоли Яндекс.Облака вы можете выбрать новые процессоры Intel Cascade Lake при создании ВМ. Они производительнее предыдущей линейки процессоров, при этом дешевле.
Наша самая популярная конфигурация с 2 vCPU, 4 RAM и диском 13 ГБ обойдётся в 1673.89 ₽ в месяц с НДС. Такая же конфигурация на процессорах предыдущей линейки стоит 1740.56 ₽.
hosting.kitchen/yandex-cloud/novye-processory-intel-xeon-cascade-lake-dostupny-uzhe-segodnya-v-yandeksoblake.html

Коротко о важном
Кластеры Apache Hadoop и Apache Spark
Мы запустили Yandex Data Proc — сервис, который помогает разворачивать кластеры Apache Hadoop и Apache Spark в Яндекс.Облаке.
Определите размер кластера, мощность узлов и набор сервисов Apache — Yandex Data Proc сам создаст хосты и настроит их. После создания кластера вы сможете изменять количество и мощности хостов, а также загружать свои приложения и необходимые сервисы Hadoop.
Доступ к новому сервису предоставляется по заявке — заполните её на нашем сайте.
Узнать подробнее про Yandex Data Proc

Yandex DDoS Protection
Встречайте новый компонент сервиса Yandex Virtual Private Cloud — Yandex DDoS Protection.
Мы создали его в партнёрстве Qrator Labs, задействовав внешнюю опорную сеть Qrator. Она мгновенно фильтрует весь входящий трафик, независимо от того, есть атака или нет. Наш сервис обнаруживает самые распространенные DDoS-атаки и SYN-флуд без вашего участия.
Подключить Yandex DDoS Protection

Хабр: архитектура балансировщика в Яндекс.Облаке
Сергей Еланцев, разработчик сервиса Yandex Load Balancer, написал подробную статью про балансировщик нагрузки в Облаке. Он рассказал, как управлять нагрузкой на облачной платформе, каким мы видим идеальный балансировщик и что делаем, чтобы создать такой.
Статья обширная, и мы верим, что она будет вам полезна.
Читать статью на Хабре

Вебинары и видеокурсы

• Запись встречи about.cloud: Устройство платформы баз данных Облака.
• Вебинар про Yandex DataLens: визуализацию и анализ данных в облаке — видеозапись.

Спасибо за работу с сервисами платформы Яндекс.Облако!
С 1 июня 2019 года в Оферту Яндекс.Облака будут внесены изменения, касающиеся сроков хранения данных клиента в случае приостановки доступа или прекращения договора.
Если у вас возникнут вопросы по работе с платформой, пожалуйста, обратитесь в службу техподдержки.

yandex.ru/legal/cloud_oferta/?lang=ru

Хотим поделиться подробной информацией с нашими пользователями, которые столкнулись с потерей доступа к своим виртуальным машинам и данным.

16 мая были запланированы регулярные технические работы по остановке и удалению виртуальных машин в облаках пользователей, заблокированных из-за неоплаты или нарушения правил использования сервисов Яндекс.Облака. Это стандартная процедура по высвобождению ресурсов Облака.

В 16:35 (MSK) была запущена команда по удалению виртуальных машин согласно сформированному списку. В 16:51 была обнаружена ошибка, и в 16:56 выполнение команды было остановлено в срочном порядке. Выяснилось, что при формировании списка был применен неверный принцип фильтрации, и в список попали активные виртуальные машины. Сейчас мы в процессе расследования ситуации и выяснения деталей.

В результате инцидента были удалены 0,77% от общего числа виртуальных машин и boot-дисков. При этом были затронуты виртуальные машины только в зоне ru-central1-c. Дополнительно созданные диски остались в сохранности. Пользователи, у которых были сделаны снимки дисков, смогли восстановить свои данные.

Мы не считаем это рядовой ситуацией. Для нас важен каждый пользователь, и мы осознаем свою полную ответственность за надежность нашей платформы.

Для предотвращения подобных инцидентов в будущем мы примем следующие меры:

1. В рамках процедуры блокировок облаков мы строго разделим остановку и удаление виртуальной машины и её дисков — промежуток между этими операциями будет составлять минимум 7 дней.
2. При удалении диска виртуальной машины будет автоматически создаваться его копия, которая позволит восстановить данные. Подробную информацию о дизайне решения мы сообщим позднее.

Помимо действий с нашей стороны, мы рекомендуем всем нашим пользователям:

1. Не забывать делать снимки дисков или резервные копии своих данных.
2. Разделять загрузочные диски и дополнительные диски, предназначенные для хранения данных.
3. Резервировать критичные для вас сервисы в нескольких зонах доступности.

Мы хотим принести извинения каждому, кого затронул технический сбой в работе Облака. На данный момент наша техническая поддержка работает в формате горячей линии, и мы оперативно помогаем каждому пользователю. В качестве компенсации всем, кого затронул инцидент, будут начислены гранты. Размер гранта будет определен индивидуально для каждого пользователя. Гранты станут доступны в личном кабинете в консоли Облака в течение трёх рабочих дней. Кроме того, для пострадавших пользователей снимки дисков не будут тарифицироваться в течение 90 дней (нулевая тарификация вступит в силу также в течение трёх рабочих дней).

Ян Лещинский,
руководитель платформы Яндекс.Облако

Для повышения стабильности DNS и сети в целом мы проведём технические работы в зонах доступности: 13 мая — ru-central1-a, 14 мая — ru-central1-b, 15 мая — ru-central1-c. Работы будут проводиться с 09:00 по 17:00 по Московскому времени. Ожидаемый перерыв сетевой связности во время работ составит не более 10 секунд.
Если у вас возникнут вопросы или проблемы при работе с сервисами после проведения технических работ, пожалуйста, обратитесь в службу технической поддержки. Форма обращения находится в консоли управления. Вы также можете написать в ответ на это письмо. Наши специалисты ответят на ваши вопросы и помогут с решением проблем — по почте или через чат.

С 1 мая 2019 года для всех пользователей сервиса Yandex Compute Cloud в Яндекс.Облаке снижаются расценки на вычислительные ресурсы прерываемых виртуальных машин. Цены поменяются для виртуальных машин на платформе Intel Broadwell с производительностью 20% vCPU и для виртуальных машин на платформе Intel Cascade Lake с производительностью 20% vCPU и 50% vCPU.

Вот как изменятся расценки:


Цены снизятся почти вдвое. Если вы ещё не знакомы с Yandex Compute Cloud, сейчас самое время попробовать!
Подробное описание тарифов можно найти в нашей документации.

В Yandex Compute Cloud теперь можно создавать виртуальные машины на базе нового поколения процессоров Intel Xeon Gold (Cascade Lake). Благодаря сотрудничеству Яндекса и Intel мы первыми в России предлагаем своим пользователям мощности новых процессоров Intel Xeon Gold среди облачных провайдеров.
Мы протестировали новые процессоры в Облаке и подтвердили, что виртуальные машины на Intel Xeon Gold производительнее, чем ВМ на процессорах предыдущей линейки.
При этом виртуальные машины на базе новых процессоров обойдутся вам дешевле: например, наша самая популярная конфигурация в 2 vCPU, 4 RAM и диском 13 ГБ обойдётся в 1673.89 ₽ в месяц. Такая же конфигурация на процессорах предыдущей линейки стоит 1740.56 ₽.


Вы сможете сэкономить ещё больше, если выберете виртуальную машину с частичной загрузкой ядра — 5%, 20% или 50% vCPU. Например, та же конфигурация ВМ 2 vCPU, 4 RAM и диском 13 ГБ, но с гарантированной долей 20% vCPU будет стоить 1037.98 ₽.


Управляемые базы данных в Облаке теперь тоже доступны по более выгодным ценам. Разверните БД с неполным уровнем производительности хоста (burstable) и используйте их для тестирования и разработки — такие БД стоят от 530 ₽ в месяц.


Подробности о новых процессорах и их возможностях читайте в документации.
cloud.yandex.ru/docs/compute/concepts/vm-platforms
Чтобы работать с ВМ на базе нового поколения процессоров, выбирайте Intel Cascade Lake при создании ВМ в поле «Тип платформы».
cloud.yandex.ru

Мы сделали работу в Облаке ещё немного удобнее. Из стадии Preview в общий доступ вышел компонент Yandex Instance Groups. Он упрощает развертывание и управление группами однотипных виртуальных машин.

Вам достаточно указать характеристики и количество виртуальных машин и задать политики, по которым они будут создаваться и восстанавливаться в случае возможного сбоя. Instance Groups самостоятельно проведет развертывание и будет следить, чтобы количество и статус машин в группе соответствовали настроенным политикам. Политики описывают, в каких зонах доступности размещать, каким образом создавать, проверять работоспособность и масштабировать виртуальные машины. Всего вы можете развернуть до 10 групп в одном облаке.

Виртуальные машины внутри группы могут распределяться между разными зонами доступности Яндекс.Облака. Зоны изолированы друг от друга: локальный сбой в одной не повлияет на работоспособность остальных. Распределение по нескольким зонам доступности увеличивает отказоустойчивость приложений и заметно снижает вероятность потери данных. Если сбой всё-таки произошёл, Instance Groups выявит и перезапустит неработоспособную виртуальную машину автоматически.

На этом возможности Instance Groups по обеспечению отказоустойчивости приложений не исчерпываются. Компонент интегрирован с сервисом Yandex Load Balancer) и позволяет использовать группу виртуальных машин в качестве целевой группы сетевого балансировщика нагрузки. Если параметры или состав группы изменятся, балансировщик подстроится автоматически.

Сейчас в Instance Groups действует фиксированная политика масштабирования группы при увеличении или уменьшении нагрузки. В ближайшее время станет доступна функция гибкого автоматического масштабирования.

Обратите внимание: выполнение операций в Instance Groups, таких как создание, обновление и удаление виртуальных машин, возможно только от имени сервисного аккаунта.

Подробности здесь:
Начало работы
Текущие квоты и лимиты
Документация

Сегодня у нас три новости о дополнительных инструментах для всех, кто работает с данными. Для распределенного хранения и обработки больших объемов появляется возможность попробовать развертывание кластеров Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака. Тех, кто делает web-проекты, обрадует переход Yandex Managed Service for MySQL в общедоступную версию. А для случаев, когда вам не нужна максимальная производительность виртуального ядра, мы запустили новые классы хостов для кластеров БД. Их использование стоит в 3,5 раза дешевле самого выгодного из прежних вариантов.

Первое событие — запуск нового сервиса Yandex Data Proc, который помогает разворачивать кластеры Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака. При этом пользователь самостоятельно определяет размер кластера, мощность узлов и набор сервисов Apache (Spark, HDFS, YARN, Hive, HBase, Oozie, Sqoop, Flume, Tez, Zeppelin).

Вы можете создавать постоянно запущенные кластеры, а можете создавать их в один клик для временных расчётов и останавливать или удалять по требованию. Данные при этом можно сохранять либо в HDFS поверх сетевых дисков Яндекс.Облака, либо в Object storage. Это даёт гибкие возможности экономии для распределённого хранения и обработки данных.

Вторая новость: запуск новых классов хостов для кластеров БД с частичным использованием vCPU. Для наших пользователей хосты в кластерах Managed Service for PostgreSQL, Managed Service for MySQL, Managed Service for MongoDB и Managed Service for ClickHouse разворачиваются на базе виртуальных машин Yandex Compute Cloud. Эти виртуальные машины могут быть созданы на любой из платформ, которые поддерживает Compute Cloud, а класс хостов определяет вычислительные мощности и объем хранилища, которые выделяются для каждого хоста в кластере.

На практике не каждая решаемая задача требует постоянной гарантии производительности vCPU на 100%. Особенно это актуально для тестовых окружений. На этот случай мы подготовили машины, которые обеспечивают базовый уровень производительности vCPU с вероятностью временного повышения вплоть до 100%. При их использовании стоимость БД для пользователя теперь начинается от 530 рублей.

Полный список доступных конфигураций можно изучить на странице Классы хостов.

И третья новость сервис Yandex Managed Service for MySQL перешел из стадии preview в общедоступную версию. Теперь вам станет легче эксплуатировать шаблонные базы данных, не заботясь об администрировании, включая мониторинг, резервное копирование данных и обновление ПО. Сервис Managed Service for MySQL позволяет создавать базы данных с необходимыми параметрами производительности, масштабировать вычислительные мощности и выделенный объем хранилища для баз данных по мере необходимости, получать журналы работы баз данных. Чтобы начать работу с сервисом, пройдите по ссылке.

Приходите в ближайшую субботу к нам на встречу about: cloud, расскажем подробности, ответим на вопросы про MDB в Яндекс.Облаке!

22 апреля на платформе Яндекс.Облако стал доступен сервис компьютерного зрения Yandex Vision для распознавания информации на изображениях. Теперь вы можете использовать технологии и экспертизу Яндекса в области работы с изображениями для решения собственных задач или разработки новых коммерческих продуктов.

Документальный пример: распознавание текста на картинке с Yandex Vision
Сервис Yandex Vision объединяет технологии OCR (Optical Character Recognition, OCR), автоматическую модерацию контента и определение присутствия человека на изображении.

В качестве источника можно использовать любое изображение скан документа, фотографию, рисунок. При этом необходимо учитывать, что качество распознавания снижается в следующих случаях:

• наклон текста составляет более 15 градусов;
• на изображении рукописный текст;
• использованы художественные шрифты;
• слово написано сверху вниз;
• очень крупный текст (одно слово занимает все изображение).

Хороший пример использования технологий Yandex Vision демонстрирует платформа программной роботизации процессов electroNeek. Она в том числе помогает компаниям малого и среднего бизнеса автоматизировать документооборот, исключив из процесса работы с оцифрованными документами человеческий фактор. С помощью Yandex Vision решается задача по доставке распознанных данных в системы. Робот распознаёт документ, далее через настроенную логику производит обработку и ввод данных в нужную систему. После завершения он передаёт отчёт с результатом человеку.

Как отмечает Сергей Юдовский, CEO electroNeek Robotics, Inc.:

Мы внедрили Yandex Vision в нашу платформу для автоматизации бизнес-задач и получили десятикратное ускорение обработки документов, возможность полностью исключить ручной труд при переносе данных системы документооборота. Отдельно стоит отметить высокое качество работы Yandex Vision с текстами на языках стран СНГ — ни одно из представленных на рынке решений по автоматическому распознаванию текста не дает такой точности

Основы работы с Yandex Vision
Начать пользоваться новым инструментом может любой пользователь платформы Яндекс.Облако — для подключения через API достаточно выполнить действия, описанные в руководстве. Учтите, что на данный момент действуют следующие технические ограничения в работе:

• 10 запросов в секунду
• 5 распознаваний текста в секунду
• поддерживаемые форматы файлов: JPEG, PNG
• 1 Мб — максимальный размер файла
• 20 мегапикселей — максимальный размер изображения

46 языковых моделей, точность до 96%, страница текста — 10 копеек
Распознавание текста проходит в два этапа: сначала определяется языковая модель, потом производится поиск текста на изображении.

Первым делом вы указываете языки для распознавания, поскольку это напрямую влияет на качество конченого результата. На данный момент представлено 46 языковых моделей. Подробнее об этом можно в разделе Поддерживаемые языки и модели распознавания. Отметим лишь, что если с англо-русской моделью хорошо справляются несколько технологий, присутствующих на рынке, то при работе с языками стран СНГ наши технологии имеют преимущество. Например, для отсканированных документов русский и английский текст распознается Yandex Vision со средней точностью около 96%, казахский — с точностью 94%.

На этапе поиска текста на изображении Yandex Vision вычленяет текст (если он есть на картинке) и группирует по уровням: слова в строки, строки в блоки, блоки в страницы.

Стоимость одной страницы текста, полученной с помощью сервиса Yandex.Vision составляет всего 10 копеек. По сравнению с решениями аналогичного уровня качества наши цены позволяют добиться существенной экономии.

Попробовать YandexVision

О Skyeng
Skyeng — крупнейшая российская онлайн-школа английского языка, входящая в топ-20 IT-компаний России по версии Forbes. Со школой сотрудничают 5,8 тысяч высококвалифицированных педагогов, в ней занимается более 64 тысяч учеников, со времени основания проведено уже 5 миллионов уроков. Занятия проводятся на собственной web-платформе Vimbox с использованием технологий искусственного интеллекта и Big Data: она обеспечивает видеосвязь между студентом и преподавателем, а также хранит весь образовательный контент. За обучение «на ходу» отвечает мобильное приложение Skyeng.


Большая часть решений, используемых школой, разработаны внутри компании. Это связано с инновационностью Skyeng: аналогов просто нет. Однако, по словам Артёма Науменко, руководителя IT-инфраструктуры компании, «изобретать велосипеды» в школе не принято. «Если то, что нам нужно, уже есть и его можно купить, мы купим, а силы потратим на разработку своего продукта, — говорит специалист. — В частности, если мы находим облачный сервис, предлагающий нужную нам функциональность, мы всегда его тестируем, и если все хорошо, то покупаем и пользуемся». Одним из таких нужных сервисов стала платформа Яндекс.Облако.

Проблема: дисковый кредит и низкая скорость
Разработкой решений для экосистемы школы занимается более 80 программистов. У каждого разработчика есть своя облачная копия всей обучающей платформы. Типичный тестовый сервер — 2 ядра CPU, 8 ГБ RAM, 50 ГБ SSD.

Раньше все эти серверы располагались в Amazon Web Services (инстанс типа t2.medium в регионе eu-central-1). «Долгое время нас всё устраивало, — говорит Артём Науменко. — У Amazon удобный сервис RDS, предоставляющий возможность работать с такими СУБД, как MySQL и PostgreSQL, а также облачный Elasticsearch. Собственно, наши рабочие серверы с высокими требованиями к отказоустойчивости по-прежнему остаются там. Но вот с тестовыми серверами возникли определённые проблемы».

Архитектура информационной системы Skyeng — сервисная. «Сейчас у нас порядка 50 сервисов, — рассказывает Артём Науменко, — их число растёт, от серверов требуется все больше ресурсов, мы начали упираться в дисковый кредит — количество операций с диском за час. Разработчики страдали». Тарифный план представлял каждому серверу 3 IOPS/ГБ, т. е. всего 150 операций с диском в секунду.

У AWS нельзя изменить параметры дискового кредита, не увеличив объём самого SSD. А переход на инстансы типа C без дисковых кредитов выливается в двукратное увеличение цены.

Некоторые проблемы создавал довольно большой пинг до европейских серверов. «У нас почти все разработчики работают удалённо, — говорит Артём Науменко. — Средний пинг до серверов составлял 100 мс, из Москвы — 50 мс. При использовании удалённого xdebug задержки ощущались».

«Когда узнали, что Яндекс предлагает такие же серверы на 30% дешевле и без ограничения по дисковым операциям, конечно, захотели попробовать», — делится Артём Науменко.

Решение в Яндекс.Облаке
Поскольку на момент переезда Яндекс.Облако только запустилось, среди доступных сервисов было только два подходящих: Managed Service for PostgreSQL и Сompute Сloud. «Но первое нам не подошло, потому что у Яндекс.Облаке десятая версия PostgreSQL, а у нас 9.6, — говорит Артём Науменко. — Решили вручную поднимать базы и Elasticsearch».


Пинг до Москвы уменьшился до 5 мс, средний — до 50, что значительно облегчило разработчикам использование пошагового дебага.

Появилась возможность менять отдельные параметры сервера. «У нас могут быть разные запросы, не только по диску, — рассказывает Артём Науменко. — Например, для каких-то задач может потребоваться увеличить память. В AWS при этом нужно было добавлять ещё и производительность CPU, в Яндекс.Облаке мы можем получить ровно то, что нам необходимо».

Результат: быстрый «переезд» и экономия
Процесс переноса серверов занял около месяца:

• Подняли базы данных PostgreSQL, MySQL, Elasticsearch;
• Сделали образ одного сервера разработчика (тестинга);
• С помощью Terraform размножили этот тестинг на 70 разработчиков;
• Залили 70 копий баз данных во все базы.

Сейчас в Яндекс.Облаке у Skyeng уже 86 виртуальных машин и отдельные серверы с PostgreSQL, MySQL, Elasticsearch, Prometheus и VPN шлюз.

«За счет переезда в Яндекс.Облако мы экономим около 60 тысяч рублей в месяц по сравнению с тем, что у нас было, — говорит Артём Науменко. — Если же сравнить с инстансами type C, то получится 200-300 тысяч. К концу года, с учётом планируемого расширения штата разработчиков, мы полностью окупим затраты на перенос».


Артём Науменко, руководитель IT-инфраструктуры компании Skyeng. Выступление на конференции cloud up!

Специалист отмечает, что пока в Яндекс.Облаке не так много сервисов, но их количество быстро растёт: на днях появился сервис управляемой базы данных MySQL. «Если картина с отсутствием отказов и даунтаймов сохранится, вполне возможно, что в будущем попробуем перенести в Яндекс.Облако что-то более требовательное к надежности», — заключает Артём Науменко.