Yandex Cloud

В этом выпуске вы узнаете про новые сервисы Облака, которые помогут визуализировать данные в удобных дашбордах и отчётах, подключить защиту от DDoS-атак или организовать мониторинг — собрать метрики о состоянии ваших облачных ресурсов. И это не все новости — подробнее читайте дальше!



Визуализация данных — это просто
Мы в Яндекс.Облаке запустили новый сервис визуализации данных Yandex DataLens. Он позволяет создавать аналитические отчёты и дашборды и делиться ими с коллегами и партнёрами.
Для создания отчётов вы можете использовать данные из разных источников, например, из Яндекс.Метрики или из CSV-файла. Подробнее о том, как работать с Yandex DataLens, читайте в документации. Сервис доступен в версии Preview — оставьте заявку, чтобы использовать его в работе.
cloud.yandex.ru/services/datalens

Новые сервисы в Яндекс.Облаке
Yandex DDoS Protection
Теперь в Яндекс.Облаке вы можете подключить защиту от DDoS-атак для ваших приложений. Защита предоставляется в партнёрстве с Qrator Labs: она сочетает в себе возможности внешней опорной сети Qrator и оборудования, размещённого непосредственно в сети Облака.
Подключить защиту можно при создании виртуальной машины, базы данных или балансировщика нагрузки. Подробнее читайте на сайте, тарифы cloud.yandex.ru/docs/vpc/pricing
Включить защиту от DDoS-атак cloud.yandex.ru/docs/vpc/operations/enable-ddos-protection
Прерываемые ВМ в Yandex Compute Cloud
Для задач тестирования мы добавили возможность создавать прерываемые виртуальные машины (ВМ).
Они дешевле* обычных: ВМ с полным использованием vCPU стоят от 236 рублей с НДС в месяц вместо 708 рублей. А с частичным использованием vCPU — от 136 рублей с НДС в месяц вместо 245 рублей. Прерываемые ВМ работают как обычные, но имеют некоторые ограничения.
Оптимизировать затраты
Yandex Monitoring
Встречайте — долгожданный сервис для сбора метрик о состоянии ваших облачных ресурсов. Он автоматически собирает информацию и позволяет объединить данные из разных каталогов и облаков в одном дашборде.
Сейчас сервис доступен по запросу: подать заявку на доступ можно на сайте.
Узнать больше о Yandex Monitoring cloud.yandex.ru/docs/monitoring/
Yandex Load Balancer
Распределяйте нагрузку и обеспечивайте отказоустойчивость вашего сервиса с Yandex Load Balancer — теперь в общедоступной версии.
Создать и настроить балансировщик cloud.yandex.ru/services/load-balancer
Yandex Managed Service for Redis
Это сервис для создания и управления кластерами баз данных на основе СУБД Redis. Она часто используется для систем анализа контента в реальном времени. Мы запустили общедоступную версию сервиса — пользуйтесь без ограничений. cloud.yandex.ru/services/managed-redis
Начать работу с Yandex Managed Service for Redis cloud.yandex.ru/docs/managed-redis/

Новые функциональности сервисов
Yandex Object Storage
Теперь вы можете настроить время хранения объектов в бакете Object Storage — подробнее про жизненный цикл читайте в документации. cloud.yandex.ru/docs/storage/lifecycles/
Yandex Managed Service for ClickHouse
В консоли управления для Managed Service for ClickHouse появилась возможность подключаться к кластерам ClickHouse и выполнять SQL-запросы. Мы описали работу с SQL-запросами в документации Яндекс.Облака. cloud.yandex.ru/docs/managed-clickhouse/operations/web-sql-query
Сценарии
Теперь вы можете настроить сайт на WordPress быстрее: у нас появился подробный сценарий работы с WordPress. cloud.yandex.ru/docs/solutions/web/wordpress
Создать облачную структуру в Облаке проще с Terraform. Мы описали начало работы с этим инструментом в документации. Подробнее о том, как работать с Terraform — смотрите запись вебинара на Youtube.
cloud.yandex.ru/docs/solutions/infrastructure-management/terraform-quickstart

Вебинары
Инструменты управления инфраструктурой в Яндекс.Облаке:
Посмотреть запись
Как построить отказоустойчивый веб-сервис:
Посмотреть запись

Прекрасные новости! С 15 апреля в Яндекс.Облаке вы можете выбирать новые масштабируемые процессоры Intel Xeon (кодовое имя — Cascade Lake) для своих виртуальных машин. Мы сделали новую линейку процессоров доступной раньше всех в России! Эффективная стоимость использования процессоров новой линейки на платформе Яндекс.Облако будет не выше предыдущего поколения.


Прямо сейчас, в день официального анонса Intel в России, вы уже можете зайти в консоль Яндекс.Облака, и выбрать Cascade Lake как один из возможных вариантов CPU. На базе нового процессора можно создавать виртуальные машины с количеством ядер до 48!
cloud.yandex.ru/docs/compute/concepts/performance-levels

Благодаря программе сотрудничества Яндекс c Intel мы смогли заранее провести испытания новой линейки процессоров. На широком наборе тестов новые процессоры стабильно показывают ускорение от 10% до 90%, в зависимости от теста.

При этом в новых процессорах закрыты известные уязвимости на аппаратном уровне. Также результаты тестов, проведенных на платформе Яндекс.Облака показали, что благодаря новому набору команд AVX512 (Advanced VectorInstructions) и VNNI (Vector Neural Network Instructions) новые процессоры могут в два раза ускорить решение таких популярных для решения в облаках задач как машинное обучение и обработка изображений. На 20%, по сравнению с предыдущим поколением, выросла пропускная способность оперативной памяти.

Попробуйте создать виртуальную машину с процессором нового поколения.
cloud.yandex.ru/docs/compute/quickstart/quick-create-linux

Здравствуйте!
Этот апрель богат мероприятиями. Для удобства мы собрали все события Яндекс.Облака в одном письме. Поспешите — на некоторые из них регистрация закроется в ближайшие дни!
cloud up! 17 апреля
Конференция для компаний-разработчиков. Трансляции не будет.
Регистрация
about:cloud 20 апреля
Речь пойдет о сервисах для работы с базами данных в Яндекс.Облаке.
Регистрация
Регистрация на трансляцию
Митап Яндекс.Облака и Leroy Merlin 23 апреля
Облако расскажет о newSQL базе данных Yandex Database, а Leroy Merlin поделится архитектурными подходами и техническими практиками для интеграционного слоя приложений. Трансляции не будет.
Регистрация
Вебинар о сервисе бизнес-аналитики Yandex DataLens 25 апреля
Руководитель Yandex DataLens Роман Колеченков сделает обзор сервиса и продемонстрирует его возможности.
Регистрация

Сегодня Яндекс.Облако вместе с Qrator Labs представляют Yandex DDoS Protection — новый компонент сервиса Yandex Virtual Private Cloud для защиты от DDoS-атак приложений, размещённых в облачной инфраструктуре.

Yandex DDoS Protection сочетает в себе возможности внешней опорной сети Qrator и оборудования, размещённого непосредственно в сети облака. Площадки фильтрации Qrator, развёрнутые в инфраструктуре Яндекс.Облака, гарантируют полную очистку трафика, генерируемого локально, в национальном сегменте Интернета, от «мусора» и аномалий. Задачу по защите ресурсов облака от атак, трафик которых генерируется в других странах мира, решает основная сеть Qrator, обладающая многотерабитной пропускной способностью и возможностями пакетной обработки большой емкости для мгновенной фильтрации самых распространенных DDoS-атак.

Yandex DDoS Protection подключается в момент создания облачного ресурса и применяется к публичным IP-адресам виртуальных машин, сетевых балансировщиков и хостов баз данных, размещенных в Яндекс.Облаке.

Весь входящий трафик защищаемых ресурсов проходит через узлы фильтрации сети Qrator и анализируется вне зависимости от наличия атаки, после чего очищенный трафик перенаправляется на защищаемый ресурс. Yandex DDoS Protection автоматически «очищает» трафик на 2-м и 3-м уровнях сетевой модели OSI, а также защищает от атак вида SYN-флуд.

Постоянный мониторинг позволяет определить нормальный профиль трафика для каждого ресурса и быстро обнаружить DDoS-атаку практически в реальном времени без вмешательства пользователя.

cloud.yandex.ru/docs/vpc/operations/enable-ddos-protection

Сегодня у нас две новости. Мы в Облаке уделяем много внимания тому, чтобы вы могли не только удобно разворачивать сервисы, но и контролировать процессы. В инфраструктуре очень важны средства мониторинга, их кастомизация и обмен данными с внешними пакетами — чтобы внедрение было простым у любых клиентов.

Представляем новый сервис в составе Облака — Yandex Monitoring, предназначенный для сбора и визуализации метрик. Сервис автоматически собирает метрики облачных ресурсов и предоставляет API для работы с метриками. С помощью сервиса вы можете выгружать метрики ваших облачных ресурсов и визуализировать их в вашей корпоративной системе мониторинга или же наоборот, вы можете загружать в Yandex Monitoring свои метрики с приложений, установленных в Облаке или в вашем локальном дата-центре. Таким образом вы сможете отслеживать состояние облачной и локальной инфраструктуры централизованно в удобной для вас системе. Следите, как взаимодействуют разные ресурсы проекта, сразу регистрируйте и устраняйте аномалии и планируйте работу с учётом наличия мониторинга.

Сейчас Yandex Monitoring находится на стадии preview и не тарифицируется. Подайте заявку на доступ в консоли управления и начните бесплатное тестирование в своём окружении.

Вторая новость: сервисы Yandex Load Balancer и Yandex Managed Service for Redis выходят из стадии Preview и начинают предоставляться в публичном режиме. Это инструменты для создания балансировщиков нагрузки и управляемых баз данных — теперь и на основе СУБД Redis. Ознакомьтесь с тарифами и SLA:

• SLA Load Balancer
• SLA Managed Service for Redis
• Тарифы Load Balancer
• Тарифы Managed Service for Redis

Yandex Object Storage — один из ключевых сервисов Яндекс.Облака, неотъемлемая часть инфраструктуры крупных компаний и надёжное хранилище для решения ежедневных кейсов в многочисленных проектах меньшего масштаба.

Мы обновили сервис и упростили вам управление объектным хранилищем, добавив несколько новых возможностей:

• Метод copy, предназначенный для создания копий объектов. Копирование происходит на стороне сервера с высокой скоростью и надёжностью. Подробности в документации
• Поддержка кеширования данных за счёт пользовательских заголовков Cache-Control (набор директив для кеширования) и Expires (срок устаревания).
• Поддержка response-заголовков. Теперь можно переопределять множество системных заголовков в динамике — для каждого аутентифицированного запроса и (опционально) в связке с pre signed-ссылками.
• Поддержка технологии CORS. С её помощью можно создавать по-настоящему сложные веб-сервисы и регулировать доступ к вашим данным через заголовки Origin. Подробности
• Настройка жизненного цикла объектов в бакете. В любой момент можно создать набор правил, которые будут управлять временем хранения объектов в ваших бакетах. Подробности

Кроме того, мы изменили значения SLA для Yandex Object Storage, показав на практике, что объектное хранилище Облака обладает высокой надёжностью, доступностью и отказоустойчивостью даже с учётом требований больших компаний.

Хорошие новости: Preview-сервисы Yandex Message Queue и Yandex Container Registry стали доступны для тестирования всем желающим — оставлять заявку на получение доступа больше не нужно.

Yandex Message Queue — универсальное масштабируемое решение для обмена сообщений между приложениями. Для работы с YMQ можно использовать популярные инструменты — API сервиса совместим с Amazon SQS API. YMQ подойдёт в качестве средства коммуникации между приложениями — не нужно разрабатывать свой протокол и обрабатывать ошибки получателя. Также это хороший инструмент повышения отказоустойчивости при сбоях отдельных приложений. Когда происходит аварийная остановка, сообщение возвращается в очередь для прочтения другим обработчиком, и сбой никак не отражается на отправителе. С помощью Yandex Message Queue можно выполнять ресурсоёмкие задачи в фоне, вынося длительные задачи в отдельные приложения, и освобождать ресурсы для новых запросов пользователей. Со всеми возможностями Yandex Message Queue можно ознакомиться в документации.

Yandex Container Registry — сервис для хранения, развёртывания и настройки Docker-образов в инфраструктуре Яндекс.Облака. Yandex Container Registry можно использовать в процессе разработки контейнеров. Например, вы можете настроить систему автоматизации для работы с реестром в Yandex Container Registry в рамках процесса непрерывной интеграции. При этом реестры Docker-образов будут размещены в тех же дата-центрах, где развернута ваша облачная инфраструктура, — это гарантирует высокую скорость загрузки и скачивания, а также позволяет избежать расходов на внешний трафик. Для работы с сервисом вам не нужно будет осваивать новые API и инструменты. Вы можете использовать стандартный интерфейс командной строки Docker — сервис совместим с Docker Registry HTTP API V2. Почитать подробнее про Yandex Container Registry можно в документации.

Оба сервиса находятся в стадии Preview и доступны для использования бесплатно.

Яндекс.Облако: все новости платформы


Мы запустили партнёрскую программу
Теперь компании, которые разрабатывают уникальные технологические решения, могут не только использовать облачные сервисы Яндекса, но и размещать свои решения в Yandex Cloud Marketplace. Став партнёром-разработчиком, вы получите грант на тестирование сервиса, сможете пройти бесплатное обучение и получать техническую поддержку.
Есть партнёрская программа для системных интеграторов — подробности на сайте.
cloud.yandex.ru/partners


В Яндекс.Облаке появился блог
Мы будем регулярно рассказывать о новостях платформы, новых возможностях Облака, разбирать кейсы и делиться личным опытом пользователей.


Грант для разработчиков Диалогов Алисы
Создали новый навык для Алисы? Теперь вы можете получить годовой грант на 3000р. на его разработку и развитие. Для этого разместите навык в Облаке и подайте запрос на грант.
tech.yandex.ru/dialogs/alice/doc/ycloud-promo-docpage/

Коротко о важном
Блог Облака: Как настроить управляемую базу ClickHouse с данными для Graphite
ClickHouse можно использовать как хранилище данных Graphite. Из статьи вы узнаете о том, как настроить конфигурацию rollup в ClickHouse и создать таблицы на основе GraphiteMergeTree
hosting.kitchen/yandex-cloud/kak-nastroit-upravlyaemuyu-bazu-clickhouse-s-dannymi-dlya-graphite.html

Хабр: MPLS повсюду. Как устроена сетевая инфраструктура Яндекс.Облака
Мы получаем много вопросов о сетевой инфраструктуре Облака — эта январская статья раскроет ответы на основные из них. В статье мы рассказали, почему в Облаке применяется непопулярная для дата‑центров парадигма MPLS, как мы ей управляем, какие сложные решения нам пришлось принять и какие мониторинги используем.
habr.com/ru/company/yandex/blog/437816/

Пользователи об Облаке
Как перенести сайт на базе WordPress в Яндекс.Облако?
Наш пользователь Олег Иванов написал пошаговую инструкцию о переносе сайта в инфраструктуру Облака: по ссылке вы найдете подробный разбор каждого шага, возможных сложностей и подходов к их решению. Вы можете рассказать свою историю о работе с платформой — присылайте материалы на cloud‑blog@yandex‑team.ru
cloud.yandex.ru/blog/posts/2019/03/wp

Вебинары и видеокурсы

• Kubernetes meetup: запись трансляции об операторах Kubernetes.
• Вебинар: Как построить отказоустойчивый веб‑проект — видеозапись.
• Школа Алисы: Как развернуть навык в Яндекс.Облаке.
• Школа Алисы: Как изменить поведение тестовых навыков в Яндекс.Облаке.
• Курс: Обзор платформы Яндекс.Облако.

Мы постоянно добавляем в Яндекс.Облако новые сервисы и развиваем существующие. В декабре 2018 года мы открыли доступ к инфраструктурным сервисам. С их помощью уже на старте можно было наладить обработку и хранение данных, безопасный доступ и обмен трафиком. В Яндекс.Облаке сразу же стал доступен и набор платформенных сервисов, позволяющих пользоваться проверенными технологиями Яндекса. Мы предоставили управляемые базы данных, API синтеза и распознавания речи и уникальный гибридный перевод. Три месяца спустя мы видим, что правильно оценили готовность рынка — доля потребления платформенных сервисов растёт. Крупные клиенты уже по достоинству оценили простоту и скорость внедрения решений на базе PaaS Яндекс.Облака в коммерческую эксплуатацию.

Посмотрите, какие новые сервисы появились в Яндекс.Облаке после запуска:

Инфраструктурные:

• Yandex Load Balancer — позволяет создавать и настраивать балансировщики для обеспечения отказоустойчивости вашего приложения или для распределения сетевого трафика по облачным ресурсам
• Yandex Instance Groups — компонент сервиса Yandex Compute Cloud, предназначенный для развёртывания и горизонтального масштабирования виртуальных машин
• Yandex Message Queue — универсальное масштабируемое решение для обмена сообщениями между приложениями.
• Yandex Container Registry — сервис для развёртывания Docker-образов контейнеров и управления ими в инфраструктуре Облака.

Платформенные:

• Yandex Managed Service for Redis/MySQL — автоматизирует процесс внедрения и поддержки кластеров баз данных в инфраструктуре Облака. Мы расширили список доступных СУБД с трёх до пяти: помимо ClickHouse, PostgreSQL и MongoDB теперь можно использовать Redis и MySQL.

Новые сервисы на данной стадии не тарифицируются. Получить к ним доступ можно на сайте — при условии, что вы уже являетесь пользователем Облака. Подтверждение доступа придёт в виде письма на email, указанный в настройках консоли.

Хорошие новости: у нас появился официальный Terraform-провайдер — один из самых популярных инструментов управления облачной инфраструктурой.

В Terraform настройка облачной инфраструктуры любого масштаба происходит через создание конфигурационных файлов. Они составляются на JSON-подобном языке HashiCorp Configuration Language (HCL) и отличаются простым в написании и прозрачным синтаксисом.

Terraform стоит рассматривать как альтернативу консоли, API и CLI — у каждого метода есть свои плюсы. Всё зависит от того, как именно вы организовали управление Облаком. По виду HCL-файла легко оценить масштаб и сложность инфраструктуры, узнать основные параметры; добавлять компоненты и перестраивать группы ресурсов не составляет труда. Это могут быть ресурсы любых типов: виртуальные машины, хранилища, базы данных и т. д.

Почитайте в документации Яндекс.Облака, как установить Terraform, настроить его и создать первую конфигурацию. Стандартный грант на тестирование платформы, который активируется при регистрации, позволит вам испытать любые инструменты управления и выбрать один или несколько под разные задачи.