Yandex Cloud

Хорошие новости: Preview-сервисы Yandex Message Queue и Yandex Container Registry стали доступны для тестирования всем желающим — оставлять заявку на получение доступа больше не нужно.

Yandex Message Queue — универсальное масштабируемое решение для обмена сообщений между приложениями. Для работы с YMQ можно использовать популярные инструменты — API сервиса совместим с Amazon SQS API. YMQ подойдёт в качестве средства коммуникации между приложениями — не нужно разрабатывать свой протокол и обрабатывать ошибки получателя. Также это хороший инструмент повышения отказоустойчивости при сбоях отдельных приложений. Когда происходит аварийная остановка, сообщение возвращается в очередь для прочтения другим обработчиком, и сбой никак не отражается на отправителе. С помощью Yandex Message Queue можно выполнять ресурсоёмкие задачи в фоне, вынося длительные задачи в отдельные приложения, и освобождать ресурсы для новых запросов пользователей. Со всеми возможностями Yandex Message Queue можно ознакомиться в документации.

Yandex Container Registry — сервис для хранения, развёртывания и настройки Docker-образов в инфраструктуре Яндекс.Облака. Yandex Container Registry можно использовать в процессе разработки контейнеров. Например, вы можете настроить систему автоматизации для работы с реестром в Yandex Container Registry в рамках процесса непрерывной интеграции. При этом реестры Docker-образов будут размещены в тех же дата-центрах, где развернута ваша облачная инфраструктура, — это гарантирует высокую скорость загрузки и скачивания, а также позволяет избежать расходов на внешний трафик. Для работы с сервисом вам не нужно будет осваивать новые API и инструменты. Вы можете использовать стандартный интерфейс командной строки Docker — сервис совместим с Docker Registry HTTP API V2. Почитать подробнее про Yandex Container Registry можно в документации.

Оба сервиса находятся в стадии Preview и доступны для использования бесплатно.

Яндекс.Облако: все новости платформы


Мы запустили партнёрскую программу
Теперь компании, которые разрабатывают уникальные технологические решения, могут не только использовать облачные сервисы Яндекса, но и размещать свои решения в Yandex Cloud Marketplace. Став партнёром-разработчиком, вы получите грант на тестирование сервиса, сможете пройти бесплатное обучение и получать техническую поддержку.
Есть партнёрская программа для системных интеграторов — подробности на сайте.
cloud.yandex.ru/partners


В Яндекс.Облаке появился блог
Мы будем регулярно рассказывать о новостях платформы, новых возможностях Облака, разбирать кейсы и делиться личным опытом пользователей.


Грант для разработчиков Диалогов Алисы
Создали новый навык для Алисы? Теперь вы можете получить годовой грант на 3000р. на его разработку и развитие. Для этого разместите навык в Облаке и подайте запрос на грант.
tech.yandex.ru/dialogs/alice/doc/ycloud-promo-docpage/

Коротко о важном
Блог Облака: Как настроить управляемую базу ClickHouse с данными для Graphite
ClickHouse можно использовать как хранилище данных Graphite. Из статьи вы узнаете о том, как настроить конфигурацию rollup в ClickHouse и создать таблицы на основе GraphiteMergeTree
hosting.kitchen/yandex-cloud/kak-nastroit-upravlyaemuyu-bazu-clickhouse-s-dannymi-dlya-graphite.html

Хабр: MPLS повсюду. Как устроена сетевая инфраструктура Яндекс.Облака
Мы получаем много вопросов о сетевой инфраструктуре Облака — эта январская статья раскроет ответы на основные из них. В статье мы рассказали, почему в Облаке применяется непопулярная для дата‑центров парадигма MPLS, как мы ей управляем, какие сложные решения нам пришлось принять и какие мониторинги используем.
habr.com/ru/company/yandex/blog/437816/

Пользователи об Облаке
Как перенести сайт на базе WordPress в Яндекс.Облако?
Наш пользователь Олег Иванов написал пошаговую инструкцию о переносе сайта в инфраструктуру Облака: по ссылке вы найдете подробный разбор каждого шага, возможных сложностей и подходов к их решению. Вы можете рассказать свою историю о работе с платформой — присылайте материалы на cloud‑blog@yandex‑team.ru
cloud.yandex.ru/blog/posts/2019/03/wp

Вебинары и видеокурсы

• Kubernetes meetup: запись трансляции об операторах Kubernetes.
• Вебинар: Как построить отказоустойчивый веб‑проект — видеозапись.
• Школа Алисы: Как развернуть навык в Яндекс.Облаке.
• Школа Алисы: Как изменить поведение тестовых навыков в Яндекс.Облаке.
• Курс: Обзор платформы Яндекс.Облако.

Мы постоянно добавляем в Яндекс.Облако новые сервисы и развиваем существующие. В декабре 2018 года мы открыли доступ к инфраструктурным сервисам. С их помощью уже на старте можно было наладить обработку и хранение данных, безопасный доступ и обмен трафиком. В Яндекс.Облаке сразу же стал доступен и набор платформенных сервисов, позволяющих пользоваться проверенными технологиями Яндекса. Мы предоставили управляемые базы данных, API синтеза и распознавания речи и уникальный гибридный перевод. Три месяца спустя мы видим, что правильно оценили готовность рынка — доля потребления платформенных сервисов растёт. Крупные клиенты уже по достоинству оценили простоту и скорость внедрения решений на базе PaaS Яндекс.Облака в коммерческую эксплуатацию.

Посмотрите, какие новые сервисы появились в Яндекс.Облаке после запуска:

Инфраструктурные:

• Yandex Load Balancer — позволяет создавать и настраивать балансировщики для обеспечения отказоустойчивости вашего приложения или для распределения сетевого трафика по облачным ресурсам
• Yandex Instance Groups — компонент сервиса Yandex Compute Cloud, предназначенный для развёртывания и горизонтального масштабирования виртуальных машин
• Yandex Message Queue — универсальное масштабируемое решение для обмена сообщениями между приложениями.
• Yandex Container Registry — сервис для развёртывания Docker-образов контейнеров и управления ими в инфраструктуре Облака.

Платформенные:

• Yandex Managed Service for Redis/MySQL — автоматизирует процесс внедрения и поддержки кластеров баз данных в инфраструктуре Облака. Мы расширили список доступных СУБД с трёх до пяти: помимо ClickHouse, PostgreSQL и MongoDB теперь можно использовать Redis и MySQL.

Новые сервисы на данной стадии не тарифицируются. Получить к ним доступ можно на сайте — при условии, что вы уже являетесь пользователем Облака. Подтверждение доступа придёт в виде письма на email, указанный в настройках консоли.

Хорошие новости: у нас появился официальный Terraform-провайдер — один из самых популярных инструментов управления облачной инфраструктурой.

В Terraform настройка облачной инфраструктуры любого масштаба происходит через создание конфигурационных файлов. Они составляются на JSON-подобном языке HashiCorp Configuration Language (HCL) и отличаются простым в написании и прозрачным синтаксисом.

Terraform стоит рассматривать как альтернативу консоли, API и CLI — у каждого метода есть свои плюсы. Всё зависит от того, как именно вы организовали управление Облаком. По виду HCL-файла легко оценить масштаб и сложность инфраструктуры, узнать основные параметры; добавлять компоненты и перестраивать группы ресурсов не составляет труда. Это могут быть ресурсы любых типов: виртуальные машины, хранилища, базы данных и т. д.

Почитайте в документации Яндекс.Облака, как установить Terraform, настроить его и создать первую конфигурацию. Стандартный грант на тестирование платформы, который активируется при регистрации, позволит вам испытать любые инструменты управления и выбрать один или несколько под разные задачи.

При развитии Яндекс.Облака мы, с одной стороны, наращиваем функциональность самой платформы, а с другой — следим, чтобы компоненты было несложно интегрировать с внешними продуктами. Graphite — пример ПО, лёгкость интеграции с которым является важным свойством баз данных Облака. Это библиотека с открытым кодом для хранения и визуализации метрик.

Graphite удобно настроить так, чтобы данные хранились в столбцовой аналитической базе ClickHouse. Специально для этого разработан один из множества движков — GraphiteMergeTree. Он лучше всего подходит для прореживания и агрегирования (либо усреднения) содержимого БД. Саму базу полезно разместить в Яндекс.Облаке через платформенный сервис Yandex Managed Service for ClickHouse. Тогда её не потребуется обслуживать и обновлять — все подобные функции сервис возьмёт на себя.

В этом посте мы опишем процесс настройки Yandex Managed Service for ClickHouse специально под Graphite.

1. Регистрация конфигурации rollup в ClickHouse
Создание конфигурации rollup в существующем кластере Managed Service for Clickhouse можно произвести через CLI или API.

CLI
Если вы выбрали интерфейс командной строки, подготовьте yaml-файл с описанием параметров rollup, например:

graphite-rollup.yaml:
          name: test_rollup
patterns:    
  - regexp: click_cost
    function: max
    retention:
      - age: 86400
        precision: 60

Указанные в файле параметры соответствуют конфигурации, описанной в документации.

Далее выполните команду, указав ID кластера ClickHouse и имя файла конфигурации, созданного на предыдущем шаге:

$ yc managed-clickhouse cluster add-graphite-rollup <CLUSTER_ID> --rollup-file-name graphite_rollup.yaml

API
Используйте метод update для кластера ClickHouse, передав в теле запроса требуемые параметры rollup:

"graphiteRollup": [
          {
            "name": "test_rollup",
            "patterns": [
              {
                "regexp": "click_cost",
                "function": "max",
                "retention": [
                  {
                    "age": "86400",
                    "precision": "60"
                  }
                ]
              }
            ]
          }
        ]

2. Создание таблицы на основе GraphiteMergeTree
Подключитесь к хосту ClickHouse и выполните запрос на создание таблицы на основе GraphiteMergeTree. В качестве параметра передайте имя секции rollup, описанной на предыдущем этапе. Вот пример:

CREATE TABLE GraphiteTable
(        
    metric String, 
    time DateTime, 
    value Int64, 
    version UInt64
)
ENGINE = GraphiteMergeTree('test_rollup')
PARTITION BY time
ORDER BY cityHash64(version, metric)

Теперь можно настроить Graphite для сохранения значений метрик на выбранном хосте ClickHouse. При этом прореживание данных будет проводиться автоматически средствами сервера ClickHouse в соответствии с параметрами, которые вы указали.

Благодарим вас за работу с сервисами платформы Яндекс.Облако!
В этом письме мы собрали все изменения в условиях использования Облака, которые вступят в силу и будут опубликованы с 1 апреля 2019 года.

Краткое описание изменений*:

1. Добавлена ссылка на Соглашение об обработке данных.
2. Обновлены условия информирования о запуске новых сервисов или нового функционала сервисов.
3. Сокращен срок хранения данных после прекращения договора с 60 дней до 30 дней.
4. Обновлены Специальные условия использования сервисов по ссылке: будут описаны стадии Превью и Общедоступная версия.
5. Дополнена информация об уровнях обслуживания сервисов управления данными по ссылке.
6. Дополнены условия обработки данных, содержащихся в Запросах к сервисам Yandex Speechkit и Yandex Translate.

*Изменения в пунктах 1, 2 и 3 будут опубликованы в Оферте Облака.

Чтобы упростить вам настройку, мы составили пошаговые инструкции по решению самых распространённых задач в Облаке:

Как построить веб-сервис.
Пошаговая инструкция cloud.yandex.ru/docs/solutions/web/

Как организовать хранение архива.
Пошаговая инструкция cloud.yandex.ru/docs/solutions/archive/
В документации также опубликованы Справочники API сервисов Яндекс.Облака.
cloud.yandex.ru/docs/overview/api
За любой консультацией обращайтесь в службу технической поддержки. Форма обращения находится в консоли управления. Наши специалисты ответят на ваши вопросы и помогут с решением проблем — по почте или через чат.

Мы запускаем дайджест новостей о сервисах платформы. Каждый месяц мы будем рассказывать вам о том, какие новые сервисы и функциональности доступны в Облаке и какие сценарии реализации проектов разработали наши специалисты.
Поехали!


Разнообразие новых сервисов в Яндекс.Облаке
В Облаке появились новые сервисы в альфа-версиях — их можно протестировать уже сегодня. Вы не платите за использование сервисов в альфа-версии, но помните про ограничения в условиях обслуживания: в тестовых сервисах отсутствует SLA, и мы не рекомендуем использовать ваши настоящие данные. Чтобы протестировать сервисы в работе, активируйте аккаунт в Облаке и заполните заявку на сайте.


Yandex Load Balancer α
Сервис для равномерного распределения сетевой нагрузки по виртуальным машинам. Это поможет обеспечить отказоустойчивость вашего приложения.
cloud.yandex.ru/services/load-balancer


Yandex Instance Groups α
Компонент сервиса Yandex Compute Cloud для управления группами однотипных виртуальных машин.
cloud.yandex.ru/services/instance-groups


Yandex Managed Service for Redis * α
Сервис для создания кластеров баз данных и их управления на основе СУБД Redis. Часто используется для систем анализа контента в реальном времени.
cloud.yandex.ru/services/managed-redis


Yandex Managed Service for MySQL α
Сервис для создания кластеров БД и их управления на основе СУБД MySQL. В MySQL можно разместить бэкенд веб-проекта или данные CMS.
cloud.yandex.ru/services/managed-mysql


Yandex Message Queue α
Сервис для обмена сообщениями между приложениями.
cloud.yandex.ru/services/message-queue


Yandex Container Registry α
Сервис для хранения и развертывания Docker‑образов и их управления в инфраструктуре Яндекс.Облака.
cloud.yandex.ru/services/container-registry

Новые возможности сервисов Яндекс.Облака

Yandex Object Storage
Теперь можно добавлять файлы в холодное хранилище через указание класса хранилища как STORAGE_IA или NEARLINE.
cloud.yandex.ru/docs/storage/concepts/storage-class
Появилась поддержка CORS — кросс-доменных запросов к объектам в корзине.
cloud.yandex.ru/docs/storage/cors/setup


Yandex Virtual Private Cloud
Открыты 465 и 587 порты для размещения электронной почты в Облаке.
cloud.yandex.ru/docs/vpc/concepts/network


Сценарии
В документации описан сценарий работы с тестовыми средами через GitLab CI
cloud.yandex.ru/docs/solutions/testing/ci-for-snapshots
Представлен сценарий работы с системой управления инфраструктурой Terraform
cloud.yandex.ru/docs/solutions/infrastructure-management/terraform-quickstart


Инструменты управления
В разделе Биллинг консоли управления появился раздел Детализация — теперь вы можете визуализировать потребление облачных сервисов с помощью графиков.
cloud.yandex.ru/docs/billing/operations/check-charges


Управление базами данных
Теперь после создания кластера базы данных можно изменить класс хостов, увеличить размер хранилища и настроить серверы БД.
Подробнее об этом читайте в инструкциях:
Managed Service for PostgreSQL
Managed Service for ClickHouse
Managed Service for MongoDB


Вебинары
Навыки Алисы в Яндекс.Облаке
www.youtube.com/watch?v=54nfwe5jfcU
Курс «Платформа и сервисы»
www.youtube.com/watch?v=VpJJ8VsleBI

В Яндекс.Облаке появилась партнёрская программа для разработчиков и системных интеграторов. Компании, которые используют Облако или предлагают решения на его основе, смогут получать гранты, бесплатное обучение и техническую поддержку.

Если вы хотите развивать собственные программные разработки и размещать свои решения в Yandex Cloud Marketplace, то вам подходит программа технологического партнёрства.
cloud.yandex.ru/partners/tech

Если вы хотите стать партнёром-интегратором Яндекс.Облака, то вам подходит программа сервисного партнёрства.
cloud.yandex.ru/partners/service

Спасибо за работу с сервисами платформы Яндекс.Облако!
В этом письме мы собрали все изменения в Условиях использования сервисов Облака, которые вступят в силу в ближайшее время.

Краткое описание изменений:
Цены на исходящий трафик из Облака в интернет будут скорректированы с 1 марта 2019 года:
Исходящий трафик до 10 ГБ не тарифицируется.
Цена на исходящий трафик сверх 10 ГБ снижается до 80 копеек без НДС за 1 ГБ.
cloud.yandex.ru/docs/compute/pricing

В Yandex Compute Cloud появится новый тип виртуальных машин (ВМ) — прерываемые ВМ, которые имеют более низкую стоимость использования по сравнению с обычными ВМ, но имеют некоторые ограничения: они могут быть запущены не более, чем на 24 часа, не покрываются SLA. Прерываемые ВМ подходят для задач тестирования.
Прерываемые ВМ станут доступны с момента опубликования Условий их использования по ссылке. А с 1 марта 2019 г. будет уточнен SLA для Yandex Compute Cloud. Новая версия SLA Сервиса будет доступна по ссылке.
yandex.ru/legal/cloud_terms_compute/
yandex.ru/legal/cloud_sla_compute/

Условия использования Yandex Cloud Marketplace будут размещены по ссылке.
yandex.ru/legal/cloud_terms_marketplace/

В Условиях сервиса Yandex Virtual Private Cloud будут уточнены особенности использования сервисов при DDoS-атаке. Обновленная версия Условий будет опубликована по ссылке.
yandex.ru/legal/cloud_terms_vpc/