Сегодня Яндекс.Облако вместе с Qrator Labs представляют Yandex DDoS Protection — новый компонент сервиса Yandex Virtual Private Cloud для защиты от DDoS-атак приложений, размещённых в облачной инфраструктуре.

Yandex DDoS Protection сочетает в себе возможности внешней опорной сети Qrator и оборудования, размещённого непосредственно в сети облака. Площадки фильтрации Qrator, развёрнутые в инфраструктуре Яндекс.Облака, гарантируют полную очистку трафика, генерируемого локально, в национальном сегменте Интернета, от «мусора» и аномалий. Задачу по защите ресурсов облака от атак, трафик которых генерируется в других странах мира, решает основная сеть Qrator, обладающая многотерабитной пропускной способностью и возможностями пакетной обработки большой емкости для мгновенной фильтрации самых распространенных DDoS-атак.

Yandex DDoS Protection подключается в момент создания облачного ресурса и применяется к публичным IP-адресам виртуальных машин, сетевых балансировщиков и хостов баз данных, размещенных в Яндекс.Облаке.

Весь входящий трафик защищаемых ресурсов проходит через узлы фильтрации сети Qrator и анализируется вне зависимости от наличия атаки, после чего очищенный трафик перенаправляется на защищаемый ресурс. Yandex DDoS Protection автоматически «очищает» трафик на 2-м и 3-м уровнях сетевой модели OSI, а также защищает от атак вида SYN-флуд.

Постоянный мониторинг позволяет определить нормальный профиль трафика для каждого ресурса и быстро обнаружить DDoS-атаку практически в реальном времени без вмешательства пользователя.

cloud.yandex.ru/docs/vpc/operations/enable-ddos-protection

Сегодня у нас две новости. Мы в Облаке уделяем много внимания тому, чтобы вы могли не только удобно разворачивать сервисы, но и контролировать процессы. В инфраструктуре очень важны средства мониторинга, их кастомизация и обмен данными с внешними пакетами — чтобы внедрение было простым у любых клиентов.

Представляем новый сервис в составе Облака — Yandex Monitoring, предназначенный для сбора и визуализации метрик. Сервис автоматически собирает метрики облачных ресурсов и предоставляет API для работы с метриками. С помощью сервиса вы можете выгружать метрики ваших облачных ресурсов и визуализировать их в вашей корпоративной системе мониторинга или же наоборот, вы можете загружать в Yandex Monitoring свои метрики с приложений, установленных в Облаке или в вашем локальном дата-центре. Таким образом вы сможете отслеживать состояние облачной и локальной инфраструктуры централизованно в удобной для вас системе. Следите, как взаимодействуют разные ресурсы проекта, сразу регистрируйте и устраняйте аномалии и планируйте работу с учётом наличия мониторинга.

Сейчас Yandex Monitoring находится на стадии preview и не тарифицируется. Подайте заявку на доступ в консоли управления и начните бесплатное тестирование в своём окружении.

Вторая новость: сервисы Yandex Load Balancer и Yandex Managed Service for Redis выходят из стадии Preview и начинают предоставляться в публичном режиме. Это инструменты для создания балансировщиков нагрузки и управляемых баз данных — теперь и на основе СУБД Redis. Ознакомьтесь с тарифами и SLA:

• SLA Load Balancer
• SLA Managed Service for Redis
• Тарифы Load Balancer
• Тарифы Managed Service for Redis

Yandex Object Storage — один из ключевых сервисов Яндекс.Облака, неотъемлемая часть инфраструктуры крупных компаний и надёжное хранилище для решения ежедневных кейсов в многочисленных проектах меньшего масштаба.

Мы обновили сервис и упростили вам управление объектным хранилищем, добавив несколько новых возможностей:

• Метод copy, предназначенный для создания копий объектов. Копирование происходит на стороне сервера с высокой скоростью и надёжностью. Подробности в документации
• Поддержка кеширования данных за счёт пользовательских заголовков Cache-Control (набор директив для кеширования) и Expires (срок устаревания).
• Поддержка response-заголовков. Теперь можно переопределять множество системных заголовков в динамике — для каждого аутентифицированного запроса и (опционально) в связке с pre signed-ссылками.
• Поддержка технологии CORS. С её помощью можно создавать по-настоящему сложные веб-сервисы и регулировать доступ к вашим данным через заголовки Origin. Подробности
• Настройка жизненного цикла объектов в бакете. В любой момент можно создать набор правил, которые будут управлять временем хранения объектов в ваших бакетах. Подробности

Кроме того, мы изменили значения SLA для Yandex Object Storage, показав на практике, что объектное хранилище Облака обладает высокой надёжностью, доступностью и отказоустойчивостью даже с учётом требований больших компаний.

Хорошие новости: Preview-сервисы Yandex Message Queue и Yandex Container Registry стали доступны для тестирования всем желающим — оставлять заявку на получение доступа больше не нужно.

Yandex Message Queue — универсальное масштабируемое решение для обмена сообщений между приложениями. Для работы с YMQ можно использовать популярные инструменты — API сервиса совместим с Amazon SQS API. YMQ подойдёт в качестве средства коммуникации между приложениями — не нужно разрабатывать свой протокол и обрабатывать ошибки получателя. Также это хороший инструмент повышения отказоустойчивости при сбоях отдельных приложений. Когда происходит аварийная остановка, сообщение возвращается в очередь для прочтения другим обработчиком, и сбой никак не отражается на отправителе. С помощью Yandex Message Queue можно выполнять ресурсоёмкие задачи в фоне, вынося длительные задачи в отдельные приложения, и освобождать ресурсы для новых запросов пользователей. Со всеми возможностями Yandex Message Queue можно ознакомиться в документации.

Yandex Container Registry — сервис для хранения, развёртывания и настройки Docker-образов в инфраструктуре Яндекс.Облака. Yandex Container Registry можно использовать в процессе разработки контейнеров. Например, вы можете настроить систему автоматизации для работы с реестром в Yandex Container Registry в рамках процесса непрерывной интеграции. При этом реестры Docker-образов будут размещены в тех же дата-центрах, где развернута ваша облачная инфраструктура, — это гарантирует высокую скорость загрузки и скачивания, а также позволяет избежать расходов на внешний трафик. Для работы с сервисом вам не нужно будет осваивать новые API и инструменты. Вы можете использовать стандартный интерфейс командной строки Docker — сервис совместим с Docker Registry HTTP API V2. Почитать подробнее про Yandex Container Registry можно в документации.

Оба сервиса находятся в стадии Preview и доступны для использования бесплатно.

Яндекс.Облако: все новости платформы


Мы запустили партнёрскую программу
Теперь компании, которые разрабатывают уникальные технологические решения, могут не только использовать облачные сервисы Яндекса, но и размещать свои решения в Yandex Cloud Marketplace. Став партнёром-разработчиком, вы получите грант на тестирование сервиса, сможете пройти бесплатное обучение и получать техническую поддержку.
Есть партнёрская программа для системных интеграторов — подробности на сайте.
cloud.yandex.ru/partners


В Яндекс.Облаке появился блог
Мы будем регулярно рассказывать о новостях платформы, новых возможностях Облака, разбирать кейсы и делиться личным опытом пользователей.


Грант для разработчиков Диалогов Алисы
Создали новый навык для Алисы? Теперь вы можете получить годовой грант на 3000р. на его разработку и развитие. Для этого разместите навык в Облаке и подайте запрос на грант.
tech.yandex.ru/dialogs/alice/doc/ycloud-promo-docpage/

Коротко о важном
Блог Облака: Как настроить управляемую базу ClickHouse с данными для Graphite
ClickHouse можно использовать как хранилище данных Graphite. Из статьи вы узнаете о том, как настроить конфигурацию rollup в ClickHouse и создать таблицы на основе GraphiteMergeTree
hosting.kitchen/yandex-cloud/kak-nastroit-upravlyaemuyu-bazu-clickhouse-s-dannymi-dlya-graphite.html

Хабр: MPLS повсюду. Как устроена сетевая инфраструктура Яндекс.Облака
Мы получаем много вопросов о сетевой инфраструктуре Облака — эта январская статья раскроет ответы на основные из них. В статье мы рассказали, почему в Облаке применяется непопулярная для дата‑центров парадигма MPLS, как мы ей управляем, какие сложные решения нам пришлось принять и какие мониторинги используем.
habr.com/ru/company/yandex/blog/437816/

Пользователи об Облаке
Как перенести сайт на базе WordPress в Яндекс.Облако?
Наш пользователь Олег Иванов написал пошаговую инструкцию о переносе сайта в инфраструктуру Облака: по ссылке вы найдете подробный разбор каждого шага, возможных сложностей и подходов к их решению. Вы можете рассказать свою историю о работе с платформой — присылайте материалы на cloud‑blog@yandex‑team.ru
cloud.yandex.ru/blog/posts/2019/03/wp

Вебинары и видеокурсы

• Kubernetes meetup: запись трансляции об операторах Kubernetes.
• Вебинар: Как построить отказоустойчивый веб‑проект — видеозапись.
• Школа Алисы: Как развернуть навык в Яндекс.Облаке.
• Школа Алисы: Как изменить поведение тестовых навыков в Яндекс.Облаке.
• Курс: Обзор платформы Яндекс.Облако.

Мы постоянно добавляем в Яндекс.Облако новые сервисы и развиваем существующие. В декабре 2018 года мы открыли доступ к инфраструктурным сервисам. С их помощью уже на старте можно было наладить обработку и хранение данных, безопасный доступ и обмен трафиком. В Яндекс.Облаке сразу же стал доступен и набор платформенных сервисов, позволяющих пользоваться проверенными технологиями Яндекса. Мы предоставили управляемые базы данных, API синтеза и распознавания речи и уникальный гибридный перевод. Три месяца спустя мы видим, что правильно оценили готовность рынка — доля потребления платформенных сервисов растёт. Крупные клиенты уже по достоинству оценили простоту и скорость внедрения решений на базе PaaS Яндекс.Облака в коммерческую эксплуатацию.

Посмотрите, какие новые сервисы появились в Яндекс.Облаке после запуска:

Инфраструктурные:

• Yandex Load Balancer — позволяет создавать и настраивать балансировщики для обеспечения отказоустойчивости вашего приложения или для распределения сетевого трафика по облачным ресурсам
• Yandex Instance Groups — компонент сервиса Yandex Compute Cloud, предназначенный для развёртывания и горизонтального масштабирования виртуальных машин
• Yandex Message Queue — универсальное масштабируемое решение для обмена сообщениями между приложениями.
• Yandex Container Registry — сервис для развёртывания Docker-образов контейнеров и управления ими в инфраструктуре Облака.

Платформенные:

• Yandex Managed Service for Redis/MySQL — автоматизирует процесс внедрения и поддержки кластеров баз данных в инфраструктуре Облака. Мы расширили список доступных СУБД с трёх до пяти: помимо ClickHouse, PostgreSQL и MongoDB теперь можно использовать Redis и MySQL.

Новые сервисы на данной стадии не тарифицируются. Получить к ним доступ можно на сайте — при условии, что вы уже являетесь пользователем Облака. Подтверждение доступа придёт в виде письма на email, указанный в настройках консоли.

Хорошие новости: у нас появился официальный Terraform-провайдер — один из самых популярных инструментов управления облачной инфраструктурой.

В Terraform настройка облачной инфраструктуры любого масштаба происходит через создание конфигурационных файлов. Они составляются на JSON-подобном языке HashiCorp Configuration Language (HCL) и отличаются простым в написании и прозрачным синтаксисом.

Terraform стоит рассматривать как альтернативу консоли, API и CLI — у каждого метода есть свои плюсы. Всё зависит от того, как именно вы организовали управление Облаком. По виду HCL-файла легко оценить масштаб и сложность инфраструктуры, узнать основные параметры; добавлять компоненты и перестраивать группы ресурсов не составляет труда. Это могут быть ресурсы любых типов: виртуальные машины, хранилища, базы данных и т. д.

Почитайте в документации Яндекс.Облака, как установить Terraform, настроить его и создать первую конфигурацию. Стандартный грант на тестирование платформы, который активируется при регистрации, позволит вам испытать любые инструменты управления и выбрать один или несколько под разные задачи.

При развитии Яндекс.Облака мы, с одной стороны, наращиваем функциональность самой платформы, а с другой — следим, чтобы компоненты было несложно интегрировать с внешними продуктами. Graphite — пример ПО, лёгкость интеграции с которым является важным свойством баз данных Облака. Это библиотека с открытым кодом для хранения и визуализации метрик.

Graphite удобно настроить так, чтобы данные хранились в столбцовой аналитической базе ClickHouse. Специально для этого разработан один из множества движков — GraphiteMergeTree. Он лучше всего подходит для прореживания и агрегирования (либо усреднения) содержимого БД. Саму базу полезно разместить в Яндекс.Облаке через платформенный сервис Yandex Managed Service for ClickHouse. Тогда её не потребуется обслуживать и обновлять — все подобные функции сервис возьмёт на себя.

В этом посте мы опишем процесс настройки Yandex Managed Service for ClickHouse специально под Graphite.

1. Регистрация конфигурации rollup в ClickHouse
Создание конфигурации rollup в существующем кластере Managed Service for Clickhouse можно произвести через CLI или API.

CLI
Если вы выбрали интерфейс командной строки, подготовьте yaml-файл с описанием параметров rollup, например:

graphite-rollup.yaml:
          name: test_rollup
patterns:    
  - regexp: click_cost
    function: max
    retention:
      - age: 86400
        precision: 60

Указанные в файле параметры соответствуют конфигурации, описанной в документации.

Далее выполните команду, указав ID кластера ClickHouse и имя файла конфигурации, созданного на предыдущем шаге:

$ yc managed-clickhouse cluster add-graphite-rollup <CLUSTER_ID> --rollup-file-name graphite_rollup.yaml

API
Используйте метод update для кластера ClickHouse, передав в теле запроса требуемые параметры rollup:

"graphiteRollup": [
          {
            "name": "test_rollup",
            "patterns": [
              {
                "regexp": "click_cost",
                "function": "max",
                "retention": [
                  {
                    "age": "86400",
                    "precision": "60"
                  }
                ]
              }
            ]
          }
        ]

2. Создание таблицы на основе GraphiteMergeTree
Подключитесь к хосту ClickHouse и выполните запрос на создание таблицы на основе GraphiteMergeTree. В качестве параметра передайте имя секции rollup, описанной на предыдущем этапе. Вот пример:

CREATE TABLE GraphiteTable
(        
    metric String, 
    time DateTime, 
    value Int64, 
    version UInt64
)
ENGINE = GraphiteMergeTree('test_rollup')
PARTITION BY time
ORDER BY cityHash64(version, metric)

Теперь можно настроить Graphite для сохранения значений метрик на выбранном хосте ClickHouse. При этом прореживание данных будет проводиться автоматически средствами сервера ClickHouse в соответствии с параметрами, которые вы указали.

Благодарим вас за работу с сервисами платформы Яндекс.Облако!
В этом письме мы собрали все изменения в условиях использования Облака, которые вступят в силу и будут опубликованы с 1 апреля 2019 года.

Краткое описание изменений*:

1. Добавлена ссылка на Соглашение об обработке данных.
2. Обновлены условия информирования о запуске новых сервисов или нового функционала сервисов.
3. Сокращен срок хранения данных после прекращения договора с 60 дней до 30 дней.
4. Обновлены Специальные условия использования сервисов по ссылке: будут описаны стадии Превью и Общедоступная версия.
5. Дополнена информация об уровнях обслуживания сервисов управления данными по ссылке.
6. Дополнены условия обработки данных, содержащихся в Запросах к сервисам Yandex Speechkit и Yandex Translate.

*Изменения в пунктах 1, 2 и 3 будут опубликованы в Оферте Облака.

Чтобы упростить вам настройку, мы составили пошаговые инструкции по решению самых распространённых задач в Облаке:

Как построить веб-сервис.
Пошаговая инструкция cloud.yandex.ru/docs/solutions/web/

Как организовать хранение архива.
Пошаговая инструкция cloud.yandex.ru/docs/solutions/archive/
В документации также опубликованы Справочники API сервисов Яндекс.Облака.
cloud.yandex.ru/docs/overview/api
За любой консультацией обращайтесь в службу технической поддержки. Форма обращения находится в консоли управления. Наши специалисты ответят на ваши вопросы и помогут с решением проблем — по почте или через чат.