В этом выпуске вы узнаете про новые сервисы Облака, которые помогут визуализировать данные в удобных дашбордах и отчётах, подключить защиту от DDoS-атак или организовать мониторинг — собрать метрики о состоянии ваших облачных ресурсов. И это не все новости — подробнее читайте дальше!



Визуализация данных — это просто
Мы в Яндекс.Облаке запустили новый сервис визуализации данных Yandex DataLens. Он позволяет создавать аналитические отчёты и дашборды и делиться ими с коллегами и партнёрами.
Для создания отчётов вы можете использовать данные из разных источников, например, из Яндекс.Метрики или из CSV-файла. Подробнее о том, как работать с Yandex DataLens, читайте в документации. Сервис доступен в версии Preview — оставьте заявку, чтобы использовать его в работе.
cloud.yandex.ru/services/datalens

Новые сервисы в Яндекс.Облаке
Yandex DDoS Protection
Теперь в Яндекс.Облаке вы можете подключить защиту от DDoS-атак для ваших приложений. Защита предоставляется в партнёрстве с Qrator Labs: она сочетает в себе возможности внешней опорной сети Qrator и оборудования, размещённого непосредственно в сети Облака.
Подключить защиту можно при создании виртуальной машины, базы данных или балансировщика нагрузки. Подробнее читайте на сайте, тарифы cloud.yandex.ru/docs/vpc/pricing
Включить защиту от DDoS-атак cloud.yandex.ru/docs/vpc/operations/enable-ddos-protection
Прерываемые ВМ в Yandex Compute Cloud
Для задач тестирования мы добавили возможность создавать прерываемые виртуальные машины (ВМ).
Они дешевле* обычных: ВМ с полным использованием vCPU стоят от 236 рублей с НДС в месяц вместо 708 рублей. А с частичным использованием vCPU — от 136 рублей с НДС в месяц вместо 245 рублей. Прерываемые ВМ работают как обычные, но имеют некоторые ограничения.
Оптимизировать затраты
Yandex Monitoring
Встречайте — долгожданный сервис для сбора метрик о состоянии ваших облачных ресурсов. Он автоматически собирает информацию и позволяет объединить данные из разных каталогов и облаков в одном дашборде.
Сейчас сервис доступен по запросу: подать заявку на доступ можно на сайте.
Узнать больше о Yandex Monitoring cloud.yandex.ru/docs/monitoring/
Yandex Load Balancer
Распределяйте нагрузку и обеспечивайте отказоустойчивость вашего сервиса с Yandex Load Balancer — теперь в общедоступной версии.
Создать и настроить балансировщик cloud.yandex.ru/services/load-balancer
Yandex Managed Service for Redis
Это сервис для создания и управления кластерами баз данных на основе СУБД Redis. Она часто используется для систем анализа контента в реальном времени. Мы запустили общедоступную версию сервиса — пользуйтесь без ограничений. cloud.yandex.ru/services/managed-redis
Начать работу с Yandex Managed Service for Redis cloud.yandex.ru/docs/managed-redis/

Новые функциональности сервисов
Yandex Object Storage
Теперь вы можете настроить время хранения объектов в бакете Object Storage — подробнее про жизненный цикл читайте в документации. cloud.yandex.ru/docs/storage/lifecycles/
Yandex Managed Service for ClickHouse
В консоли управления для Managed Service for ClickHouse появилась возможность подключаться к кластерам ClickHouse и выполнять SQL-запросы. Мы описали работу с SQL-запросами в документации Яндекс.Облака. cloud.yandex.ru/docs/managed-clickhouse/operations/web-sql-query
Сценарии
Теперь вы можете настроить сайт на WordPress быстрее: у нас появился подробный сценарий работы с WordPress. cloud.yandex.ru/docs/solutions/web/wordpress
Создать облачную структуру в Облаке проще с Terraform. Мы описали начало работы с этим инструментом в документации. Подробнее о том, как работать с Terraform — смотрите запись вебинара на Youtube.
cloud.yandex.ru/docs/solutions/infrastructure-management/terraform-quickstart

Вебинары
Инструменты управления инфраструктурой в Яндекс.Облаке:
Посмотреть запись
Как построить отказоустойчивый веб-сервис:
Посмотреть запись

21 марта день сравнялся с ночью. Дальше будет только прибавляться, а кое-где дело даже дойдёт до белых ночей. На гребне этого эмоционального подъёма, этого торжества жизни над смертью мы не сбавляем темп и выкатываем на сцену новый сервис. Итак…

Mail.ru Cloud Managed Services
Мы готовы администрировать IT-инфраструктуру любой сложности и конфигурации, построенную на облаке MCS: и сервисы, и ваши приложения на них. В услугу входит администрирование, поддержка, мониторинг, реагирование на инциденты, а также аудит, консалтинг и помощь во внедрении.
mcs.mail.ru/managed-services/

Новое в продуктах


База данных ClickHouse. Теперь в сервисе Cloud Databases можно запустить инстанс ClickHouse. Скоро откроем кластер ClickHouse, так что следите за обновлениями. Как запустить кластер ClickHouse → mcs.mail.ru/help/instance-databases/clickhouse

Двухфакторная аутентификация. Добавляет дополнительный уровень защиты пользовательского аккаунта. Если включить её, для входа в учётную запись, помимо логина и пароля, каждый раз нужно будет вводить дополнительный код. Как включить двухфакторку → mcs.mail.ru/help/account/2step

Виртуальная машина Centos 7.6. Теперь при создании инстанса вы можете выбрать образ с настроенной ОС Centos 7.6. Подключить виртуалку → mcs.mail.ru/app/services/infra/servers/add/


mcs.mail.ru/help/legal/fstec

Kubernetes speakers wanted. Если ваша душа горит за Kubernetes (а может быть — вы осознанно против) и вам есть, что рассказать на эту тему — пожалте сделать доклад на следующем @Kubernetes Meetup, который пройдёт в нашем московском офисе 22 мая.
https://docs.google.com/forms/d/e/

Почитать
Мы тоже любим кубик и съели на нём собаку. Вот памятки для начинающих пользователей Kubernetes:
Как защитить кластер KubernetesКак настроить кластер etcd
А для любителей почитать увлекательные истории — история про то, как сегодня используют образы операционных систем, и о DevOps на пальцах.

С уважением, Илья Летунов, Руководитель платформы

Яндекс.Облако: все новости платформы


Мы запустили партнёрскую программу
Теперь компании, которые разрабатывают уникальные технологические решения, могут не только использовать облачные сервисы Яндекса, но и размещать свои решения в Yandex Cloud Marketplace. Став партнёром-разработчиком, вы получите грант на тестирование сервиса, сможете пройти бесплатное обучение и получать техническую поддержку.
Есть партнёрская программа для системных интеграторов — подробности на сайте.
cloud.yandex.ru/partners


В Яндекс.Облаке появился блог
Мы будем регулярно рассказывать о новостях платформы, новых возможностях Облака, разбирать кейсы и делиться личным опытом пользователей.


Грант для разработчиков Диалогов Алисы
Создали новый навык для Алисы? Теперь вы можете получить годовой грант на 3000р. на его разработку и развитие. Для этого разместите навык в Облаке и подайте запрос на грант.
tech.yandex.ru/dialogs/alice/doc/ycloud-promo-docpage/

Коротко о важном
Блог Облака: Как настроить управляемую базу ClickHouse с данными для Graphite
ClickHouse можно использовать как хранилище данных Graphite. Из статьи вы узнаете о том, как настроить конфигурацию rollup в ClickHouse и создать таблицы на основе GraphiteMergeTree
hosting.kitchen/yandex-cloud/kak-nastroit-upravlyaemuyu-bazu-clickhouse-s-dannymi-dlya-graphite.html

Хабр: MPLS повсюду. Как устроена сетевая инфраструктура Яндекс.Облака
Мы получаем много вопросов о сетевой инфраструктуре Облака — эта январская статья раскроет ответы на основные из них. В статье мы рассказали, почему в Облаке применяется непопулярная для дата‑центров парадигма MPLS, как мы ей управляем, какие сложные решения нам пришлось принять и какие мониторинги используем.
habr.com/ru/company/yandex/blog/437816/

Пользователи об Облаке
Как перенести сайт на базе WordPress в Яндекс.Облако?
Наш пользователь Олег Иванов написал пошаговую инструкцию о переносе сайта в инфраструктуру Облака: по ссылке вы найдете подробный разбор каждого шага, возможных сложностей и подходов к их решению. Вы можете рассказать свою историю о работе с платформой — присылайте материалы на cloud‑blog@yandex‑team.ru
cloud.yandex.ru/blog/posts/2019/03/wp

Вебинары и видеокурсы
Kubernetes meetup: запись трансляции об операторах Kubernetes.Вебинар: Как построить отказоустойчивый веб‑проект — видеозапись.Школа Алисы: Как развернуть навык в Яндекс.Облаке.Школа Алисы: Как изменить поведение тестовых навыков в Яндекс.Облаке.Курс: Обзор платформы Яндекс.Облако.

Мы постоянно добавляем в Яндекс.Облако новые сервисы и развиваем существующие. В декабре 2018 года мы открыли доступ к инфраструктурным сервисам. С их помощью уже на старте можно было наладить обработку и хранение данных, безопасный доступ и обмен трафиком. В Яндекс.Облаке сразу же стал доступен и набор платформенных сервисов, позволяющих пользоваться проверенными технологиями Яндекса. Мы предоставили управляемые базы данных, API синтеза и распознавания речи и уникальный гибридный перевод. Три месяца спустя мы видим, что правильно оценили готовность рынка — доля потребления платформенных сервисов растёт. Крупные клиенты уже по достоинству оценили простоту и скорость внедрения решений на базе PaaS Яндекс.Облака в коммерческую эксплуатацию.

Посмотрите, какие новые сервисы появились в Яндекс.Облаке после запуска:

Инфраструктурные:
Yandex Load Balancer — позволяет создавать и настраивать балансировщики для обеспечения отказоустойчивости вашего приложения или для распределения сетевого трафика по облачным ресурсамYandex Instance Groups — компонент сервиса Yandex Compute Cloud, предназначенный для развёртывания и горизонтального масштабирования виртуальных машинYandex Message Queue — универсальное масштабируемое решение для обмена сообщениями между приложениями.Yandex Container Registry — сервис для развёртывания Docker-образов контейнеров и управления ими в инфраструктуре Облака.
Платформенные:
Yandex Managed Service for Redis/MySQL — автоматизирует процесс внедрения и поддержки кластеров баз данных в инфраструктуре Облака. Мы расширили список доступных СУБД с трёх до пяти: помимо ClickHouse, PostgreSQL и MongoDB теперь можно использовать Redis и MySQL.Новые сервисы на данной стадии не тарифицируются. Получить к ним доступ можно на сайте — при условии, что вы уже являетесь пользователем Облака. Подтверждение доступа придёт в виде письма на email, указанный в настройках консоли.

Мы запускаем дайджест новостей о сервисах платформы. Каждый месяц мы будем рассказывать вам о том, какие новые сервисы и функциональности доступны в Облаке и какие сценарии реализации проектов разработали наши специалисты.
Поехали!


Разнообразие новых сервисов в Яндекс.Облаке
В Облаке появились новые сервисы в альфа-версиях — их можно протестировать уже сегодня. Вы не платите за использование сервисов в альфа-версии, но помните про ограничения в условиях обслуживания: в тестовых сервисах отсутствует SLA, и мы не рекомендуем использовать ваши настоящие данные. Чтобы протестировать сервисы в работе, активируйте аккаунт в Облаке и заполните заявку на сайте.


Yandex Load Balancer α
Сервис для равномерного распределения сетевой нагрузки по виртуальным машинам. Это поможет обеспечить отказоустойчивость вашего приложения.
cloud.yandex.ru/services/load-balancer


Yandex Instance Groups α
Компонент сервиса Yandex Compute Cloud для управления группами однотипных виртуальных машин.
cloud.yandex.ru/services/instance-groups


Yandex Managed Service for Redis * α
Сервис для создания кластеров баз данных и их управления на основе СУБД Redis. Часто используется для систем анализа контента в реальном времени.
cloud.yandex.ru/services/managed-redis


Yandex Managed Service for MySQL α
Сервис для создания кластеров БД и их управления на основе СУБД MySQL. В MySQL можно разместить бэкенд веб-проекта или данные CMS.
cloud.yandex.ru/services/managed-mysql


Yandex Message Queue α
Сервис для обмена сообщениями между приложениями.
cloud.yandex.ru/services/message-queue


Yandex Container Registry α
Сервис для хранения и развертывания Docker‑образов и их управления в инфраструктуре Яндекс.Облака.
cloud.yandex.ru/services/container-registry

Новые возможности сервисов Яндекс.Облака

Yandex Object Storage
Теперь можно добавлять файлы в холодное хранилище через указание класса хранилища как STORAGE_IA или NEARLINE.
cloud.yandex.ru/docs/storage/concepts/storage-class
Появилась поддержка CORS — кросс-доменных запросов к объектам в корзине.
cloud.yandex.ru/docs/storage/cors/setup


Yandex Virtual Private Cloud
Открыты 465 и 587 порты для размещения электронной почты в Облаке.
cloud.yandex.ru/docs/vpc/concepts/network


Сценарии
В документации описан сценарий работы с тестовыми средами через GitLab CI
cloud.yandex.ru/docs/solutions/testing/ci-for-snapshots
Представлен сценарий работы с системой управления инфраструктурой Terraform
cloud.yandex.ru/docs/solutions/infrastructure-management/terraform-quickstart


Инструменты управления
В разделе Биллинг консоли управления появился раздел Детализация — теперь вы можете визуализировать потребление облачных сервисов с помощью графиков.
cloud.yandex.ru/docs/billing/operations/check-charges


Управление базами данных
Теперь после создания кластера базы данных можно изменить класс хостов, увеличить размер хранилища и настроить серверы БД.
Подробнее об этом читайте в инструкциях:
Managed Service for PostgreSQL
Managed Service for ClickHouse
Managed Service for MongoDB


Вебинары
Навыки Алисы в Яндекс.Облаке
www.youtube.com/watch?v=54nfwe5jfcU
Курс «Платформа и сервисы»
www.youtube.com/watch?v=VpJJ8VsleBI

Спасибо за работу с сервисами платформы Яндекс.Облако! В этом письме мы собрали все изменения в предоставлении сервисов, которые вступают в силу с 1 января 2019 года. Изменения затрагивают как тарифы, так и некоторые пункты условий использования.

Изменения в тарифах:
Мы ввели более привлекательные тарифы на сеть для пользователей, потребляющих её в крупных объёмах.Мы ввели дополнительную плату за использование публичных статических IP адресов, не задействованных на активных виртуальных машинах.Microsoft меняет стоимость лицензии на Windows Server. Мы отразили это в тарифе.Тарифы до НДС на сервисы не поменялись, за исключением пунктов, описанных выше. В России ставка НДС увеличивается с 18% до 20%, что отражено в тарифах с учётом НДС.cloud.yandex.ru/prices

Изменения специальных условий использования внесены в части заверения гарантий и ответственности сторон, а также в описании версий облачных сервисов: альфы, беты и основной версии. В условиях использования мы отразили информацию о том, что сервис Yandex Managed Databases преобразуется в три сервиса: Managed Service for ClickHouse, Managed Service for MongoDB, Managed Service for PostgreSQL.

Если у вас возникнут вопросы, пожалуйста, воспользуйтесь бесплатной поддержкой.

Спасибо, что используете сервисы Яндекс.Облака.
В этом письме мы расскажем об изменениях тарифов на некоторые Сервисы и изменениях в Оферте. Изменения вступают в силу с 01.12. 2018 года.

Изменения в тарифах:
Yandex Managed ClickHouse
У вас появится возможность самостоятельно определять размер ZooKeeper и рассчитывать его стоимость в соответствии с ценами, указанными в документации.
cloud.yandex.ru/docs/mdb/pricing#new
Yandex Object Storage
Теперь запросы с ошибками тарифицируются по наименьшему из тарифов, вне зависимости от используемого вами типа хранилища.
cloud.yandex.ru/docs/storage/pricing#new

Yandex SpeechKit
Все запросы будут тарифицироваться по единому тарифу.
cloud.yandex.ru/docs/speechkit/pricing#new
Yandex Translate
Все запросы будут тарифицировать по единому тарифу.
cloud.yandex.ru/docs/translate/pricing#new

Изменения в Оферте:
Включено описание механизма действия кредитных лимитов.

Добавлена информация о способе оплаты для юридических лиц с помощью банковской карты и уточнён порядок расчетов. Вы можете ознакомиться с Офертой yandex.ru/legal/cloud_oferta/
Если у вас возникнут вопросы, пожалуйста, воспользуйтесь бесплатной поддержкой.
cloud.yandex.ru/docs/support/overview

ару лет назад мы достаточно спокойно работали нашей небольшой командой и делали хостинг. Вышло так, что каждый сервис в системе обладал собственным уникальным и неповторимым API. Но потом это стало проблемой и было решено все переделать.

Мы расскажем о том, как объединить внешнее API с внутренним и что делать, если у вас много кода на PHP, но хочется воспользоваться преимуществами gRPC.

Сейчас очень много говорят про микросервисы и SOA в целом. Наша инфраструктура не исключение: ведь мы занимаемся хостингом и наши сервисы позволяют управлять почти тысячей серверов.

Со временем сервисов в нашей системе стало появляться все больше: стали регистратором доменов — выносим регистрацию в отдельный сервис; метрик с серверов стало очень много — пишем сервис, который делает выборки из ClickHouse / InfluxDB; Нужно сделать эмулятор запуска задач «как через Crontab»; для пользователей — пишем сервис. Наверное, это многим будет знакомо.

Входящих задач в разработке много. Количество различных сервисов растет плавно и, вроде бы, незаметно. Заранее учесть все будущие нюансы невозможно, поэтому на смену одним API приходили другие, более лучшие. Но настал день, когда стало очевидно, что у нас развелось слишком много протоколов:


Чем больше становилось сервисов и связей между ними, тем дольше и сложнее было решать задачи: требовалось изучить несколько разных API, написать к ним клиенты и только потом приступить к реальной работе.

Ах, да… еще ведь документация нужна. Иначе в чатиках происходят такие диалоги:
— Ребят, как мне получить баланс пользователя из биллинга?
— Сделай вызов в billing/getBalance(customerId)
— А список услуг как получить?
— Не помню, поищи нужный контроллер в
Короче говоря, зародилась мечта о волшебном едином стандарте и технологии для создания сетевых API, которые решат все проблемы и сэкономят нам вагон времени.

Формируем требования
Немного подумав, мы составили свой небольшой список требований:
Используемый способ описания API должен быть декларативнымРезультат должен быть однозначным и человеко-понятным: нужно проводить code reviewНужна возможность описывать как успешный flow, так и ошибки. Причем это должно делаться явно для каждого методаНа основе описания нужно генерировать как можно больше скучного кода для клиента и сервера
Из коробки он удовлетворял почти всем нашим требованиям. Если в двух словах:
Декларативное описание методов и структур данныхОн очень читабельный и простой. По получившимся .proto-файлам легко проводить code review. Синтаксис IDL близок к популярным ЯПЗавезены генераторы под большинство популярных ЯП (но есть нюанс. О нем ниже)gRPC — просто механизм RPC без каких-либо строгих требований к организации API. Это дает возможность разработать собственные принципы и гайдлайны с учетом накопленного опыта
Однако, идеальных технологий не существует. Для нас возникло несколько камней преткновения:
Мы активно используем PHP и он не умеет в сервер gRPC;Наш фронтенд по-прежнему ожидает привычный HTTP. На текущий момент мы были вынуждены «проксировать» запросы фронтенда через отдельное приложение, формирующее правильные запросы к внутреннему API. В подавляющем большинстве случаев это лишняя скучная работа. Хотелось бы внутри нашей системы все отдавать через один протокол с автоматической конвертацией в HTTP для фронтенда.К счастью, мы достаточно легко решили эти проблемы. Далее я буду предполагать, что читатель знаком с gRPC. Если нет — лучше сначала обратиться к упомянутой выше статье.

И так далее, много технической информации
Надеюсь на Хабре топик не удалится, т.к. сохранять для Истории рынка не вижу смысла, черзе 5 лет устареет все. Просто запомним факт, что была такая новость ;)
habr.com/company/beget/blog/348008/