В заголовке и тексте найдено точное совпадение:

Опыт сервиса «Где мои дети»: перенос геоданных в Yandex Managed Service for ClickHouse



О сервисе
Сервис «Где мои дети», принадлежащий компании «Рефреш», позволяет родителю в любой момент времени определять, где находится его ребенок. Для работы сервиса нужна оперативная обработка и хранение огромного количества зашифрованных геоданных. На данный момент сервис «Где мои дети» локализован на 32 языка и имеет зарегистрированных пользователей в 209 странах мира, в 30 из которых зарегистрировались более 10 000 человек. Сейчас у приложения 800 000 активных пользователей, при этом на Россию и СНГ приходится лишь половина из них, вторая половина преимущественно из таких стран, как Бразилия, Турция, Израиль, США и Индия.
findmykids.org

Рубеж масштабирования
Сервис «Где мои дети» предлагает разные возможности. Например, при помощи приложения можно позвонить ребенку, и он услышит звонок, даже если он забыл отключить бесшумный режим после урока. А чтобы узнать, закончился ли у ребенка урок, родитель может прослушать звук вокруг его телефона. Но основной функцией приложения является отслеживание местоположения ребенка плюс взаимосвязанные опции вроде уведомления о выходе ребенка из обозначенной зоны и автоматического сохранения истории посещений. Сервис использует функцию GPS-трекинга. В качестве клиентского устройства может выступать смартфон с установленным на него приложением либо GPS-аксессуар в виде наручных часов. На данный момент клиентские устройства присылают более 1 000 наборов зашифрованных геоданных каждую секунду. Сервис подошел к тому рубежу, когда дальнейшее масштабирование становилось невозможным из-за технологических ограничений текущей инфраструктуры. В итоге перед командой встала необходимость решения следующих задач:
Сократить расходы на серверную инфраструктуру.Повысить стабильность решения за счет меньшей требовательности к скорости дисков.Организовать масштабирование ресурсов для хранилища геоданных «на лету».Получить возможность выполнять более сложные запросы и извлекать больше пользы из данных.
Переход на Yandex Managed Service for ClickHouse
Решение о переходе на Yandex Managed Service for ClickHouse было обусловлено предшествующим опытом. Изначально в компании геоданные хранили в MySQL, используя виртуальные серверы одного из облачных провайдеров. Несмотря на использование самых дорогих облачных дисков на базе SSD, вскоре был достигнут барьер производительности записи текущего дискового решения. Следующим этапом стал горизонтальный шардинг данных на несколько БД серверов, но даже при непиковой скорости записи специалисты компании периодически сталкивались с тем, что производительность дисков в облаке некоторых серверов сильно деградировала без каких-либо причин, что приводило к аварийным ситуациям. В разные периоды времени с разной частотой специалисты компании сталкивались с ситуацией, когда очередь на запись начинала расти быстрее, чем рассасываться. Приходилось экстренно переносить данные на другие шарды и жертвовать надежностью хранения в угоду временному увеличению производительности. Помимо этого, в определенный момент обнаружилось, что только на облачные диски приходится более половины всех расходов на инфраструктуру и оборудование.

Несмотря на сложности, компания не хотела переходить на выделенные серверы, чтобы не отказываться от возможности удобного масштабирования ресурсов и их администрирования. Выбор пал на ClickHouse. Во время тестирования были выполнены следующие шаги:
создание тестовой учетной записи и изучение архитектуры, которая будет оптимальна для текущих задач;создание тестового кластера, нагрузочное тестирование записи и извлечения данных.При тестировании запросы были аналогичны тем, которые выполнялись в старом хранилище, а результаты были аналогичны или лучше. Например, появилась возможность выполнять запросы на агрегацию больших данных, которые без дополнительного инструментария раньше выполнить было просто невозможно.

После получения положительных результатов началась непосредственная реализация проекта:
создание аккаунта для организации, формальные операции;создание кластера, тестирование работы хранилища в реальных условиях (настройка записи данных в старое хранилище и ClickHouse одновременно);перенастройка сервиса на использование данных из нового хранилища;миграция данных из старого хранилища в новое;переключение подсистемы на работу только с новым хранилищем.Миграцию провел один разработчик, трудозатраты составили менее 60 человеко-часов.

Результаты
По итогам проекта сразу удалось решить три из четырех поставленных задач. Затраты на решение для хранения геоданных сократились более чем в три раза. С момента переезда в Яндекс.Облако uptime сервиса составляет 100%, повысились удобство работы с геоданными и стабильность решения в целом. В настоящий момент сотрудничество продолжается. После того как в компании попробовали ClickHouse для хранения геоданных, было принято решение перевести в него данные внутренней продуктовой аналитики.

Мнение
Техподдержка Яндекс.Облака быстро решала технические вопросы и консультировала специалиста, клиентские менеджеры оперативно закрывали организационные вопросы. Эффективная коммуникация, удобный инструмент для управления облаком и достаточно полная документация позволили провести тестирование и миграцию на новое хранилище за один месяцГригорий Гудименко, технический директор компании „Рефреш“

Опыт AdsCompass: оптимальная поддержка кластера в Yandex Managed Service for ClickHouse



AdsCompass — это интеллектуальная платформа для монетизации трафика. Компания работает в сфере интернет-рекламы и служит связующим звеном между издателями и рекламодателями при покупке и продаже трафика по всему миру. Конкурентное преимущество AdsCompass в том и состоит, что компания занимается разработкой своей платформы, а не арендует стороннюю, как это распространено в сфере интернет-рекламы.

AdsCompass начинала свою деятельность с нескольких десятков интернет-компаний, но за шесть лет развития партнерская сеть расширилась. Сегодня у AdsCompass более пяти тысяч рекламодателей, число которых ежемесячно растет примерно на 10—15%. Кроме этого, с 2018 года на платформе появилась возможность напрямую покупать интернет-рекламу через личный кабинет, а значит сеть пополнилась еще и за счет частных рекламодателей. Чтобы охватить всех партнеров из более чем 200 стран, сервисы, отвечающие за нагрузку, работают в двух ЦОД в Европе и США на собственном железе. На данный момент обрабатываемый трафик генерирует более 4 млрд записей статистики в сутки. Запись происходит с нескольких десятков серверов в один кластер ClickHouse. Ежемесячно происходит прирост объема трафика в среднем на 6-10%.

Задача AdsCompass
Компания столкнулась с необходимостью постоянно наращивать технические мощности, увеличивать затраты на поддержку кластера ClickHouse на собственном железе. Также прямо пропорционально масштабу бизнеса росли потери от падений в работе кластера.

Компания поставила задачи:
Увеличить стабильность работы кластера,Сократить затраты на поддержку и развитие инфраструктуры, чтобы сосредоточиться непосредственно на продукте.
Решение
«Толчком к переходу на Яндекс.Облако было именно появление Yandex Managed Service for ClickHouse, — объясняет Андрей Привалов, ведущий разработчик AdsCompass. — Если не ошибаюсь, есть и другие предложения на рынке, но тот факт, что Яндекс является разработчиком этой базы данных, сыграл большую роль в выборе в пользу Managed Service for ClickHouse».

Переезд кластера в Yandex Managed Service for ClickHouse был осуществлен силами главных разработчиков AdsCompass. Процесс, включавший тестирование и постепенный полный перевод трафика, занял меньше недели.

На начальном этапе одновременно писали данные в свой кластер и в Яндекс.Облако для того, чтобы выявить наличие неучтенных лимитов. Также в первые дни проведены еще несколько штатных проверок, в том числе:
тестирование с целью «поймать» возможные всплески трафика;проверка функционирования облачного сервиса в ситуации, когда после паузы объем записей значительно увеличивается с целью «догнать запись».
Результаты
Первым результатом переезда стало почти полное сокращение затрат временных ресурсов на поддержку кластера, не считая короткого общения с ТП Яндекс.Облака. Также по итогам переезда в AdsCompass отмечают рост стабильности работы кластера. Регулярное обновление кластера до новых версий происходит с минимальным простоем. Уже был случай, когда поддержка Яндекс.Облака решала проблемы с железом, все данные остались целы.

После переезда уже складывалась непростая для решения ситуация, когда место на дисках закончилось скачком. Через веб-интерфейс удалось быстро увеличить квоты и расширить место.

AdsCompass планирует использовать в своей деятельности также Managed PostgreSQL, Compute Cloud, Container registry и Message Queue. Разработчики планируют написать скрипт для очистки партиций и рассчитывают на появление решений в этом направлении.

Мнение
Повышение стабильности и экономия — не единственные результаты этого проекта. Раньше были случаи, когда при остановке кластера ClickHouse у нас копилась статистика для последующей записи. Если на дисках заканчивается место и файлы статистики больше некуда писать, их как-то придется удалять. Удаление статистики — это прямые потери данных, в том числе финансовых. Потеря даже небольшого объема финансовых данных может привести к ухудшению отношений с клиентами, а это уже большие репутационные риски. С Yandex Managed Service for ClickHouse мы забыли о таких рисках.уточняет Андрей Привалов, ведущий разработчик AdsCompass

Как настроить управляемую базу ClickHouse с данными для Graphite




При развитии Яндекс.Облака мы, с одной стороны, наращиваем функциональность самой платформы, а с другой — следим, чтобы компоненты было несложно интегрировать с внешними продуктами. Graphite — пример ПО, лёгкость интеграции с которым является важным свойством баз данных Облака. Это библиотека с открытым кодом для хранения и визуализации метрик.

Graphite удобно настроить так, чтобы данные хранились в столбцовой аналитической базе ClickHouse. Специально для этого разработан один из множества движков — GraphiteMergeTree. Он лучше всего подходит для прореживания и агрегирования (либо усреднения) содержимого БД. Саму базу полезно разместить в Яндекс.Облаке через платформенный сервис Yandex Managed Service for ClickHouse. Тогда её не потребуется обслуживать и обновлять — все подобные функции сервис возьмёт на себя.

В этом посте мы опишем процесс настройки Yandex Managed Service for ClickHouse специально под Graphite.

1. Регистрация конфигурации rollup в ClickHouse
Создание конфигурации rollup в существующем кластере Managed Service for Clickhouse можно произвести через CLI или API.

CLI
Если вы выбрали интерфейс командной строки, подготовьте yaml-файл с описанием параметров rollup, например:
graphite-rollup.yaml: name: test_rollup patterns: - regexp: click_cost function: max retention: - age: 86400 precision: 60
Указанные в файле параметры соответствуют конфигурации, описанной в документации.

Далее выполните команду, указав ID кластера ClickHouse и имя файла конфигурации, созданного на предыдущем шаге:
$ yc managed-clickhouse cluster add-graphite-rollup <CLUSTER_ID> --rollup-file-name graphite_rollup.yaml

API
Используйте метод update для кластера ClickHouse, передав в теле запроса требуемые параметры rollup:
"graphiteRollup": [ { "name": "test_rollup", "patterns": [ { "regexp": "click_cost", "function": "max", "retention": [ { "age": "86400", "precision": "60" } ] } ] } ]

2. Создание таблицы на основе GraphiteMergeTree
Подключитесь к хосту ClickHouse и выполните запрос на создание таблицы на основе GraphiteMergeTree. В качестве параметра передайте имя секции rollup, описанной на предыдущем этапе. Вот пример:
CREATE TABLE GraphiteTable ( metric String, time DateTime, value Int64, version UInt64 ) ENGINE = GraphiteMergeTree('test_rollup') PARTITION BY time ORDER BY cityHash64(version, metric)
Теперь можно настроить Graphite для сохранения значений метрик на выбранном хосте ClickHouse. При этом прореживание данных будет проводиться автоматически средствами сервера ClickHouse в соответствии с параметрами, которые вы указали.
В тексте найдено точное совпадение:

Что мы сделали для вас в августе



В августе мы провели второй @DevOps Meetup и собрали 400 участников. Что они узнали:
Как «Райффайзенбанк» ушёл от зоопарка инструментов CI/CD к централизованному конвейеру на базе стека Atlassian.Как блочное хранилище Mail.ru Cloud Solutions перестало быть обычной инсталляцией Ceph (повышаем производительность наших PaaS-сервисов, как можем).Лучшие практики DevOps’а в «Росгосстрахе».Приходите к нам в следующий раз, следите за анонсами наших мероприятий в Telegram-канале k8s_mail.

А если о продуктах, то…

Mail.ru Cloud Managed Services
Мы готовы администрировать IT-инфраструктуру любой сложности и конфигурации, построенную на облаке MCS: и сервисы, и ваши приложения на них. В услугу входит администрирование, поддержка, мониторинг, реагирование на инциденты, а также аудит, консалтинг и помощь во внедрении.
mcs.mail.ru/managed-services/

Базы данных: создание кластеров ClickHouse
ClickHouse — теперь в конфигурации кластера! За счет кластеризации и горизонтального масштабирования аналитические запросы теперь летают. Для кластеров есть автоматический бэкап в наше объектное хранилище.
mcs.mail.ru/help/db-create/clickhouse

Kubernetes: прокачан мониторинг кластеров


Prometheus обновили до версии 2.9.1. Для мониторинга кластеров теперь нужно меньше ресурсов. Во встроенном мониторинге теперь много удобных возможностей: Prometheus Operator, ServiceMonitor, предустановленные дашборды в Grafana для мониторинга etcd, calico, coreDNS, более подробные дашборды о состоянии работы Kubernetes.

Сети: управление подключениями инстансов через UI
Мы сделали так, чтобы управление подключением ВМ к сетям было под рукой. В свойствах машины появилась вкладка «Информация о сетях», где есть всё, что нужно — в том числе, настройки подключений к публичной сети.


Ещё сети: настройка роутеров подсетей
При создании новой сети для роутера (шлюза) теперь можно сразу задать внутренний IP-адрес. Раньше он автоматически задавался через DHCP, и нельзя было задать свой вариант.


Поиск нужного инстанса: теперь по тегам

Во-первых, теги теперь есть. Каждой машине можно присвоить кастомный тег или несколько. Например, выделить инстансы по проектам и функциональности. Потом можно просто кликнуть нужный тег и выбрать все инстансы.

Почитать
→ Аудит безопасности облачной платформы MCS
Наш системный администратор рассказывает, как безопасность MCS проверяли внешние аудиторы, что они нашли и норм ли наше облако.

→ Блокчейн для банков: отложенная революция или переоцененная технология
Тему блокчейна не пнёт только ленивый. Но если на минуту забыть про криптовалюты, что ещё даёт блокчейн банкам и может ли он решить все проблемы банковской системы?

→ Китайское чудо через IT-перископ: как Китай вырвался вперед в сфере технологий
Текстовая версия выпуска подкаста «Завтра облачно» про Китайское Чудо и китайский ИТ-рынок. Почему китайское — это теперь не «фу», а «ого-го» и нужно ли срочно учить китайский?

Оперативно получать новости платформы MCS можно в нашем телеграм-канале: t.me/mcsnews

Cкидки до 40% на управляемые БД теперь до 31 августа 2019 года



Хорошие новости! Если вы ещё не успели попробовать управляемые БД в Яндекс.Облаке, то сейчас самое время начать. С 1 по 31 августа создайте кластер любой* базы данных в рамках пробного периода или на платной основе, используйте её регулярно вплоть до конца августа, а в сентябре 2019 года вы получите скидку до 40% на эту базу данных на 12 месяцев.
cloud.yandex.ru/promo-mdb/

Как получить скидку?
У вас есть платный аккаунт в ОблакеПополните счёт на любую сумму и разверните кластер БД в Облаке.Используйте эту БД в течение месяца, включая 31 августа.C сентября подключится скидка: сервис по управлению базой данных будет доступен по цене со скидкой.У вас нет платного аккаунта в Облаке
Если вы работаете с сервисами Яндекс.Облака в рамках пробного периода и ещё не пробовали базы данных, то начните использовать с 1 августа.Используйте любую БД в течение месяца, включая 31 августа. Если средства стартового гранта закончатся раньше 31 августа, то вы должны перейти на платную версию и использовать БД по 31 августа в платной версии.C сентября подключится скидка: сервис по управлению базой данных будет доступен по цене со скидкой.В акции* есть ограничения: она распространяется на базы данных, которые вы будете использовать в Облаке впервые.
Если вы уже приняли участие в акции в июле 2019 года, то при соблюдении условий акции с 1 августа в течение 3 рабочих дней подключится скидка на управляемую БД, которую вы начали использовать в июле. Для этой базы тарифы со скидкой будут действовать для вас в течение года с августа. Но вы можете принять участие в акции снова, если начнёте использовать другой сервис управляемых БД в Облаке — тогда скидка подключится для такой БД с сентября.
Подробнее про условия акции и тарифы
cloud.yandex.ru/promo-mdb/terms

Вы найдёте руководства по миграции баз данных в Яндекс.Облако в документации. Мы подробно описали, как это сделать:
Yandex Managed Service for PostgreSQLYandex Managed Service for MySQLYandex Managed Service for ClickHouseYandex Managed Service for MongoDBПо всем вопросам пишите в техподдержку в консоли управления.

Новые возможности сервисов управления базами данных



Размещение баз данных в Яндекс.Облаке — популярный сценарий использования нашей платформы. Для всех СУБД мы обеспечиваем автоматическое резервное копирование, отказоустойчивость, обновление минорных версий и инструменты мониторинга. Также мы постоянно работаем над функциональностью облачных сервисов, чтобы вы могли легко размещать базы данных и работать с ними в Облаке.

Новая версия СУБД PostgreSQL 11
В Managed Service for PostgreSQL теперь доступна версия СУБД PostgreSQL 11.

Ключевые изменения в новой версии:
расширены возможности секционирования таблиц и параллельного выполнения запросов;добавлены хранимые процедуры на SQL, поддерживающие внутренние транзакции;добавлена JIT-компиляция фрагментов запросов.Вы можете выбрать PostgreSQL 11 при создании нового кластера в консоли управления, через API и CLI.
cloud.yandex.ru/docs/managed-postgresql/operations/cluster-create
www.postgresql.org/docs/11/release-11.html

Детальную информацию о новой версии PostgreSQL можно найти на официальной странице релиза.

Логическая репликация
Логическая репликация поддерживается с версии PostgreSQL 10. Помогает автоматически перенести базу данных из вашей инфраструктуры в Managed Service for PostgreSQL с минимальным временем простоя.

Логическая репликация позволяет не только перенести БД между одинаковыми версиями СУБД, но и мигрировать базу данных с 10 на 11 версию PostgreSQL. Просто пройдите шаги миграции, настроив репликацию c сервера-источника с PostgreSQL 10 на сервер-приемник с PostgreSQL 11.

Расширенные настройки СУБД и настройки пользователей в консоли управления
Теперь вы можете просматривать и изменять расширенные настройки СУБД для кластеров PostgreSQL в консоли управления, а не только через CLI и API. Задать необходимые настройки можно как в процессе создания нового кластера БД, так и через кнопку Изменить кластер для существующего кластера.

Кроме того, в Managed Service for PostgreSQL доступны расширенные настройки для пользователей. Это позволяет задавать для отдельных пользователей значения параметров, которые превалируют над настройками кластера. Например, для всего кластера вы можете установить lock_timeout в 1 секунду, а для конкретного пользователя, из-под которого выполняете DDL-команды (изменения схемы), поставить lock_timeout побольше или отключить его вообще.

Обновление версий ClickHouse
Теперь вы можете изменить мажорную версию СУБД ClickHouse для существующих кластеров БД.

Список доступных версий можно посмотреть на экране создания или изменения кластера в консоли управления. Вы можете изменить версию как на более свежую, так и на более старую, если это необходимо. Операция доступна через консоль управления, API и CLI.

Шардирование в ClickHouse
В Managed Service for ClickHouse теперь есть возможность не только вертикального масштабирования кластеров БД, но и горизонтального за счёт автоматического создания шардов в кластерах ClickHouse.

Шардирование помогает расширять пул доступных вычислительных ресурсов кластера и объём хранилища. При этом конфигурации разных шардов в одном кластере могут отличаться.

Для распределения данных по шардам можно использовать разные механизмы, например ключи шардирования или веса шардов. При правильном распределении ключей пользователь сможет параллельного выполнять запросы над фрагментами данных на нескольких хостах, а скорость обработки данных существенно вырастет. Распределение по весам шардов позволяет сделать вставку данных прозрачной для пользователя.
Подобнее о шардировании таблиц в Managed Service for ClickHouse читайте в документации сервиса.
cloud.yandex.ru/docs/managed-clickhouse/tutorials/sharding

Обновление до High Availability конфигурации
Кластеры ClickHouse с одним хостом теперь можно обновить до конфигурации с высокой доступностью (High Availability, HA) без пересоздания. Раньше вы могли сразу создать кластер в HA-конфигурации, но поменять конфигурацию кластера с одним хостом на HA было нельзя.

Кластер с одним хостом не отказоустойчив и не обеспечивает репликацию данных. HA-конфигурация подразумевает наличие актуальных реплик данных на нескольких хостах кластера: между репликами можно распределить нагрузку; наличие реплик защитит от потери данных в случае сбоя в работе одного из хостов. Для обеспечения репликации ClickHouse использует Apache ZooKeeper. Теперь вы можете добавить хосты ZooKeeper к существующему кластеру БД с одним хостом.

Чтобы обновить ваш кластер до HA-конфигурации:
сначала добавьте к кластеру хосты ZooKeeper для управления дополнительными хостами;затем добавьте дополнительные хосты ClickHouse.
Managed Service for MongoDB
Новая версия MongoDB 4.0Обновление версийШардирование
Новая версия СУБД MongoDB 4.0
В Managed Service for MongoDB теперь доступна версия СУБД MongoDB 4.0.
Одна из ключевых новых функциональностей версии 4.0 — поддержка транзакций, удовлетворяющих требованиям ACID (атомарность, согласованность, изолированность, устойчивость). Транзакции работают в рамках replica set (т.е. внутри одного шарда). Также в новой версии улучшена работа с шардами. Благодаря этому мы поддержали шардирование для кластеров с версией MongoDB 4.0.

Детальную информацию о новой версии MongoDB можно найти на официальной странице релиза.

Обновление кластеров с версии 3.6 до 4.0
Теперь вы можете обновить версию MongoDB с 3.6 до 4.0 для существующих кластеров БД. Операция доступна через консоль управления, API и CLI.
cloud.yandex.ru/docs/managed-mongodb/operations/cluster-version-update

Шардирование в MongoDB
В Managed Service for MongoDB появилась возможность шардирования для кластеров MongoDB версии 4.0. Если ваш кластер развернут с версией 3.6, вы можете обновить его.
cloud.yandex.ru/docs/managed-mongodb/operations/cluster-version-update

Шардирование — стратегия горизонтального масштабирования данных, при которой части коллекций MongoDB размещаются на разных хостах кластера. Горизонтальное масштабирование подразумевает распределение набора данных и нагрузки по нескольким узлам, серверы могут добавляться и для увеличения дисковой емкости. Емкость одной машины или ее скорость могут быть невысокими, но в горизонтально масштабируемом кластере каждая машина обрабатывает лишь часть общей нагрузки и хранит лишь часть общих данных. Это делает систему потенциально эффективнее, чем единственный сервер с большой ёмкостью и быстрыми дисками.

Подробнее о шардировании коллекций в Managed Service for MongoDB читайте в документации сервиса.
cloud.yandex.ru/docs/managed-mongodb/tutorials/sharding

Скидки до 40% на управляемые БД



С 1 июля по 31 июля 2019 года разверните и используйте управляемую базу данных в Облаке в платной версии и получите скидку до 40% на эту базу данных с 1 августа 2019 года на 12 месяцев. cloud.yandex.ru/promo-mdb/

Как получить скидку?
Пополните счёт на любую сумму и разверните кластер БД в Облаке.
Используйте эту БД в течение месяца, включая 31 июля.
C 1 августа подключится скидка: сервис по управлению базой данных будет доступен по цене со скидкой.
В акции есть ограничения: она распространяется на базы данных, которые вы будете использовать платно в Облаке впервые.
Подробнее про условия акции и тарифы cloud.yandex.ru/promo-mdb/termsВы найдёте руководства по миграции баз данных в Яндекс.Облако в документации. Мы подробно описали, как это сделать:
Yandex Managed Service for PostgreSQLYandex Managed Service for MySQLYandex Managed Service for ClickHouseYandex Managed Service for MongoDBПо всем вопросам пишите в техподдержку в консоли управления.
Если после 12 месяцев работы с базами данных в Облаке со скидкой вы останетесь недовольны качеством работы сервиса, мы предоставим вам консультацию нашего инженера, чтобы помочь провести обратную миграцию из Яндекс.Облака.

Облако растёт: новости сервисов





Встречайте Yandex Managed Service for Kubernetes
Мы рады объявить, что в Облаке появился сервис для управления кластерами Kubernetes!
Он подходит для запуска контейнеризованных приложений микросервисов. С помощью Yandex Managed Service for Kubernetes вы также можете мигрировать ваши приложения в Облако без рефакторинга кода и разработки дополнительных инструментов.
Сейчас Yandex Managed Service for Kubernetes находится на стадии Preview — оставьте заявку на сайте, чтобы использовать его в работе.
cloud.yandex.ru/services/managed-kubernetes

Новые сервисы в Яндекс.Облаке
Yandex Message Queue
Это масштабируемое решение для обмена сообщениями между приложениями теперь доступно всем пользователям Облака.
Настройте эффективную коммуникацию между приложениями без разработки своего протокола и обработки ошибок. Приложения с очередями сообщений легче масштабируются и обладают повышенной отказоустойчивостью. Подробнее о том, как устроен сервис, читайте в нашей статье.
Создать очередь сообщений
cloud.yandex.ru/services/message-queue
cloud.yandex.ru/docs/message-queue/

Yandex Managed Service for MySQL
Наконец-то! Теперь все пользователи Яндекс.Облака могут управлять базами данных на основе одной из самых популярных СУБД — MySQL.
MySQL отлично подходит для размещения бэкенда веб-проекта или системы управления контентом (CMS).
С сервисом Yandex Managed Service for MySQL легко создавать read-реплики. Кроме того, сервис непрерывно делает снимки БД и поддерживает технологию Point-in-Time Recovery (PITR), которая позволяет восстановить БД на любой момент времени за последние 7 суток.
Развернуть кластер MySQL в Облаке
cloud.yandex.ru/services/managed-mysql
cloud.yandex.ru/docs/managed-mysql/

Yandex Data Proc
Мы запустили сервис, который помогает разворачивать кластеры Apache Hadoop и Apache Spark в Яндекс.Облаке.
Yandex Data Proc сам создаёт хосты и настраивает их по вашим параметрам. Вы сможете изменить количество и мощности хостов в любой момент. Вы также сможете загружать свои приложения и необходимые сервисы Hadoop.
Доступ к новому сервису предоставляется по заявке — заполните её на нашем сайте.
Попробовать Yandex Data Proc
cloud.yandex.ru/services/data-proc
cloud.yandex.ru/docs/data-proc/

Yandex Instance Groups
Этот компонент сервиса Yandex Compute Cloud позволяет создавать группы однотипных виртуальных машин в инфраструктуре Яндекс.Облака.
Yandex Instance Groups поможет настроить развёртывание и горизонтальное масштабирование ваших ресурсов.
Создать группу ВМ
cloud.yandex.ru/services/instance-groups
cloud.yandex.ru/docs/compute/concepts/instance-groups/

Новые возможности
Калькулятор тарифов
Создавать виртуальные машины и базы данных на основе Intel Xeon Gold (Cascade Lake) выгоднее — производительность новых процессоров выше, а цены ниже. Убедитесь в этом — рассчитайте, сколько стоит нужная вам конфигурация ВМ или БД в калькуляторе!
Например, самая популярная конфигурация виртуальной машины в Облаке с 2 vCPU, 4 RAM и диском 13 ГБ обойдётся в 1673.88 ₽ в месяц с НДС на процессорах новой линейки (вместо 1740.56 ₽). Развернуть управляемую базу данных с частичным использованием ядра (burstable) стоит от 530 ₽ в месяц.
Перейти в калькулятор
cloud.yandex.ru/prices

Список управления доступом (ACL)
Списки управления доступом в Yandex Object Storage позволяют регулировать доступы к бакетам и объектам. Этот механизм не зависит от Yandex Identity and Access Management.
По умолчанию ACL пустой. Владелец Облака может добавить в него пользователей, сервисные аккаунты или системную группу.
Узнать больше про ACL
cloud.yandex.ru/docs/storage/concepts/acl

Другие новые функциональности сервисов
Доступна возможность обновления ранее созданных кластеров ClickHouse в Облаке.
Документация cloud.yandex.ru/docs/managed-clickhouse/operations/cluster-version-update
SQL-запросы к базам данных ClickHouse в Облаке.
Документация cloud.yandex.ru/docs/managed-clickhouse/operations/web-sql-query
CName для Yandex Managed Service for MySQL.
Документация cloud.yandex.ru/docs/managed-mysql/operations/connect
Подключение к базе данных в кластере PostgreSQL с драйвером, поддерживающим только один хост.
Документация cloud.yandex.ru/docs/managed-postgresql/operations/connect
Логическая репликация для управляемой PostgreSQL в Облаке.
Документация cloud.yandex.ru/docs/managed-postgresql/operations/data-migration
Автоматическое восстановление виртуальных машин в группе.
Документация cloud.yandex.ru/docs/compute/concepts/instance-groups/autohealing

Сценарии
Мы добавили два новых сценария по управлению инфраструктурой в Yandex Object Storage и рассказали, как установить Active Directory в Яндекс.Облаке с помощью Terraform и создать образ диска с помощью Packer.
Начало работы с Packer cloud.yandex.ru/docs/solutions/infrastructure-management/packer-quickstart
Развертывание Active Directory cloud.yandex.ru/docs/solutions/infrastructure-management/active-directory

Вебинары и мероприятия
Yandex DataLens: визуализация и анализ данных в Облаке:
Посмотреть запись
Сервисы ML и AI API в Яндекс.Облаке:
Посмотреть запись
Митап Яндекс.Облака в Санкт-Петербурге 2 июля:
Регистрация events.yandex.ru/events/meetings/jul-2

Разверните базу данных в Облаке



Управляемые кластеры баз данных — одно из самых популярных решений в Облаке. Выбирайте подходящий способ хранения данных, размещайте хосты кластера в разных зонах доступности — обслуживание баз и обновление СУБД Облако берёт на себя. Вы сможете выбирать схемы размещения кластера, управлять политикой резервирования БД, просматривать журналы событий и следить за ключевыми метриками по графикам.
Управляемые БД в Облаке стали выгоднее: разверните базы данных с неполным уровнем производительности хоста (burstable) с долей vCPU 5%, 20% или 50% и платите меньше. Такие БД обычно используют для тестирования и разработки. Их стоимость — от 530 ₽ в месяц с НДС.
Выберите СУБД, которая лучше всего подойдет для ваших задач:

Yandex Managed Service for PostgreSQL
Создание платёжных систем.Работа с данными со сложной структурой.Бэкенд веб-проекта.Пошаговая инструкция Видео-инструкция
NEW: Yandex Managed Service for MySQL
Создание простых сайтов.Бэкенд веб-проекта.Пошаговая инструкция
Yandex Managed Service for MongoDB
Размещения кэша.Бэкенд для хранения данных.Машинное обучение.Пошаговая инструкция Видео-инструкция
Yandex Managed Service for ClickHouse
Анализ потоков структурированных и неизменяемых событий и результатов логирования.Визуализация информации и анализ событий в реальном времени.Отслеживание инцидентов на сервисе.Пошаговая инструкция Видео-инструкция
NEW: Yandex Managed Service for Redis
Работа с процессами, требующими самой высокой скорости обращения к данным.Настройка очередей сообщений.Пошаговая инструкция
А недавно появился новый сервис в стадии превью: Yandex Data Proc — он позволяет разворачивать кластеры Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака. Зарегистрируйтесь на вебинар, чтобы узнать о сервисе подробнее.
cloud.yandex.ru/docs/data-proc/

Если у вас остались вопросы, обращайтесь в службу технической поддержки: по почте, в чате или через форму обратной связи в консоли управления.

Чем вам могут быть полезны управляемые базы данных



Самостоятельно установленная и настроенная База Данных (БД) требует много внимания и времени, которых, как правило, не хватает. Мы в Яндекс.Облаке рекомендуем вам создавать управляемые кластеры БД — вы можете выбрать из множества доступных сервисов, например, Yandex Managed Service for PostgreSQL, Yandex Managed Service for MySQL и другие.
Какие преимущества управляемых БД? Яндекс.Облако обеспечивает:
Резервное копирование: автоматическое создание реплик данных и резервных копий (снимков).Отказоустойчивость: автоматический обход отказа в случае выхода из строя одного из хостов. Для повышения отказоустойчивости продуктивных систем мы рекомендуем создавать несколько реплик БД в разных зонах доступности.Автоматическое обновление: версии БД всегда актуальны, а обновления содержат исправления по безопасности и исправления проблем, которые могли приводить к повреждению или потере данных.Эластичность: автоматизированное вертикальное и горизонтальное масштабирование кластеров баз данных как в сторону увеличения ресурсов при росте нагрузки, так и в сторону их уменьшения, если нагрузка имеет периодический характер. Масштабирование также включает оптимизацию параметров БД под новый объем инфраструктурных ресурсов.Мониторинг: Облако предоставляет возможность просмотра графиков метрик баз данных, а также системных инфраструктурных ресурсов, которые они используют.Так, используя управляемые базы данных, вы быстрее запускаете свои продукты и сервисы и можете сосредоточиться на других задачах вместо настройки и обновления БД.
Кроме того, управляемые БД в Облаке стали выгоднее — появились базы данных с неполным уровнем производительности хоста (burstable) с долей vCPU 5%, 20% или 50%. Такие БД отлично подходят для тестирования и разработки и стоят от 530 ₽ в месяц.
Попробуйте сегодня создать управляемый кластер базы данных в облаке — посмотрите документацию интересующего вас сервиса:
Yandex Managed Service for PostgreSQLYandex Managed Service for MySQLYandex Managed Service for MongoDBYandex Managed Service for ClickHouseYandex Managed Service for Redis

Управление Apache Hadoop в Облаке, MySQL в общедоступной версии и новые классы хостов




Сегодня у нас три новости о дополнительных инструментах для всех, кто работает с данными. Для распределенного хранения и обработки больших объемов появляется возможность попробовать развертывание кластеров Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака. Тех, кто делает web-проекты, обрадует переход Yandex Managed Service for MySQL в общедоступную версию. А для случаев, когда вам не нужна максимальная производительность виртуального ядра, мы запустили новые классы хостов для кластеров БД. Их использование стоит в 3,5 раза дешевле самого выгодного из прежних вариантов.

Первое событие — запуск нового сервиса Yandex Data Proc, который помогает разворачивать кластеры Apache Hadoop и Apache Spark в инфраструктуре Яндекс.Облака. При этом пользователь самостоятельно определяет размер кластера, мощность узлов и набор сервисов Apache (Spark, HDFS, YARN, Hive, HBase, Oozie, Sqoop, Flume, Tez, Zeppelin).

Вы можете создавать постоянно запущенные кластеры, а можете создавать их в один клик для временных расчётов и останавливать или удалять по требованию. Данные при этом можно сохранять либо в HDFS поверх сетевых дисков Яндекс.Облака, либо в Object storage. Это даёт гибкие возможности экономии для распределённого хранения и обработки данных.

Вторая новость: запуск новых классов хостов для кластеров БД с частичным использованием vCPU. Для наших пользователей хосты в кластерах Managed Service for PostgreSQL, Managed Service for MySQL, Managed Service for MongoDB и Managed Service for ClickHouse разворачиваются на базе виртуальных машин Yandex Compute Cloud. Эти виртуальные машины могут быть созданы на любой из платформ, которые поддерживает Compute Cloud, а класс хостов определяет вычислительные мощности и объем хранилища, которые выделяются для каждого хоста в кластере.

На практике не каждая решаемая задача требует постоянной гарантии производительности vCPU на 100%. Особенно это актуально для тестовых окружений. На этот случай мы подготовили машины, которые обеспечивают базовый уровень производительности vCPU с вероятностью временного повышения вплоть до 100%. При их использовании стоимость БД для пользователя теперь начинается от 530 рублей.

Полный список доступных конфигураций можно изучить на странице Классы хостов.

И третья новость сервис Yandex Managed Service for MySQL перешел из стадии preview в общедоступную версию. Теперь вам станет легче эксплуатировать шаблонные базы данных, не заботясь об администрировании, включая мониторинг, резервное копирование данных и обновление ПО. Сервис Managed Service for MySQL позволяет создавать базы данных с необходимыми параметрами производительности, масштабировать вычислительные мощности и выделенный объем хранилища для баз данных по мере необходимости, получать журналы работы баз данных. Чтобы начать работу с сервисом, пройдите по ссылке.

Приходите в ближайшую субботу к нам на встречу about: cloud, расскажем подробности, ответим на вопросы про MDB в Яндекс.Облаке!

Облако растёт: новости сервисов



В этом выпуске вы узнаете про новые сервисы Облака, которые помогут визуализировать данные в удобных дашбордах и отчётах, подключить защиту от DDoS-атак или организовать мониторинг — собрать метрики о состоянии ваших облачных ресурсов. И это не все новости — подробнее читайте дальше!



Визуализация данных — это просто
Мы в Яндекс.Облаке запустили новый сервис визуализации данных Yandex DataLens. Он позволяет создавать аналитические отчёты и дашборды и делиться ими с коллегами и партнёрами.
Для создания отчётов вы можете использовать данные из разных источников, например, из Яндекс.Метрики или из CSV-файла. Подробнее о том, как работать с Yandex DataLens, читайте в документации. Сервис доступен в версии Preview — оставьте заявку, чтобы использовать его в работе.
cloud.yandex.ru/services/datalens

Новые сервисы в Яндекс.Облаке
Yandex DDoS Protection
Теперь в Яндекс.Облаке вы можете подключить защиту от DDoS-атак для ваших приложений. Защита предоставляется в партнёрстве с Qrator Labs: она сочетает в себе возможности внешней опорной сети Qrator и оборудования, размещённого непосредственно в сети Облака.
Подключить защиту можно при создании виртуальной машины, базы данных или балансировщика нагрузки. Подробнее читайте на сайте, тарифы cloud.yandex.ru/docs/vpc/pricing
Включить защиту от DDoS-атак cloud.yandex.ru/docs/vpc/operations/enable-ddos-protection
Прерываемые ВМ в Yandex Compute Cloud
Для задач тестирования мы добавили возможность создавать прерываемые виртуальные машины (ВМ).
Они дешевле* обычных: ВМ с полным использованием vCPU стоят от 236 рублей с НДС в месяц вместо 708 рублей. А с частичным использованием vCPU — от 136 рублей с НДС в месяц вместо 245 рублей. Прерываемые ВМ работают как обычные, но имеют некоторые ограничения.
Оптимизировать затраты
Yandex Monitoring
Встречайте — долгожданный сервис для сбора метрик о состоянии ваших облачных ресурсов. Он автоматически собирает информацию и позволяет объединить данные из разных каталогов и облаков в одном дашборде.
Сейчас сервис доступен по запросу: подать заявку на доступ можно на сайте.
Узнать больше о Yandex Monitoring cloud.yandex.ru/docs/monitoring/
Yandex Load Balancer
Распределяйте нагрузку и обеспечивайте отказоустойчивость вашего сервиса с Yandex Load Balancer — теперь в общедоступной версии.
Создать и настроить балансировщик cloud.yandex.ru/services/load-balancer
Yandex Managed Service for Redis
Это сервис для создания и управления кластерами баз данных на основе СУБД Redis. Она часто используется для систем анализа контента в реальном времени. Мы запустили общедоступную версию сервиса — пользуйтесь без ограничений. cloud.yandex.ru/services/managed-redis
Начать работу с Yandex Managed Service for Redis cloud.yandex.ru/docs/managed-redis/

Новые функциональности сервисов
Yandex Object Storage
Теперь вы можете настроить время хранения объектов в бакете Object Storage — подробнее про жизненный цикл читайте в документации. cloud.yandex.ru/docs/storage/lifecycles/
Yandex Managed Service for ClickHouse
В консоли управления для Managed Service for ClickHouse появилась возможность подключаться к кластерам ClickHouse и выполнять SQL-запросы. Мы описали работу с SQL-запросами в документации Яндекс.Облака. cloud.yandex.ru/docs/managed-clickhouse/operations/web-sql-query
Сценарии
Теперь вы можете настроить сайт на WordPress быстрее: у нас появился подробный сценарий работы с WordPress. cloud.yandex.ru/docs/solutions/web/wordpress
Создать облачную структуру в Облаке проще с Terraform. Мы описали начало работы с этим инструментом в документации. Подробнее о том, как работать с Terraform — смотрите запись вебинара на Youtube.
cloud.yandex.ru/docs/solutions/infrastructure-management/terraform-quickstart

Вебинары
Инструменты управления инфраструктурой в Яндекс.Облаке:
Посмотреть запись
Как построить отказоустойчивый веб-сервис:
Посмотреть запись

Что мы сделали для вас в марте



21 марта день сравнялся с ночью. Дальше будет только прибавляться, а кое-где дело даже дойдёт до белых ночей. На гребне этого эмоционального подъёма, этого торжества жизни над смертью мы не сбавляем темп и выкатываем на сцену новый сервис. Итак…

Mail.ru Cloud Managed Services
Мы готовы администрировать IT-инфраструктуру любой сложности и конфигурации, построенную на облаке MCS: и сервисы, и ваши приложения на них. В услугу входит администрирование, поддержка, мониторинг, реагирование на инциденты, а также аудит, консалтинг и помощь во внедрении.
mcs.mail.ru/managed-services/

Новое в продуктах


База данных ClickHouse. Теперь в сервисе Cloud Databases можно запустить инстанс ClickHouse. Скоро откроем кластер ClickHouse, так что следите за обновлениями. Как запустить кластер ClickHouse → mcs.mail.ru/help/instance-databases/clickhouse

Двухфакторная аутентификация. Добавляет дополнительный уровень защиты пользовательского аккаунта. Если включить её, для входа в учётную запись, помимо логина и пароля, каждый раз нужно будет вводить дополнительный код. Как включить двухфакторку → mcs.mail.ru/help/account/2step

Виртуальная машина Centos 7.6. Теперь при создании инстанса вы можете выбрать образ с настроенной ОС Centos 7.6. Подключить виртуалку → mcs.mail.ru/app/services/infra/servers/add/


mcs.mail.ru/help/legal/fstec

Kubernetes speakers wanted. Если ваша душа горит за Kubernetes (а может быть — вы осознанно против) и вам есть, что рассказать на эту тему — пожалте сделать доклад на следующем @Kubernetes Meetup, который пройдёт в нашем московском офисе 22 мая.
https://docs.google.com/forms/d/e/

Почитать
Мы тоже любим кубик и съели на нём собаку. Вот памятки для начинающих пользователей Kubernetes:
Как защитить кластер KubernetesКак настроить кластер etcd
А для любителей почитать увлекательные истории — история про то, как сегодня используют образы операционных систем, и о DevOps на пальцах.

С уважением, Илья Летунов, Руководитель платформы

Горячие новости Облака за март



Яндекс.Облако: все новости платформы


Мы запустили партнёрскую программу
Теперь компании, которые разрабатывают уникальные технологические решения, могут не только использовать облачные сервисы Яндекса, но и размещать свои решения в Yandex Cloud Marketplace. Став партнёром-разработчиком, вы получите грант на тестирование сервиса, сможете пройти бесплатное обучение и получать техническую поддержку.
Есть партнёрская программа для системных интеграторов — подробности на сайте.
cloud.yandex.ru/partners


В Яндекс.Облаке появился блог
Мы будем регулярно рассказывать о новостях платформы, новых возможностях Облака, разбирать кейсы и делиться личным опытом пользователей.


Грант для разработчиков Диалогов Алисы
Создали новый навык для Алисы? Теперь вы можете получить годовой грант на 3000р. на его разработку и развитие. Для этого разместите навык в Облаке и подайте запрос на грант.
tech.yandex.ru/dialogs/alice/doc/ycloud-promo-docpage/

Коротко о важном
Блог Облака: Как настроить управляемую базу ClickHouse с данными для Graphite
ClickHouse можно использовать как хранилище данных Graphite. Из статьи вы узнаете о том, как настроить конфигурацию rollup в ClickHouse и создать таблицы на основе GraphiteMergeTree
hosting.kitchen/yandex-cloud/kak-nastroit-upravlyaemuyu-bazu-clickhouse-s-dannymi-dlya-graphite.html

Хабр: MPLS повсюду. Как устроена сетевая инфраструктура Яндекс.Облака
Мы получаем много вопросов о сетевой инфраструктуре Облака — эта январская статья раскроет ответы на основные из них. В статье мы рассказали, почему в Облаке применяется непопулярная для дата‑центров парадигма MPLS, как мы ей управляем, какие сложные решения нам пришлось принять и какие мониторинги используем.
habr.com/ru/company/yandex/blog/437816/

Пользователи об Облаке
Как перенести сайт на базе WordPress в Яндекс.Облако?
Наш пользователь Олег Иванов написал пошаговую инструкцию о переносе сайта в инфраструктуру Облака: по ссылке вы найдете подробный разбор каждого шага, возможных сложностей и подходов к их решению. Вы можете рассказать свою историю о работе с платформой — присылайте материалы на cloud‑blog@yandex‑team.ru
cloud.yandex.ru/blog/posts/2019/03/wp

Вебинары и видеокурсы
Kubernetes meetup: запись трансляции об операторах Kubernetes.Вебинар: Как построить отказоустойчивый веб‑проект — видеозапись.Школа Алисы: Как развернуть навык в Яндекс.Облаке.Школа Алисы: Как изменить поведение тестовых навыков в Яндекс.Облаке.Курс: Обзор платформы Яндекс.Облако.

Новые сервисы в Яндекс.Облаке: как мы выросли со дня запуска




Мы постоянно добавляем в Яндекс.Облако новые сервисы и развиваем существующие. В декабре 2018 года мы открыли доступ к инфраструктурным сервисам. С их помощью уже на старте можно было наладить обработку и хранение данных, безопасный доступ и обмен трафиком. В Яндекс.Облаке сразу же стал доступен и набор платформенных сервисов, позволяющих пользоваться проверенными технологиями Яндекса. Мы предоставили управляемые базы данных, API синтеза и распознавания речи и уникальный гибридный перевод. Три месяца спустя мы видим, что правильно оценили готовность рынка — доля потребления платформенных сервисов растёт. Крупные клиенты уже по достоинству оценили простоту и скорость внедрения решений на базе PaaS Яндекс.Облака в коммерческую эксплуатацию.

Посмотрите, какие новые сервисы появились в Яндекс.Облаке после запуска:

Инфраструктурные:
Yandex Load Balancer — позволяет создавать и настраивать балансировщики для обеспечения отказоустойчивости вашего приложения или для распределения сетевого трафика по облачным ресурсамYandex Instance Groups — компонент сервиса Yandex Compute Cloud, предназначенный для развёртывания и горизонтального масштабирования виртуальных машинYandex Message Queue — универсальное масштабируемое решение для обмена сообщениями между приложениями.Yandex Container Registry — сервис для развёртывания Docker-образов контейнеров и управления ими в инфраструктуре Облака.
Платформенные:
Yandex Managed Service for Redis/MySQL — автоматизирует процесс внедрения и поддержки кластеров баз данных в инфраструктуре Облака. Мы расширили список доступных СУБД с трёх до пяти: помимо ClickHouse, PostgreSQL и MongoDB теперь можно использовать Redis и MySQL.Новые сервисы на данной стадии не тарифицируются. Получить к ним доступ можно на сайте — при условии, что вы уже являетесь пользователем Облака. Подтверждение доступа придёт в виде письма на email, указанный в настройках консоли.

Будьте в курсе новостей сервисов Облака



Мы запускаем дайджест новостей о сервисах платформы. Каждый месяц мы будем рассказывать вам о том, какие новые сервисы и функциональности доступны в Облаке и какие сценарии реализации проектов разработали наши специалисты.
Поехали!


Разнообразие новых сервисов в Яндекс.Облаке
В Облаке появились новые сервисы в альфа-версиях — их можно протестировать уже сегодня. Вы не платите за использование сервисов в альфа-версии, но помните про ограничения в условиях обслуживания: в тестовых сервисах отсутствует SLA, и мы не рекомендуем использовать ваши настоящие данные. Чтобы протестировать сервисы в работе, активируйте аккаунт в Облаке и заполните заявку на сайте.


Yandex Load Balancer α
Сервис для равномерного распределения сетевой нагрузки по виртуальным машинам. Это поможет обеспечить отказоустойчивость вашего приложения.
cloud.yandex.ru/services/load-balancer


Yandex Instance Groups α
Компонент сервиса Yandex Compute Cloud для управления группами однотипных виртуальных машин.
cloud.yandex.ru/services/instance-groups


Yandex Managed Service for Redis * α
Сервис для создания кластеров баз данных и их управления на основе СУБД Redis. Часто используется для систем анализа контента в реальном времени.
cloud.yandex.ru/services/managed-redis


Yandex Managed Service for MySQL α
Сервис для создания кластеров БД и их управления на основе СУБД MySQL. В MySQL можно разместить бэкенд веб-проекта или данные CMS.
cloud.yandex.ru/services/managed-mysql


Yandex Message Queue α
Сервис для обмена сообщениями между приложениями.
cloud.yandex.ru/services/message-queue


Yandex Container Registry α
Сервис для хранения и развертывания Docker‑образов и их управления в инфраструктуре Яндекс.Облака.
cloud.yandex.ru/services/container-registry

Новые возможности сервисов Яндекс.Облака

Yandex Object Storage
Теперь можно добавлять файлы в холодное хранилище через указание класса хранилища как STORAGE_IA или NEARLINE.
cloud.yandex.ru/docs/storage/concepts/storage-class
Появилась поддержка CORS — кросс-доменных запросов к объектам в корзине.
cloud.yandex.ru/docs/storage/cors/setup


Yandex Virtual Private Cloud
Открыты 465 и 587 порты для размещения электронной почты в Облаке.
cloud.yandex.ru/docs/vpc/concepts/network


Сценарии
В документации описан сценарий работы с тестовыми средами через GitLab CI
cloud.yandex.ru/docs/solutions/testing/ci-for-snapshots
Представлен сценарий работы с системой управления инфраструктурой Terraform
cloud.yandex.ru/docs/solutions/infrastructure-management/terraform-quickstart


Инструменты управления
В разделе Биллинг консоли управления появился раздел Детализация — теперь вы можете визуализировать потребление облачных сервисов с помощью графиков.
cloud.yandex.ru/docs/billing/operations/check-charges


Управление базами данных
Теперь после создания кластера базы данных можно изменить класс хостов, увеличить размер хранилища и настроить серверы БД.
Подробнее об этом читайте в инструкциях:
Managed Service for PostgreSQL
Managed Service for ClickHouse
Managed Service for MongoDB


Вебинары
Навыки Алисы в Яндекс.Облаке
www.youtube.com/watch?v=54nfwe5jfcU
Курс «Платформа и сервисы»
www.youtube.com/watch?v=VpJJ8VsleBI

Изменения в предоставлении сервисов Облака



Спасибо за работу с сервисами платформы Яндекс.Облако! В этом письме мы собрали все изменения в предоставлении сервисов, которые вступают в силу с 1 января 2019 года. Изменения затрагивают как тарифы, так и некоторые пункты условий использования.

Изменения в тарифах:
Мы ввели более привлекательные тарифы на сеть для пользователей, потребляющих её в крупных объёмах.Мы ввели дополнительную плату за использование публичных статических IP адресов, не задействованных на активных виртуальных машинах.Microsoft меняет стоимость лицензии на Windows Server. Мы отразили это в тарифе.Тарифы до НДС на сервисы не поменялись, за исключением пунктов, описанных выше. В России ставка НДС увеличивается с 18% до 20%, что отражено в тарифах с учётом НДС.cloud.yandex.ru/prices

Изменения специальных условий использования внесены в части заверения гарантий и ответственности сторон, а также в описании версий облачных сервисов: альфы, беты и основной версии. В условиях использования мы отразили информацию о том, что сервис Yandex Managed Databases преобразуется в три сервиса: Managed Service for ClickHouse, Managed Service for MongoDB, Managed Service for PostgreSQL.

Если у вас возникнут вопросы, пожалуйста, воспользуйтесь бесплатной поддержкой.

Некоторые тарифы и положения Оферты для сервисов Яндекс.Облака скоро поменяются



Спасибо, что используете сервисы Яндекс.Облака.
В этом письме мы расскажем об изменениях тарифов на некоторые Сервисы и изменениях в Оферте. Изменения вступают в силу с 01.12. 2018 года.

Изменения в тарифах:
Yandex Managed ClickHouse
У вас появится возможность самостоятельно определять размер ZooKeeper и рассчитывать его стоимость в соответствии с ценами, указанными в документации.
cloud.yandex.ru/docs/mdb/pricing#new
Yandex Object Storage
Теперь запросы с ошибками тарифицируются по наименьшему из тарифов, вне зависимости от используемого вами типа хранилища.
cloud.yandex.ru/docs/storage/pricing#new

Yandex SpeechKit
Все запросы будут тарифицироваться по единому тарифу.
cloud.yandex.ru/docs/speechkit/pricing#new
Yandex Translate
Все запросы будут тарифицировать по единому тарифу.
cloud.yandex.ru/docs/translate/pricing#new

Изменения в Оферте:
Включено описание механизма действия кредитных лимитов.

Добавлена информация о способе оплаты для юридических лиц с помощью банковской карты и уточнён порядок расчетов. Вы можете ознакомиться с Офертой yandex.ru/legal/cloud_oferta/
Если у вас возникнут вопросы, пожалуйста, воспользуйтесь бесплатной поддержкой.
cloud.yandex.ru/docs/support/overview

Дружим gRPC с долгоживущим проектом, PHP и фронтендом



ару лет назад мы достаточно спокойно работали нашей небольшой командой и делали хостинг. Вышло так, что каждый сервис в системе обладал собственным уникальным и неповторимым API. Но потом это стало проблемой и было решено все переделать.

Мы расскажем о том, как объединить внешнее API с внутренним и что делать, если у вас много кода на PHP, но хочется воспользоваться преимуществами gRPC.

Сейчас очень много говорят про микросервисы и SOA в целом. Наша инфраструктура не исключение: ведь мы занимаемся хостингом и наши сервисы позволяют управлять почти тысячей серверов.

Со временем сервисов в нашей системе стало появляться все больше: стали регистратором доменов — выносим регистрацию в отдельный сервис; метрик с серверов стало очень много — пишем сервис, который делает выборки из ClickHouse / InfluxDB; Нужно сделать эмулятор запуска задач «как через Crontab»; для пользователей — пишем сервис. Наверное, это многим будет знакомо.

Входящих задач в разработке много. Количество различных сервисов растет плавно и, вроде бы, незаметно. Заранее учесть все будущие нюансы невозможно, поэтому на смену одним API приходили другие, более лучшие. Но настал день, когда стало очевидно, что у нас развелось слишком много протоколов:


Чем больше становилось сервисов и связей между ними, тем дольше и сложнее было решать задачи: требовалось изучить несколько разных API, написать к ним клиенты и только потом приступить к реальной работе.

Ах, да… еще ведь документация нужна. Иначе в чатиках происходят такие диалоги:
— Ребят, как мне получить баланс пользователя из биллинга?
— Сделай вызов в billing/getBalance(customerId)
— А список услуг как получить?
— Не помню, поищи нужный контроллер в
Короче говоря, зародилась мечта о волшебном едином стандарте и технологии для создания сетевых API, которые решат все проблемы и сэкономят нам вагон времени.

Формируем требования
Немного подумав, мы составили свой небольшой список требований:
Используемый способ описания API должен быть декларативнымРезультат должен быть однозначным и человеко-понятным: нужно проводить code reviewНужна возможность описывать как успешный flow, так и ошибки. Причем это должно делаться явно для каждого методаНа основе описания нужно генерировать как можно больше скучного кода для клиента и сервера
Из коробки он удовлетворял почти всем нашим требованиям. Если в двух словах:
Декларативное описание методов и структур данныхОн очень читабельный и простой. По получившимся .proto-файлам легко проводить code review. Синтаксис IDL близок к популярным ЯПЗавезены генераторы под большинство популярных ЯП (но есть нюанс. О нем ниже)gRPC — просто механизм RPC без каких-либо строгих требований к организации API. Это дает возможность разработать собственные принципы и гайдлайны с учетом накопленного опыта
Однако, идеальных технологий не существует. Для нас возникло несколько камней преткновения:
Мы активно используем PHP и он не умеет в сервер gRPC;Наш фронтенд по-прежнему ожидает привычный HTTP. На текущий момент мы были вынуждены «проксировать» запросы фронтенда через отдельное приложение, формирующее правильные запросы к внутреннему API. В подавляющем большинстве случаев это лишняя скучная работа. Хотелось бы внутри нашей системы все отдавать через один протокол с автоматической конвертацией в HTTP для фронтенда.К счастью, мы достаточно легко решили эти проблемы. Далее я буду предполагать, что читатель знаком с gRPC. Если нет — лучше сначала обратиться к упомянутой выше статье.

И так далее, много технической информации
Надеюсь на Хабре топик не удалится, т.к. сохранять для Истории рынка не вижу смысла, черзе 5 лет устареет все. Просто запомним факт, что была такая новость ;)
habr.com/company/beget/blog/348008/