Yandex Cloud

Экспорт метрик в Prometheus
Теперь метрики из Yandex Monitoring можно экспортировать в формате Prometheus. Если вы используете Prometheus для мониторинга своей инфраструктуры, добавить туда метрики сервисов Yandex.Cloud не составит труда.

Prometheus — система мониторинга на открытом исходном коде. В его состав входят фреймворк для мониторинга и собственная база данных временных рядов. Это комплексное решение, в котором можно настроить эффективный мониторинг всей инфраструктуры.

Чтобы выгрузить метрики в формате Prometheus, воспользуйтесь методом prometheusMetrics. Мы описали его в документации и добавили туда пошаговую инструкцию по настройке.

Изменения в тарификации
С 1 октября начинают тарифицироваться операции чтения метрик read через API как в формате Yandex Monitoring, так и в формате Prometheus.


Чтение и отображение графиков через интерфейс Yandex Monitoring и консоль управления остаётся бесплатным.

Если у вас возникнут вопросы по работе с Yandex Monitoring, напишите нам.

На Yandex Scale вы услышите не только доклады экспертов Yandex.Cloud, но и истории наших клиентов и партнеров о реализации ИТ-проектов на базе облачной платформы.
Обратите внимание на эти темы в программе конференции:

• Virtual Private Cloud: опыт Mindbox
• Перенос разработки в Yandex.Cloud на примере международного автоконцерна: опыт OpsGuru
• Managed k8s для крупного бизнеса: опыт блокчейн-платформы Waves Enterprise
• Compute Cloud: анонсы
• SpeechKit: новые возможности

cloud.yandex.ru/events/scale-2020

Яндекс.Облако и компания RightConf — единственный официальный представитель сервиса Zoom в России — начали совместно предоставлять услуги корпоративным клиентам. Теперь компании, которые приобретают лицензию у компании RightConf для использования Zoom, также могут выбрать размещение серверов на платформе Яндекс.Облака. В таком случае весь трафик пользователей будет обрабатываться в России, это повысит безопасность и качество связи.

Сейчас Zoom работает через сервера расположенные в Европе, и максимальное качество видео не превышает 640×360 точек. На серверах Zoom в Яндекс.Облаке доступно HD-качество изображения, то есть минимум 1280×720 точек, с возможностью повышения разрешения до 1920×1080. При запуске Zoom на платформе Яндекс.Облака время обмена информацией с сервером для российских пользователей уменьшится в 5-7 раз, соответственно вырастет качество связи, станет меньше искажений и задержек звука и видео.

Платформа Яндекс.Облако соответствует требованиям российских и международных правил по защите и безопасности информации. Это открывает возможность использования Zoom компаниям, для которых действовали внутренние и внешние ограничения на использование приложения.

Также в Яндекс.Облаке компании получат расширенные возможности хранения и управления архивами конференций, мониторинг загрузки ресурсов приложения Zoom и облачных ресурсов.

После карантина многие компании полностью пересмотрели свои подходы к организации работы команд. Офисы окончательно перестали быть главным местом коммуникаций и спрос на инструменты удаленного взаимодействия продолжает расти. Мы предлагаем компаниям в России повысить качество работы Zoom — одного из самых популярных приложений для видеоконференций, сделать его более удобным, надежным и безопасным

отметил Олег Коверзнев, операционный директор Яндекс.Облака

Zoom стремительно завоевывает доверие компаний, которым нужны инструменты удаленной работы высокого качества. При выборе облачного провайдера мы ориентировались на доступность цен, уровень технологического развития платформы и надежность. Яндекс.Облако полностью соответствует критериям, которые важны для нас

прокомментировал Андрей Петренко, генеральный директор RightConf.

Платформа Яндекс.Облако и ГК Цифра начали совместно предоставлять доступ к облачной версии системы мониторинга промышленного оборудования «Диспетчер». Применение облачного решения может до 10 раз сократить затраты предприятий на покупку собственной ит-инфраструктуры. Таким образом формат Индустрия 4.0 становится доступным для 2,5 тысяч промышленных предприятий среднего и малого бизнеса в различных отраслях.

«Диспетчер» — крупнейшая в России система мониторинга промышленного оборудования и персонала. В 2020 году для контроля и оценки эффективности работы промышленного оборудования систему «Диспетчер» применяют 290 предприятий, среди которых отраслевые гиганты: госкорпорации Ростех, Росатом, Роскосмос, ОАК и другие. «Диспетчер» мониторит свыше 3000 единиц промышленного оборудования.

На базе технологии индустриального интернета вещей «Диспетчер» в режиме реального времени контролирует и анализирует работу промышленного оборудования. Это позволяет выявлять «узкие места» в организации производства и вовремя их ликвидировать, а также создавать цифровые рабочие места в цехах. В среднем система повышает эффективность использования оборудования на 15%, позволяя предприятиям увеличивать объемы производства на текущих мощностях.

Теперь, благодаря размещению «Диспетчера» на платформе Яндекс.Облака, система стала доступна не только предприятиям из традиционных для Диспетчера отраслей металлообработки и машиностроения, но и тысячам средних и малых предприятий легкой, деревообрабатывающей и пищевой промышленности. По данным ГИСП — это более двух с половиной тысяч производств.

Яндекс.Облако предоставляет предприятиям всю необходимую инфраструктуру для запуска и поддержки работы системы «Диспетчер»: серверы для анализа информации, системы хранения данных, современные системы управления базами данных. В отличие от использования собственной инфраструктуры облачное решение позволяет предприятиям сократить время внедрения системы в 2 раза, а первоначальные инвестиции до 10 раз, за счет исключения затрат на покупку дорогостоящего ИТ-оборудования. Стоимость лицензии облачной версии будет составлять от 3 до 5 тысяч рублей (в зависимости от широты функционала) в месяц на единицу оборудования.

В Облаке цифровизацию производства можно начать с минимальными вложениями, на любом количестве оборудования, оплачивать только фактический объем потребления ресурсов. По мере роста парка оборудования на предприятии дополнительные ит-ресурсы в Облаке можно подключить по запросу, буквально за секунды

прокомментировал Олег Коверзнев, операционный директор Яндекс.Облака

Российская промышленность — это не только крупные холдинги, ориентированные на оборонно-промышленный комплекс, атомную энергетику, тяжелое машиностроение. У нас тысячи средних и малых предприятий, которые теперь, используя облачную версию, могут сделать свое производство цифровым в несколько кликов. Совместно с Яндекс.Облаком мы открываем „окно“ в Индустрию 4.0 для предприятий любого масштаба

прокомментировал Виталий Туев, директор по продукту «Диспетчер», ГК Цифра.

На Yandex Scale поговорим об уникальном опыте 2020 года, испытаем новые сервисы на практике, обсудим планы на будущее и послушаем истории клиентов и партнеров платформы о работе с Yandex.Cloud.
На сайте появилась программа конференции — в ней каждый найдет что-то для себя. Вот лишь несколько тем, которые мы затронем:

• Подход Yandex.Cloud к развитию ML-продуктов
• Yandex Data Platform: анонсы новых сервисов
• Yandex Managed Service for Kubernetes: анонсы и опыт блокчейн-платформы Waves Enterprise
• Под капотом DataSphere
• Всё про безопасность: как мы отражаем атаки и защищаем облачные сети

cloud.yandex.ru/events/scale-2020/

Плановое обновление сервиса Yandex Monitoring вносит концептуальные изменения и новые возможности для работы с метриками. Рассказываем обо всём по порядку.

Изменения в концепциях
Мы отказались от отдельной сущности «График».
Теперь графики существуют внутри дашборда. Отдельные графики, которые у вас были ранее, сохранены как дашборды с одним этим графиком.

• Убрали деление на папки.
• Все дашборды теперь можно найти в одном списке.
• Включили механизм удаления устаревших метрик (TTL).

Метрики, для которых не поступали новые значения в течение 30 дней, автоматически удаляются из Yandex Monitoring. Автоматическое удаление метрик запускается минимум раз в сутки. Метрики, по которым данные продолжают поступать, не удаляются. Подробнее об этом механизме читайте в документации.

Новые возможности
Функции
Теперь к метрикам можно применять функции, позволяющие преобразовывать график. Функции позволяют отобразить ряды с самыми большими или самыми маленькими значениями, сгруппировать ряды при помощи различных функций агрегации, отобразить их с временным сдвигом для сравнения текущих и исторических данных, отобразить процентили гистограмм и многое другое.

Функции можно применять в строке запроса:


Также их можно применять в текстовом режиме:


Полный список функций с описанием доступен в документации.
cloud.yandex.ru/docs/monitoring/concepts/querying

Параметры дашборда
Появилась возможность добавлять параметры к любым дашбордам. Параметры позволяют создавать интерактивные дашборды, содержание которых меняется в зависимости от выбора пользователя. Параметр может принимать произвольные значения, заданные пользователем, или значения метки мониторинга, автоматически обновляясь при изменении набора меток.



Список параметров дашборда можно найти в документации.
cloud.yandex.ru/docs/monitoring/concepts/visualization/dashboard

Избранное
Теперь раздел Избранное отображает элементы из всех каталогов вашего облака, что позволяет удобнее переключаться между элементами в разных каталогах.


Если у вас возникли вопросы или сложности в работе с Yandex Monitoring после планового обновления сервиса, напишите нам.

Среди управляемых сервисов для хранения и обработки данных появился новый сервис Yandex Managed Service for Apache Kafka. С его помощью вы можете создавать кластеры Apache Kafka в инфраструктуре Яндекс.Облака. Managed Service for Apache Kafka находится на стадии Preview и не тарифицируется.
cloud.yandex.ru/services/managed-kafka

Как работает Apache Kafka
Apache Kafka — распределенный брокер сообщений с возможностью горизонтального масштабирования для передачи данных между приложениями и их компонентами. Обмен сообщениями между производителями и потребителями происходит через топики с помощью механизма «публикация-подписка». Производители публикуют сообщения определенной категории в топик, а потребители подписываются на этот топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Количество разделов определяется пользователем, увеличение их количества позволяет нарастить пропускную способность кластера без изменения конфигурирации приложений.

Сценарии использования Managed Service for Apache Kafka
Каноничный брокер для доставки данных между различными компонентами приложения. Так, приложения могут писать в топики Kafka некоторые данные: бизнес-данные, метрики, журналы.


В Облаке потребители способны реализовать следующие сценарии:

• Построение онлайн-аналитики или реакции на событие c использованием технологий стриминга, например Kafka Streams, Spark Streaming с использованием Yandex Data Prос;
• Перенаправление сообщений в Object Storage, Managed Service for ClickHouse, HDFS или любое другое подходящее для оффлайн-аналитики хранилище.

Использование Kafka для реализации захвата изменения потоковой передачи данных (change data capture) в онлайн-режиме в базах данных для последующей их передачи в хранилище (ClickHouse, HDFS) или пользовательские приложения.


С чего начать
Запросите доступ к сервису через форму заявки на странице сервиса или в консоли управления.
cloud.yandex.ru/services/managed-kafka

Создайте кластер Managed Service for Apache Kafka.

Создайте и настройте топик и разделы. Настройте фактор репликации.


Подробнее о сервисе читайте в документации.

Яндекс.Облако и Валарм, платформа адаптивной защиты API и веб-приложений, договорились о сотрудничестве. Теперь пользователи Яндекс.Облако получат удобный доступ к решению Валарм WAF для защиты веб-приложений и API от самых распространенных кибератак, а время установки сократится до нескольких минут.

Валарм WAF помогает бороться с поиском уязвимостей и хакерскими атаками, которые могут привести к компрометации данных: SQL-инъекции, XSS, XXE, RCE и другие угрозы OWASP Top-10. Также разработчики получат защиту от брутфорса, кражи учетных записей и атак на логику приложения.

Для использования Валарм WAF клиентам не нужно вносить изменения в исходный код и архитектуру защищаемого приложения. Получить доступ к решению можно непосредственно из маркетплейса Яндекс.Облака. На момент запуска инструмент доступен пользователям Облака по модели BYOL (Bring Your Own License): подписку на услугу необходимо оформить напрямую у Валарм. В будущем приобрести лицензию можно будет в маркетплейсе Облака.
cloud.yandex.ru/marketplace/products/f2e6gba83h48oik7bla4

Главными пользователями решения в Яндекс.Облаке будут DevOps-компании, создающие сложные и рассчитанные на высокие на нагрузки приложения. Например, компании в сферах электронной коммерции, цифрового ритейла, онлайн-платежей и электронные СМИ.

По данным Валарм, за время пандемии (в феврале–мае 2020 года) число атак на веб-приложения, то есть сайты, порталы и приложения для смартфона и компьютера, в которых происходит обмен информацией по интернету, выросло в 2,2 раза в сравнении с аналогичным периодом прошлого года.

Валарм — платформа для автоматизации защиты и тестирования веб-приложений, микросервисов и API, созданная на базе машинного обучения. Разработчик платформы — компания «Онсек». Приложением Валарм WAF пользуются QIWI, HeadHunter, Avito и другие крупнейшие компании Рунета.

Мы рады поделиться ещё одной реализованной идеей сообщества Яндекс.Облака: создание и управление очередями сервиса Yandex Message Queue теперь возможно через популярный инструмент управления — Terraform.

Чтобы управлять своими сервисами и ресурсами с помощью Terraform, создайте конфигурационный файл и настройте провайдер Яндекс.Облака. Для этого воспользуйтесь пошаговой инструкцией.

С помощью Terraform вы можете создавать и удалять очереди сообщений, а также использовать ранее созданные очереди при помощи data source. Все параметры и атрибуты можно найти в документации и на странице Terraform-провайдера Облака.
www.terraform.io/docs/providers/yandex/r/message_queue.html
cloud.yandex.ru/docs/message-queue/instruments/terraform
cloud.yandex.ru/docs/solutions/infrastructure-management/terraform-quickstart

Примеры создания очередей сообщений
Конфигурационный файл для стандартной очереди:

provider "yandex" {
    token     = "<OAuth или статический ключ сервисного аккаунта>"
    folder_id = "<идентификатор каталога>"
    zone      = "ru-central1-a"
  }

resource "yandex_message_queue" "example_queue" {
  name                        = "ymq-terraform-example"
  visibility_timeout_seconds  = 600
  receive_wait_time_seconds   = 20
  message_retention_seconds   = 1209600
  access_key                  = "<идентификатор статического ключа доступа>"
  secret_key                  = "<секретная часть статического ключа доступа>"
}

Конфигурационный файл для очереди FIFO:

provider "yandex" {
    token     = "<OAuth или статический ключ сервисного аккаунта>"
    folder_id = "<идентификатор каталога>"
    zone      = "ru-central1-a"
  }

resource "yandex_message_queue" "example-fifo-queue" {
  name                        = "ymq-terraform-example.fifo"
  visibility_timeout_seconds  = 600
  receive_wait_time_seconds   = 20
  message_retention_seconds   = 1209600
  fifo_queue                  = true
  access_key                  = "<идентификатор статического ключа доступа>"
  secret_key                  = "<секретная часть статического ключа доступа>"
}

Пример создания очереди c политикой перенаправления недоставленных сообщений в DLQ c именем ymq_terraform_deadletter_example:

provider "yandex" {
    token     = "<OAuth или статический ключ сервисного аккаунта>"
    folder_id = "<идентификатор каталога>"
    zone      = "ru-central1-a"
  }

resource "yandex_message_queue" "example_fifo_queue" {
  name                        = "ymq-terraform-example"
  visibility_timeout_seconds  = 600
  receive_wait_time_seconds   = 20
  message_retention_seconds   = 1209600
  redrive_policy              = jsonencode({
    deadLetterTargetArn = yandex_message_queue.example_deadletter_queue.arn
    maxReceiveCount     = 3
  })
  access_key                  = "<идентификатор статического ключа доступа>"
  secret_key                  = "<секретная часть статического ключа доступа>"
}

resource "yandex_message_queue" "example_deadletter_queue" {
  name                        = "ymq_terraform_deadletter_example"
  access_key                  = "<идентификатор статического ключа доступа>"
  secret_key                  = "<секретная часть статического ключа доступа>"
}

В процессе использования Terraform могут возникнуть вопросы — напишите нам в поддержку или спросите других пользователей в телеграм-чате Яндекс.Облака.

Yandex Scale 2020
Ура! 23-25 сентября пройдет большая конференция Яндекс.Облака — Yandex Scale 2020. В этом году мероприятие пройдет онлайн.
Мы расскажем о будущих сервисах, а партнеры и клиенты поделятся историями о работе в Облаке. Вы сможете задать вопросы разработчикам платформы и поболтать с другими пользователями Облака.
cloud.yandex.ru/events/scale-2020/


Локдаун: Как IT помогает выжить бизнесу
Продолжаем вместе с РБК следить за тем, как изоляция повлияла на бизнес. Изменились ли потребности клиентов и требования к IT в июне — смотрите во второй серии онлайн-дискуссии.
lockdown.rbc.ru/live


JivoSite переехал в Облако
Ведущий сервис для общения с клиентами перенес российский контур из AWS в Яндекс.Облако. Мы разобрали все этапы переезда — от теста до продакшена.
cloud.yandex.ru/cases/jivosite

Другие истории наших пользователей
Blumenkraft: MongoDB для больших массивов данных
Blumenkraft создает цифровые системы учета, которые позволяют собирать и анализировать данные о бизнесе. С помощью методологии CQRS и MongoDB в Облаке компания настроила гибкую и выгодную систему хранения данных.
cloud.yandex.ru/cases/blumenkraft

Hacktory: как снизить задержки
Hacktory — это платформа для онлайн-обучения информационной безопасности. Как они переехали в Облако своими силами и снизили задержки с 30 мс до 5–6 мс — читайте в блоге.
cloud.yandex.ru/cases/hacktory

Предложения для бизнеса
Делимся полезными бизнес-продуктами Яндекса и партнеров Облака.
MTT VoiceBox: звонки на базе Yandex SpeechKit
В честь запуска сервиса автоматизации звонков компания МТТ дарит 5000 рублей на звонки: чтобы воспользоваться предложением, позвоните по номеру 8 (800) 505-81-78 и назовите промокод: yandex18_promo5
www.mtt.ru/ru/voicebox/