Новый управляемый сервис Managed Service for Apache Kafka

Среди управляемых сервисов для хранения и обработки данных появился новый сервис Yandex Managed Service for Apache Kafka. С его помощью вы можете создавать кластеры Apache Kafka в инфраструктуре Яндекс.Облака. Managed Service for Apache Kafka находится на стадии Preview и не тарифицируется.
cloud.yandex.ru/services/managed-kafka

Как работает Apache Kafka
Apache Kafka — распределенный брокер сообщений с возможностью горизонтального масштабирования для передачи данных между приложениями и их компонентами. Обмен сообщениями между производителями и потребителями происходит через топики с помощью механизма «публикация-подписка». Производители публикуют сообщения определенной категории в топик, а потребители подписываются на этот топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Количество разделов определяется пользователем, увеличение их количества позволяет нарастить пропускную способность кластера без изменения конфигурирации приложений.

Сценарии использования Managed Service for Apache Kafka
Каноничный брокер для доставки данных между различными компонентами приложения. Так, приложения могут писать в топики Kafka некоторые данные: бизнес-данные, метрики, журналы.


В Облаке потребители способны реализовать следующие сценарии:

• Построение онлайн-аналитики или реакции на событие c использованием технологий стриминга, например Kafka Streams, Spark Streaming с использованием Yandex Data Prос;
• Перенаправление сообщений в Object Storage, Managed Service for ClickHouse, HDFS или любое другое подходящее для оффлайн-аналитики хранилище.

Использование Kafka для реализации захвата изменения потоковой передачи данных (change data capture) в онлайн-режиме в базах данных для последующей их передачи в хранилище (ClickHouse, HDFS) или пользовательские приложения.


С чего начать
Запросите доступ к сервису через форму заявки на странице сервиса или в консоли управления.
cloud.yandex.ru/services/managed-kafka

Создайте кластер Managed Service for Apache Kafka.

Создайте и настройте топик и разделы. Настройте фактор репликации.


Подробнее о сервисе читайте в документации.