Yandex Cloud

Schlumberger и Yandex.Cloud заключили соглашение о сотрудничестве, в рамках которого платформа искусственного интеллекта (ИИ) и цифровых инструментов DELFI будет размещена на Yandex.Cloud. Партнерство Schlumberger и Yandex.Cloud позволит российским энергетическим компаниям воспользоваться новыми цифровыми сервисами и технологиями в области искусственного интеллекта и больших данных для повышения эффективности бизнеса.

Среда DELFI объединяет ведущие программные решения от компании Schlumberger, включая программную платформу Petrel E& P, платформу для скважин Techlog и инструментарий для моделирования пласта высокого разрешения INTERSECT, и расширяет их возможности с помощью искусственного интеллекта и высокопроизводительных вычислений, которые становятся возможными благодаря облачным технологиям.

Эти цифровые технологии выгодны в сегментах разведки и добычи, поскольку они позволяют работать с крупными и сложными моделями, производить цифровые расчеты моделей и их анализ за меньшее время, по сравнению с традиционными вычислительными решениями. Например, время выполнения 400 расчетов модели геологической среды, для пользователей DELFI, было сокращено с 11 дней до 46 минут. Такое повышение производительности приводит к значительному сокращению времени вывода продукта на рынок для операторов нефтегазовой отрасли, что позволяет им намного быстрее окупать свои инвестиции.

Наше стратегическое сотрудничество с Yandex.Cloud ускорит цифровую трансформацию российской энергетики. Размещая среду DELFI в Yandex.Cloud, мы предоставляем клиентам безопасный доступ к нашим ведущим ИИ и цифровым решениям в быстро развивающемся облачном сервисе по всей России. Благодаря передовым облачным технологиям и практически безграничным возможностям в области геофизики, инженеры и специалисты по обработке данных смогут ускорить свои рабочие процессы и анализ данных, что позволит улучшить важные решения для бизнеса. Развертывание комплекса DELFI поможет российскому энергетическому сектору повысить производительность всей производственной цепочки

прокомментировал Рустам Биктимиров, вице-президент по цифровым технологиям и интеграции компании Шлюмберже в России и Центральной Азии

Сервис Yandex.Cloud был выбран из-за его обширной и постоянно растущей сети центров обработки данных по всей России, поддерживаемых собственными технологиями и сервисами для хранения, обработки и анализа данных с расширенными цифровыми возможностями, включая искусственный интеллект. Сервис Yandex.Cloud также соответствует международным и российским стандартам защиты и безопасности данных, в том числе требованиям 152-ФЗ, стандарту безопасности платежных карт PCI DSS и сертификатам соответствия международным стандартам информационной безопасности ISO 27001, ISO 27017 и ISO 27018.

В таких ресурсоемких и наукоемких отраслях, как нефтегазовая, возможен колоссальный прорыв благодаря развитию и широкомасштабному использованию новых цифровых сервисов и бизнес-моделей. Мы целенаправленно инвестируем в развитие отрасли совместно с крупнейшими промышленными и технологическими лидерами зарубежного и российского нефтегазового рынка

прокомментировал Олег Коверзнев, операционный директор Yandex.Cloud.

На платформе Yandex.Cloud запущен сервис Yandex Cloud DNS для управления ресурсными записями и доменными именами (DNS), а также их публикации в глобальной системе (DNS). Сервис упрощает администрирование проектов за счёт работы с общим интерфейсом для управления хостами и ссылающимися на них доменами.
cloud.yandex.ru/services/dns

Yandex Cloud DNS позволяет создавать и настраивать внутренние и публичные DNS-зоны в консоли облака Yandex.Cloud, а также в API, CLI или Terraform. Доступ к внутренним зонам возможен только из сети (VPC) пользователя. Прочитать записи из публичных зон смогут все.

Подробнее о работе сервиса читайте в документации.
cloud.yandex.ru/docs/dns/

Какие задачи решит сервис
Делегирование и управление доменами. В Cloud DNS вы можете управлять своими доменами, купленными у любого регистратора, и доступом по этим именам к приложениям, развёрнутым в облаке. Технология Anycast делает DNS-системы Yandex Cloud более надёжными, безопасными, отказоустойчивыми.

Организация разных окружений. Cloud DNS позволяет создавать публичные и внутренние DNS-зоны, организовывать отдельные пространства для стейджинга, тестинга и прода внутри одного проекта и публиковать DNS-записи в глобальной DNS.

Стабильность высоконагруженных приложений. Cloud DNS создан на базе производительной и высокодоступной инфраструктуры Yandex.Cloud. Распределённая система DNS-серверов и минимальная задержка отклика позволяют ему обрабатывать трафик ключевых бизнес-приложений.

Сервис находится на стадии Preview и не тарифицируется.
cloud.yandex.ru/docs/overview/concepts/launch-stages

Cloud Advisor — это партнерское решение для обеспечения безопасности, производительности, отказоустойчивости и оптимизации IT-инфраструктуры, расположенной в Yandex.Cloud. Его выпустили основатели компании Agnitum, известной по продукту Outpost Firewall.

Для проведения автоматического анализа инфраструктуры достаточно зарегистрироваться на сайте Cloud Advisor и подключить облако Yandex.Cloud. Аудит позволяет решить ряд вопросов, например, подвержено ли облако воздействию актуальных угроз безопасности, насколько оно соответствует практикам использования облачных сервисов и рекомендациям провайдера.
cloudadvisor.ru/



Какие задачи помогает решить Cloud Advisor
Обеспечение безопасности
По данным Gartner, практически все успешные атаки на облачные сервисы являются результатом их неверной настройки пользователем, неграмотного управления и допущенных ошибок (Отчёт Gartner «Innovation Insight for Cloud Security Posture Management», 25 января 2019).

Три основных причины проблем с облачной безопасностью

• Большое количество ресурсов и постоянные изменения делают ручную проверку конфигурации невозможной.
• К облаку могут иметь доступ сотрудники, не обладающие достаточной квалификацией в области безопасности.
• Любая, даже простая и случайная ошибка в конфигурации может открыть доступ к внутреннему объектному хранилищу и базам данных.

Для обеспечения безопасности Cloud Advisor автоматически проверяет облачные ресурсы в рамках продуктов Object Storage, Compute Cloud, Identity and Access Management, Yandex Database, Virtual Private Cloud, Load Balancer, Cloud Functions, Key Management Service. Проверки осуществляются ежечасно, что позволяет обнаружить уязвимость практически сразу после появления. Специалисты Cloud Advisor постоянно следят за возникновением новых угроз и появлением новых функций облачных сервисов, обновляют инструмент и добавляют проверки.

Оптимизация расходов
По данным Flexera, 35% бюджета на облака расходуется впустую (Отчёт Flexera «State of the Cloud Report» за 2020 год). Cloud Advisor сканирует облачную инфраструктуру и позволяет выявить неиспользуемые и неподключенные, а также недостаточно загруженные ресурсы.

Отказоустойчивость и масштабируемость
Инфраструктура продукта должна сохранять работоспособность в случае выхода из строя одного или нескольких компонентов и адаптироваться при изменении нагрузок. Cloud Advisor проверяет корректность работы балансировщиков нагрузки, настроек резервного копирования, актуальность снимков дисков виртуальных машин и распределение ресурсов по зонам доступности.

Производительность
Некорректная работа или недостаточная производительность отдельных компонентов негативно влияет на эффективность облачной инфраструктуры в целом. Эти проблемы появляются из-за неверного распределения и использования аппаратных ресурсов. Cloud Advisor постоянно оценивает загрузку работающих аппаратных компонентов облака и блочного хранилища и указывает на наиболее загруженные из них.


Cloud Advisor предоставляет единую панель управления с группировкой по приоритетам. У Cloud Advisor нет доступа к данным внутри виртуальных машин, данным в управляемых базах данных или S3-хранилище. Продукт не требует установки дополнительных компонентов внутри инфраструктуры и осуществляет её постоянный мониторинг без участия пользователя. Рекомендации Cloud Advisor базируются на документации Yandex, методологии AWS Well-Architectured Framework и Center for Internet Security (CIS).

Cloud Advisor позволяет пользователям Yandex.Cloud снизить риски безопасности, оптимизировать использование ресурсов, обеспечить отказоустойчивость и производительность облачной инфраструктуры. Cloud Advisor — бесплатный продукт, с помощью которого можно проверить инфраструктуру быстро и без дополнительных затрат.

Здравствуйте!
C 1 апреля 2021 года изменится Соглашение об обработке данных:

• Уровень защищенности персональных данных повысится с третьего до первого (п. 3.3.).
• В Yandex.Cloud можно будет обрабатывать персональные данные любой категории (п. 3.3.1.).

yandex.ru/legal/cloud_dpa/

На платформе Yandex.Cloud появился агент Yandex Unified Agent для поставки метрик в сервис мониторинга. С его помощью клиенты платформы могут собирать и отслеживать метрики бизнес-приложений, облачной и физической инфраструктуры в Yandex Monitoring, а также создавать алёрты на эти метрики.
cloud.yandex.ru/services/monitoring

Какие задачи решает Yandex Unified Agent
Yandex Unified Agent поможет клиентам платформы отслеживать стабильность работы приложений, оптимизировать их производительность и лучше контролировать потребление облачных ресурсов. Агент поддерживает сбор метрик в формате Prometheus.
С его помощью можно собирать и отправлять в Yandex Monitoring:

• системные метрики (CPU, RAM, сеть, диски) для Linux-совместимых ОС;
• метрики с собственных клиентских приложений;
• метрики сторонних (third party) приложений, поддерживающих формат Prometheus.

Как начать работать с Yandex Unified Agent
Агент распространяется в виде Docker-образа, deb-пакета и исполняемого файла. Вы можете самостоятельно установить Yandex Unified Agent на виртуальную машину или физический хост. Чтобы настроить агент, укажите в файле конфигурации приложения, с которых агент будет собирать метрики, способы фильтрации и преобразования метрик, а также директории для промежуточного хранения данных.
Примеры поставки метрик, которые вы можете настроить прямо сейчас:

• поставка системных метрик Linux;
• поставка метрик пользовательского приложения;
• поставка метрик HAProxy и других сторонних приложений.

Полная документация агента доступна в соответствующем разделе сервиса Monitoring. Задать вопросы и предложить улучшения можно в чате сервиса в Telegram.
cloud.yandex.ru/services/monitoring

Компания «Турборендер» и облачная платформа Yandex.Cloud заключили соглашение о партнерстве. Теперь компании, которые занимаются производством графики для кино, телесериалов или мультфильмов, смогут использовать максимальное количество виртуальных машин для рендеринга проекта с экономией до 55%. При этом все задачи по управлению облачными виртуальными серверами «Турборендер» берет на себя. Для того, чтобы воспользоваться предложением, нужно заключить договор с компанией «Турборендер».

Рендеринг — просчет кадров для объединения их в один видеоряд. Этот процесс требует немалых вычислительных мощностей, поэтому важно эффективно управлять ими. Внедренное в рамках партнерства решение полностью автоматизирует управление облачной рендер-фермой, не допуская ни минуты простоя виртуальной рендер-машины. Производителям графики не придется контролировать количество виртуальных машин — они будут выделяться автоматически по количеству рендер-задач. При этом все неиспользуемые ресурсы будут отключаться при завершении работы рендер-сервера.

VFX-студии смогут получить прерываемые и непрерываемые vCPU (виртуальные процессоры) Yandex.Cloud по запросу в течение нескольких минут, а создание нового пайплайна займет всего пару часов. В рамках сотрудничества услуги для VFX-студий предоставляются по тем же ценам, по которым можно получать ресурсы Yandex.Cloud самостоятельно, дополнительно для клиентов «Турборендер» действуют скидки до 55% на хранение данных, используемых в проектах.

«Количество виртуальных машин, которые можно задействовать в рендере, их конфигурации, стоимость и круглосуточная поддержка — важнейшие составляющие процесса рендера проектов. Ни одна рендер-площадка или облако до сих пор не предоставляли такое количество машин по такой стоимости, как «Турборендер» и Yandex.Cloud.

При самостоятельном использовании облака VFX-студиям приходится платить больше, так как утилизация ресурсов далека от 100% в силу простоев, которые возникают при ручном управлении облачной рендер-фермой, к тому же необходимо подобрать оптимальную конфигурацию виртуальных серверов. В рамках созданного сервиса серверы включаются при наличии задач и автоматически отключаются, если очередь задач пустует. При необходимости мы можем выделить под проект 700 серверов. Уверены, что новые возможности будут по достоинству оценены участниками рынка и положительно повлияют на его развитие

отмечает Валентин Дорохов, директор компании «Турборендер»

Попробуйте бесплатно до 31 марта
Все новые пользователи, которые подключат Yandex Tracker с 1 по 31 марта, смогут 1 месяц пользоваться сервисом бесплатно без ограничений. А для команд не больше 5 человек Yandex Tracker будет бесплатным всегда. С тарифами для команд от 6 сотрудников можно ознакомиться здесь.
Если у вас есть проект, в котором задействовано от 250 потенциальных пользователей, и вы хотите ближе познакомиться с Yandex Tracker — оставьте заявку. Специалисты Yandex.Cloud проведут демо-презентацию и расскажут, как автоматизировать рабочие процессы с помощью Yandex Tracker.
cloud.yandex.ru/services/tracker

17 марта мы проведем вебинар, на котором расскажем, чем Yandex Tracker полезен для пользователей Yandex.Cloud. Присоединяйтесь!
Узнать больше о возможностях Yandex Tracker можно в документации.
cloud.yandex.ru/docs/tracker/

Мы хотим поделиться с вами подробностями развития платформы Yandex.Cloud в 2020 году и рассказать о наших финансовых показателях, а также об особенностях спроса и потребления облачных сервисов нашей платформы.



В 2020 году выручка платформы Yandex.Cloud увеличилась в 4,5 раза и достигла 1 миллиарда рублей. Количество коммерческих клиентов Yandex.Cloud увеличилось в 2020 году по сравнению с 2019 годом в 1,4 раза и составило 9 700, а средний чек одного клиента увеличился за этот период в 3 раза.

Мы выделяем несколько главных причин такого роста. Во-первых, российские и международные компании стали более активно создавать и развивать собственные цифровые продукты. Во-вторых, многие отрасли, например ритейл и e-commerce, столкнулись с резким ростом нагрузки на онлайн-сервисы из-за пандемии, и компании искали в облаках возможность быстрого расширения ИТ-инфраструктуры, повышения производительности и отказоустойчивости.

Yandex.Cloud 2020: крупные клиенты увеличили объемы потребления
Крупными потребителями облачных сервисов Yandex.Cloud стали 270 клиентов. К ним относятся компании, занимающие лидирующие позиции в своих отраслях по капитализации, доле рынка и темпам роста. Это такие компании, как Леруа Мерлен, Ozon, М.Видео, ВТБ, SkyEng, Национальный исследовательский университет «Высшая школа экономики» и другие. Такие клиенты обрабатывают большие объемы данных, активно развивают корпоративные и отраслевые цифровые платформы для управления внутренними процессами бизнеса, запуска и поддержки новых приложений и сервисов.

В 2020 году количество крупных клиентов платформы Yandex.Cloud увеличилось более чем в 2 раза, а объем потребления ими сервисов Yandex.Cloud вырос почти в 5 раз. Доля крупных клиентов в общей выручке Yandex.Cloud составила 48%. Этот показатель вырос по сравнению с 2019 годом на 4 процентных пункта.

Стоит отметить, что доля компаний группы Яндекса в структуре выручки платформы Yandex.Cloud в 2020 году составила 4%. При расчете показателя учитывается только потребление Yandex.Cloud сервисами ГК Яндекс по общим рыночным условиям. Объем потребления ресурсов внутренней облачной платформы, локализованной под задачи компаний и отдельных сервисов ГК Яндекс, в структуре выручки Yandex.Cloud не учитывается.

Облака — не отдельные технологии, а платформа для роста бизнеса
Мы считаем, что в ближайшие несколько лет бизнес массово будет использовать облака как целостные платформы, на которых по запросу можно получить все необходимые сервисы для решения задач по развитию бизнеса.

На опыте Yandex.Cloud мы выделили 4 основных сценария потребления облачных сервисов компаниями:

• перенос из собственной инфраструктуры на облачную корпоративных приложений и сервисов;
• развитие единой среды разработки, тестирования и запуска новых бизнес-приложений (цифровых продуктов);
• создание корпоративной платформы данных для хранения, обработки и анализа данных;
• применение сервисов на базе искусственного интеллекта и инструментов машинного обучения.

В свою очередь, сервисы платформы, которые наиболее активно участвуют в достижении этих сценариев, мы разделили на 4 основные группы и оценили, каким спросом они пользовались в 2020 году.

Группа № 1: «Базовая инфраструктура и сеть». Вклад в выручку Yandex.Cloud в 2020 году — 60%. В группу входят виртуальные машины, сетевые диски, инструменты управления виртуальными сетями. Это наиболее востребованная группа сервисов, на нее в 2020 году пришлось 60% выручки платформы Yandex.Cloud. Активные потребители сервисов этой группы — интернет-магазин Ozon.ru, DIY-ритейлер Leroy Merlin, разработчик мобильных игр Axlebolt.

Группа № 2: «Машинное обучение». Вклад в выручку Yandex.Cloud в 2020 году — 14%. В группу входят сервисы на базе уникальных технологий Яндекса в области машинного обучения и искусственного интеллекта. Сервисы машинного обучения активно используют такие компании, как Signal AI, Badoo, разработчик и интегратор голосовых сервисов АТС (разрабатывает сервисы для Альфа-Банка, Мегафона, ДИТ Москвы, Министерства здравоохранения МО). Наибольший рост — в 9 раз — показал сервис синтеза и распознавания речи Yandex SpeechKit. Это также подтверждает интерес партнеров, за 2020 год количество компаний, специализирующихся на разработке и внедрении голосовых сервисов выросло до 30. Сервис машинного перевода Yandex Translate принес 32% выручки направления, в том числе за счет спроса со стороны зарубежных клиентов, которых привлекает соотношение цены и качества перевода многих языковых пар, превосходящее такое соотношение в аналогичных сервисах.

Группа № 3 «Платформа данных». Вклад в выручку Yandex.Cloud — 12%. Экосистема облачных сервисов для полного цикла работы с данными. Самыми востребованными стали системы управления базами данных, предоставляемые на платформе как сервис. На первом месте по популярности — PostgreSQL, также в тройку входят ClickHouse и MySQL. Количество компаний-пользователей MDB в 2020 году достигло 1 350. Рост группы «Платформа данных» в 2020 году — в 8 раз. У нас хранят свои данные ВТБ, М.Видео и Декатлон.

Группа № 4 «Автоматизированное управление контейнерами». Вклад группы в выручку Yandex.Cloud — 7%. Основной сервис Managed Service for Kubernetes — для автоматизации развертывания, масштабирования и управления контейнеризированными приложениями. Коммерческими пользователями сервиса Managed Kubernetes в 2020 году стали 260 клиентов Yandex.Cloud. Общий рост группы в 2020 году — в 18 раз. Активные потребители сервисов группы: компания ПИК, «Альфа-Страхование», Инвестиционная группа «Севергрупп».

Еще 7% выручки Yandex.Cloud в 2020 году относятся к маркетплейсу и платной поддержке.

Что дальше: больше возможностей клиентам Yandex.Cloud в 2021 году
В 2021 году спрос компаний на облачные технологии будет увеличиваться. Мы планируем, что выручка от потребления сервисов нашей платформы вырастет в 2,6 раза. Мы прогнозируем увеличение спроса на облачные мощности, которыми крупные промышленные компании и государственные организации будут дополнять собственную инфраструктуру. Также в 2021 году мы планируем сделать акцент на развитии экосистемных сервисов: DataSphere, DataLens, бессерверных вычислениях.

Приоритетными остаются развитие безопасность и надежность платформы Yandex.Cloud, в том числе увеличение количества дополнительных сервисов от ведущих разработчиков в нашем маркетплейсе.

На платформе Yandex.Cloud появился сервис Yandex Application Load Balancer для создания масштабируемых управляемых балансировщиков HTTP-трафика. Сервис берет на себя маршрутизацию трафика с учетом HTTP-запросов и заголовков, терминирование TLS и обеспечение безопасности соединений между компонентами приложений.

Сервис сетевых балансировщиков нагрузки Yandex Load Balancer теперь называется Yandex Network Load Balancer. Сетевые балансировщики работают на на 4-м уровне сетевой модели OSI и распределяют пакеты данных, учитывая адрес и порт клиента, доступность ресурсов и сетевой протокол.
cloud.yandex.ru/services/network-load-balancer

Как работает сервис
Application Load Balancer работает на 7 уровне модели OSI и служит для приема входящего трафика и передачи его на приложения, развернутые в Yandex.Cloud. Маршрутизация запросов происходит по правилам, описанным в HTTP-роутерах, подключенных к обработчикам балансировщика. Настройки подачи трафика на бэкенды указываются в группах бэкендов, который создаются поверх целевых групп.

cloud.yandex.ru/docs/application-load-balancer/concepts/

Какие задачи поможет решить

• Облегчить построение микросервисной архитектуры. Application Load Balancer предоставит масштабируемую инфраструктуру подачи HTTP-трафика при построении микросервисной архитектуры.
• Реализовать различные сценарии развертывания. Это позволит легче реализовывать сценарии развертывания canary и blue-green и проводить эксперименты для разных групп пользователей за счет распределения нагрузки.
• Реализовать сценарий Virtual Hosting. Вы можете настроить использование разных сертификатов для разных доменов на одном балансировщике нагрузки, используя механизм TLS SNI. Задайте SNI-обработчики для нужных доменов, выберите подходящие сертификаты в Certifiсate Manager и направьте обработчики на отдельные HTTP-роутеры, описывающие маршруты для разных доменов.
• Обеспечивать безопасность соединений Сервис использует современные протоколы и наборы шифров TLS и интегрирован с Certificate Manager для установки сертификатов безопасности.

Сервис находится на стадии Preview и не тарифицируется.
cloud.yandex.ru/docs/overview/concepts/launch-stages

Компания LinkedIn в 2011 году разработала брокер сообщений Kafka. Сейчас Kafka — это отказоустойчивая распределенная стриминговая платформа с открытым исходным кодом, которая позволяет хранить, обрабатывать и доставлять огромные объемы данных в реальном времени.

Apache Kafka
Распределенные системы, как правило, состоят из множества сервисов: одни генерируют события (метрики, логи, события мониторинга, служебные события и т. д.), другие хотят эти данные получать. Kafka — гибрид распределенной базы данных и брокера сообщений с возможностью горизонтального масштабирования. Kafka собирает у приложений данные, хранит их в своем распределенном хранилище, группируя по топикам, и отдает компонентам приложения по подписке. При этом сообщения хранятся на различных узлах-брокерах, что обеспечивает высокую доступность и отказоустойчивость.

Топик — это способ группировки потоков сообщений в хранилище по категориям. Сервисы публикуют сообщения определенной категории в топик, а потребители подписываются на топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Разделы — это последовательность сообщений топика в порядке поступления.

Сообщения сохраняются в так называемом журнале, долговременной упорядоченной структуре данных. Записи в журнал можно только добавлять, их нельзя ни изменять, ни удалять, а информация считывается слева направо, что гарантирует правильный порядок элементов.

Apache Kafka — это не СУБД в чистом виде, несмотря на то что она обеспечивает атомарность, согласованность, изолированность и долговечность хранимых данных, а также предоставляет возможность избирательного доступа к данным с помощью KSQL — SQL-движка на базе API Kafka Streams. Платформу используют как журнал фиксации и интеграционный центр для множества внешних СУБД и хранилищ.


Kafka vs RabbitMQ
Kafka часто сравнивают с другим популярным программным брокером сообщений и системой управления очередями — RabbitMQ. Обе системы используются для обмена информацией между приложениями, работают по схеме «издатель — подписчик» и обеспечивают репликацию сообщений. Однако они реализуют принципиально разные модели доставки сообщений: Kafka — pull (получатели сами достают из топика сообщения), а RabbitMQ — push (отправляет сообщения получателям).

Также RabbitMQ удаляет сообщение после доставки, а Kafka хранит его до запланированной очистки журнала. Таким образом, Apache Kafka сохраняет текущее и все прежние состояния системы и может использоваться как достоверный источник исторических данных. Это позволяет множеству потребителей читать одни и те же данные независимо, и такой паттерн удобен, например, в event-driven-системах.

У RabbitMQ очень гибкое управление очередями сообщений (маршрутизация, шаблоны доставки, мониторинг получения), но при большой нагрузке это приводит к снижению производительности. Поэтому для сбора и агрегации событий из множества источников, метрик и логов лучше использовать Apache Kafka, а RabbitMQ подходит для быстрого обмена сообщениями между несколькими сервисами.

Где применяется Kafka
Основное назначение Apache Kafka — это централизованный сбор, обработка, безопасное хранение и передача большого количества сообщений от отделенных друг от друга сервисов. Эта распределенная, горизонтально масштабируемая платформа обычно применяется там, где очень много больших неструктурированных данных:

• Масштабные IoT/IIoT-системы, характеризующиеся архитектурой с множеством датчиков, сенсоров, контроллеров и других конечных устройств.
• Системы аналитики. Например, Kafka используется в компаниях IBM и DataSift в качестве коллектора для мониторинга событий и трекера потребления потоков данных пользователями в режиме реального времени.
• Финансовые системы. Используют финансовые организации: Сбербанк, Тинькофф, Альфа-Банк, ING Bank.
• Социальные сети. В Twitter Kafka — часть инфраструктуры потоковой обработки, а в LinkedIn используется для потоковой передачи данных о деятельности и операционных показателях приложений.
• Системы геопозиционирования. Foursquare — для передачи сообщений между онлайн- и офлайн-системами, а также для интеграции средств мониторинга в свою big data инфраструктуру на базе Hadoop.
• Телеком-операторы. ВымпелКом, МТС, Ростелеком и др.
• Онлайн-игры. Например, Demonware, подразделение Activision Blizzard — для обработки логов пользователей.

Самый простой пример: с помощью Apache Kafka можно собирать логи сеансов от клиентов в потоковом режиме или логи с физических файлов журналов с серверов, а затем помещать их в одном месте, например в HDFS — файловой системе Apache Hadoop. Также Apache Kafka позволяет построить конвейер данных, чтобы с помощью алгоритмов машинного обучения извлекать из сырой информации сведения, ценные для бизнеса.

Managed Service for Apache Kafka
Создание, настройка и управление кластерами Apache Kafka — очень сложная задача, требующая внимания сертифицированных специалистов. В Yandex.Cloud брокер сообщений предоставляется как управляемый сервис, управление и обслуживание которого производится на стороне облачной платформы. Пользователь может создавать и настраивать кластеры для решения своих задач, а управление брокерами, обновление и оптимизация работы Apache Kafka происходит автоматически.

Возможности управляемого сервиса Managed Service for Apache Kafka в Yandex.Cloud:

• Быстрое добавление брокеров в кластер.
• Распределение брокеров кластера между зонами доступности.
• Быстрое изменение ресурсов высокодоступной конфигурации без остановки работы и потери данных.
• Настройка политики очистки лога, типа сжатия и максимального количества сообщений для эффективного использования вычислительных, сетевых и дисковых ресурсов.
• Настройка репликации для обеспечения отказоустойчивости.
• Анализ метрики и состояния кластера.
• Автоматическая замена узлов кластера при отказе.
• Шифрование соединений при помощи протокола TLS. Механизм SASL контролирует доступ пользователей к топикам по спискам контроля доступа (ACL).
• Соответствие требованиям 152-ФЗ, индустриальным стандартам ISO и GDPR.

Managed Service for Apache Kafka вместе с другими управляемыми сервисами Yandex.Cloud позволяет создавать на облачной платформе витрины данных. Например, Yandex Managed Service for ClickHouse отлично справляется с обработкой запросов к большим объемам данных, Yandex Data Proc автоматически создаст и настроит кластеры Spark, Hadoop и другие компоненты, а Yandex DataLens позволит визуализировать эти данные и построить отчеты. С помощью Apache Kafka можно поставлять данные напрямую в ClickHouse без дополнительной разработки.

console.cloud.yandex.ru/link/managed-kafka/