Компания LinkedIn в 2011 году разработала брокер сообщений Kafka. Сейчас Kafka — это отказоустойчивая распределенная стриминговая платформа с открытым исходным кодом, которая позволяет хранить, обрабатывать и доставлять огромные объемы данных в реальном времени.
Apache Kafka
Распределенные системы, как правило, состоят из множества сервисов: одни генерируют события (метрики, логи, события мониторинга, служебные события и т. д.), другие хотят эти данные получать. Kafka — гибрид распределенной базы данных и брокера сообщений с возможностью горизонтального масштабирования. Kafka собирает у приложений данные, хранит их в своем распределенном хранилище, группируя по топикам, и отдает компонентам приложения по подписке. При этом сообщения хранятся на различных узлах-брокерах, что обеспечивает высокую доступность и отказоустойчивость.
Топик — это способ группировки потоков сообщений в хранилище по категориям. Сервисы публикуют сообщения определенной категории в топик, а потребители подписываются на топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Разделы — это последовательность сообщений топика в порядке поступления.
Сообщения сохраняются в так называемом журнале, долговременной упорядоченной структуре данных. Записи в журнал можно только добавлять, их нельзя ни изменять, ни удалять, а информация считывается слева направо, что гарантирует правильный порядок элементов.
Apache Kafka — это не СУБД в чистом виде, несмотря на то что она обеспечивает атомарность, согласованность, изолированность и долговечность хранимых данных, а также предоставляет возможность избирательного доступа к данным с помощью KSQL — SQL-движка на базе API Kafka Streams. Платформу используют как журнал фиксации и интеграционный центр для множества внешних СУБД и хранилищ.
Kafka vs RabbitMQ
Kafka часто сравнивают с другим популярным программным брокером сообщений и системой управления очередями — RabbitMQ. Обе системы используются для обмена информацией между приложениями, работают по схеме «издатель — подписчик» и обеспечивают репликацию сообщений. Однако они реализуют принципиально разные модели доставки сообщений: Kafka — pull (получатели сами достают из топика сообщения), а RabbitMQ — push (отправляет сообщения получателям).
Также RabbitMQ удаляет сообщение после доставки, а Kafka хранит его до запланированной очистки журнала. Таким образом, Apache Kafka сохраняет текущее и все прежние состояния системы и может использоваться как достоверный источник исторических данных. Это позволяет множеству потребителей читать одни и те же данные независимо, и такой паттерн удобен, например, в event-driven-системах.
У RabbitMQ очень гибкое управление очередями сообщений (маршрутизация, шаблоны доставки, мониторинг получения), но при большой нагрузке это приводит к снижению производительности. Поэтому для сбора и агрегации событий из множества источников, метрик и логов лучше использовать Apache Kafka, а RabbitMQ подходит для быстрого обмена сообщениями между несколькими сервисами.
Где применяется Kafka
Основное назначение Apache Kafka — это централизованный сбор, обработка, безопасное хранение и передача большого количества сообщений от отделенных друг от друга сервисов. Эта распределенная, горизонтально масштабируемая платформа обычно применяется там, где очень много больших неструктурированных данных:
Масштабные IoT/IIoT-системы, характеризующиеся архитектурой с множеством датчиков, сенсоров, контроллеров и других конечных устройств.
Системы аналитики. Например, Kafka используется в компаниях IBM и DataSift в качестве коллектора для мониторинга событий и трекера потребления потоков данных пользователями в режиме реального времени.
Финансовые системы. Используют финансовые организации: Сбербанк, Тинькофф, Альфа-Банк, ING Bank.
Социальные сети. В Twitter Kafka — часть инфраструктуры потоковой обработки, а в LinkedIn используется для потоковой передачи данных о деятельности и операционных показателях приложений.
Системы геопозиционирования. Foursquare — для передачи сообщений между онлайн- и офлайн-системами, а также для интеграции средств мониторинга в свою big data инфраструктуру на базе Hadoop.
Телеком-операторы. ВымпелКом, МТС, Ростелеком и др.
Онлайн-игры. Например, Demonware, подразделение Activision Blizzard — для обработки логов пользователей.
Самый простой пример: с помощью Apache Kafka можно собирать логи сеансов от клиентов в потоковом режиме или логи с физических файлов журналов с серверов, а затем помещать их в одном месте, например в HDFS — файловой системе Apache Hadoop. Также Apache Kafka позволяет построить конвейер данных, чтобы с помощью алгоритмов машинного обучения извлекать из сырой информации сведения, ценные для бизнеса.
Managed Service for Apache Kafka
Создание, настройка и управление кластерами Apache Kafka — очень сложная задача, требующая внимания сертифицированных специалистов. В Yandex.Cloud брокер сообщений предоставляется как управляемый сервис, управление и обслуживание которого производится на стороне облачной платформы. Пользователь может создавать и настраивать кластеры для решения своих задач, а управление брокерами, обновление и оптимизация работы Apache Kafka происходит автоматически.
Возможности управляемого сервиса Managed Service for Apache Kafka в Yandex.Cloud:
Быстрое добавление брокеров в кластер.
Распределение брокеров кластера между зонами доступности.
Быстрое изменение ресурсов высокодоступной конфигурации без остановки работы и потери данных.
Настройка политики очистки лога, типа сжатия и максимального количества сообщений для эффективного использования вычислительных, сетевых и дисковых ресурсов.
Настройка репликации для обеспечения отказоустойчивости.
Анализ метрики и состояния кластера.
Автоматическая замена узлов кластера при отказе.
Шифрование соединений при помощи протокола TLS. Механизм SASL контролирует доступ пользователей к топикам по спискам контроля доступа (ACL).
Соответствие требованиям 152-ФЗ, индустриальным стандартам ISO и GDPR.
Managed Service for Apache Kafka вместе с другими управляемыми сервисами Yandex.Cloud позволяет создавать на облачной платформе витрины данных. Например, Yandex Managed Service for ClickHouse отлично справляется с обработкой запросов к большим объемам данных, Yandex Data Proc автоматически создаст и настроит кластеры Spark, Hadoop и другие компоненты, а Yandex DataLens позволит визуализировать эти данные и построить отчеты. С помощью Apache Kafka можно поставлять данные напрямую в ClickHouse без дополнительной разработки.
Yandex.Cloud в Telegram
Облако растёт: мы добавляем новые сервисы и продукты, расширяем Marketplace, пишем документацию. Ожидаемо вместе с Yandex.Cloud растёт количество вопросов у пользователей. Большую их часть закрывают документация и техподдержка. Но есть ситуации, когда совет нужен прямо сейчас, и вопросы, на которые лучше ответят практики.
На этот случай мы собрали каналы и чаты в Telegram, где говорим об облаке — общие, для отдельных сервисов, с оповещениями и дискуссиями. Они не заменят поддержку, но помогут найти решение и поделиться идеями.
Telegram-каналы
Главный канал Yandex.Cloud
Все новости и обновления платформы. t.me/yandexcloudnews
Alert-канал Yandex.Cloud.
Оповещения о доступности сервисов и инцидентах. t.me/yandexcloudalerts
Telegram-чаты
Главный чат Yandex.Cloud
Обсудить любой вопрос о платформе и пообщаться с участниками сообщества. t.me/yandexcloud_chat
Чат Yandex Serverless Ecosystem
Functions, API Gateway, Message Queue и другие компоненты экосистемы. t.me/YandexCloudFunctions
Чат Yandex Database
NewSQL СУБД и бессерверные вычисления на её основе. t.me/yandexdatabase_ru
Безопасность
Платформа Yandex.Cloud получила подтверждение соответствия международному стандарту безопасности данных платежных карт PCI DSS (Payment Card Industry Data Security Standard) и высшему уровню защищенности персональных данных УЗ-1. Теперь вы можете хранить и обрабатывать в облаке данные платежных карт, а также медицинские, специальные и биометрические данные. storage.yandexcloud.net/yc-compliance/conformance_ru_new.pdf
На странице Безопасность мы выложили все подтверждающие документы и описали, как построена архитектура для соответствия PCI DSS в Yandex.Cloud. cloud.yandex.ru/security
Yandex Certificate Manager
Сервис для управления TLS-сертификатами Yandex Certificate Manager теперь интегрирован с Yandex Monitoring.
Monitoring позволяет отправлять сервису метрики по сертификатам, а также настраивать алерты для этих метрик. Из метрик можно узнать, сколько дней осталось до истечения сертификата, о его неработоспособности и текущее потребление квоты. Вы можете наблюдать за графиками метрик на сервисных или собственных дашбордах и подписываться на оповещения через email или sms.
Yandex Managed Service for MongoDB
Изменились политики резервного копирования в Yandex Managed Service for MongoDB. Для автоматических резервных копий можно выбрать период хранения от 7 до 35 дней, а для ручных копий бессрочно. Функционалность находится на стадии Preview.
Yandex Instance Groups
Обновились стратегии остановки виртуальных машин. Можно выбрать две опции остановки: принудительную (PROACTIVE) или деликатную (OPPORTUNISTIC):
Если выбрана принудительная стратегия, Instance Groups самостоятельно выбирает, какие виртуальные машины остановить.
При деликатной стратегии Instance Groups не останавливает виртуальные машины, а ожидает выполнения некоторых условий.
Yandex Object Storage
Теперь вы можете управлять облачных хранилищем из мобильного приложения Yandex.Cloud.
Terraform
Вышло несколько улучшений TerraForm для сервисов управляемых баз данных, Yandex Virtual Private Cloud, Yandex Compute Cloud и Yandex Object Storage.
Новые образы в Marketplace
В Yandex Cloud Marketplace вышли новые образы операционных систем с поддержкой GPU:
CentOS 7 GPU
Ubuntu 16.04 LTS GPU
Ubuntu 18.04 LTS vGPU
Ubuntu 18.04 LTS GPU
Debian 10 GPU
CentOS 8 GPU
Ubuntu 20.04 LTS GPU
Для сервиса визуализации и анализа данных DataLens появился новый партнерский коннектор от компании Albato. С его помощью вы можете настроить интеграцию с более чем 100 различных сервисов и приложений:
Albato 130+ интеграций
Мероприятия
26 января состоялся вебинар по практическому применению Serverless. Мы показали, как интегрировать сервисы Yandex.Cloud с голосовыми технологиями компании Voximplant, и рассказали, зачем это нужно.
Набираем обороты после большого отдыха. В феврале вас ждут 5 мероприятий, посвященных безопасности, ML-технологиям и речевой аналитике. Регистрация уже открыта. cloud.yandex.ru/events
Публикации в СМИ
За какими трендами в развитии речевых технологий следить в 2021 году
Менеджер по развитию ML-сервисов Yandex.Cloud Никита Ткачев рассказал о главных трендах в развитии речевых технологий в 2021 году и о том, что дает бизнесу их кастомизация. rb.ru/opinion/rechtehnologij-v-2021/
Как облачные технологии помогают медицине меняться
Руководитель направления по работе с клиентами медицинского сектора платформы Yandex.Cloud Евгений Михайленко рассказал о востребованных направлениях развития облачных технологий в медицине. hightech.fm/2020/12/24/clouds-medicine
Истории успеха Как сервис Yandex Vision помог роботизировать логистические задачи
С применением робота ElectroNeek Studio и Yandex Vision крупной торгово-промышленной компании удалось существенно ускорить работу с документами на отгрузку. Робот справляется с внесением и проверкой данных в восемь раз быстрее человека — всего за 30 секунд. Ошибок при внесении данных теперь не возникает, и сотрудникам не надо тратить время на проверку и исправления. cloud.yandex.ru/cases/electroneek
Как в МОЭК создали систему для автоматического приема показаний счетчиков по телефону
Команде разработки МОЭК требовалось оптимизировать две внутренние задачи, одна из которых заставляла пользователей тратить много времени на звонки в компанию, а вторая отнимала много времени у сотрудников контакт-центра. Всего за месяц штатными специалистами были разработаны все алгоритмы, и система заработала на производстве. cloud.yandex.ru/cases/moek
Как Авто.ру провел экзамен по ПДД с помощью serverless-технологий
Компания foobar.engineering использовала serverless-технологии от Yandex.Cloud для реализации социального проекта «Большой экзамен ПДД» на сервисе Авто.ру. Благодаря выбору Yandex Cloud Functions и Yandex Database разработчики занимались только кодом, а не переживали за настройку и поддержку серверов с приложением, масштабирование и добавление ресурсов СУБД. cloud.yandex.ru/cases/autoru
Как биоинформатики Genotek разработали сервис генеалогических деревьев
Биоинформатики компании Genotek с помощью Yandex Cloud Functions разработали новый сервис для создания генеалогических деревьев. Применение serverless-подхода позволило биоинформатикам сосредоточиться только на написании или интеграции кода и не задумываться о производительности, обслуживании и масштабировании баз данных. cloud.yandex.ru/cases/genotek-genealogical-tree
Сервис визуализации и анализа данных DataLens становится ещё более удобным и доступным. Мы упростили тарифы, добавили поддержку SQL-запросов в датасетах и множество очень полезных функций, о которых просили пользователи. Подробнее в нашей статье. cloud.yandex.ru/services/datalens
Простые тарифы
С 1 февраля внутренние сессии становятся бесплатными, а для внешних сессий исчезает повышающий коэффициент, при этом фактические лимиты на них остаются прежними. Теперь использовать DataLens в связке с управляемыми базами данных Yandex Cloud можно бесплатно и без ограничений по количеству пользователей и сессий. Подробности в документации.
Функции геокодирования — GEOCODE и GEOINFO. cloud.yandex.ru/docs/datalens/function-ref/GEOCODE cloud.yandex.ru/docs/datalens/function-ref/GEOINFO
Переход на новую тарификацию происходит с началом нового расчетного периода в течение февраля. Уточнить расчетный период для своего аккаунта DataLens можно в разделе Биллинг.
Пример:
15.12.2020 — Пользователь активировал DataLens.
15.01.2021 — Начнется новый расчетный период и продлится до 14.02.2021 по старым тарифам.
15.02.2021 — Начнется новый расчетный период по новым тарифам.
SQL-запросы в датасетах
Теперь источник данных датасета можно определять произвольными запросами SQL над подключениями к ClickHouse, PostgreSQL, MySQL, MS SQL Server, Oracle. Текст запроса при обращении к источнику данных исполняется в виде подзапроса.
Строго рекомендуется:
Ограничить права пользователя, прописанного в подключении, до read-only.
Ограничить права на подключение до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.
Ограничить права на связанные с подключением датасеты до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.
Включить использование подзапросов в качестве источника можно в настройках подключения.
Новые возможности разметки текста
Теперь вы можете создавать ссылки из текстовых полей при помощи функции URL(), например для таблиц и тултипов карт.
Затем такое поле можно использовать в визуализации и оно будет выглядеть как гиперссылка: cloud.yandex.ru/docs/datalens/function-ref/markup-functions
Пагинация
В плоские таблицы добавлена пагинация. Для новых таблиц она будет включаться автоматически.
Оконные функции
Теперь доступны скользящие и нарастающие суммы, доли от общей суммы и отдельной группы измерений, ТОПы и многое другое. Отметим:
Оконные функции работают над показателями (полями с агрегацией). Измерения могут быть использованы в дополнительных аргументах, например, определяющих группировку.
Часть агрегатных функций также могут быть использованы как оконные: SUM, SUM_IF, AVG, AVG_IF, MAX, MIN, COUNT, COUNT_IF.
Функции AGO и LAG, или как посмотреть в прошлое
Стали доступны новые функции AGO() и LAG(), которые позволят решать следующие задачи:
Вывод значения показателя N периодов назад.
Подсчёт прироста показателя, как отношение показателя в текущем и предыдущем периодах.
Ссылка в формуле на значение предыдущей строки.
Настройки осей
Расширены настройки в секциях осей X и Y. На данный момент есть возможность:
работать с логарифмической шкалой;
переименовывать оси;
скрывать и менять направление подписей;
управлять сеткой и масштабом оси;
менять направление подписей.
Тёмная тема
В DataLens появилась возможность автоматического переключения темы интерфейса в зависимости от настроек операционной системы. Включается в настройках оформления консоли Yandex.Cloud.
DataLens в Telegram
У вас есть вопросы или хотите обсудить использование сервиса DataLens? Приходите в наш уютный чат в Telegram. t.me/YandexDataLens
В прошлом году мы выпустили мобильное приложение Yandex.Cloud и презентовали его на конференции Scale 2020. С тех пор мы добавили возможность авторизации через федерацию удостоверений, push‑уведомления и поддержку Yandex Object Storage.
Федерации удостоверений
В первой версии приложения войти в аккаунт Yandex.Cloud можно было только с помощью аккаунта в Яндекс. Однако, большинство компаний настраивают собственную систему управления пользователями.
Yandex.Cloud поддерживает идентификацию федераций удостоверений, с помощью которых любая компания может настроить Single Sign‑On — аутентификацию в Yandex.Cloud через свой сервер. В этом случае сотрудники смогут использовать свои корпоративные аккаунты для работы в Yandex.Cloud.
Push-уведомления
Теперь мобильное приложение Yandex.Cloud может присылать системные push-уведомления. Например, при общении с технической поддержкой их ответ сразу же появится в уведомлениях, а для того, чтобы ответить на их вопросы или задать свои, вам не нужно открывать консоль с компьютера. Это можно сделать прямо из приложения, нажав на push‑уведомление.
Object Storage
Мы добавили в приложение поддержку сервиса Object Storage — масштабируемого решения для хранения данных. Теперь вы можете прямо со смартфона иметь доступ к файлам своего проекта и следить за состоянием объектного хранилища. cloud.yandex.ru/services/storage
Также с помощью мобильного приложения Yandex.Cloud вы можете:
просматривать статусы работы облачных ресурсов;
изучать графики во вкладках Мониторинг внутри сервисов;
управлять средствами на лицевом счете: проверять остаток, просматривать детализацию, пополнять баланс;
общаться с технической поддержкой;
быть в курсе последних новостей Yandex.Cloud и анонсов мероприятий.
Сервис для управления TLS-сертификатами Yandex Certificate Manager теперь интегрирован с Yandex Monitoring. Monitoring позволяет отправлять сервису метрики по сертификатам, а также настраивать алерты для этих метрик. Из метрик можно узнать, сколько дней осталось до истечения сертификата, о его неработоспособности и текущее потребление квоты. Вы можете наблюдать за графиками метрик на сервисных или собственных дашбордах и подписываться на оповещения через email или sms.
Предупреждение о скором истечении срока действия сертификата
Перейдите в Yandex Monitoring, раздел Алерты и создайте новый алерт. Задайте имя и описание алерта.
В настройках метрики выберите service = Certificate Manager, name = certificate.days_until_expiration.
Если нужно следить за определенным сертификатом, выберите его идентификатор в качестве значения параметра certificate, иначе certificate = *.
Если выбрано больше одного сертификата, то используйте функцию агрегации, выбирающую наменьшее значение — series_min().
Задайте условие срабатывания — «меньше или равно», и число дней для Alarm и Warning, например, 3 и 14 дней.
Затем выберите канал для уведомлений и нажмите Сохранить алерт.
Предупреждение о неработоспособности сертификата
Перейдите в Yandex Monitoring, раздел Алерты и создайте новый алерт. Задайте имя и описание алерта.
В настройках метрики выберите service = Certificate Manager, name = certificate.is_out_of_order.
Если нужно следить за определенным сертификатом, выберите его идентификатор в качестве значения параметра certificate, иначе certificate = *.
Если выбрано больше одного сертификата, то используйте суммирующую функцию агрегации series_sum().
Задайте условие срабатывания — «больше», и значение 0 для Alarm.
Затем выберите канал для уведомлений и нажмите Сохранить алерт.
Чем запомнился год
Мы много работали над развитием платформы. В Yandex.Cloud появилось девять новых сервисов, а уже существующие получили новые возможности. Например, ML-разработчики теперь могут использовать привычный инструмент Jupyter Notebook в Yandex DataSphere, а потоковую обработку данных для своего приложения теперь можно реализовать с помощью Yandex Managed Service for Apache Kafka. Был запущен Yandex Data Transfer для простой миграции ваших баз данных в Yandex.Cloud и Certificate Manager для создания и управления TLS-сертификаты от Let’s Encrypt.
Наши усилия привели к тому, что с начала 2020 года количество компаний, использующих Yandex.Cloud для развития бизнеса, выросло на 70% и сейчас у нас более 7 тысяч клиентов. Стремительное развитие платформы позволило Яндексу выделить Yandex.Cloud в отдельную бизнес-единицу. yandex.ru/company/press_releases/2020/2020-10-30
В 2020 году мы опубликовали на сайте более 30 историй успеха наших клиентов и множество статей в СМИ, провели более 75 различных мероприятий — вебинаров и хакатонов. В том числе вторую большую конференцию Yandex Scale 2020, которая в этом году прошла онлайн.
Отдельно про COVID-19
Пандемия коронавируса СOVID-19 и связанные с ней ограничительные меры стали серьёзным испытанием для бизнеса: упал спрос на продукты и услуги, усилилась нагрузка на онлайн-сервисы, появилась необходимость обеспечивать удалённый доступ работникам. Понимая это, мы запустили различные меры по поддержке среднего и малого бизнеса — зафиксировали цены, увеличили гранты и предоставили скидки. Также, для обеспечения непрерывной работы платформы мы предприняли дополнительные меры — перевели на удалёнку 90% команды, обеспечили необходимые средства профилактики и максимально ограничили визиты сотрудников и гостей в дата-центры. cloud.yandex.ru/blog/posts/2020/03/smb-offer cloud.yandex.ru/blog/posts/2020/03/covid-19 cloud.yandex.ru/blog/posts/2020/04/datalens-news
С помощью сервиса Yandex DataLens мы собрали в единый дашборд информацию из Роспотребнадзора, университета Джонса Хопкинса и данных сервисов Яндекса, чтобы любой человек или компания могли получать оперативные данные о распространении коронавируса.
Совместно с РБК мы провели серию мероприятий про локдаун и обсудили с лидерами рынка, какие IT-решения применяют они, что сейчас помогает бизнесу и как компании переживают кризис, всё ли работает так, как было задумано.
Но самое главное, что наши клиенты и партнёры в этом году активно использовали облачные технологии, чтобы помогать врачам эффективнее бороться с пандемией. Например, RADLogics, один из пионеров технологии компьютерного зрения, использует сервисы Yandex.Cloud для обработки и анализа медицинских снимков, что позволяет им тратить на одно исследование всего 8-12 минут. Создатели проекта «Мейкеры против COVID-19», которые безвозмездно помогают расходниками для ИВЛ любому государственному медучреждению, больнице или поликлинике, перенесли в Yandex.Cloud своё решение для управления распределенным производством и тысячами волонтеров. Это дало им возможность не только надёжно и без сбоев принимать заявки от больниц, но и прогнозировать количество таких заявок, чтобы распределять нагрузку на волонтёров. cloud.yandex.ru/cases/radlogics vc.ru/life/172758-300-siz-privozim-v-kliniku-bystree-chem-obychno-dostavlyayut-piccu-zachem-v-pandemiyu-soedinyayut-3d-pechatnikov-i-vrachey
Общие новости платформы
Получили сертификацию ISO
В 2020 году Yandex.Cloud стала первой в России и СНГ публичной облачной платформой, выстроившей управление информационной безопасностью по стандарту ISO/IEC 27017:2015 и обеспечившей защиту персональных данных пользователей по международному стандарту ISO/IEC 27018:2019. А на нашем сайте был запущен новый раздел «Безопасность Yandex.Cloud», в котором мы рассказали обо всех стандартах и законодательных требованиях, которым соответствует наше облако.
Запустили расширенную техническую поддержку
В прошедшем году мы начали предоставлять пользователям расширенную техническую поддержку, а также рассказали, как устроен наш саппорт. Доступно четыре тарифа: от базового бесплатного до премиума с SLA с высокой скоростью ответа на запросы по всем каналам обращений и индивидуальными условиями работы.
Объявили о партнёрстве с NVIDIA
Yandex.Cloud в партнёрстве с американской технологической компанией NVIDIA открыли для российских компаний библиотеку приложений для работы с искусственным интеллектом и машинным обучением — NVIDIA GPU Cloud (NGC).
Также, акселерационные программы Yandex Cloud Boost и NVIDIA Inception договорились о взаимной поддержке для своих участников. С апреля компании-разработчики в области искусственного интеллекта из NVIDIA Inception могут присоединиться к Cloud Boost по упрощенной процедуре. В свою очередь, ИИ-стартапы Cloud Boost получают доступ к ресурсам NVIDIA Inception на приоритетных условиях.
Упростили миграцию в облако с помощью Hystax
Миграция в Yandex.Cloud с других платформ, в том числе создание виртуальных машин, подбор конфигураций, контроль переноса данных, стала возможна в формате SaaS по максимально доступной цене с помощью специального приложения Hystax Acura, который можно найти в маркетплейсе платформы.
Анонсировали Zoom в Yandex.Cloud
Компании, которые приобретают у компании RightConf лицензию для использования Zoom, также могут выбрать размещение серверов на нашей облачной платформе. В этом случае весь трафик пользователей будет обрабатываться в России, что повысит безопасность и качество связи.
Представили новые продукты в маркетплейсе
В нашем Marketplace вышло много новых сервисов. Например, стали доступны лицензии службы Remote Desktop Services для Windows Server, а также сервис Валарм WAF для защиты веб-приложений и API от самых распространенных кибератак.
Запустили реферальную программу
1 октября заработала реферальная программа для партнеров Yandex.Cloud. Теперь вы можете делитесь ссылками с клиентами и получать 10% от их расходов в Yandex.Cloud.
Инфраструктура Новые сервисы
Certificate Manager — сервис для управления TLS-сертификатами. Теперь вы можете создавать TLS-сертификаты от Let’s Encrypt® или импортировать пользовательские сертификаты для защиты своих сервисов.
Сервис для управления криптографическими ключами Yandex Key Management Service — защищайте небольшие файлы-секреты, личные данные и другую конфиденциальную информацию, которую храните в облаке, с криптографическими ключами сервиса Key Management Service.
Новые возможности в сервисах
Выделенные хосты в Compute Cloud — физически изолированные серверы, которые подойдут компаниям с высокими требованиями безопасности. С ними вы можете пользоваться сервисами Yandex.Cloud и устанавливать собственные лицензии Microsoft, Oracle и другие лицензии, требующие выделенных серверов.
Нереплицируемые сетевые диски в Compute Cloud. Диски с повышенной производительностью за счет отказа от репликации данных. Такие диски вы можете использовать для баз данных с репликацией (MySQL, PostgreSQL), в качестве зеркала для хранения данных в формате read-only, или для данных, которые можно вычислить заново (например, кэш). Нереплицируемые диски находятся в Preview, предоставляются по запросу и не тарифицируются.
Доступна конфигурация ВМ с Intel Xeon Gold 6230R. С этой конфигурацией вы получите 80 vCPU и 640 ГБ RAM.
8 GPU в Compute Cloud. Теперь вы можете создавать высокопроизводительные виртуальные машины и устанавливать в них до 8 графических карт NVIDIA Tesla V100 с 32 ГБ памяти c высокой пропускной способностью.
Instance Groups: деликатная стратегия остановкивиртуальных машин. При выборе такой стратегии сервис ожидает, когда виртуальные машины остановятся самостоятельно или будут остановлены пользователем, и затем запускает обновление.
Переменные в шаблонах виртуальных машин Instance Groups позволят вам из одного шаблона развернуть группу различных виртуальных машин.
Версионирование в Object Storage. Теперь вы можете хранить историю объекта и восстанавливать нужную версию из списка. Это дополнительно защитит ваши данные как от непреднамеренных действий пользователя, так и от сбоев приложений.
Группы безопасности Yandex Virtual Private Cloud. С группами безопасности вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и настраивать правила для приёма и передачи трафика.
В Yandex Monitoring появилась настройка алертов и уведомлений об изменении метрик.
Метрики из Yandex Monitoring можно экспортировать в формате Prometheus.
Платформа данных
Сервисы хранения данных и управления ими — одно из самых быстрорастущих направлений платформы Yandex.Cloud. Управляемые базы данных традиционно популярны и востребованы пользователями — с начала 2020 года потребление выросло в 3 раза, а количество созданных баз данных превысило 10 000. Как выглядит платформа данных Yandex.Cloud сейчас:
Новые сервисы
Yandex Managed Service for SQL Server — управляемый сервис для СУБД SQL Server. Включает в себя Enterprise лицензии SQL Server 2016 ServicePack 2 и позволяет не беспокоиться об обслуживании баз данных.
Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch. Вы можете загружать текстовые документы в JSON-формате с помощью API, индексировать и хранить их. С его помощью вы можете настроить полнотекстовый поиск и анализ информации, содержащейся в этих документах.
Yandex Managed Service for Apache Kafka — сервис для создания и управления кластерами Apache Kafka в инфраструктуре Yandex.Cloud. С помощью Managed Service for Apache Kafka и Data Proc (компонент Apache Spark) вы можете настроить потоковую обработку данных для своего приложения. Управляемые сервисы помогут сэкономить время на создание, обслуживание и управление кластерами, а настроенные в сервисах репликация и система автоматического восстановления будут поддерживать кластеры в рабочем состоянии.
Yandex Data Transfer — удобный инструмент для миграции баз данных и консолидации нескольких баз данных в одну. На данный момент доступна миграция однородных баз данных MySQL и PostgreSQL.
Новые возможности в сервисах
Гибридное хранение в Managed Service for ClickHouse. Теперь вы можете комбинировать сетевые диски и объектное хранилище Object Storage для хранения данных в кластерах ClickHouse.
Автоматическое масштабирование Data Proc. Data Proc использует группы виртуальных машин для автоматического масштабирования подкластеров Compute Cloud, чтобы наращивать или уменьшать вычислительные ресурсы.
Data Proc UI Proxy обеспечит доступ к web-интерфейсам компонентов кластера и позволит настроить совместную работу в Zeppelin notebooks.
Point in Time Recovery в Yandex Managed Service for MongoDB. Механизм позволяет восстановить базу данных из любого состояния за последние 7 дней.
Последняя версия Redis 6 теперь и в Managed Service for Redis.
В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей.
В Yandex DataLens добавлен коннектор для 1С, появились зависимые селекторы, расширен функционал для геоаналитики, а также проведены усовершенствования UI и визуализаций.
Serverless
Новые сервисы
Бессерверный режим в Yandex Database. Теперь при создании кластера вы можете выбрать режим бессерверных вычислений и платить только за запросы к базе данных. Режим позволяет создавать таблицы двух типов: совместимые c API Amazon DynamoDB и с собственным Yandex Database API. На serverless-решения до октября 2021 года действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.
Yandex API Gateway — сервис для создания API-шлюзов. С API Gateway вы можете организовать доступ к статическим данным напрямую из хранилища Object Storage, обработать запрос с помощью сервиса Cloud Functions или отправить HTTP-запрос в произвольный веб-сервис.
Новые возможности в сервисах
Новые языки Cloud Functions. Теперь вам доступны 8 языков программирования.
В Cloud Functions добавлена функция для создания снимков дисков по расписанию.
Домены для Yandex API Gateway. Вы можете подтвердить права на домен в сервисе Certificate Manager и использовать этот домен для обращения к API.
ML & AI
Новые сервисы
Yandex DataSphere — сервис, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы, необходимые для анализа данных, разработки и эксплуатации моделей машинного обучения. DataSphere помогает пройти полный цикл создания модели: от эксперимента и разработки до запуска готовой версии в эксплуатацию на вычислительных мощностях Yandex.Cloud.
Новые возможности в сервисах
В рамках программы Yandex Cloud Professionals партнерам стала доступна специализация ML-сервиса синтеза и распознавания речи SpeechKit Pro, которая предусматривает ко-маркетинг, привлечение менеджеров Yandex.Cloud в крупные сделки и специальное предложение по предоставлению технической поддержки уровня Business. Главное преимущество программы — это возможность получать до 40% за сделки на использование технологий SpeechKit.
С Новым годом!
Весь прошедший год мы очень много работали на тем, чтобы дать бизнесу гибкость. Чтобы наши клиенты и партнёры могли использовать облачные технологии для роста своего бизнеса. Развитие платформы не останавливается ни на минуту и дальше будет ещё интереснее.
Команда Yandex.Cloud поздравляет Вас с наступающим 2021 годом, желает добиваться успехов и расти вместе с нами.
Подписан закон о возвращении Волгоградской области к московской часовой зоне (UTC+3), вступающий в силу 27 декабря 2020 года. Мы рекомендуем нашим пользователям обратить внимание на обновление базы данных часовых поясов tzdata в дистрибутивах операционных систем и базах данных. Обновления имеют минорный характер, но могут сильно повлиять на отображение и выполнение операций, если вы вручную выбрали использование волгоградского времени на вашем сервере.
Мы следим за изменениями tzdata и добавим их в образы Marketplace со следующим регулярным обновлением, после того, как изменения попадут в upstream. cloud.yandex.ru/marketplace
На действующих инсталляциях достаточно обновить tzdata:
Если вы используете стандартные дистрибутивы ОС, то установить обновление tzdata можно через пакетные менеджеры (GNU/UNIX/BSD OS) или менеджеры обновлений (Windows/macOS).
Если вы используете нестандартные дистрибутивы, то обратите внимание на страницу новостей IANA. Обновления, касающиеся изменения часовой зоны Волгоградской области, содержатся в релизе Release 2020e — 22.12.2020 15:14:34 -0800.
Компания UserGate, российский разработчик программных и аппаратных решений в области информационной безопасности, объявляет о начале сотрудничества с Yandex.Cloud. Теперь клиенты Yandex.Cloud могут использовать сертифицированный межсетевой экран UserGate на облачной платформе, что позволит им обеспечить защиту ресурсов и служб от всевозможных интернет-угроз.
UserGate и лежащая в его основе операционная система UGOS позволяют обрабатывать и анализировать сетевой трафик на самых высоконагруженных каналах связи и добиваться эффективного масштабирования. Интеграция множества функций безопасности на единой платформе и применение «модульного» подхода дает возможность удобной настройки решения.
Образ UserGate позволит обеспечить защиту корпоративных сервисов, размещённых в Yandex.Cloud, а также облачных сервисов, запущенных на платформе. Модель PAYG (pay-as-you-go), по которой пользователям сервиса Yandex.Cloud предоставляется UserGate, имеет ряд уникальных преимуществ:
пользователь сервиса моментально получает полноценное решение UserGate без каких бы то ни было капитальных затрат и в режиме почасовой оплаты сервиса;
моментальное масштабирование решений UserGate без переоформления лицензий.
UserGate предлагает семейство продуктов для защиты современной сетевой инфраструктуры от разнообразных интернет-угроз, связанных с внешними атаками, вредоносными приложениями, скриптами и другими рисками. Решения компании соответствуют требованиям, предъявляемым к 4 уровню доверия, утвержденному приказом ФСТЭК России от 30 июля 2018 г. № 131.
18 декабря Yandex Managed Service for SQL Server, сервис управления СУБД SQL Server, переходит в общедоступную версию. Это значит, что для него теперь действуют соглашение об уровне обслуживания (SLA) и правила тарификации.
Что меняется в тарифах
Теперь в Managed Service for SQL Server вы можете выбрать тип лицензии: Standard или Enterprise. Это позволит вам более гибко управлять стоимостью кластера.
Важно
Итоговая стоимость лицензий в кластере складывается из лицензий ПО Windows Server Standard и Microsoft SQL Server. Использование лицензий тарифицируется помесячно на авансовой основе. Это означает, что плата взимается в начале периода тарификации еще до фактического потребления ресурсов сервиса. Например, если вы начнете пользоваться сервисом сегодня, 18 декабря, то сразу заплатите за оставшиеся дни декабря, то есть 13/30 от месячной стоимости лицензий. Это связано с правилами лицензирования Microsoft.
В документации мы подробно описали сценарии использования лицензий и их тарификацию и всегда готовы ответить на вопросы в разделе Поддержка в консоли управления. cloud.yandex.ru/docs/managed-sqlserver/pricing#rules
Рекомендуем также посмотреть вебинар о том, как настроить Microsoft SQL Server в Yandex.Cloud для работы с наиболее популярными продуктами: 1C, SharePoint Server, Visual Studio.
