Диагностика с помощью системных таблиц
Для проведения внутренней интроспекции состояния базы данных пользователи платформы с помощью нового веб-интерфейса могут осуществлять запросы в специальные системные таблицы (system views). Обращения выполняются с помощью YQL-запросов.
Анализ данных из системных таблиц позволяет выполнять диагностику по таблицам, запросам и данным БД:
получить информацию о размерах и нагрузке на партиции таблиц;
посмотреть топ долгих запросов, запросов с наибольшим потреблением CPU или читающих наибольшее количество данных;
посмотреть подробную информацию о выполняющихся запросах с одинаковым текстом.
Ссылки на наиболее востребованные запросы к системным таблицам можно найти в новом разделе Диагностика. Перейдя по ссылке, в редактор YQL будет загружен необходимый запрос, пользователю останется только его выполнить.
Резервные копии
С помощью нового интерфейса стало удобнее управлять резервными копиями. Вы можете создать задание для резервного копирования и запланировать график его выполнения, восстановить данные из резервной копии в нужную базу данных или в отдельную директорию внутри.
Yandex Query Language (YQL)
Теперь при выполнении YQL-запроса можно посмотреть на результаты его исполнения, статистику выполнения, а также его EXPLAIN PLAN.
Навигация по базе данных
Мы переработали инструменты навигации по базе данных и добавили контекстные меню для всех объектов, с помощью которых вы можете:
скопировать полный путь к таблице, а затем вставить его в редактор YQL-запросов;
вызвать просмотр информации об объекте;
сформировать DML-запрос для записи;
сформировать DML-запрос для выборки данных;
удалить объект.
Сниппеты подключения к базе в любом месте навигации
Мы упростили доступ к сниппетам с кодом для подключения к базе, теперь они доступны в любом месте навигации по базе. Находясь на любой странице интерфейса, пользователь может быстро подсмотреть сниппет для подключения к базе данных на любом доступном языке программирования.
Работа с таблицами
С помощью нового интерфейса встроенного редактора таблиц вы можете создавать и редактировать таблицы. Также он поможет задать схему таблицы и сформировать вторичные индексы при создании таблицы.
При создании таблицы вы можете выбрать политику начального партицирования, определить количество партиций при выборе равномерного партицирования или в явном виде указать партиции и границы ключей.
В том же разделе можно управлять свойствами автоматического масштабирования, например, автопартицированием по размеру и нагрузке. А с помощью расширенных настроек указать размер партиции для автоматического партицирования по размеру, задать ограничения по количеству партиций и, при необходимости, включить фильтр Блума.
Для существующих таблиц доступно создание, изменение или удаление созданных вторичных индексов. Причем, на все время построения индекса таблица остается доступной для чтения и записи.
Новый интерфейс позволяет посмотреть полную информацию, схему и свойства таблиц, включая расширенные настройки и опции партицирования. Вы можете получить сведения о вторичных индексах и о партициях таблицы, с границами партиций, сведениями о количестве строк и размере партиции.
Мы улучшили предварительный просмотр таблиц: теперь доступно отображение столбцов с типом JSON и постраничное листание. И прямо из интерфейса вы можете добавить строку в таблицу, что очень удобно для экспериментов с данными.
Бесплатный тариф DataLens теперь доступен без привязки карты
Мы существенно упростили подключение Yandex DataLens для новых пользователей. Даже если у вас пока еще нет облака и платёжного аккаунта Yandex.Cloud, для быстрой визуализации данных вам достаточно:
Перейти на datalens.yandex.ru.
Указать аккаунт на Яндексе.
Активировать бесплатный тариф DataLens следуя инструкциям на стартовой странице.
Пользуясь бесплатным тарифом, вы можете полноценно работать с DataLens, настраивая подключения к собственным источникам данных.
Создание платежного аккаунта и привязка карты (или реквизитов вашего юридического лица) потребуются, если вам нужны:
платные продукты в маркетплейсе DataLens;
платный тариф «Стандарт» для DataLens и расширение лимита внешних сессий согласно тарифам;
другие сервисы Yandex.Cloud, включая управляемые базы данных для надежного хранения и обработки данных в облаке.
Google Sheets в качестве источника
Мы реализовали один из самых популярных запросов для DataLens в нашем сообществе. Теперь при создании нового подключения DataLens вы можете выбрать Google Sheets.
Подключение к Google Sheets является развитием сценариев использования простых CSV. Теперь обновление данных будет происходить бесшовно, без необходимости загрузки новой версии файла и подмены подключения.
Особенности коннектора
Поддерживается полный набор функций DataLens.
На данный момент поддерживаются только документы с доступом по ссылке (доступ «Anyone with the link»).
Используется тот лист таблицы, который был указан в ссылке. Для указания конкретного листа необходимо скопировать ссылку из адресной строки, а не из управления доступом (содержит #gid=… в ссылке).
При загрузке используется кеш, время жизни — до 5 минут.
На данный момент используется представление данных листа через Google Charts — этим обусловлено определение имён колонок, обработка типов значений и представление других возможностей Google Sheets.
Коннектор к детализации биллинга вашего облака
Еще один новый тип подключения — детализация биллинга. Он позволяет анализировать детальные данные о потреблении облачных ресурсов (инфраструктурные сервисы, управляемые базы данных и другие платные сервисы).
К существующим разрезам, доступным в консоли Yandex.Cloud (это облако, сервис и продукт), добавлены данные по каталогам, ресурсам и меткам. А это, в свою очередь, позволяет делать расширенную ad-hoc аналитику по потреблению и находить ответы на такие вопросы, как:
на какую виртуальную машину уходит больше всего средств,
как распределяются затраты и потребление по проектам.
Актуальность данных близка к реальному времени. Вы можете выгрузить данные в CSV/XLSX и автоматически их обработать. Так, например, вы можете генерировать и рассылать счета клиентам.
Коннектор позволяет развернуть стандартный дашборд и доработать его под свои нужны. Для того, чтобы воспользоваться новыми возможностями, создайте новое подключение DataLens с типом Yandex Cloud Billing.
Иерархии и drill-down
Долгожданные иерархии с drill-down теперь в DataLens!
Создать и настроить иерархию можно в несколько кликов на уровне чарта, нажав на кнопку +.
Интерактивный пример встроенного чарта:
В качестве источника использовали документ Google Sheet.
Клик по строке в таблице — переход на уровень ниже с фильтрацией.
Путь над таблицей отображает сделанные переходы по узлам дерева.
Клик по значению, указанному в пути — возврат к выбранному уровню иерархии.
Клики по стрелкам — переход вниз/вверх по иерархии.
Цвет и размер шрифта в индикаторах
Для чартов типа индикатор теперь можно указать цвет шрифта из существующей палитры, а также выбрать один из 4 предустановленных размеров. Несколько счетчиков при подключении к Яндекс.Метрике и AppMetrica
Теперь в режиме прямого доступа можно подключаться к нескольким счетчикам Яндекс Метрики и AppMetrica.
В датасетах Метрики появились измерения Счетчик и Счетчик (id) по которым можно группировать данные. Если вы давно создавали датасет и у вас нет таких полей, нажмите в датасете кнопку Обновить поля и сохраните его.
Kubernetes можно установить на своем оборудовании, либо использовать managed-решение от облачного провайдера. При самостоятельной установке on-premise вы можете более гибко контролировать процесс настройки, но есть риск столкнуться с определенными сложностями.
Если вы уже пробовали разворачивать и поддерживать кластер на своем оборудовании, то, возможно, знакомы с ними. Если только планируете это сделать — прочитайте статью, чтобы разобраться в преимуществах управляемого Kubernetes.
В статье мы расскажем про шесть причин перейти на Yandex Managed Service for Kubernetes®, чтобы избежать сложностей развертывания и администрирования кластера Kubernetes on-premise. Заметим, что это не все преимущества, которые дает управляемый Kubernetes, а только самые значимые, на наш взгляд.
Легко установить и настроить кластер
Kubernetes — сложная система, для установки и настройки которой нужны определенные знания и навыки. Чтобы получить стабильную и безопасную систему, важно правильно установить и настроить кластер: права доступа, сетевые настройки, мониторинг, резервное копирование, файловое хранилище и многое другое.
Чтобы это сделать, необходим специалист с определенными навыками. А лучше два, чтобы они подменяли друг друга на время отпусков и болезней. Хорошо, если у вас в компании уже есть такие люди. Если нет, потребуется время, чтобы их найти или обучить. При этом нужно постоянно поддерживать их квалификацию, потому что Kubernetes развивается и в нем появляются новые возможности и особенности.
Чтобы избавиться от сложностей установки и настройки кластера, можно воспользоваться управляемым Kubernetes. Создать готовый кластер в облаке сможет любой технический специалист, знакомый с Kubernetes на базовом уровне. Для этого не нужны глубокие знания администрирования, достаточно понимать основные концепции, чтобы выбрать параметры сети, группы безопасности, количество подов на узле.
Кластер создается в веб-интерфейсе несколькими кликами. Облачный провайдер выполнит за вас все основные настройки и интеграции, настроит резервное копирование, подключит мониторинг и настроит сеть.
Кроме UI-интерфейса Yandex.Cloud также предлагает возможность создания и управления кластером через API, CLI, SDK и Terraform. Главное преимущество такого способа — автоматизация рутинных задач по созданию и управлению ресурсами кластера. Облачный провайдер берет на себя большую часть задач по установке и настройке кластера, что ускоряет процесс развертывания и исключает необходимость иметь профильных специалистов в штате компании.
Кластер обновляет облачный провайдер
Как и любую систему, кластер нужно обновлять. В решении on-premise обновлять и тестировать кластер вам придется самостоятельно. А так как Kubernetes довольно сложен в освоении, не исключена вероятность ошибок, исправлять которые придется самостоятельно, что потребует много времени. А обновить кластер без простоя — еще более сложная задача.
В Managed Service for Kubernetes облачный провайдер сам обновит ваш кластер. Мы предварительно тестируем новые версии Kubernetes и только после этого устанавливаем их на кластеры клиентов. Вам остается лишь проверить корректность работы сервисов и приложений в новой версии Kubernetes. Как клиент может контролировать процесс обновления:
Вы выбираете расписание установки обновления. Можно указать конкретные дни недели и время. Например, в ночь с пятницы на субботу, чтобы в случае непредвиденных ситуаций еще оставалось время до понедельника. При этом перед установкой обновления мы вас обязательно оповестим.
Вы можете отключить автообновление и устанавливать каждое обновление отдельно, по мере необходимости. Это полезно, когда нет возможности заранее выделить единое время для установки всех обновлений.
У Kubernetes есть три релизных канала для обновления:
Rapid. Содержит самые свежие версии Kubernetes. На канале часто появляются минорные обновления с новой функциональностью и улучшениями. Рекомендуем для непродуктивных сред — разработки и тестирования — потому что тут раньше всего появляется функционал, который скоро появится в продуктивном канале regular.
Regular. Хорошо протестированные версии. Сюда они попадают из канала rapid. Мы рекомендуем использовать канал для большинства продуктовых сред.
Stable. Самые стабильные версии, которые включают в основном исправления ошибок и проблем безопасности. Сюда они попадают из канала regular. Этот канал мы рекомендуем, если вы хотите как можно реже обновлять кластер. Например, в Kubernetes работают второстепенные приложения, которые не нужно постоянно дорабатывать и тестировать. Также этот канал подойдет, если у вас долгий цикл разработки приложений.
Поддерживается автомасштабирование узлов
Kubernetes умеет горизонтально автомасштабироваться, то есть добавлять и освобождать узлы по мере нагрузки. Когда нагрузка на кластер растет — автоматически подключаются новые узлы, чтобы ваши приложения не тормозили. А когда нагрузка падает, ненужные узлы освобождаются.
Такая возможность есть в любой установке Kubernetes, даже on-premise. Но если настраивать автомасштабирование на своем оборудовании, необходим постоянный резерв свободных машин. При этом большую часть времени резервные машины скорее всего будут простаивать. К тому же не исключена вероятность, что в момент особо высокой непредвиденной нагрузки может не хватить даже этих резервов.
Облачный Kubernetes лишен этих недостатков:
Вам не нужно думать о простое оборудования. При создании кластера вы выбираете минимальное и максимальное количество рабочих узлов. Когда нагрузка небольшая, в вашем кластере будет минимум узлов. Когда нагрузка возрастает — кластер сам подключит дополнительные узлы из ресурсов облака.
Облачный провайдер обладает огромными вычислительными ресурсами и может масштабировать ваш кластер вплоть до любого необходимого числа узлов. Ваша система сможет выдержать даже очень высокие нагрузки.
Можно создать региональный отказоустойчивый кластер
При создании продуктового кластера важно позаботиться об отказоустойчивости. Как правило, для этого создаются несколько реплик мастер-узлов.
Если разворачивать кластер на своем оборудовании, как правило, все узлы будут находиться в одном дата-центре или географической зоне (городе или районе). Дата-центры обеспечивают надежность инфраструктуры резервированием, дублированием критических узлов и гарантируют SLA. Но в случае аварии природного или техногенного характера, а также человеческого фактора, ЦОД перестанет функционировать и вы полностью потеряете доступ к кластеру.
Managed-решение Yandex.Cloud позволяет создать региональный отказоустойчивый кластер. У нас есть три собственных дата-центра, расположенных во Владимирской, Рязанской и Московской областях. Если в одном из дата-центров произойдет авария, мастер-узлы в остальных дата-центрах продолжат работать и ваши приложения будут доступны.
А тестовые среды не предъявляют таких требований к отказоустойчивости, для них вы можете создать зональный кластер с одним мастер-узлом. Это будет намного дешевле, чем региональный отказоустойчивый кластер.
Работает с RBAC и IAM
Большие компании используют системы учетных записей, такие как Active Directory или G Suite. И для того чтобы интегрировать их с кластером Kubernetes, необходимо устанавливать и настраивать дополнительные инструменты.
В Managed Service for Kubernetes вы можете подключить систему и использовать свои учетные записи без дополнительных настроек. Для этого на уровне IAM настраивается федерация через протокол SAML. И тогда учетные записи ваших пользователей интегрируются с платформой Yandex.Cloud и им можно назначать роли.
Наш IAM является дополнением к стандартному Kubernetes RBAC. Используя обе системы, можно решать более сложные задачи по разграничению доступа. Например,
разработчику из всех ресурсов платформы необходим доступ только к кластеру Kubernetes. Для этого внутри облака ему выдаются минимальные права, достаточные лишь для подключения к кластеру. А внутри Kubernetes при помощи RBAC ему добавляются необходимые полномочия на объекты кластера.
Удобный UI «из коробки»
У Kubernetes нет стандартного графического интерфейса управления. Существуют сторонние разработки от сообщества, которые нужно устанавливать, настраивать и предоставлять к ним доступ.
Мы разработали собственный интерфейс управления, доступный всем пользователям Managed Service for Kubernetes. Он уже интегрирован с Yandex IAM, что позволяет легко раздавать полномочия. Вы можете использовать наш дашборд вместо одного из сторонних или вместе с ним. Вот несколько его ключевых возможностей:
Детализация узлов, деплойментов, подов и сети. По каждому из этих объектов можно увидеть текущее состояние, посмотреть перечень событий и логов. Это позволяет отлаживать приложения без необходимости устанавливать дополнительные инструменты в кластер. Из детализации деплоймента можно увидеть, какие поды создались на его основе, и сразу перейти к ним.
Детализация потребления ресурсов. По каждому узлу или поду можно увидеть, сколько тратится CPU, памяти и сетевых ресурсов.
Настройка детализации. В каждой детализации можно добавлять или убирать поля для отображения.
Гибкий фильтр событий. В кластере генерируется довольно много событий, поэтому мы создали гибкий фильтр. Можно фильтровать по пространству имен, уровню или сущности.
Мы постоянно дорабатываем дашборд, поэтому в будущем у него появятся новые возможности. Нашим клиентам ничего не нужно устанавливать или обновлять, они сразу будут получать новые возможности.
Краткие итоги
Мы рассмотрели шесть главных преимуществ Managed Service for Kubernetes® перед классическими on‑premise‑кластерами Kubernetes.
Но это не все, что может предложить Yandex.Cloud для решения задач Kubernetes. С помощью платформы вы можете решать и другие задачи, например находить уязвимости в образах контейнеров, шифровать секреты в etcd‑хранилище или интегрироваться с инструментами CI/CD. Более подробно об этих и других возможностях вы можете узнать из нашего вебинара «Kubernetes. Managed на все 100%».
Приглашаем вас на вебинар «Рекомендательные системы: архитектура и применение». Старт 22 июня в 12:00 (МСК).
Рекомендательная система — сплошная польза для бизнеса. Это и экономия ресурсов, и увеличение среднего чека, и допродажи, и лояльность пользователей.
Главное — всё правильно подготовить и интегрировать.
На вебинаре разберём, как собрать эффективный движок для рекомендательной системы. Покажем архитектуру современного движка на базе платформы данных Yandex.Cloud, посмотрим кейсы и рабочие алгоритмы.
Опытом построения рекомендательных систем поделятся наши коллеги из компании GlowByte — эксперты в области BI, Big Data и автоматизации маркетинга. cloud.yandex.ru/events/368
Как настроить экспорт логов из Yandex Object Storage и наглядно их анализировать при помощи интерактивных графиков в Yandex DataLens.
Логи
Для начала нам нужно включить экспорт логов Object Storage. Для этого нужно сделать запрос в API сервиса, потому что в UI пока этой опции нет. Запрос можно сделать любым способом, но удобнее всего для этого использовать утилиту aws-cli.
Если у вас не настроена эта утилита, то инструкцию по настройке можно найти в документации.
Чтобы включить логирование запросов для бакета, нужно выполнить следующую команду:
Соответственно, $LOGS_BUCKET нужно заменить на имя бакета, куда будут складываться логи.
ClickHouse
Вторым этапом будет создание кластера Managed Service for ClickHouse. Он будет выступать источником данных для DataLens.
Для наших целей нам подойдет самый маленький кластер burstable-типа. Создание кластера может занять значительное время.
Когда кластер будет создан, необходимо поправить настройки пользователя. Выставить для поля Date time input format значение best_effort.
В ClickHouse реализованы разные движки таблиц. В нашем случае нам пригодится S3.
CREATE TABLE db1.s3logs
(
bucket String, -- Имя бакета.
bytes_received Int64, -- Размер запроса в байтах.
bytes_send Int64, -- Размер ответа в байтах.
handler String, -- Метод запроса в формате REST.<HTTP-метод>.<субъект>.
http_referer String, -- URL-адрес источника запроса.
ip String, -- IP-адрес пользователя.
method String, -- Метод HTTP-запроса.
object_key String, -- Ключ объекта, закодированный методом URL-кодировки.
protocol String, -- Версия протокола передачи данных.
range String, -- HTTP-заголовок, который определяет диапазон байт для загрузки из объекта.
requester String, -- Идентификатор пользователя.
request_args String, -- Аргументы URL-запроса.
request_id String, -- Идентификатор запроса.
request_path String, -- Полный путь запроса.
request_time Int64, -- Время обработки запроса, в миллисекундах.
scheme String, -- Тип протокола передачи данных.
-- Возможные значения:
-- * http — протокол прикладного уровня передачи данных.
-- * https — протокол прикладного уровня передачи данных с поддержкой шифрования.
ssl_protocol String, -- Протокол обеспечения безопасности.
status Int64, -- HTTP-код ответа.
storage_class String, -- Класс хранилища объекта.
timestamp DateTime, -- Дата и время операции с бакетом, в формате ГГГГ-ММ-ДДTЧЧ:ММ:ССZ.
user_agent String, -- Клиентское приложение (User Agent), которое выполнило запрос.
version_id String, -- Версия объекта.
vhost String -- Виртуальный хост запроса.
-- Возможные значения:
-- * storage.yandexcloud.net.
-- * <имя бакета>.storage.yandexcloud.net.
-- * website.yandexcloud.net.
-- * <имя бакета>.website.yandexcloud.net.
)
ENGINE = S3(
'https://storage.yandexcloud.net/<BUCKET_NAME>/<PREFIX>/*',
'<ACCESS_KEY>',
'<SECRET_KEY>',
'JSONEachRow'
);
<ACCESS_KEY> и <SECRET_KEY> следует заменить на значения статического ключа доступа в Object Storage. Инструкция по созданию ключа доступа в документации.
<BUCKET_NAME> и нужно заменить на значения, которые указывали в log-config.json, ведь именно туда будут складываться ваши логи и именно оттуда их и будем вычитывать в ClickHouse.
Теперь можно убедиться, что все работает, перейдя в базу db1 и открыв просмотр таблицы s3logs.
DataLens
Подключение
После того как кластер ClickHouse будет создан, можно перейти на вкладку DataLens и сразу создать подключение.
Датасет
Во всплывающем окне после сохранения подключения есть кнопка, позволяющая сразу перейти к созданию датасета на основе этого подключения. Нажмем её.
Перетащим из списка доступных таблиц в основную рабочую область только что созданную таблицу. Если все ок, то внизу в области предпросмотра увидим, что DataLens смог получить данные.
Теперь можно сохранить датасет. И приступить к созданию чартов на основе этого датасета.
Пример диаграммы количества запросов по методу. Так как это тестовый бакет, GET-запросов оказалось даже меньше, чем PUT.
В датасет можно добавить вычисляемые поля. Например, добавим file_type. Рассчитывать это значение будем по формуле SPLIT([object_key], ‘.’, -1).
Далее мы можем использовать это значение наравне с другими в построении чартов.
Дашборд
Все получившиеся чарты вы можете сгруппировать на дашборд.
Например, такой демо-дашборд для тестового бакета.
Приглашаем вас на онлайн-практикум по продуктовой аналитике. Совместно с командой Яндекс.Метрики.
Старт 18 мая в 12:00 (МСК).
На практикуме разберём базовые практические задачи: как строить воронки конверсий, делать когортный анализ и считать Retention пользовательской базы.
В конце вы получите понятную пошаговую инструкцию по настройке аналитики в облаке.
Практикум будет полезен всем, кто запускает веб-сервисы и анализирует их эффективность, а также разработчикам, data-инженерам, product-менеджерам и владельцам продуктов.
С какими инструментами будем работать
Yandex DataLens— сервис для анализа и визуализации данных.
Yandex Managed Service for ClickHouse — управляемая база данных.
Yandex DataSphere — сервис для анализа данных, разработки и запуска моделей машинного обучения.
На платформе Yandex.Cloud появились быстрые сетевые хранилища — нереплицируемые диски.
Устройство нереплицируемых дисков существенно проще стандартных сетевых хранилищ SSD. Благодаря этому производительность нереплицируемых дисков выше в несколько раз. С существующими ограничениями дисков можно ознакомиться в документации. cloud.yandex.ru/docs/compute/concepts/disk#disks_types
Где пригодятся нереплицируемые диски
Стоит использовать нереплицируемые диски тогда, когда надежное хранение уже реализовано на уровне приложения:
базы данных с репликацией;
отказоустойчивые сетевые файловые системы;
зеркалирование read-only данных.
Нереплицируемые диски также могут быть полезны для хранения данных, для которых есть бэкап или которые можно быстро восстановить.
Особенности хранения данных
Мы сделали все, что обещали на Scale 2020, и даже больше:
Если внутренние системы мониторинга покажут, что в ближайшее время нереплицируемый диск может выйти из строя, данные с этого диска по возможности будут перенесены на другой диск. Такое обслуживание происходит в фоновом режиме без уведомления пользователя. Во время миграции данных вы можете заметить незначительные потери производительности, но диски будут доступны для работы.
При поломке нереплицируемых дисков часть данных может стать недоступна. В течение двух недель после поломки сломанный диск не будет тарифицироваться, чтобы вы могли извлечь необходимые данные и самостоятельно удалить сломанный диск. По истечении двух недель, если диск не будет удален, тарификация возобновится.
Сервис стал общедоступным
13 апреля Managed Service for Elasticsearch, сервис для управления кластерами Elasticsearch, перешел в общедоступную версию. Managed Services for Elasticsearch усиливает экосистему сервисов Yandex.Cloud для создания бизнес-решений на нашей платформе данных. Теперь в облаке возможно реализовать еще больше бизнес-сценариев, связанных с хранением, анализом и принятием решений на основе данных. Применение Еlasticsearch позволяет улучшить пользовательский опыт: повысить стабильность и скорость работы, предлагать новые функции на основе анализа действий пользователя. cloud.yandex.ru/services/managed-elasticsearch
Еlasticsearch хорошо подходит для проектов, которые должны стабильно работать при стремительном росте обращений к данным. Сервис позволяет в несколько кликов увеличить или уменьшить потребление облачных ресурсов при изменениях нагрузки. Заняв место между аналитическими СУБД и инструментами мониторинга, Elasticsearch решает задачи: поиска в реальном времени по внутренним и внешним ресурсам компании, анализа логов или других документов.
Также Еlasticsearch предоставляет набор аналитических инструментов, с помощью которых можно получать информацию и принимать решения на основе журналов событий и метрик, повышать эффективность операций в ИТ, сокращать время принятия решений, получать данные для разработки и информационной безопасности.
Разворачивая кластеры Еlasticsearch в облаке, вы передаете большинство работ по установке необходимых обновлений и настройке продукта облачной платформе, а сами можете сфокусироваться на разработке и настройке поиска в вашем приложении.
Партнерство с Elastic NV
Платформа Yandex.Cloud и компания Elastic, разработчик решений Еlasticsearch и Elastic Stack, договорились о стратегическом партнерстве. Yandex.Cloud стала первой в России облачной платформой, которая предоставляет Elasticsearch как управляемый сервис в публичном облаке. www.elastic.co
В Managed Services for Еlasticsearch вы можете выбрать любой вариант подписки из трех: Basic, Gold и Platinum. В лицензиях с расширенным функционалом доступны, например, сервис SIEM (Security Information & Event Management), который позволяет реализовать критически важные сценарии обеспечения безопасности, различные виды визуализаций в Kibana и интеграция со сторонними провайдерами аутентификации и авторизации (SAML). Также как официальный партнер Yandex.Cloud имеет прямой доступ к технической поддержке Elasticsearch.
Уже существующие кластеры по умолчанию переведены на подписку Basic. Изменить тип подписки существующего кластера можно без остановки и перезапуска. Подробнее о работе с сервисом Managed Service for Elasticsearch читайте в документации. cloud.yandex.ru/docs/managed-elasticsearch
Yandex.Cloud начинает сотрудничество с SUSE, крупнейшим вендором открытого программного обеспечения. В рамках партнерского соглашения на платформе Yandex.Cloud опубликованы версии дистрибутива операционной системы SUSE Enterprise Linux Server, включая специализированную версию для решений SAP.
Размещение на облачной платформе дистрибутива Linux промышленного класса сделает решения SUSE более доступными широкому кругу компаний‑заказчиков, в том числе аэрокосмической, автомобильной, фармацевтической отраслях, телекоммуникациях, финансовом секторе, розничных сетях и на производстве.
В маркетплейсе Yandex.Cloud доступны три редакции операционной системы SUSE:
Универсальная SLES 15 SP2, позволяющая Enterprise-клиентам разворачивать в облаке свою инфраструктуру для хостинга бизнес‑приложений и других задач.
Версия SLES 15 SP2 Priority Subscription, включающая расширенную поддержку.
Специализированная версия SLES 15 SP2 for SAP Applications для построения систем на базе решений SAP.
Программные продукты распространяются по модели почасовой подписки (Pay-as-you-Go). Yandex.Cloud предоставит возможность приобрести лицензии непосредственно при подключении услуги.
SLES для развертывания корпоративной инфраструктуры
SUSE Linux Enterprise Server — мультимодальная операционная система, облегчающая переход от традиционной к программно-реализуемой инфраструктуре. Это современная модульная ОС, обладающая удобными средствами управления и поддерживающая широкий инструментарий для разработки приложений.
Система одинаково удобна как для традиционных, так и для программно-реализуемых ЦОД.
Унифицированная программа установки и универсальный механизм поиска пакетов по всей экосистеме SUSE.
Удобство для разработки и тестирования приложений.
Особенности SLES для приложений SAP
По мере трансформации процессов для перехода к цифровому бизнесу компании сталкиваются с необходимостью выбора надежного фундамента для систем SAP нового поколения.
Операционная система SUSE Linux Enterprise Server for SAP Applications оптимизирована для ускоренного развертывания инфраструктуры SAP, обеспечения производительности и высокой доступности приложений. Она обеспечивает уменьшение времени простоя, ускорение восстановления после аварий и снижение затрат. Это лидирующая операционная система для SAP HANA и SAP S/4HANA, она является рекомендованным вариантом и выбрана в качестве платформы для 85% установок.
Эта версия имеет ряд отличий от базовой SLES:
Удобный мастер автоматизированной установки и конфигурирования стека систем SAP S/4HANA.
Встроенные модули для High Availability. Ядро Linux оптимизировано для работы с памятью с учетом требований SAP.
Включает специальный пакет поддержки Lifecycle 24×7 Priority Support и канал обновлений SAP-specific Update Channel.
Почему стоит задуматься о переходе на облачные версии SUSE
Решения SUSE в маркетплейсе Yandex.Cloud помогут компаниям в цифровой трансформации бизнеса и переходе от традиционной к программно‑реализуемой инфраструктуре. Операционные системы SUSE на платформе Yandex.Cloud оптимизированы для решения следующих бизнес‑задач:
Организация отказоустойчивых кластеров для работы критичных приложений, таких как SAP S4/HANA.
Платформа для контейнерной инфраструктуры на основе кластеров Kubernetes.
Развертывание базовых инфраструктурных сервисов и веб-приложений.
Организация унифицированной среды разработки приложений на Linux.
С появлением продуктов SUSE в Yandex.Cloud клиенты обеих компаний получат удобный доступ к развертыванию облачной инфраструктуры на лицензионных серверных ОС по экономически выгодной подписке. Размещение инфраструктуры на SUSE в облаке позволит существенно снизить затраты на ее поддержку. Платить нужно будет не за количество пользователей или установок, а только за реально использованные аппаратные ресурсы. Разработка по методологии CI/CD ускорит вывод продуктов на рынок и развертывание обновлений.
SUSE уже давно и активно развивает свои продукты на публичных облачных платформах. Партнерство с Yandex.Cloud открывает новые перспективы в этом направлении. Решения SUSE на платформе Yandex.Cloud становятся еще более удобными и гибкими для клиентов, благодаря масштабируемой облачной инфраструктуре и включенной в образ технической поддержке. cloud.yandex.ru/marketplace?type=compute&search=suse
Хаб Serverless на Хабре
Совместно с редакцией Хабра запустили хаб Serverless. На этой открытой площадке вместе с другими участниками рынка мы постараемся консолидировать все материалы необходимые разработчикам для понимания идей бессерверных технологий. Со своей стороны планируем регулярно публиковать переводы, интервью, статьи и туториалы, чтобы строить знание о нашей Serverless Ecosystem.
Присоединяйтесь к комьюнити разработчиков, которым близки идеи Serverless! habr.com/ru/hub/serverless/
Новый сервис Yandex Cloud DNS
Новый сервис Yandex Cloud DNS вышел в стадии Preview. С Cloud DNS вы можете управлять ресурсными записями и доменными именами из облака и настраивать внутренние и публичные DNS-зоны в консоли, API, CLI и Terraform. Сервис упростит делегирование доменов и позволит создавать разные окружения внутри вашего проекта без вложений в собственные DNS-сервера. cloud.yandex.ru/services/dns
Решение Cloud Advisor для аудита облачной инфраструктуры
Cloud Advisor — партнерское решение для аудита и оптимизации облачной инфраструктуры, расположенной в Yandex.Cloud. С его помощью можно проверить, защищено ли ваше облако от актуальных угроз, соответствует ли оно практикам использования облачных сервисов и рекомендациям провайдера. cloud.yandex.ru/blog/posts/2021/03/cloud-advisor-review
Плагин для гибридной работы с Citrix Virtual Apps and Desktops
Команда Yandex.Cloud в партнерстве с Citrix разработала плагин для гибридной работы с Citrix Virtual Apps and Desktops. С его помощью VDI Citrix интегрируется с облачной платформой и позволяет развернуть гибридное решение, предоставив больше мощности для локальной инфраструктуры виртуальных рабочих столов и приложений, или запустить CVAD с нуля в облаке Yandex.Cloud. cloud.yandex.ru/blog/posts/2021/03/citrix-plugin
Schlumberger и Yandex.Cloud заключили соглашение о партнерстве
Schlumberger и Yandex.Cloud заключили соглашение, в рамках которого платформа искусственного интеллекта и цифровых инструментов DELFI будет размещена в Yandex.Cloud. Теперь российские энергетические компании смогут воспользоваться новыми цифровыми сервисами и технологиями в области искусственного интеллекта и больших данных для повышения эффективности бизнеса. cloud.yandex.ru/blog/posts/2021/03/schlumberger-partnership
Мониторинг в мобильном приложении
Мы добавили мониторинг в мобильное приложение Yandex.Cloud — теперь вы можете контролировать статусы всех своих сервисов, узнавать об их доступности и контролировать появляющиеся ошибки. Если вы ещё не пользуетесь — сейчас самое время начать! cloud.yandex.ru/mobile-app
Сравнение стоимости управляемых баз данных с on‑premise и самостоятельной установкой в облаке
Рассказали, как управляемые базы данных помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. Сделали расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной в облаке и управляемой базой данных. cloud.yandex.ru/blog/posts/2021/03/mdb-advantages
Новости сервисов
Yandex Managed Service for Kubernetes
Теперь вы можете рассчитать стоимость кластера Kubernetes меньше, чем за минуту. Воспользуйтесь калькулятором в разделе Тарифы или на странице сервиса. cloud.yandex.ru/services/managed-kubernetes
Monitoring
С помощью агентa для поставки метрик в мониторинг Yandex Unified Agent вы можете собирать и отправлять в Monitoring:
системные метрики (CPU, RAM, сеть, диски) для Linux-совместимых ОС;
метрики с собственных клиентских приложений;
метрики сторонних приложений.
Агент поддерживает сбор метрик в формате Prometheus.
Публикации в СМИ
Яндекс поможет отрядам «ЛизаАлерт» искать пропавших людей по снимкам с дронов
Поисковый отряд будет загружать фотографии с дронов в облачный сервис Yandex.Cloud, оттуда снимки попадут в сервис Яндекс.Толока, где исполнители просмотрят все кадры и отметят те, на которых виден человек. Читать в источнике → tass.ru/obschestvo/10944095
Как стартап ProctorEdu следит, чтобы студенты и менеджеры России, Индии и Израиля не списывали
ProctorEdu вырос из небольшого проекта для НИУ ВШЭ. ВУЗу нужна была система для распознавания нечестного поведения студентов на экзаменах. Потом были инвестиции, 5 крупных акселераторов и несколько стран с пилотами. Подробно рассказываем о прокторинге и деятельности еще одного участника программы Yandex Cloud Boost. Читать на VC → vc.ru/services/221710-kak-startap-proctoredu-sledit-chtoby-studenty-i-menedzhery-rossii-indii-i-izrailya-ne-spisyvali
Нейронная мимикрия: насколько хорошо ИИ предсказывает музыку
Завершить «Реквием» за Моцарта или продлить саундтрек к Gravity Falls в 5 раз нейросетью… Да, возможно, но сможет ли ИИ справиться с этим хорошо или даже лучше живого музыканта? Команда AI Community при поддержке Yandex.Cloud провела конкурс среди дата-сайентистов и получила несколько инсайтов. Читать на VC → vc.ru/ml/219573-neyronnaya-mimikriya-naskolko-horosho-ii-predskazyvaet-muzyku
Виртуальные компьютерные классы и единая среда для программирования
Факультет компьютерных наук НИУ ВШЭ использовал сервисы платформы Yandex.Cloud для запуска учебных курсов. Например, с помощью Yandex DataSphere удалось создать единую среду для обучения и сократить издержки за счет бесшовного переключения конфигураций в зависимости от сложности вычислений. Читать в источнике → cs.hse.ru/news/450921539.html
Истории успеха
Как HiPer IT повысила эффективность работы систем эксплуатации
HiPer IT — разработчик решений для повышения эффективности эксплуатации инженерных систем на основе собственной IIoT-платформы HiPerWare и оборудования для сбора больших данных. Система собирает миллионы значений тысяч переменных о работе инженерных систем объектов недвижимости, анализирует их и формирует рекомендации по оптимизации работы. С помощью Yandex.Cloud компания смогла увеличить эффективность работы систем и масштабироваться. cloud.yandex.ru/cases/hiper-it
НефтеТрансСервис: IoT-решения Yandex.Cloud для промышленного бизнес-анализа
Транспортная группа НефтеТрансСервис обратилась к компании GlowByte для проведения исследовательского проекта. С помощью сервиса Yandex DataLens они смогли обнаружить нарушения в производственном процессе, нашли резерв производственных мощностей и выявили много коротких, но частых простоев станков. Это помогло проверить изначальные гипотезы клиента и убедиться, что цифровая бизнес-аналитика может применяться в самых разных задачах. cloud.yandex.ru/cases/ntstrans
Развернуть инфраструктуру для робота-помощника за один день
Центр цифровой трансформации Республики Татарстан полностью отвечает за автоматизацию и цифровизацию электронных сервисов Татарстана, а также занимается разработкой новых продуктов, направленных на улучшение качества жизни жителей республики. В Yandex.Cloud им удалось за один день развернуть рабочую инфраструктуру для робота-помощника Лилии, правильно спроектировать платформу на уровне архитектуры ИС и провести поверхностный аудит решения. cloud.yandex.ru/cases/digital-tatarstan
Как сервис Anywayanyday расширил аналитику и сократил затраты с инструментами Yandex.Cloud
Платформа BI на основе Yandex Managed Service for ClickHouse и DataLens сделала мониторинг и анализ показателей бизнеса доступным для всех сотрудников. Существенно ускорились принятие решений и реакция на отклонения показателей. ИТ-отдел сократил трудозатраты на поддержку системы отчетности на 20%. cloud.yandex.ru/cases/anywayanyday
Мероприятия
about: cloud — всё о Платформе данных
На вебинаре мы рассказали о новых сервисах платформы данных: Managed Service for Apache Kafka, Data Transfer и Managed Service for Elasticsearch. И, конечно, о новых возможностях в сервисе Managed SQL Server: восстановление на произвольную точку времени (PITR), Scaling и мониторинг: и о важных обновлениях DataLens, бесплатном тарифе для пользователей управляемых баз данных, а также о других возможностях платформы. cloud.yandex.ru/events/342
Напишите навык для Алисы на Serverless
Научили создавать новые навыки Алисы с помощью Serverless. Писали на Go и использовали сервисы Yandex Cloud Function, Yandex DataBase, Yandex API-gateway и Object Storage. В итоге получился новый навык под названием To-Do List. С помощью голосового управления он создаёт и редактирует списки задач. Пример можно легко адаптировать к своему любимому языку программирования. cloud.yandex.ru/events/340
Работайте над проектами, как в Яндексе
Рассказали, какие возможности есть у сервиса для организации работы Yandex Tracker, чем она может быть полезна для компаний из различных отраслей, как с помощью Tracker можно автоматизировать рутинные процессы и что меняется в продукте с переходом в Yandex.Cloud. cloud.yandex.ru/events/339
Заоблачные продажи — ищем первого клиента
Вебинар для новичков облачного бизнеса. Разобрали основные инструменты поиска клиентов, которые есть в Yandex.Cloud, и рассказали, как лучше начать поиск и на что важно обратить внимание на первых порах. cloud.yandex.ru/events/338
Настройки ролевых моделей и политик для Managed Service for Kubernetes
На этом вебинаре мы разобрали инфраструктуру приложения, в которой есть продуктивный и непродуктивный контуры, и настроили:
RBAC в сервисе Managed Service for Kubernetes, используя интеграцию с IAM;
политики работы с ресурсами Kubernetes и Docker-образами.
