Недавно в Биллинге Yandex.Cloud появились бюджеты. Бюджет — это способ контролировать расходы на потребление ресурсов в Yandex.Cloud. В бюджете вы устанавливаете сумму расходов для определенных ресурсов за определенное время и настраиваете, при достижении какого порога потребления и кому будут отправлены уведомления.
Ещё одна новость: в Биллинге появилась интеграция с DataLens. Это простой и удобный способ понять, на что расходуются средства в облаке.
Наши пользователи могли бы заметить: ну как же — у вас всегда был раздел Детализация. Да, это так, но интеграция с DataLens выводит анализ статистики потребления и затрат на новый уровень.
К существующим разрезам (облако, сервис и продукт) добавляются каталоги, ресурсы и метки. Это позволит находить ответы на такие вопросы, как:
на какую виртуальную машину уходит больше всего средств,
как распределяются затраты и потребление по проектам.
Актуальность данных близка к реальному времени. Вы можете выгрузить данные в CSV/XLSX и автоматически их обработать. Так, например, вы можете генерировать и рассылать счета клиентам.
Для того, чтобы воспользоваться новыми возможностями, создайте новое подключение DataLens с типом Yandex Cloud Billing.
Используйте предустановленный Yandex Cloud Billing Dashboard или настройте дашборд под свои запросы.
Недавно Yandex.Cloud и Ernst & Young провели первое исследование применения облачных сервисов российскими компаниями. А также их мотивов и барьеров к внедрению. yandex-cloud.vedomosti.ru
Сначала исследователи провели глубинные интервью с 15 руководителями крупных компаний из разных отраслей рынка. Полученные данные и гипотезы проверили и скорректировали с помощью опроса представителей более 700 российских компаний.
Компании изначально идут в облака под давлением рынка, а приходят к обновлению бизнес-процессов.
«Так, мы выявили, что возросшая потребность создавать цифровые продукты приводит компании к облаку как к более комплексному технологическому решению», — Антон Устименко, партнер EY.
С увеличением объема данных и нагрузки на сервисы, компании все чаще приходят к облачным платформам, потому что не могут отвечать на вызовы рынка на одной только своей инфраструктуре. И с самого начала использования облака компании сталкиваются с эффектом перемен на уровне операционных бизнес-процессов. Участники исследования отмечали, что применение облака способствует трансформации самой операционной модели бизнеса, повышению скорости создания новых продуктов и снижению расходов на ИТ.
Кто инициирует переход в облако и отвечает за бюджет
Среди участников опроса 50% отметили повышение прозрачности и ответственности за затраты ИТ-отдела с переходом в облако, 46% согласились с тем, что повысилась ответственность за данные, а 35% рассказали, что облаком пользуются не только ИТ-специалисты, но и сотрудники бизнес-подразделений.
Это подтверждают данные о том, кто инициирует применение облаков: в 48% опрошенных компаний инициатива была именно за бизнесом. В 24% компаний из исследования ответственность за «облачный» бюджет также уже перенесена на бизнес-подразделения.
Чего боятся компании
Главный страх компаний перед облаками — потерять данные и попасть в зависимость от провайдеров облачной платформы. Так ответила половина респондентов исследования, которые уже перешли на облачные решения и 46% тех, кто только планирует это. Отсюда берется популярное компромиссное решение — переходить в облако из собственной инфраструктуры. То есть работать по гибридной модели, при которой в облако переводится только часть функций. Это мнение разделяет 67% участников исследования.
«Переход от потребления к созданию — это и есть то качественное изменение в бизнесе, которое ускоряется благодаря применению облачных платформ», — Олег Коверзнев, операционный директор Yandex.Cloud.
Как выбирают провайдера
При выборе облачного провайдера компании назвали важнейшим фактором интеграцию с собственной инфраструктурой. Это нужно, чтобы после тестирования продукта в облаке дальнейшее развитие перевести на развернутые к тому времени собственные мощности. Таким образом, переезд в облако и обратно становится частью жизненного цикла продукта.
Диагностика с помощью системных таблиц
Для проведения внутренней интроспекции состояния базы данных пользователи платформы с помощью нового веб-интерфейса могут осуществлять запросы в специальные системные таблицы (system views). Обращения выполняются с помощью YQL-запросов.
Анализ данных из системных таблиц позволяет выполнять диагностику по таблицам, запросам и данным БД:
получить информацию о размерах и нагрузке на партиции таблиц;
посмотреть топ долгих запросов, запросов с наибольшим потреблением CPU или читающих наибольшее количество данных;
посмотреть подробную информацию о выполняющихся запросах с одинаковым текстом.
Ссылки на наиболее востребованные запросы к системным таблицам можно найти в новом разделе Диагностика. Перейдя по ссылке, в редактор YQL будет загружен необходимый запрос, пользователю останется только его выполнить.
Резервные копии
С помощью нового интерфейса стало удобнее управлять резервными копиями. Вы можете создать задание для резервного копирования и запланировать график его выполнения, восстановить данные из резервной копии в нужную базу данных или в отдельную директорию внутри.
Yandex Query Language (YQL)
Теперь при выполнении YQL-запроса можно посмотреть на результаты его исполнения, статистику выполнения, а также его EXPLAIN PLAN.
Навигация по базе данных
Мы переработали инструменты навигации по базе данных и добавили контекстные меню для всех объектов, с помощью которых вы можете:
скопировать полный путь к таблице, а затем вставить его в редактор YQL-запросов;
вызвать просмотр информации об объекте;
сформировать DML-запрос для записи;
сформировать DML-запрос для выборки данных;
удалить объект.
Сниппеты подключения к базе в любом месте навигации
Мы упростили доступ к сниппетам с кодом для подключения к базе, теперь они доступны в любом месте навигации по базе. Находясь на любой странице интерфейса, пользователь может быстро подсмотреть сниппет для подключения к базе данных на любом доступном языке программирования.
Работа с таблицами
С помощью нового интерфейса встроенного редактора таблиц вы можете создавать и редактировать таблицы. Также он поможет задать схему таблицы и сформировать вторичные индексы при создании таблицы.
При создании таблицы вы можете выбрать политику начального партицирования, определить количество партиций при выборе равномерного партицирования или в явном виде указать партиции и границы ключей.
В том же разделе можно управлять свойствами автоматического масштабирования, например, автопартицированием по размеру и нагрузке. А с помощью расширенных настроек указать размер партиции для автоматического партицирования по размеру, задать ограничения по количеству партиций и, при необходимости, включить фильтр Блума.
Для существующих таблиц доступно создание, изменение или удаление созданных вторичных индексов. Причем, на все время построения индекса таблица остается доступной для чтения и записи.
Новый интерфейс позволяет посмотреть полную информацию, схему и свойства таблиц, включая расширенные настройки и опции партицирования. Вы можете получить сведения о вторичных индексах и о партициях таблицы, с границами партиций, сведениями о количестве строк и размере партиции.
Мы улучшили предварительный просмотр таблиц: теперь доступно отображение столбцов с типом JSON и постраничное листание. И прямо из интерфейса вы можете добавить строку в таблицу, что очень удобно для экспериментов с данными.
Бесплатный тариф DataLens теперь доступен без привязки карты
Мы существенно упростили подключение Yandex DataLens для новых пользователей. Даже если у вас пока еще нет облака и платёжного аккаунта Yandex.Cloud, для быстрой визуализации данных вам достаточно:
Перейти на datalens.yandex.ru.
Указать аккаунт на Яндексе.
Активировать бесплатный тариф DataLens следуя инструкциям на стартовой странице.
Пользуясь бесплатным тарифом, вы можете полноценно работать с DataLens, настраивая подключения к собственным источникам данных.
Создание платежного аккаунта и привязка карты (или реквизитов вашего юридического лица) потребуются, если вам нужны:
платные продукты в маркетплейсе DataLens;
платный тариф «Стандарт» для DataLens и расширение лимита внешних сессий согласно тарифам;
другие сервисы Yandex.Cloud, включая управляемые базы данных для надежного хранения и обработки данных в облаке.
Google Sheets в качестве источника
Мы реализовали один из самых популярных запросов для DataLens в нашем сообществе. Теперь при создании нового подключения DataLens вы можете выбрать Google Sheets.
Подключение к Google Sheets является развитием сценариев использования простых CSV. Теперь обновление данных будет происходить бесшовно, без необходимости загрузки новой версии файла и подмены подключения.
Особенности коннектора
Поддерживается полный набор функций DataLens.
На данный момент поддерживаются только документы с доступом по ссылке (доступ «Anyone with the link»).
Используется тот лист таблицы, который был указан в ссылке. Для указания конкретного листа необходимо скопировать ссылку из адресной строки, а не из управления доступом (содержит #gid=… в ссылке).
При загрузке используется кеш, время жизни — до 5 минут.
На данный момент используется представление данных листа через Google Charts — этим обусловлено определение имён колонок, обработка типов значений и представление других возможностей Google Sheets.
Коннектор к детализации биллинга вашего облака
Еще один новый тип подключения — детализация биллинга. Он позволяет анализировать детальные данные о потреблении облачных ресурсов (инфраструктурные сервисы, управляемые базы данных и другие платные сервисы).
К существующим разрезам, доступным в консоли Yandex.Cloud (это облако, сервис и продукт), добавлены данные по каталогам, ресурсам и меткам. А это, в свою очередь, позволяет делать расширенную ad-hoc аналитику по потреблению и находить ответы на такие вопросы, как:
на какую виртуальную машину уходит больше всего средств,
как распределяются затраты и потребление по проектам.
Актуальность данных близка к реальному времени. Вы можете выгрузить данные в CSV/XLSX и автоматически их обработать. Так, например, вы можете генерировать и рассылать счета клиентам.
Коннектор позволяет развернуть стандартный дашборд и доработать его под свои нужны. Для того, чтобы воспользоваться новыми возможностями, создайте новое подключение DataLens с типом Yandex Cloud Billing.
Иерархии и drill-down
Долгожданные иерархии с drill-down теперь в DataLens!
Создать и настроить иерархию можно в несколько кликов на уровне чарта, нажав на кнопку +.
Интерактивный пример встроенного чарта:
В качестве источника использовали документ Google Sheet.
Клик по строке в таблице — переход на уровень ниже с фильтрацией.
Путь над таблицей отображает сделанные переходы по узлам дерева.
Клик по значению, указанному в пути — возврат к выбранному уровню иерархии.
Клики по стрелкам — переход вниз/вверх по иерархии.
Цвет и размер шрифта в индикаторах
Для чартов типа индикатор теперь можно указать цвет шрифта из существующей палитры, а также выбрать один из 4 предустановленных размеров. Несколько счетчиков при подключении к Яндекс.Метрике и AppMetrica
Теперь в режиме прямого доступа можно подключаться к нескольким счетчикам Яндекс Метрики и AppMetrica.
В датасетах Метрики появились измерения Счетчик и Счетчик (id) по которым можно группировать данные. Если вы давно создавали датасет и у вас нет таких полей, нажмите в датасете кнопку Обновить поля и сохраните его.
Kubernetes можно установить на своем оборудовании, либо использовать managed-решение от облачного провайдера. При самостоятельной установке on-premise вы можете более гибко контролировать процесс настройки, но есть риск столкнуться с определенными сложностями.
Если вы уже пробовали разворачивать и поддерживать кластер на своем оборудовании, то, возможно, знакомы с ними. Если только планируете это сделать — прочитайте статью, чтобы разобраться в преимуществах управляемого Kubernetes.
В статье мы расскажем про шесть причин перейти на Yandex Managed Service for Kubernetes®, чтобы избежать сложностей развертывания и администрирования кластера Kubernetes on-premise. Заметим, что это не все преимущества, которые дает управляемый Kubernetes, а только самые значимые, на наш взгляд.
Легко установить и настроить кластер
Kubernetes — сложная система, для установки и настройки которой нужны определенные знания и навыки. Чтобы получить стабильную и безопасную систему, важно правильно установить и настроить кластер: права доступа, сетевые настройки, мониторинг, резервное копирование, файловое хранилище и многое другое.
Чтобы это сделать, необходим специалист с определенными навыками. А лучше два, чтобы они подменяли друг друга на время отпусков и болезней. Хорошо, если у вас в компании уже есть такие люди. Если нет, потребуется время, чтобы их найти или обучить. При этом нужно постоянно поддерживать их квалификацию, потому что Kubernetes развивается и в нем появляются новые возможности и особенности.
Чтобы избавиться от сложностей установки и настройки кластера, можно воспользоваться управляемым Kubernetes. Создать готовый кластер в облаке сможет любой технический специалист, знакомый с Kubernetes на базовом уровне. Для этого не нужны глубокие знания администрирования, достаточно понимать основные концепции, чтобы выбрать параметры сети, группы безопасности, количество подов на узле.
Кластер создается в веб-интерфейсе несколькими кликами. Облачный провайдер выполнит за вас все основные настройки и интеграции, настроит резервное копирование, подключит мониторинг и настроит сеть.
Кроме UI-интерфейса Yandex.Cloud также предлагает возможность создания и управления кластером через API, CLI, SDK и Terraform. Главное преимущество такого способа — автоматизация рутинных задач по созданию и управлению ресурсами кластера. Облачный провайдер берет на себя большую часть задач по установке и настройке кластера, что ускоряет процесс развертывания и исключает необходимость иметь профильных специалистов в штате компании.
Кластер обновляет облачный провайдер
Как и любую систему, кластер нужно обновлять. В решении on-premise обновлять и тестировать кластер вам придется самостоятельно. А так как Kubernetes довольно сложен в освоении, не исключена вероятность ошибок, исправлять которые придется самостоятельно, что потребует много времени. А обновить кластер без простоя — еще более сложная задача.
В Managed Service for Kubernetes облачный провайдер сам обновит ваш кластер. Мы предварительно тестируем новые версии Kubernetes и только после этого устанавливаем их на кластеры клиентов. Вам остается лишь проверить корректность работы сервисов и приложений в новой версии Kubernetes. Как клиент может контролировать процесс обновления:
Вы выбираете расписание установки обновления. Можно указать конкретные дни недели и время. Например, в ночь с пятницы на субботу, чтобы в случае непредвиденных ситуаций еще оставалось время до понедельника. При этом перед установкой обновления мы вас обязательно оповестим.
Вы можете отключить автообновление и устанавливать каждое обновление отдельно, по мере необходимости. Это полезно, когда нет возможности заранее выделить единое время для установки всех обновлений.
У Kubernetes есть три релизных канала для обновления:
Rapid. Содержит самые свежие версии Kubernetes. На канале часто появляются минорные обновления с новой функциональностью и улучшениями. Рекомендуем для непродуктивных сред — разработки и тестирования — потому что тут раньше всего появляется функционал, который скоро появится в продуктивном канале regular.
Regular. Хорошо протестированные версии. Сюда они попадают из канала rapid. Мы рекомендуем использовать канал для большинства продуктовых сред.
Stable. Самые стабильные версии, которые включают в основном исправления ошибок и проблем безопасности. Сюда они попадают из канала regular. Этот канал мы рекомендуем, если вы хотите как можно реже обновлять кластер. Например, в Kubernetes работают второстепенные приложения, которые не нужно постоянно дорабатывать и тестировать. Также этот канал подойдет, если у вас долгий цикл разработки приложений.
Поддерживается автомасштабирование узлов
Kubernetes умеет горизонтально автомасштабироваться, то есть добавлять и освобождать узлы по мере нагрузки. Когда нагрузка на кластер растет — автоматически подключаются новые узлы, чтобы ваши приложения не тормозили. А когда нагрузка падает, ненужные узлы освобождаются.
Такая возможность есть в любой установке Kubernetes, даже on-premise. Но если настраивать автомасштабирование на своем оборудовании, необходим постоянный резерв свободных машин. При этом большую часть времени резервные машины скорее всего будут простаивать. К тому же не исключена вероятность, что в момент особо высокой непредвиденной нагрузки может не хватить даже этих резервов.
Облачный Kubernetes лишен этих недостатков:
Вам не нужно думать о простое оборудования. При создании кластера вы выбираете минимальное и максимальное количество рабочих узлов. Когда нагрузка небольшая, в вашем кластере будет минимум узлов. Когда нагрузка возрастает — кластер сам подключит дополнительные узлы из ресурсов облака.
Облачный провайдер обладает огромными вычислительными ресурсами и может масштабировать ваш кластер вплоть до любого необходимого числа узлов. Ваша система сможет выдержать даже очень высокие нагрузки.
Можно создать региональный отказоустойчивый кластер
При создании продуктового кластера важно позаботиться об отказоустойчивости. Как правило, для этого создаются несколько реплик мастер-узлов.
Если разворачивать кластер на своем оборудовании, как правило, все узлы будут находиться в одном дата-центре или географической зоне (городе или районе). Дата-центры обеспечивают надежность инфраструктуры резервированием, дублированием критических узлов и гарантируют SLA. Но в случае аварии природного или техногенного характера, а также человеческого фактора, ЦОД перестанет функционировать и вы полностью потеряете доступ к кластеру.
Managed-решение Yandex.Cloud позволяет создать региональный отказоустойчивый кластер. У нас есть три собственных дата-центра, расположенных во Владимирской, Рязанской и Московской областях. Если в одном из дата-центров произойдет авария, мастер-узлы в остальных дата-центрах продолжат работать и ваши приложения будут доступны.
А тестовые среды не предъявляют таких требований к отказоустойчивости, для них вы можете создать зональный кластер с одним мастер-узлом. Это будет намного дешевле, чем региональный отказоустойчивый кластер.
Работает с RBAC и IAM
Большие компании используют системы учетных записей, такие как Active Directory или G Suite. И для того чтобы интегрировать их с кластером Kubernetes, необходимо устанавливать и настраивать дополнительные инструменты.
В Managed Service for Kubernetes вы можете подключить систему и использовать свои учетные записи без дополнительных настроек. Для этого на уровне IAM настраивается федерация через протокол SAML. И тогда учетные записи ваших пользователей интегрируются с платформой Yandex.Cloud и им можно назначать роли.
Наш IAM является дополнением к стандартному Kubernetes RBAC. Используя обе системы, можно решать более сложные задачи по разграничению доступа. Например,
разработчику из всех ресурсов платформы необходим доступ только к кластеру Kubernetes. Для этого внутри облака ему выдаются минимальные права, достаточные лишь для подключения к кластеру. А внутри Kubernetes при помощи RBAC ему добавляются необходимые полномочия на объекты кластера.
Удобный UI «из коробки»
У Kubernetes нет стандартного графического интерфейса управления. Существуют сторонние разработки от сообщества, которые нужно устанавливать, настраивать и предоставлять к ним доступ.
Мы разработали собственный интерфейс управления, доступный всем пользователям Managed Service for Kubernetes. Он уже интегрирован с Yandex IAM, что позволяет легко раздавать полномочия. Вы можете использовать наш дашборд вместо одного из сторонних или вместе с ним. Вот несколько его ключевых возможностей:
Детализация узлов, деплойментов, подов и сети. По каждому из этих объектов можно увидеть текущее состояние, посмотреть перечень событий и логов. Это позволяет отлаживать приложения без необходимости устанавливать дополнительные инструменты в кластер. Из детализации деплоймента можно увидеть, какие поды создались на его основе, и сразу перейти к ним.
Детализация потребления ресурсов. По каждому узлу или поду можно увидеть, сколько тратится CPU, памяти и сетевых ресурсов.
Настройка детализации. В каждой детализации можно добавлять или убирать поля для отображения.
Гибкий фильтр событий. В кластере генерируется довольно много событий, поэтому мы создали гибкий фильтр. Можно фильтровать по пространству имен, уровню или сущности.
Мы постоянно дорабатываем дашборд, поэтому в будущем у него появятся новые возможности. Нашим клиентам ничего не нужно устанавливать или обновлять, они сразу будут получать новые возможности.
Краткие итоги
Мы рассмотрели шесть главных преимуществ Managed Service for Kubernetes® перед классическими on‑premise‑кластерами Kubernetes.
Но это не все, что может предложить Yandex.Cloud для решения задач Kubernetes. С помощью платформы вы можете решать и другие задачи, например находить уязвимости в образах контейнеров, шифровать секреты в etcd‑хранилище или интегрироваться с инструментами CI/CD. Более подробно об этих и других возможностях вы можете узнать из нашего вебинара «Kubernetes. Managed на все 100%».
Приглашаем вас на вебинар «Рекомендательные системы: архитектура и применение». Старт 22 июня в 12:00 (МСК).
Рекомендательная система — сплошная польза для бизнеса. Это и экономия ресурсов, и увеличение среднего чека, и допродажи, и лояльность пользователей.
Главное — всё правильно подготовить и интегрировать.
На вебинаре разберём, как собрать эффективный движок для рекомендательной системы. Покажем архитектуру современного движка на базе платформы данных Yandex.Cloud, посмотрим кейсы и рабочие алгоритмы.
Опытом построения рекомендательных систем поделятся наши коллеги из компании GlowByte — эксперты в области BI, Big Data и автоматизации маркетинга. cloud.yandex.ru/events/368
Как настроить экспорт логов из Yandex Object Storage и наглядно их анализировать при помощи интерактивных графиков в Yandex DataLens.
Логи
Для начала нам нужно включить экспорт логов Object Storage. Для этого нужно сделать запрос в API сервиса, потому что в UI пока этой опции нет. Запрос можно сделать любым способом, но удобнее всего для этого использовать утилиту aws-cli.
Если у вас не настроена эта утилита, то инструкцию по настройке можно найти в документации.
Чтобы включить логирование запросов для бакета, нужно выполнить следующую команду:
Соответственно, $LOGS_BUCKET нужно заменить на имя бакета, куда будут складываться логи.
ClickHouse
Вторым этапом будет создание кластера Managed Service for ClickHouse. Он будет выступать источником данных для DataLens.
Для наших целей нам подойдет самый маленький кластер burstable-типа. Создание кластера может занять значительное время.
Когда кластер будет создан, необходимо поправить настройки пользователя. Выставить для поля Date time input format значение best_effort.
В ClickHouse реализованы разные движки таблиц. В нашем случае нам пригодится S3.
CREATE TABLE db1.s3logs
(
bucket String, -- Имя бакета.
bytes_received Int64, -- Размер запроса в байтах.
bytes_send Int64, -- Размер ответа в байтах.
handler String, -- Метод запроса в формате REST.<HTTP-метод>.<субъект>.
http_referer String, -- URL-адрес источника запроса.
ip String, -- IP-адрес пользователя.
method String, -- Метод HTTP-запроса.
object_key String, -- Ключ объекта, закодированный методом URL-кодировки.
protocol String, -- Версия протокола передачи данных.
range String, -- HTTP-заголовок, который определяет диапазон байт для загрузки из объекта.
requester String, -- Идентификатор пользователя.
request_args String, -- Аргументы URL-запроса.
request_id String, -- Идентификатор запроса.
request_path String, -- Полный путь запроса.
request_time Int64, -- Время обработки запроса, в миллисекундах.
scheme String, -- Тип протокола передачи данных.
-- Возможные значения:
-- * http — протокол прикладного уровня передачи данных.
-- * https — протокол прикладного уровня передачи данных с поддержкой шифрования.
ssl_protocol String, -- Протокол обеспечения безопасности.
status Int64, -- HTTP-код ответа.
storage_class String, -- Класс хранилища объекта.
timestamp DateTime, -- Дата и время операции с бакетом, в формате ГГГГ-ММ-ДДTЧЧ:ММ:ССZ.
user_agent String, -- Клиентское приложение (User Agent), которое выполнило запрос.
version_id String, -- Версия объекта.
vhost String -- Виртуальный хост запроса.
-- Возможные значения:
-- * storage.yandexcloud.net.
-- * <имя бакета>.storage.yandexcloud.net.
-- * website.yandexcloud.net.
-- * <имя бакета>.website.yandexcloud.net.
)
ENGINE = S3(
'https://storage.yandexcloud.net/<BUCKET_NAME>/<PREFIX>/*',
'<ACCESS_KEY>',
'<SECRET_KEY>',
'JSONEachRow'
);
<ACCESS_KEY> и <SECRET_KEY> следует заменить на значения статического ключа доступа в Object Storage. Инструкция по созданию ключа доступа в документации.
<BUCKET_NAME> и нужно заменить на значения, которые указывали в log-config.json, ведь именно туда будут складываться ваши логи и именно оттуда их и будем вычитывать в ClickHouse.
Теперь можно убедиться, что все работает, перейдя в базу db1 и открыв просмотр таблицы s3logs.
DataLens
Подключение
После того как кластер ClickHouse будет создан, можно перейти на вкладку DataLens и сразу создать подключение.
Датасет
Во всплывающем окне после сохранения подключения есть кнопка, позволяющая сразу перейти к созданию датасета на основе этого подключения. Нажмем её.
Перетащим из списка доступных таблиц в основную рабочую область только что созданную таблицу. Если все ок, то внизу в области предпросмотра увидим, что DataLens смог получить данные.
Теперь можно сохранить датасет. И приступить к созданию чартов на основе этого датасета.
Пример диаграммы количества запросов по методу. Так как это тестовый бакет, GET-запросов оказалось даже меньше, чем PUT.
В датасет можно добавить вычисляемые поля. Например, добавим file_type. Рассчитывать это значение будем по формуле SPLIT([object_key], ‘.’, -1).
Далее мы можем использовать это значение наравне с другими в построении чартов.
Дашборд
Все получившиеся чарты вы можете сгруппировать на дашборд.
Например, такой демо-дашборд для тестового бакета.
Приглашаем вас на онлайн-практикум по продуктовой аналитике. Совместно с командой Яндекс.Метрики.
Старт 18 мая в 12:00 (МСК).
На практикуме разберём базовые практические задачи: как строить воронки конверсий, делать когортный анализ и считать Retention пользовательской базы.
В конце вы получите понятную пошаговую инструкцию по настройке аналитики в облаке.
Практикум будет полезен всем, кто запускает веб-сервисы и анализирует их эффективность, а также разработчикам, data-инженерам, product-менеджерам и владельцам продуктов.
С какими инструментами будем работать
Yandex DataLens— сервис для анализа и визуализации данных.
Yandex Managed Service for ClickHouse — управляемая база данных.
Yandex DataSphere — сервис для анализа данных, разработки и запуска моделей машинного обучения.
На платформе Yandex.Cloud появились быстрые сетевые хранилища — нереплицируемые диски.
Устройство нереплицируемых дисков существенно проще стандартных сетевых хранилищ SSD. Благодаря этому производительность нереплицируемых дисков выше в несколько раз. С существующими ограничениями дисков можно ознакомиться в документации. cloud.yandex.ru/docs/compute/concepts/disk#disks_types
Где пригодятся нереплицируемые диски
Стоит использовать нереплицируемые диски тогда, когда надежное хранение уже реализовано на уровне приложения:
базы данных с репликацией;
отказоустойчивые сетевые файловые системы;
зеркалирование read-only данных.
Нереплицируемые диски также могут быть полезны для хранения данных, для которых есть бэкап или которые можно быстро восстановить.
Особенности хранения данных
Мы сделали все, что обещали на Scale 2020, и даже больше:
Если внутренние системы мониторинга покажут, что в ближайшее время нереплицируемый диск может выйти из строя, данные с этого диска по возможности будут перенесены на другой диск. Такое обслуживание происходит в фоновом режиме без уведомления пользователя. Во время миграции данных вы можете заметить незначительные потери производительности, но диски будут доступны для работы.
При поломке нереплицируемых дисков часть данных может стать недоступна. В течение двух недель после поломки сломанный диск не будет тарифицироваться, чтобы вы могли извлечь необходимые данные и самостоятельно удалить сломанный диск. По истечении двух недель, если диск не будет удален, тарификация возобновится.
Сервис стал общедоступным
13 апреля Managed Service for Elasticsearch, сервис для управления кластерами Elasticsearch, перешел в общедоступную версию. Managed Services for Elasticsearch усиливает экосистему сервисов Yandex.Cloud для создания бизнес-решений на нашей платформе данных. Теперь в облаке возможно реализовать еще больше бизнес-сценариев, связанных с хранением, анализом и принятием решений на основе данных. Применение Еlasticsearch позволяет улучшить пользовательский опыт: повысить стабильность и скорость работы, предлагать новые функции на основе анализа действий пользователя. cloud.yandex.ru/services/managed-elasticsearch
Еlasticsearch хорошо подходит для проектов, которые должны стабильно работать при стремительном росте обращений к данным. Сервис позволяет в несколько кликов увеличить или уменьшить потребление облачных ресурсов при изменениях нагрузки. Заняв место между аналитическими СУБД и инструментами мониторинга, Elasticsearch решает задачи: поиска в реальном времени по внутренним и внешним ресурсам компании, анализа логов или других документов.
Также Еlasticsearch предоставляет набор аналитических инструментов, с помощью которых можно получать информацию и принимать решения на основе журналов событий и метрик, повышать эффективность операций в ИТ, сокращать время принятия решений, получать данные для разработки и информационной безопасности.
Разворачивая кластеры Еlasticsearch в облаке, вы передаете большинство работ по установке необходимых обновлений и настройке продукта облачной платформе, а сами можете сфокусироваться на разработке и настройке поиска в вашем приложении.
Партнерство с Elastic NV
Платформа Yandex.Cloud и компания Elastic, разработчик решений Еlasticsearch и Elastic Stack, договорились о стратегическом партнерстве. Yandex.Cloud стала первой в России облачной платформой, которая предоставляет Elasticsearch как управляемый сервис в публичном облаке. www.elastic.co
В Managed Services for Еlasticsearch вы можете выбрать любой вариант подписки из трех: Basic, Gold и Platinum. В лицензиях с расширенным функционалом доступны, например, сервис SIEM (Security Information & Event Management), который позволяет реализовать критически важные сценарии обеспечения безопасности, различные виды визуализаций в Kibana и интеграция со сторонними провайдерами аутентификации и авторизации (SAML). Также как официальный партнер Yandex.Cloud имеет прямой доступ к технической поддержке Elasticsearch.
Уже существующие кластеры по умолчанию переведены на подписку Basic. Изменить тип подписки существующего кластера можно без остановки и перезапуска. Подробнее о работе с сервисом Managed Service for Elasticsearch читайте в документации. cloud.yandex.ru/docs/managed-elasticsearch
