Yandex Cloud

Kubernetes можно установить на своем оборудовании, либо использовать managed-решение от облачного провайдера. При самостоятельной установке on-premise вы можете более гибко контролировать процесс настройки, но есть риск столкнуться с определенными сложностями.

Если вы уже пробовали разворачивать и поддерживать кластер на своем оборудовании, то, возможно, знакомы с ними. Если только планируете это сделать — прочитайте статью, чтобы разобраться в преимуществах управляемого Kubernetes.

В статье мы расскажем про шесть причин перейти на Yandex Managed Service for Kubernetes®, чтобы избежать сложностей развертывания и администрирования кластера Kubernetes on-premise. Заметим, что это не все преимущества, которые дает управляемый Kubernetes, а только самые значимые, на наш взгляд.

Легко установить и настроить кластер
Kubernetes — сложная система, для установки и настройки которой нужны определенные знания и навыки. Чтобы получить стабильную и безопасную систему, важно правильно установить и настроить кластер: права доступа, сетевые настройки, мониторинг, резервное копирование, файловое хранилище и многое другое.

Чтобы это сделать, необходим специалист с определенными навыками. А лучше два, чтобы они подменяли друг друга на время отпусков и болезней. Хорошо, если у вас в компании уже есть такие люди. Если нет, потребуется время, чтобы их найти или обучить. При этом нужно постоянно поддерживать их квалификацию, потому что Kubernetes развивается и в нем появляются новые возможности и особенности.


Чтобы избавиться от сложностей установки и настройки кластера, можно воспользоваться управляемым Kubernetes. Создать готовый кластер в облаке сможет любой технический специалист, знакомый с Kubernetes на базовом уровне. Для этого не нужны глубокие знания администрирования, достаточно понимать основные концепции, чтобы выбрать параметры сети, группы безопасности, количество подов на узле.

Кластер создается в веб-интерфейсе несколькими кликами. Облачный провайдер выполнит за вас все основные настройки и интеграции, настроит резервное копирование, подключит мониторинг и настроит сеть.


Кроме UI-интерфейса Yandex.Cloud также предлагает возможность создания и управления кластером через API, CLI, SDK и Terraform. Главное преимущество такого способа — автоматизация рутинных задач по созданию и управлению ресурсами кластера. Облачный провайдер берет на себя большую часть задач по установке и настройке кластера, что ускоряет процесс развертывания и исключает необходимость иметь профильных специалистов в штате компании.

Кластер обновляет облачный провайдер
Как и любую систему, кластер нужно обновлять. В решении on-premise обновлять и тестировать кластер вам придется самостоятельно. А так как Kubernetes довольно сложен в освоении, не исключена вероятность ошибок, исправлять которые придется самостоятельно, что потребует много времени. А обновить кластер без простоя — еще более сложная задача.

В Managed Service for Kubernetes облачный провайдер сам обновит ваш кластер. Мы предварительно тестируем новые версии Kubernetes и только после этого устанавливаем их на кластеры клиентов. Вам остается лишь проверить корректность работы сервисов и приложений в новой версии Kubernetes. Как клиент может контролировать процесс обновления:

• Вы выбираете расписание установки обновления. Можно указать конкретные дни недели и время. Например, в ночь с пятницы на субботу, чтобы в случае непредвиденных ситуаций еще оставалось время до понедельника. При этом перед установкой обновления мы вас обязательно оповестим.
• Вы можете отключить автообновление и устанавливать каждое обновление отдельно, по мере необходимости. Это полезно, когда нет возможности заранее выделить единое время для установки всех обновлений.

У Kubernetes есть три релизных канала для обновления:

• Rapid. Содержит самые свежие версии Kubernetes. На канале часто появляются минорные обновления с новой функциональностью и улучшениями. Рекомендуем для непродуктивных сред — разработки и тестирования — потому что тут раньше всего появляется функционал, который скоро появится в продуктивном канале regular.
• Regular. Хорошо протестированные версии. Сюда они попадают из канала rapid. Мы рекомендуем использовать канал для большинства продуктовых сред.
• Stable. Самые стабильные версии, которые включают в основном исправления ошибок и проблем безопасности. Сюда они попадают из канала regular. Этот канал мы рекомендуем, если вы хотите как можно реже обновлять кластер. Например, в Kubernetes работают второстепенные приложения, которые не нужно постоянно дорабатывать и тестировать. Также этот канал подойдет, если у вас долгий цикл разработки приложений.

Поддерживается автомасштабирование узлов
Kubernetes умеет горизонтально автомасштабироваться, то есть добавлять и освобождать узлы по мере нагрузки. Когда нагрузка на кластер растет — автоматически подключаются новые узлы, чтобы ваши приложения не тормозили. А когда нагрузка падает, ненужные узлы освобождаются.

Такая возможность есть в любой установке Kubernetes, даже on-premise. Но если настраивать автомасштабирование на своем оборудовании, необходим постоянный резерв свободных машин. При этом большую часть времени резервные машины скорее всего будут простаивать. К тому же не исключена вероятность, что в момент особо высокой непредвиденной нагрузки может не хватить даже этих резервов.

Облачный Kubernetes лишен этих недостатков:

• Вам не нужно думать о простое оборудования. При создании кластера вы выбираете минимальное и максимальное количество рабочих узлов. Когда нагрузка небольшая, в вашем кластере будет минимум узлов. Когда нагрузка возрастает — кластер сам подключит дополнительные узлы из ресурсов облака.
• Облачный провайдер обладает огромными вычислительными ресурсами и может масштабировать ваш кластер вплоть до любого необходимого числа узлов. Ваша система сможет выдержать даже очень высокие нагрузки.

Можно создать региональный отказоустойчивый кластер
При создании продуктового кластера важно позаботиться об отказоустойчивости. Как правило, для этого создаются несколько реплик мастер-узлов.

Если разворачивать кластер на своем оборудовании, как правило, все узлы будут находиться в одном дата-центре или географической зоне (городе или районе). Дата-центры обеспечивают надежность инфраструктуры резервированием, дублированием критических узлов и гарантируют SLA. Но в случае аварии природного или техногенного характера, а также человеческого фактора, ЦОД перестанет функционировать и вы полностью потеряете доступ к кластеру.

Managed-решение Yandex.Cloud позволяет создать региональный отказоустойчивый кластер. У нас есть три собственных дата-центра, расположенных во Владимирской, Рязанской и Московской областях. Если в одном из дата-центров произойдет авария, мастер-узлы в остальных дата-центрах продолжат работать и ваши приложения будут доступны.


А тестовые среды не предъявляют таких требований к отказоустойчивости, для них вы можете создать зональный кластер с одним мастер-узлом. Это будет намного дешевле, чем региональный отказоустойчивый кластер.

Работает с RBAC и IAM
Большие компании используют системы учетных записей, такие как Active Directory или G Suite. И для того чтобы интегрировать их с кластером Kubernetes, необходимо устанавливать и настраивать дополнительные инструменты.

В Managed Service for Kubernetes вы можете подключить систему и использовать свои учетные записи без дополнительных настроек. Для этого на уровне IAM настраивается федерация через протокол SAML. И тогда учетные записи ваших пользователей интегрируются с платформой Yandex.Cloud и им можно назначать роли.

Наш IAM является дополнением к стандартному Kubernetes RBAC. Используя обе системы, можно решать более сложные задачи по разграничению доступа. Например,

разработчику из всех ресурсов платформы необходим доступ только к кластеру Kubernetes. Для этого внутри облака ему выдаются минимальные права, достаточные лишь для подключения к кластеру. А внутри Kubernetes при помощи RBAC ему добавляются необходимые полномочия на объекты кластера.

Удобный UI «из коробки»
У Kubernetes нет стандартного графического интерфейса управления. Существуют сторонние разработки от сообщества, которые нужно устанавливать, настраивать и предоставлять к ним доступ.

Мы разработали собственный интерфейс управления, доступный всем пользователям Managed Service for Kubernetes. Он уже интегрирован с Yandex IAM, что позволяет легко раздавать полномочия. Вы можете использовать наш дашборд вместо одного из сторонних или вместе с ним. Вот несколько его ключевых возможностей:

• Детализация узлов, деплойментов, подов и сети. По каждому из этих объектов можно увидеть текущее состояние, посмотреть перечень событий и логов. Это позволяет отлаживать приложения без необходимости устанавливать дополнительные инструменты в кластер. Из детализации деплоймента можно увидеть, какие поды создались на его основе, и сразу перейти к ним.
• Детализация потребления ресурсов. По каждому узлу или поду можно увидеть, сколько тратится CPU, памяти и сетевых ресурсов.
• Настройка детализации. В каждой детализации можно добавлять или убирать поля для отображения.
• Гибкий фильтр событий. В кластере генерируется довольно много событий, поэтому мы создали гибкий фильтр. Можно фильтровать по пространству имен, уровню или сущности.

Мы постоянно дорабатываем дашборд, поэтому в будущем у него появятся новые возможности. Нашим клиентам ничего не нужно устанавливать или обновлять, они сразу будут получать новые возможности.


Краткие итоги
Мы рассмотрели шесть главных преимуществ Managed Service for Kubernetes® перед классическими on‑premise‑кластерами Kubernetes.

Но это не все, что может предложить Yandex.Cloud для решения задач Kubernetes. С помощью платформы вы можете решать и другие задачи, например находить уязвимости в образах контейнеров, шифровать секреты в etcd‑хранилище или интегрироваться с инструментами CI/CD. Более подробно об этих и других возможностях вы можете узнать из нашего вебинара «Kubernetes. Managed на все 100%».

Приглашаем вас на вебинар «Рекомендательные системы: архитектура и применение». Старт 22 июня в 12:00 (МСК).
Рекомендательная система — сплошная польза для бизнеса. Это и экономия ресурсов, и увеличение среднего чека, и допродажи, и лояльность пользователей.
Главное — всё правильно подготовить и интегрировать.
На вебинаре разберём, как собрать эффективный движок для рекомендательной системы. Покажем архитектуру современного движка на базе платформы данных Yandex.Cloud, посмотрим кейсы и рабочие алгоритмы.
Опытом построения рекомендательных систем поделятся наши коллеги из компании GlowByte — эксперты в области BI, Big Data и автоматизации маркетинга.
cloud.yandex.ru/events/368

Как настроить экспорт логов из Yandex Object Storage и наглядно их анализировать при помощи интерактивных графиков в Yandex DataLens.

Логи
Для начала нам нужно включить экспорт логов Object Storage. Для этого нужно сделать запрос в API сервиса, потому что в UI пока этой опции нет. Запрос можно сделать любым способом, но удобнее всего для этого использовать утилиту aws-cli.

Если у вас не настроена эта утилита, то инструкцию по настройке можно найти в документации.
Чтобы включить логирование запросов для бакета, нужно выполнить следующую команду:

aws s3api put-bucket-logging \
  --endpoint-url=https://storage.yandexcloud.net\
  --bucket $BUCKET \
  --bucket-logging-status file://log-config.json

где вместо $BUCKET вам нужно подставить имя вашего бакета, а файл log-config.json должен содержать следующее:

{
  "LoggingEnabled": {
    "TargetBucket": "$LOGS_BUCKET",
    "TargetPrefix": "s3-logs/"
  }
}

Соответственно, $LOGS_BUCKET нужно заменить на имя бакета, куда будут складываться логи.

ClickHouse
Вторым этапом будет создание кластера Managed Service for ClickHouse. Он будет выступать источником данных для DataLens.

Для наших целей нам подойдет самый маленький кластер burstable-типа. Создание кластера может занять значительное время.


Когда кластер будет создан, необходимо поправить настройки пользователя. Выставить для поля Date time input format значение best_effort.

В ClickHouse реализованы разные движки таблиц. В нашем случае нам пригодится S3.

CREATE TABLE db1.s3logs
(
    bucket String,              -- Имя бакета.
    bytes_received Int64,       -- Размер запроса в байтах.
    bytes_send Int64,           -- Размер ответа в байтах.
    handler String,             -- Метод запроса в формате REST.<HTTP-метод>.<субъект>.
    http_referer String,        -- URL-адрес источника запроса.
    ip String,                  -- IP-адрес пользователя.
    method String,              -- Метод HTTP-запроса.
    object_key String,          -- Ключ объекта, закодированный методом URL-кодировки.
    protocol String,            -- Версия протокола передачи данных.
    range String,               -- HTTP-заголовок, который определяет диапазон байт для загрузки из объекта.
    requester String,           -- Идентификатор пользователя.
    request_args String,        -- Аргументы URL-запроса.
    request_id String,          -- Идентификатор запроса.
    request_path String,        -- Полный путь запроса.
    request_time Int64,         -- Время обработки запроса, в миллисекундах.
    scheme String,              -- Тип протокола передачи данных.
                                -- Возможные значения:
                                -- * http — протокол прикладного уровня передачи данных.
                                -- * https — протокол прикладного уровня передачи данных с поддержкой шифрования.
    ssl_protocol String,        -- Протокол обеспечения безопасности.
    status Int64,               -- HTTP-код ответа.
    storage_class String,       -- Класс хранилища объекта.
    timestamp DateTime,         -- Дата и время операции с бакетом, в формате ГГГГ-ММ-ДДTЧЧ:ММ:ССZ.
    user_agent String,          -- Клиентское приложение (User Agent), которое выполнило запрос.
    version_id String,          -- Версия объекта.
    vhost String                -- Виртуальный хост запроса.
                                -- Возможные значения:
                                -- * storage.yandexcloud.net.
                                -- * <имя бакета>.storage.yandexcloud.net.
                                -- * website.yandexcloud.net.
                                -- * <имя бакета>.website.yandexcloud.net.
)
ENGINE = S3(
       'https://storage.yandexcloud.net/<BUCKET_NAME>/<PREFIX>/*',
       '<ACCESS_KEY>',
       '<SECRET_KEY>',
       'JSONEachRow'
    );

<ACCESS_KEY> и <SECRET_KEY> следует заменить на значения статического ключа доступа в Object Storage. Инструкция по созданию ключа доступа в документации.
<BUCKET_NAME> и нужно заменить на значения, которые указывали в log-config.json, ведь именно туда будут складываться ваши логи и именно оттуда их и будем вычитывать в ClickHouse.
Теперь можно убедиться, что все работает, перейдя в базу db1 и открыв просмотр таблицы s3logs.


DataLens
Подключение
После того как кластер ClickHouse будет создан, можно перейти на вкладку DataLens и сразу создать подключение.



Датасет
Во всплывающем окне после сохранения подключения есть кнопка, позволяющая сразу перейти к созданию датасета на основе этого подключения. Нажмем её.

Перетащим из списка доступных таблиц в основную рабочую область только что созданную таблицу. Если все ок, то внизу в области предпросмотра увидим, что DataLens смог получить данные.

Теперь можно сохранить датасет. И приступить к созданию чартов на основе этого датасета.

Пример диаграммы количества запросов по методу. Так как это тестовый бакет, GET-запросов оказалось даже меньше, чем PUT.

В датасет можно добавить вычисляемые поля. Например, добавим file_type. Рассчитывать это значение будем по формуле SPLIT([object_key], ‘.’, -1).

Далее мы можем использовать это значение наравне с другими в построении чартов.


Дашборд
Все получившиеся чарты вы можете сгруппировать на дашборд.

Например, такой демо-дашборд для тестового бакета.

Приглашаем вас на онлайн-практикум по продуктовой аналитике. Совместно с командой Яндекс.Метрики.
Старт 18 мая в 12:00 (МСК).
На практикуме разберём базовые практические задачи: как строить воронки конверсий, делать когортный анализ и считать Retention пользовательской базы.
В конце вы получите понятную пошаговую инструкцию по настройке аналитики в облаке.
Практикум будет полезен всем, кто запускает веб-сервисы и анализирует их эффективность, а также разработчикам, data-инженерам, product-менеджерам и владельцам продуктов.

С какими инструментами будем работать

• Yandex DataLens— сервис для анализа и визуализации данных.
• Yandex Managed Service for ClickHouse — управляемая база данных.
• Yandex DataSphere — сервис для анализа данных, разработки и запуска моделей машинного обучения.

cloud.yandex.ru/events/356

На платформе Yandex.Cloud появились быстрые сетевые хранилища — нереплицируемые диски.

Устройство нереплицируемых дисков существенно проще стандартных сетевых хранилищ SSD. Благодаря этому производительность нереплицируемых дисков выше в несколько раз. С существующими ограничениями дисков можно ознакомиться в документации.
cloud.yandex.ru/docs/compute/concepts/disk#disks_types

Где пригодятся нереплицируемые диски
Стоит использовать нереплицируемые диски тогда, когда надежное хранение уже реализовано на уровне приложения:

• базы данных с репликацией;
• отказоустойчивые сетевые файловые системы;
• зеркалирование read-only данных.

Нереплицируемые диски также могут быть полезны для хранения данных, для которых есть бэкап или которые можно быстро восстановить.

Особенности хранения данных
Мы сделали все, что обещали на Scale 2020, и даже больше:

• Если внутренние системы мониторинга покажут, что в ближайшее время нереплицируемый диск может выйти из строя, данные с этого диска по возможности будут перенесены на другой диск. Такое обслуживание происходит в фоновом режиме без уведомления пользователя. Во время миграции данных вы можете заметить незначительные потери производительности, но диски будут доступны для работы.
• При поломке нереплицируемых дисков часть данных может стать недоступна. В течение двух недель после поломки сломанный диск не будет тарифицироваться, чтобы вы могли извлечь необходимые данные и самостоятельно удалить сломанный диск. По истечении двух недель, если диск не будет удален, тарификация возобновится.

Подключить новый тип диска вы можете при создании виртуальной машины в консоли управления.
console.cloud.yandex.ru/link/compute

Сервис стал общедоступным
13 апреля Managed Service for Elasticsearch, сервис для управления кластерами Elasticsearch, перешел в общедоступную версию. Managed Services for Elasticsearch усиливает экосистему сервисов Yandex.Cloud для создания бизнес-решений на нашей платформе данных. Теперь в облаке возможно реализовать еще больше бизнес-сценариев, связанных с хранением, анализом и принятием решений на основе данных. Применение Еlasticsearch позволяет улучшить пользовательский опыт: повысить стабильность и скорость работы, предлагать новые функции на основе анализа действий пользователя.
cloud.yandex.ru/services/managed-elasticsearch

Еlasticsearch хорошо подходит для проектов, которые должны стабильно работать при стремительном росте обращений к данным. Сервис позволяет в несколько кликов увеличить или уменьшить потребление облачных ресурсов при изменениях нагрузки. Заняв место между аналитическими СУБД и инструментами мониторинга, Elasticsearch решает задачи: поиска в реальном времени по внутренним и внешним ресурсам компании, анализа логов или других документов.

Также Еlasticsearch предоставляет набор аналитических инструментов, с помощью которых можно получать информацию и принимать решения на основе журналов событий и метрик, повышать эффективность операций в ИТ, сокращать время принятия решений, получать данные для разработки и информационной безопасности.

Разворачивая кластеры Еlasticsearch в облаке, вы передаете большинство работ по установке необходимых обновлений и настройке продукта облачной платформе, а сами можете сфокусироваться на разработке и настройке поиска в вашем приложении.

Сервис доступен всем пользователям Yandex.Cloud. Теперь для него действуют соглашение об уровне обслуживания (SLA) и правила тарификации. yandex.ru/legal/cloud_sla_mdb/
Начните пользоваться управляемым Elasticsearch в Yandex.Cloud console.cloud.yandex.ru/link/managed-elasticsearch/

Партнерство с Elastic NV
Платформа Yandex.Cloud и компания Elastic, разработчик решений Еlasticsearch и Elastic Stack, договорились о стратегическом партнерстве. Yandex.Cloud стала первой в России облачной платформой, которая предоставляет Elasticsearch как управляемый сервис в публичном облаке.
www.elastic.co

В Managed Services for Еlasticsearch вы можете выбрать любой вариант подписки из трех: Basic, Gold и Platinum. В лицензиях с расширенным функционалом доступны, например, сервис SIEM (Security Information & Event Management), который позволяет реализовать критически важные сценарии обеспечения безопасности, различные виды визуализаций в Kibana и интеграция со сторонними провайдерами аутентификации и авторизации (SAML). Также как официальный партнер Yandex.Cloud имеет прямой доступ к технической поддержке Elasticsearch.


Выбрать тип подписки вы можете при создании нового кластера Managed Service for Elasticsearch в консоли управления.
console.cloud.yandex.ru/link/managed-elasticsearch/


Уже существующие кластеры по умолчанию переведены на подписку Basic. Изменить тип подписки существующего кластера можно без остановки и перезапуска. Подробнее о работе с сервисом Managed Service for Elasticsearch читайте в документации.
cloud.yandex.ru/docs/managed-elasticsearch

Yandex.Cloud начинает сотрудничество с SUSE, крупнейшим вендором открытого программного обеспечения. В рамках партнерского соглашения на платформе Yandex.Cloud опубликованы версии дистрибутива операционной системы SUSE Enterprise Linux Server, включая специализированную версию для решений SAP.

Размещение на облачной платформе дистрибутива Linux промышленного класса сделает решения SUSE более доступными широкому кругу компаний‑заказчиков, в том числе аэрокосмической, автомобильной, фармацевтической отраслях, телекоммуникациях, финансовом секторе, розничных сетях и на производстве.

В маркетплейсе Yandex.Cloud доступны три редакции операционной системы SUSE:

• Универсальная SLES 15 SP2, позволяющая Enterprise-клиентам разворачивать в облаке свою инфраструктуру для хостинга бизнес‑приложений и других задач.
• Версия SLES 15 SP2 Priority Subscription, включающая расширенную поддержку.
• Специализированная версия SLES 15 SP2 for SAP Applications для построения систем на базе решений SAP.

Программные продукты распространяются по модели почасовой подписки (Pay-as-you-Go). Yandex.Cloud предоставит возможность приобрести лицензии непосредственно при подключении услуги.

SLES для развертывания корпоративной инфраструктуры
SUSE Linux Enterprise Server — мультимодальная операционная система, облегчающая переход от традиционной к программно-реализуемой инфраструктуре. Это современная модульная ОС, обладающая удобными средствами управления и поддерживающая широкий инструментарий для разработки приложений.

• Система одинаково удобна как для традиционных, так и для программно-реализуемых ЦОД.
• Унифицированная программа установки и универсальный механизм поиска пакетов по всей экосистеме SUSE.
• Удобство для разработки и тестирования приложений.

Особенности SLES для приложений SAP
По мере трансформации процессов для перехода к цифровому бизнесу компании сталкиваются с необходимостью выбора надежного фундамента для систем SAP нового поколения.

Операционная система SUSE Linux Enterprise Server for SAP Applications оптимизирована для ускоренного развертывания инфраструктуры SAP, обеспечения производительности и высокой доступности приложений. Она обеспечивает уменьшение времени простоя, ускорение восстановления после аварий и снижение затрат. Это лидирующая операционная система для SAP HANA и SAP S/4HANA, она является рекомендованным вариантом и выбрана в качестве платформы для 85% установок.

Эта версия имеет ряд отличий от базовой SLES:

• Удобный мастер автоматизированной установки и конфигурирования стека систем SAP S/4HANA.
• Встроенные модули для High Availability. Ядро Linux оптимизировано для работы с памятью с учетом требований SAP.
• Включает специальный пакет поддержки Lifecycle 24×7 Priority Support и канал обновлений SAP-specific Update Channel.

Почему стоит задуматься о переходе на облачные версии SUSE
Решения SUSE в маркетплейсе Yandex.Cloud помогут компаниям в цифровой трансформации бизнеса и переходе от традиционной к программно‑реализуемой инфраструктуре. Операционные системы SUSE на платформе Yandex.Cloud оптимизированы для решения следующих бизнес‑задач:

• Организация отказоустойчивых кластеров для работы критичных приложений, таких как SAP S4/HANA.
• Платформа для контейнерной инфраструктуры на основе кластеров Kubernetes.
• Развертывание базовых инфраструктурных сервисов и веб-приложений.
• Организация унифицированной среды разработки приложений на Linux.

С появлением продуктов SUSE в Yandex.Cloud клиенты обеих компаний получат удобный доступ к развертыванию облачной инфраструктуры на лицензионных серверных ОС по экономически выгодной подписке. Размещение инфраструктуры на SUSE в облаке позволит существенно снизить затраты на ее поддержку. Платить нужно будет не за количество пользователей или установок, а только за реально использованные аппаратные ресурсы. Разработка по методологии CI/CD ускорит вывод продуктов на рынок и развертывание обновлений.

SUSE уже давно и активно развивает свои продукты на публичных облачных платформах. Партнерство с Yandex.Cloud открывает новые перспективы в этом направлении. Решения SUSE на платформе Yandex.Cloud становятся еще более удобными и гибкими для клиентов, благодаря масштабируемой облачной инфраструктуре и включенной в образ технической поддержке.
cloud.yandex.ru/marketplace?type=compute&search=suse

Хаб Serverless на Хабре
Совместно с редакцией Хабра запустили хаб Serverless. На этой открытой площадке вместе с другими участниками рынка мы постараемся консолидировать все материалы необходимые разработчикам для понимания идей бессерверных технологий. Со своей стороны планируем регулярно публиковать переводы, интервью, статьи и туториалы, чтобы строить знание о нашей Serverless Ecosystem.
Присоединяйтесь к комьюнити разработчиков, которым близки идеи Serverless!
habr.com/ru/hub/serverless/

Новый сервис Yandex Cloud DNS
Новый сервис Yandex Cloud DNS вышел в стадии Preview. С Cloud DNS вы можете управлять ресурсными записями и доменными именами из облака и настраивать внутренние и публичные DNS-зоны в консоли, API, CLI и Terraform. Сервис упростит делегирование доменов и позволит создавать разные окружения внутри вашего проекта без вложений в собственные DNS-сервера.
cloud.yandex.ru/services/dns

Решение Cloud Advisor для аудита облачной инфраструктуры
Cloud Advisor — партнерское решение для аудита и оптимизации облачной инфраструктуры, расположенной в Yandex.Cloud. С его помощью можно проверить, защищено ли ваше облако от актуальных угроз, соответствует ли оно практикам использования облачных сервисов и рекомендациям провайдера.
cloud.yandex.ru/blog/posts/2021/03/cloud-advisor-review

Плагин для гибридной работы с Citrix Virtual Apps and Desktops
Команда Yandex.Cloud в партнерстве с Citrix разработала плагин для гибридной работы с Citrix Virtual Apps and Desktops. С его помощью VDI Citrix интегрируется с облачной платформой и позволяет развернуть гибридное решение, предоставив больше мощности для локальной инфраструктуры виртуальных рабочих столов и приложений, или запустить CVAD с нуля в облаке Yandex.Cloud.
cloud.yandex.ru/blog/posts/2021/03/citrix-plugin

Schlumberger и Yandex.Cloud заключили соглашение о партнерстве
Schlumberger и Yandex.Cloud заключили соглашение, в рамках которого платформа искусственного интеллекта и цифровых инструментов DELFI будет размещена в Yandex.Cloud. Теперь российские энергетические компании смогут воспользоваться новыми цифровыми сервисами и технологиями в области искусственного интеллекта и больших данных для повышения эффективности бизнеса.
cloud.yandex.ru/blog/posts/2021/03/schlumberger-partnership

Мониторинг в мобильном приложении
Мы добавили мониторинг в мобильное приложение Yandex.Cloud — теперь вы можете контролировать статусы всех своих сервисов, узнавать об их доступности и контролировать появляющиеся ошибки. Если вы ещё не пользуетесь — сейчас самое время начать!
cloud.yandex.ru/mobile-app

Сравнение стоимости управляемых баз данных с on‑premise и самостоятельной установкой в облаке
Рассказали, как управляемые базы данных помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. Сделали расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной в облаке и управляемой базой данных.
cloud.yandex.ru/blog/posts/2021/03/mdb-advantages

Новости сервисов
Yandex Managed Service for Kubernetes
Теперь вы можете рассчитать стоимость кластера Kubernetes меньше, чем за минуту. Воспользуйтесь калькулятором в разделе Тарифы или на странице сервиса.
cloud.yandex.ru/services/managed-kubernetes

Monitoring
С помощью агентa для поставки метрик в мониторинг Yandex Unified Agent вы можете собирать и отправлять в Monitoring:

• системные метрики (CPU, RAM, сеть, диски) для Linux-совместимых ОС;
• метрики с собственных клиентских приложений;
• метрики сторонних приложений.

Агент поддерживает сбор метрик в формате Prometheus.

Новые образы в Marketplace

• PostgreSQL Pro 12.6.1
• HashiCorp Vault с поддержкой Yandex KMS
• Дашборд DataLens «Социальная реклама в Яндексе»

Публикации в СМИ
Яндекс поможет отрядам «ЛизаАлерт» искать пропавших людей по снимкам с дронов
Поисковый отряд будет загружать фотографии с дронов в облачный сервис Yandex.Cloud, оттуда снимки попадут в сервис Яндекс.Толока, где исполнители просмотрят все кадры и отметят те, на которых виден человек. Читать в источнике → tass.ru/obschestvo/10944095

Как стартап ProctorEdu следит, чтобы студенты и менеджеры России, Индии и Израиля не списывали
ProctorEdu вырос из небольшого проекта для НИУ ВШЭ. ВУЗу нужна была система для распознавания нечестного поведения студентов на экзаменах. Потом были инвестиции, 5 крупных акселераторов и несколько стран с пилотами. Подробно рассказываем о прокторинге и деятельности еще одного участника программы Yandex Cloud Boost. Читать на VC → vc.ru/services/221710-kak-startap-proctoredu-sledit-chtoby-studenty-i-menedzhery-rossii-indii-i-izrailya-ne-spisyvali

Нейронная мимикрия: насколько хорошо ИИ предсказывает музыку
Завершить «Реквием» за Моцарта или продлить саундтрек к Gravity Falls в 5 раз нейросетью… Да, возможно, но сможет ли ИИ справиться с этим хорошо или даже лучше живого музыканта? Команда AI Community при поддержке Yandex.Cloud провела конкурс среди дата-сайентистов и получила несколько инсайтов. Читать на VC → vc.ru/ml/219573-neyronnaya-mimikriya-naskolko-horosho-ii-predskazyvaet-muzyku

Виртуальные компьютерные классы и единая среда для программирования
Факультет компьютерных наук НИУ ВШЭ использовал сервисы платформы Yandex.Cloud для запуска учебных курсов. Например, с помощью Yandex DataSphere удалось создать единую среду для обучения и сократить издержки за счет бесшовного переключения конфигураций в зависимости от сложности вычислений. Читать в источнике → cs.hse.ru/news/450921539.html

Истории успеха
Как HiPer IT повысила эффективность работы систем эксплуатации
HiPer IT — разработчик решений для повышения эффективности эксплуатации инженерных систем на основе собственной IIoT-платформы HiPerWare и оборудования для сбора больших данных. Система собирает миллионы значений тысяч переменных о работе инженерных систем объектов недвижимости, анализирует их и формирует рекомендации по оптимизации работы. С помощью Yandex.Cloud компания смогла увеличить эффективность работы систем и масштабироваться.
cloud.yandex.ru/cases/hiper-it

НефтеТрансСервис: IoT-решения Yandex.Cloud для промышленного бизнес-анализа
Транспортная группа НефтеТрансСервис обратилась к компании GlowByte для проведения исследовательского проекта. С помощью сервиса Yandex DataLens они смогли обнаружить нарушения в производственном процессе, нашли резерв производственных мощностей и выявили много коротких, но частых простоев станков. Это помогло проверить изначальные гипотезы клиента и убедиться, что цифровая бизнес-аналитика может применяться в самых разных задачах.
cloud.yandex.ru/cases/ntstrans

Развернуть инфраструктуру для робота-помощника за один день
Центр цифровой трансформации Республики Татарстан полностью отвечает за автоматизацию и цифровизацию электронных сервисов Татарстана, а также занимается разработкой новых продуктов, направленных на улучшение качества жизни жителей республики. В Yandex.Cloud им удалось за один день развернуть рабочую инфраструктуру для робота-помощника Лилии, правильно спроектировать платформу на уровне архитектуры ИС и провести поверхностный аудит решения.
cloud.yandex.ru/cases/digital-tatarstan

Как сервис Anywayanyday расширил аналитику и сократил затраты с инструментами Yandex.Cloud
Платформа BI на основе Yandex Managed Service for ClickHouse и DataLens сделала мониторинг и анализ показателей бизнеса доступным для всех сотрудников. Существенно ускорились принятие решений и реакция на отклонения показателей. ИТ-отдел сократил трудозатраты на поддержку системы отчетности на 20%.
cloud.yandex.ru/cases/anywayanyday

Мероприятия
about: cloud — всё о Платформе данных
На вебинаре мы рассказали о новых сервисах платформы данных: Managed Service for Apache Kafka, Data Transfer и Managed Service for Elasticsearch. И, конечно, о новых возможностях в сервисе Managed SQL Server: восстановление на произвольную точку времени (PITR), Scaling и мониторинг: и о важных обновлениях DataLens, бесплатном тарифе для пользователей управляемых баз данных, а также о других возможностях платформы.
cloud.yandex.ru/events/342

Напишите навык для Алисы на Serverless
Научили создавать новые навыки Алисы с помощью Serverless. Писали на Go и использовали сервисы Yandex Cloud Function, Yandex DataBase, Yandex API-gateway и Object Storage. В итоге получился новый навык под названием To-Do List. С помощью голосового управления он создаёт и редактирует списки задач. Пример можно легко адаптировать к своему любимому языку программирования.
cloud.yandex.ru/events/340

Работайте над проектами, как в Яндексе
Рассказали, какие возможности есть у сервиса для организации работы Yandex Tracker, чем она может быть полезна для компаний из различных отраслей, как с помощью Tracker можно автоматизировать рутинные процессы и что меняется в продукте с переходом в Yandex.Cloud.
cloud.yandex.ru/events/339

Заоблачные продажи — ищем первого клиента
Вебинар для новичков облачного бизнеса. Разобрали основные инструменты поиска клиентов, которые есть в Yandex.Cloud, и рассказали, как лучше начать поиск и на что важно обратить внимание на первых порах.
cloud.yandex.ru/events/338

Настройки ролевых моделей и политик для Managed Service for Kubernetes
На этом вебинаре мы разобрали инфраструктуру приложения, в которой есть продуктивный и непродуктивный контуры, и настроили:

• RBAC в сервисе Managed Service for Kubernetes, используя интеграцию с IAM;
• политики работы с ресурсами Kubernetes и Docker-образами.

Мы знаем, что многим компаниям важна возможность работать с двумя облачными провайдерами одновременно. Для разработчиков, которые хотят развернуть проект в Yandex.Cloud и Amazon Web Services, мы подготовили набор рекомендаций и примеров кода для основных сценариев и задач.

Единое хранилище данных для распределённых сервисов и приложений, продвинутая маршрутизация в зависимости от локации пользователя, масштабируемая инфраструктура с использованием Kubernetes — эти и другие задачи мы помогаем решить компаниям, которые хотят использовать преимущества обеих облачных платформ.

Подробнее в разделе Решения → cloud.yandex.ru/solutions/yc-solution-library-for-aws
Сразу на GitHub → github.com/yandex-cloud/yc-solution-library-for-aws

Спойлер: задачу помогли решить неочевидная метрика пользовательского ожидания и интерактивный график



Комфортное взаимодействие с облаком напрямую зависит от скорости работы облачных сервисов. Один из ключевых сервисов Yandex.Cloud — консоль, через которую пользователи решают задачи.

Скорость работы консоли влияет не только на наши бизнес-процессы, но и на бизнес-процессы заказчиков. Количество сервисов также важно для бизнеса. Поэтому Yandex.Cloud растет супербыстро: в 2020 году появились восемь новых сервисов. В какой-то момент платформа развивалась так интенсивно, что каждый месяц мы выпускали по сервису.

Скорость развития отразилась на скорости работы консоли. Она замедлилась, и мы стали получать негативный фидбек от пользователей. Надо было принимать меры. Начали с аналитики: собрали данные, запланировали задачи на улучшение. Это принесло результаты: за несколько месяцев консоль стала работать в два раза быстрее. Рассказываем в деталях, как мы этого достигли.

Свежий взгляд на аналитику
Для начала мы придумали построить график скорости всех страниц консоли. Задача усложнялась тем, что в консоли больше сотни страниц. У каждой страницы свои критерии загрузки, поэтому иногда приходилось делать разметку вручную.


Нам было важно знать, где пользователи проводят больше всего времени и какие страницы надо ускорить первыми. Эти данные взяли за основу и стали строить систему визуальной аналитики.

Хотелось всегда держать перед глазами удобный график скорости работы консоли, видеть всю консольную аналитику и максимально быстро определять источник торможения.

В основу графика легли две метрики:

• Время первого открытия консоли — Time To Interactive (TTI). В этом режиме, который условно назвали холодным, мы учитываем полную загрузку консоли со стилями и скриптами.
• Время перехода между страницами. В этом режиме учета — горячем — статика уже загружена. Учитывается только время ответа API и рендеринг.

Еще на старте мы собирали статистику обо всех API-запросах в Managed Service for ClickHouse. Сервис помогает разворачивать и поддерживать кластеры серверов столбцовой системы управлениями базами данных ClickHouse в инфраструктуре Yandex.Cloud. Для детализации мы добавили к данным запросов API информацию о странице, с которой происходят вызовы. Так мы стали вычислять, какие запросы пользователь ждет дольше всего на самых частотных страницах.

Разработчик Евгений Сорокин: «Сперва ввод метрики пользовательского ожидания был неочевидным. Казалось, что нужно концентрироваться на самых частотных запросах. Но практика показывала, что дело не в них: вызовов в Object Storage могло быть до 1к в секунду, но при этом сервис работал супербыстро».

Благодаря данным и метрикам мы локализовали проблемы в бэкенде и на фронтенде, сформировали список доработок на каждой стороне и отдали его ответственным командам.

Параллельный фикс
Что влияет на скорость работы консоли? Она складывается из множества параметров: размера статики, рендеринга компонентов. Наиболее чувствительна для пользователя скорость работы API.

Мы учли эти факторы, и в наших руках появился инструмент диагностики, который позволил быстро выявлять источник торможения. Проблемы скорости работы консоли стали устранять параллельно с клиентской и серверной сторон.

Что сделали на фронтенде

• Сократили объемы поставляемой в браузер статики. Оптимизировали размер статики для первой загрузки и стали загружать пользователю только то, что ему нужно в данный момент.
• Избавились от большей части запросов, блокирующих интерфейс. То, без чего нельзя обойтись, стали загружать параллельно, где это возможно.

Что сделали на бэкенде

• Оптимизировали логику запросов для открытия консоли.
• Ускорили критичные для открытия консоли методы API.
• Вынесли часть запросов с сервера на клиент, чтобы не блокировать первое открытие консоли.

Как устроен график: расследует и показывает
Данные графика коррелируют с синтетическими тестами, сделанными до и после оптимизации.



Самая крутая фича графика, кроме измерения скорости работы консоли — отслеживание источника торможения. Мы следим за деградацией сервиса в реальном времени и быстрее выявляем и устраняем проблемы.

График скорости работы консоли видят все, это улучшает скорость и качество взаимодействия между командами разработки облачного сервиса. Панель графика интерактивна и позволяет проваливаться в низкоуровневые метрики. Можно посмотреть динамику скорости конкретных страниц.

Если мы заметили замедление работы страницы или сервиса, то можем проанализировать, какие методы API на это повлияли.

Распределение скорости запросов в API по времени:

стало


Роль пользователей
График строится на основе пользовательских метрик, которые мы собираем. Он отражает реальную скорость работы сервиса у конечных потребителей.

Мы открыты для обратной связи. Пишите нам не только о проблемах: предлагайте, как улучшить, ускорить и сделать еще удобнее интерфейс, с которым вы работаете.

Сообщить об ошибке в работе консоли → console.cloud.yandex.ru/support/create-ticket
Предложить идею → cloud.yandex.ru/features