Это выжимка новостей на платформе MCS за прошлый месяц. Новости можно получать в реальном времени в Телеграм-канале обновлений MCS.

Дисковые конфигурации с мгновенным откликом
Мы открыли ранний доступ к новому типу дисков Low-Latency NVME с гарантированным временем отклика дисковой подсистемы 0,5 мс с SLA 99,95%. Данный тип дисков многократно снижает задержку при совершении операций с дисковой подсистемой и решает задачи высоконагруженных систем, таких как сервера баз данных или ERP.

Low-Latency NVME можно подключить при выборе высокопроизводительных CPU (флейвор «Freq») на процессорах Intel Xeon Gold 6230R 3.4 ГГц и Gold 6238R 3.4 ГГц.
Для получения доступа к Low Latency NVME обратитесь в службу поддержки, указав количество CPU и RAM, которые планируете использовать с Low Latency NVME.
Обратиться через сайт, через Телеграм.

ClickHouse 20.8 в сервисе Mail.ru Cloud Databases
Наш DBaaS теперь поддерживает ClickHouse 20.8, как в single-, так и в кластерных конфигурациях. В новой версии вы сможете подключать внешние словари через SQL, настраивать с помощью SQL гранулярные права доступа, использовать SEMI/ANTI JOIN и работать с DateTime64 с точностью до наносекунд.
Создать базу ClickHouse

Настройка списка сервисов в меню слева
В личном кабинете слева есть меню со всеми сервисами MCS. Теперь для удобства вы можете скрыть в нём сервисы, которые не используете. Для этого внизу меню кликните больше сервисов.


Смена типа диска без остановки машины
Тип диска виртуальной машины теперь можно менять без её остановки. Например, поменять диск HDD на SSD. Документация о смене типа диска
mcs.mail.ru/help/ru_RU/vm-volumes/volume-convert

Ждем вас на вебинарах:
15 декабря мы совместно с Tarantool проведем вебинар «Деплоим приложение на Tarantool Cartridge в кластер Kubernetes MCS»
events.webinar.ru/mcs/Tarantool

17 декабря. Вебинар «Первые шаги при подключении к облаку или все что нужно знать о настройке сети»
Расскажем, как построить современную сетевую инфраструктуру: все этапы настройки виртуальной сети, обеспечение удаленного доступа, безопасности и отказоустойчивости на уровне инфраструктуры и необходимо сделать для правильного распределения нагрузки сети.
events.webinar.ru/mcs/7393355

22 декабря. Вебинар«MLOps без боли в облаке MCS #1: Разворачиваем Kubeflow. Простые масштабируемые воркфлоу для ML на Kubernetes»
Мы начнем серию вебинаров “MLOps без боли” с Kubeflow — он позволяет создавать индивидуальные окружения для тестирования: с гибкой настройкой, используя Docker и Kubernetes, — а также решить проблему воспроизводимости экспериментов.
events.webinar.ru/mcs/7395709

Посмотреть наши прошедшие вебинары:
Как построить инфраструктурную основу в облаке для управления даннымиKubernetes в облакеВоркшоп о том, как подготовить инфраструктуру к высоким нагрузкам
Почитать:
5 новых прогнозов Forrester о цифровизации на 2021 год
State of DevOps Report 2020: как платформенный подход развивает культуру DevOps
Четверть IT-директоров крупных компаний практически станут исполнительными директорами к 2024 году

В 2009 году Яндекс для мгновенного построения отчетов по неагрегированным логам в режиме реального времени разработал первый прототип своей аналитической системы управления базами данных — ClickHouse. Сейчас эта СУБД может применяться в различных сферах для задач, где требуется огромная скорость обработки постоянно поступающей информации.

Зачем понадобились колоночные (столбцовые) системы управления базами данных
Универсальные СУБД при достаточно большой нагрузке либо становятся очень медленными, либо начинают потреблять большое количество серверных мощностей. Например, классическая проблема любой традиционной реляционной базы данных, которая хранит все в строках, — это очень медленная работа сложных аналитических запросов, если количество записей достигает нескольких миллиардов строк. При создании отчетов таким СУБД приходится анализировать множество лишней связанной информации. На скорость построения выборок из такого количества записей не влияет даже оптимизация — правильно настроенные ключи и индексы.

Чтобы ускорить построение отчетов, были придуманы колоночные СУБД, которые, как можно догадаться, изначально хранят данные в колонках. Если один столбец содержит единственный набор значений, то становится гораздо проще строить отчеты по каким-либо показателям. Колоночные СУБД лучше всего подходят для OLAP сценариев работы — обработки аналитических запросов в режиме онлайн. Для таких задач характерны следующие факторы:
подавляющее большинство запросов идет на чтение;данные добавляются и обновляются достаточно большими пачками (> 1000 строк), а не по одной строке, или не добавляются и не обновляются вообще;данные добавляются в базу данных, но не изменяются;при чтении используется достаточно большое количество строк из базы данных, но только небольшое подмножество столбцов.
Если вы попытаетесь использовать для аналитики классические СУБД, то получите очень низкую производительность по сравнению с OLAP-СУБД. Это проще продемонстрировать визуально:



ClickHouse
Колоночная СУБД ClickHouse разрабатывалась, чтобы можно было в интерактивном режиме строить отчеты по неагрегированным логам пользовательских действий. Но этим возможности системы не ограничиваются. Со временем к ClickHouse была написана подробная документация, и базу данных стали активно использовать в других продуктах Яндекса — Директе, Маркете, Почте, ADFOX, Вебмастере, в мониторинге и бизнес-аналитике. Например, сервис нагрузочного тестирования Яндекс.Танк использует ClickHouse для хранения данных телеметрии. СУБД позволяла решать задачи, для которых раньше не было подходящих инструментов, или же с ней получалось это делать намного эффективнее, чем с другими системами.

Вот лишь некоторые архитектурные особенности ClickHouse:
столбцовое хранение данных — данные считываются только из нужных колонок, и однотипная информация эффективно сжимается;поддержка приближенных вычислений на части выборки — снижается число обращений к жесткому диску, что еще больше повышает скорость обработки данных;физическая сортировка данных по первичному ключу — можно быстро получить конкретные значения или диапазоны;векторные вычисления по кусочкам столбцов — снижаются издержки на диспетчеризацию, эффективно используется CPU;распараллеливание операций как в пределах одного сервера на несколько процессорных ядер, так и в рамках распределенных вычислений на кластере за счет механизма шардирования;линейная масштабируемость — есть возможность построить кластер очень большого размера;работа с жесткими дисками — ClickHouse достаточно эффективно работает, когда данные не попадают в кеш памяти целиком. Дополнительно это снижает стоимость эксплуатации системы, так как жесткие диски дешевле RAM;отказоустойчивость — система представляет собой кластер шардов, где каждый шард — это группа реплик.
ClickHouse поддерживает клиенты для подключения к базе данных: консольный клиент, HTTP API, ряд wrapper’ов на Python, PHP, Node.js, Perl, Ruby, R и многие другие. Также для ClickHouse есть JDBC- и Golang-драйверы.



Где можно применять ClickHouse
За рамки внутренних проектов ClickHouse вышла в 2013 году, когда ее начали применять для анализа метаданных о событиях эксперимента LHCb в CERN. Базу данных могли бы использовать более широко, но в то время мешал закрытый статус. Однако уже в июне 2016 года исходный код ClickHouse был выложен в open source под лицензией Apache 2.0. Это позволило взять ее на вооружение IT-департаментам множества отечественных и зарубежных компаний. В их числе Cloudflare, Bloomberg, ВКонтакте, «Тинькофф банк», Avito, онлайн-кинотеатр ivi.ru, интернет-порталы Mail.ru и Rambler. Например, социальная сеть VK использует нашу СУБД для хранения и чтения отладочных логов. Аналогично делают и другие компании, сгружая в базы данных логи микросервисов и приложений за большой период, а затем быстро возвращаясь к ним для анализа.

ClickHouse в 2020 году — это полноценная СУБД, которая обладает очень широкими возможностями. Создавайте таблицы и базы данных в runtime, загружайте из разных источников данные, анализируйте их и выполняйте запросы без переконфигурирования и перезапуска сервера. ClickHouse позволяет реализовать быстрый доступ к корпоративным хранилищам данных, поддерживает декларативный язык запросов на основе SQL, во многих случаях совпадающий с SQL стандартом. СУБД можно интегрировать с такими Big Data системами, как Apache Kafka и HDFS, а также с MySQL и прочими внешними источниками данных через ODBC или JDBC.

Возможности колоночных СУБД и преимущества конкретно ClickHouse позволяют очень эффективно использовать нашу разработку в самых разных сферах. Это могут быть:
аналитика веб-проектов и мобильных приложений;рекламные сети и real-time bidding (торги в реальном времени);телекоммуникации;электронная коммерция и финансы;информационная безопасность;бизнес-аналитика;онлайн-игры;интернет вещей.
Но по-прежнему главное преимущество ClickHouse — невероятная скорость. Она позволяет решать очень важную общую задачу бизнеса в области аналитики поведения клиентов — очень быстро и легко генерировать аналитические отчеты по большим данным в режиме реального времени. Это актуально для ритейла, телекома, любой интернет-инфраструктуры, хранения данных и быстрого к ним доступа с устройств интернета вещей и т. д.

ClickHouse позволяет отслеживать бизнес-метрики для анализа поведения пользователей на сайте магазина или в онлайн-играх. Компании могут даже собирать и создавать витрины данных для своих клиентов, предоставляя им безопасный доступ только к той информации, которой можно делиться.

Что дальше?
Мир накапливает очень много больших неструктурированных данных, к которым нужно иметь доступ в режиме реального времени. И для этого необходимо развивать и совершенствовать такие системы управления базами данных, как ClickHouse.

Следующим шагом для бизнеса должен стать переход в облачные решения, чтобы иметь возможность быстро визуализировать данные без долгой покупки и настройки железа, мгновенно настраивать дашборды под свои задачи, а также в реальном времени анализировать события и бизнес-процессы.

Для этого уже есть сервис Yandex Managed Service for ClickHouse, который помогает разворачивать и поддерживать в инфраструктуре Yandex.Cloud кластеры баз данных на основе ClickHouse. Вы получаете все описанные преимущества колоночных СУБД, и при этом вам не нужно покупать и настраивать железо, разбираться со сложностями в обслуживании баз данных и решать проблемы с обновлением. Кроме того, Yandex Managed Service for ClickHouse значительно повышает безопасность работы и позволяет создавать хосты кластера в разных зонах доступности.

Создайте свой первый кластер ClickHouse
console.cloud.yandex.ru/link/managed-clickhouse/

О сервисе
Сервис «Где мои дети», принадлежащий компании «Рефреш», позволяет родителю в любой момент времени определять, где находится его ребенок. Для работы сервиса нужна оперативная обработка и хранение огромного количества зашифрованных геоданных. На данный момент сервис «Где мои дети» локализован на 32 языка и имеет зарегистрированных пользователей в 209 странах мира, в 30 из которых зарегистрировались более 10 000 человек. Сейчас у приложения 800 000 активных пользователей, при этом на Россию и СНГ приходится лишь половина из них, вторая половина преимущественно из таких стран, как Бразилия, Турция, Израиль, США и Индия.
findmykids.org

Рубеж масштабирования
Сервис «Где мои дети» предлагает разные возможности. Например, при помощи приложения можно позвонить ребенку, и он услышит звонок, даже если он забыл отключить бесшумный режим после урока. А чтобы узнать, закончился ли у ребенка урок, родитель может прослушать звук вокруг его телефона. Но основной функцией приложения является отслеживание местоположения ребенка плюс взаимосвязанные опции вроде уведомления о выходе ребенка из обозначенной зоны и автоматического сохранения истории посещений. Сервис использует функцию GPS-трекинга. В качестве клиентского устройства может выступать смартфон с установленным на него приложением либо GPS-аксессуар в виде наручных часов. На данный момент клиентские устройства присылают более 1 000 наборов зашифрованных геоданных каждую секунду. Сервис подошел к тому рубежу, когда дальнейшее масштабирование становилось невозможным из-за технологических ограничений текущей инфраструктуры. В итоге перед командой встала необходимость решения следующих задач:
Сократить расходы на серверную инфраструктуру.Повысить стабильность решения за счет меньшей требовательности к скорости дисков.Организовать масштабирование ресурсов для хранилища геоданных «на лету».Получить возможность выполнять более сложные запросы и извлекать больше пользы из данных.
Переход на Yandex Managed Service for ClickHouse
Решение о переходе на Yandex Managed Service for ClickHouse было обусловлено предшествующим опытом. Изначально в компании геоданные хранили в MySQL, используя виртуальные серверы одного из облачных провайдеров. Несмотря на использование самых дорогих облачных дисков на базе SSD, вскоре был достигнут барьер производительности записи текущего дискового решения. Следующим этапом стал горизонтальный шардинг данных на несколько БД серверов, но даже при непиковой скорости записи специалисты компании периодически сталкивались с тем, что производительность дисков в облаке некоторых серверов сильно деградировала без каких-либо причин, что приводило к аварийным ситуациям. В разные периоды времени с разной частотой специалисты компании сталкивались с ситуацией, когда очередь на запись начинала расти быстрее, чем рассасываться. Приходилось экстренно переносить данные на другие шарды и жертвовать надежностью хранения в угоду временному увеличению производительности. Помимо этого, в определенный момент обнаружилось, что только на облачные диски приходится более половины всех расходов на инфраструктуру и оборудование.

Несмотря на сложности, компания не хотела переходить на выделенные серверы, чтобы не отказываться от возможности удобного масштабирования ресурсов и их администрирования. Выбор пал на ClickHouse. Во время тестирования были выполнены следующие шаги:
создание тестовой учетной записи и изучение архитектуры, которая будет оптимальна для текущих задач;создание тестового кластера, нагрузочное тестирование записи и извлечения данных.При тестировании запросы были аналогичны тем, которые выполнялись в старом хранилище, а результаты были аналогичны или лучше. Например, появилась возможность выполнять запросы на агрегацию больших данных, которые без дополнительного инструментария раньше выполнить было просто невозможно.

После получения положительных результатов началась непосредственная реализация проекта:
создание аккаунта для организации, формальные операции;создание кластера, тестирование работы хранилища в реальных условиях (настройка записи данных в старое хранилище и ClickHouse одновременно);перенастройка сервиса на использование данных из нового хранилища;миграция данных из старого хранилища в новое;переключение подсистемы на работу только с новым хранилищем.Миграцию провел один разработчик, трудозатраты составили менее 60 человеко-часов.

Результаты
По итогам проекта сразу удалось решить три из четырех поставленных задач. Затраты на решение для хранения геоданных сократились более чем в три раза. С момента переезда в Яндекс.Облако uptime сервиса составляет 100%, повысились удобство работы с геоданными и стабильность решения в целом. В настоящий момент сотрудничество продолжается. После того как в компании попробовали ClickHouse для хранения геоданных, было принято решение перевести в него данные внутренней продуктовой аналитики.

Мнение
Техподдержка Яндекс.Облака быстро решала технические вопросы и консультировала специалиста, клиентские менеджеры оперативно закрывали организационные вопросы. Эффективная коммуникация, удобный инструмент для управления облаком и достаточно полная документация позволили провести тестирование и миграцию на новое хранилище за один месяцГригорий Гудименко, технический директор компании „Рефреш“

AdsCompass — это интеллектуальная платформа для монетизации трафика. Компания работает в сфере интернет-рекламы и служит связующим звеном между издателями и рекламодателями при покупке и продаже трафика по всему миру. Конкурентное преимущество AdsCompass в том и состоит, что компания занимается разработкой своей платформы, а не арендует стороннюю, как это распространено в сфере интернет-рекламы.

AdsCompass начинала свою деятельность с нескольких десятков интернет-компаний, но за шесть лет развития партнерская сеть расширилась. Сегодня у AdsCompass более пяти тысяч рекламодателей, число которых ежемесячно растет примерно на 10—15%. Кроме этого, с 2018 года на платформе появилась возможность напрямую покупать интернет-рекламу через личный кабинет, а значит сеть пополнилась еще и за счет частных рекламодателей. Чтобы охватить всех партнеров из более чем 200 стран, сервисы, отвечающие за нагрузку, работают в двух ЦОД в Европе и США на собственном железе. На данный момент обрабатываемый трафик генерирует более 4 млрд записей статистики в сутки. Запись происходит с нескольких десятков серверов в один кластер ClickHouse. Ежемесячно происходит прирост объема трафика в среднем на 6-10%.

Задача AdsCompass
Компания столкнулась с необходимостью постоянно наращивать технические мощности, увеличивать затраты на поддержку кластера ClickHouse на собственном железе. Также прямо пропорционально масштабу бизнеса росли потери от падений в работе кластера.

Компания поставила задачи:
Увеличить стабильность работы кластера,Сократить затраты на поддержку и развитие инфраструктуры, чтобы сосредоточиться непосредственно на продукте.
Решение
«Толчком к переходу на Яндекс.Облако было именно появление Yandex Managed Service for ClickHouse, — объясняет Андрей Привалов, ведущий разработчик AdsCompass. — Если не ошибаюсь, есть и другие предложения на рынке, но тот факт, что Яндекс является разработчиком этой базы данных, сыграл большую роль в выборе в пользу Managed Service for ClickHouse».

Переезд кластера в Yandex Managed Service for ClickHouse был осуществлен силами главных разработчиков AdsCompass. Процесс, включавший тестирование и постепенный полный перевод трафика, занял меньше недели.

На начальном этапе одновременно писали данные в свой кластер и в Яндекс.Облако для того, чтобы выявить наличие неучтенных лимитов. Также в первые дни проведены еще несколько штатных проверок, в том числе:
тестирование с целью «поймать» возможные всплески трафика;проверка функционирования облачного сервиса в ситуации, когда после паузы объем записей значительно увеличивается с целью «догнать запись».
Результаты
Первым результатом переезда стало почти полное сокращение затрат временных ресурсов на поддержку кластера, не считая короткого общения с ТП Яндекс.Облака. Также по итогам переезда в AdsCompass отмечают рост стабильности работы кластера. Регулярное обновление кластера до новых версий происходит с минимальным простоем. Уже был случай, когда поддержка Яндекс.Облака решала проблемы с железом, все данные остались целы.

После переезда уже складывалась непростая для решения ситуация, когда место на дисках закончилось скачком. Через веб-интерфейс удалось быстро увеличить квоты и расширить место.

AdsCompass планирует использовать в своей деятельности также Managed PostgreSQL, Compute Cloud, Container registry и Message Queue. Разработчики планируют написать скрипт для очистки партиций и рассчитывают на появление решений в этом направлении.

Мнение
Повышение стабильности и экономия — не единственные результаты этого проекта. Раньше были случаи, когда при остановке кластера ClickHouse у нас копилась статистика для последующей записи. Если на дисках заканчивается место и файлы статистики больше некуда писать, их как-то придется удалять. Удаление статистики — это прямые потери данных, в том числе финансовых. Потеря даже небольшого объема финансовых данных может привести к ухудшению отношений с клиентами, а это уже большие репутационные риски. С Yandex Managed Service for ClickHouse мы забыли о таких рисках.уточняет Андрей Привалов, ведущий разработчик AdsCompass

При развитии Яндекс.Облака мы, с одной стороны, наращиваем функциональность самой платформы, а с другой — следим, чтобы компоненты было несложно интегрировать с внешними продуктами. Graphite — пример ПО, лёгкость интеграции с которым является важным свойством баз данных Облака. Это библиотека с открытым кодом для хранения и визуализации метрик.

Graphite удобно настроить так, чтобы данные хранились в столбцовой аналитической базе ClickHouse. Специально для этого разработан один из множества движков — GraphiteMergeTree. Он лучше всего подходит для прореживания и агрегирования (либо усреднения) содержимого БД. Саму базу полезно разместить в Яндекс.Облаке через платформенный сервис Yandex Managed Service for ClickHouse. Тогда её не потребуется обслуживать и обновлять — все подобные функции сервис возьмёт на себя.

В этом посте мы опишем процесс настройки Yandex Managed Service for ClickHouse специально под Graphite.

1. Регистрация конфигурации rollup в ClickHouse
Создание конфигурации rollup в существующем кластере Managed Service for Clickhouse можно произвести через CLI или API.

CLI
Если вы выбрали интерфейс командной строки, подготовьте yaml-файл с описанием параметров rollup, например:
graphite-rollup.yaml: name: test_rollup patterns: - regexp: click_cost function: max retention: - age: 86400 precision: 60
Указанные в файле параметры соответствуют конфигурации, описанной в документации.

Далее выполните команду, указав ID кластера ClickHouse и имя файла конфигурации, созданного на предыдущем шаге:
$ yc managed-clickhouse cluster add-graphite-rollup <CLUSTER_ID> --rollup-file-name graphite_rollup.yaml

API
Используйте метод update для кластера ClickHouse, передав в теле запроса требуемые параметры rollup:
"graphiteRollup": [ { "name": "test_rollup", "patterns": [ { "regexp": "click_cost", "function": "max", "retention": [ { "age": "86400", "precision": "60" } ] } ] } ]

2. Создание таблицы на основе GraphiteMergeTree
Подключитесь к хосту ClickHouse и выполните запрос на создание таблицы на основе GraphiteMergeTree. В качестве параметра передайте имя секции rollup, описанной на предыдущем этапе. Вот пример:
CREATE TABLE GraphiteTable ( metric String, time DateTime, value Int64, version UInt64 ) ENGINE = GraphiteMergeTree('test_rollup') PARTITION BY time ORDER BY cityHash64(version, metric)
Теперь можно настроить Graphite для сохранения значений метрик на выбранном хосте ClickHouse. При этом прореживание данных будет проводиться автоматически средствами сервера ClickHouse в соответствии с параметрами, которые вы указали.

Нестабильная ситуация в мире и экономике оказывает беспрецедентное влияние на бизнес всех технологических компаний и вынуждает нас пересмотреть стоимость услуг в рублях и тенге — с 13 апреля 2022 года.

Основные причины — повышение цен на закупку сетевого и серверного оборудования из-за роста курса валют и сложности в логистике поставок.
Новые цены появятся на этой странице.

Все согласованные ранее специальные условия продолжают действовать в соответствии с договорённостями. Цены в долларах останутся без изменений.

Диапазон изменения цен
Compute Cloud +40–60%Object Storage +60%Network Load Balancer +40%Application Load Balancer +60%Cloud CDN +60%Virtual Private Cloud +60%Cloud DNS +44–60%Managed Service for Kubernetes +60%Container Registry +60%Managed Service for PostgreSQL +40–60%Managed Service for ClickHouse +40–60%Managed Service for MySQL +33–60%Managed Service for Redis +60%Managed Service for MongoDB +33–80%Managed Service for Elasticsearch +60%Managed Service for Apache Kafka® +40–60%Managed Service for SQL Server +60%*Managed Service for Greenplum® +40–60%Data Proc +33–60%Yandex Database +60%Cloud Functions +60%Message Queue +60%Yandex API Gateway +60%Yandex IoT Core +60%Serverless Containers +60%DataSphere +60%SpeechKit +5–10%Translate +10%Vision +8%Yandex Key Management Service +60%Yandex Monitoring +40%
Изменение цен на Managed Service for SQL Server пройдёт в два этапа: +60% с 22.03 только на лицензионные составляющие и на 60% с 13.04 на вычислительные мощности.

Текущие изменения не затронут сервисы Yandex Interconnect, DDoS Protection, Data Streams, Tracker и тарифные планы поддержки.

Сервисы Yandex DataLens, Data Transfer, Certificate Manager, Forms, Wiki, Identity and Access Management (IAM), Resource Manager и Cloud Organization мы продолжаем предоставлять бесплатно. Для сервисов экосистемы бессерверных вычислений на прежних условиях сохраняется уровень нетарифицируемого использования (serverless free tier).

Цены на программные продукты в Yandex Cloud Marketplace регулируются компаниями-вендорами. Если ценовая политика вендора изменилась — меняются цены на лицензионные составляющие в образах. Некоторые образы в Marketplace базируются на ОС Windows (Loginom, Kaspersky, Геонафт), и повышение цен на OC Windows приведет к повышению цен на эти образы. Обо всех таких изменениях мы будем сообщать отдельно.

Специальные условия, скидки и резервы
Резервирование ресурсов (CVoS) в автоматическом режиме в консоли на данный момент приостановлено. При этом цены и скидки, которые были зафиксированы в рамках специальных условий или резервов до 21 марта 2022 года, остаются в силе и продолжат действовать в рамках согласованного срока и объёма потребления.

Общие новости
Yandex.Cloud выходит на европейский рынок. До конца 2022 года Yandex.Cloud откроет регион из нескольких зон доступности в Европе. Первый регион за пределами России будет размещаться в Германии. Клиенты европейской зоны доступности смогут воспользоваться всеми существующими сервисами и инструментами Yandex.Cloud. Доступ будет обеспечиваться с выполнением требований постановления Европейского союза General Data Protection Regulation для европейских пользователей. Кроме того, в планах платформы локализация когнитивных сервисов Yandex SpeechKit.Гранты за работу над документацией облачной платформы. Контент-программа Yandex.Cloud предоставляет пользователям возможность улучшать и создавать новую документацию для облачной платформы. Каждый автор, который внесет правки в документацию, подготовит оригинальный сценарий решения задачи или пошаговое руководство, получит грант на свой платежный аккаунт Yandex.Cloud.Yandex.Cloud и «АльфаСтрахование» запустили первую в России программу страхования рисков бизнеса при использовании облачных сервисов. Теперь ответственность Yandex.Cloud как провайдера облачных сервисов будет усилена новым инструментом — расширенной защитой от потенциальных убытков, связанных с нарушением целостности данных и непрерывности бизнеса.G-Cloud. Для размещения государственных информационных систем на базе инфраструктуры и сервисов платформы Yandex.Cloud будет создан отдельный облачный регион, соответствующий требованиям безопасности и защищенности, которые регуляторы предъявляют к сервисам и инфраструктуре для работы ГИС. Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов. Планируется, что платформа G-Cloud будет готова к размещению ГИС к концу 2022 года.Yandex Distributed Cloud. Развитие концепции распределённого облака, в основе которой лежит использование платформенных сервисов и технологических решений Yandex.Cloud не только в публичном облаке, но и непосредственно на территории клиента. Комплексное облачное решение включает в себя IaaS, PaaS и SaaS и развивается вместе с публичным Yandex.Cloud за счёт общей кодовой базы. Единое решение одного вендора гарантирует высокую совместимость сервисов. Информационная безопасность обеспечивается совместно Yandex.Cloud и клиентом по прозрачной модели разделяемой ответственности. Сервисы предоставляются в соответствии с описанием и SLA.Yandex.Cloud переходит на новое поколение серверных стоек. Теперь серверное оборудование поддерживает последние поколения процессоров — Intel Ice Lake. Новое поколение платформы позволяет добиться повышения производительности до 50% при работе с управляемыми базами данных, системами аналитики, сервисами машинного обучения, веб-приложениями и виртуальными рабочими местами. Также в новом поколении стоечных решений стали доступны графические процессоры NVIDIA A100 (GPU), которые работают с новыми процессорами AMD Epyc 2 (Milan).Улучшение производительности дисков. Помимо производительности процессоров за этот год мы ускорили наши диски. Облачный диск более надежен чем физический, так как каждый блок данных мы записываем не на один, а на несколько дисков, расположенных в разных серверных стойках. Мы много инвестировали в производительность нашей дисковой подсистемы, и теперь по синтетическим тестам они подходят для всех типовых сценариев.Образовательная инициатива. Один из приоритетов Yandex.Сloud на ближайшие годы — создание цифровых решений для развития сферы науки и образования. Облачная платформа располагает всеми необходимыми инструментами и технологиями, которые помогут решить любые задачи как ведущим вузам, так и EdTech-стартапам. Мы собрали все проекты, которые реализуем для сферы образования и науки.
Инфраструктура
Новые сервисы
Yandex Cloud CDN, сервис для организации сети распространения, созданный на основе G-Core Labs CDN и предназначенный для переноса части нагрузки с источников данных на CDN-серверы, вышел в общий доступ. Сетевая инфраструктура Content Delivery Network состоит из распределенных CDN-серверов (более 800 серверов по всему миру).Yandex Application Load Balancer, сервис для распределения трафика между приложениями и создания управляемых балансировщиков, вышел в общий доступ. Сервис предоставляет масштабируемую инфраструктуру подачи HTTP-трафика, что облегчает построение микросервисной архитектуры.Yandex Cloud DNS, сервис администрирования ресурсных записей DNS и обслуживания DNS-запросов, вышел в общий доступ. С помощью Cloud DNS пользователи управляют своими доменами, купленными у любого регистратора, и доступом по доменным именам к приложениям, развёрнутым в облаке.
Новые возможности в сервисах
Public gRPC API — программный интерфейс в Yandex Cloud CDN для интеграции и обращения к облачным сервисам из внешних систем и управления ресурсами в облаке.Поддержка Origin Shielding в Yandex Cloud CDN — помогает защитить origin-сервер (источник данных) от перегрузки запросами с нескольких узлов CDN. Origin Shielding аккумулирует все запросы клиентов на специальном сервере предварительного кэширования и перенаправляет их на origin-сервер.Поддержка Raw Logs в Yandex Cloud CDN — позволяет получить с CDN-серверов все access-логи для их дальнейшего анализа.Интеграция Yandex Cloud CDN с Certificate Manager — осуществляет управление и хранение TLS-сертификатов, а также позволяет использовать их в интегрированных сервисах Yandex.Cloud.Управление трафиком приложений, запущенных в кластере Managed Service for Kubernetes®, в Yandex Application Load Balancer через ingress-контроллер. После установки такого контроллера будет автоматически развернут балансировщик с нужными целевыми и backend-группами, HTTP-роутерами и обработчиками. Контроллер поддерживает gRPC, traffic-shifting, интеграцию с Certificate Manager и Object Storage.
Платформа данных
Новые сервисы
Yandex Data Transfer стал доступен для всех пользователей, но часть функциональности пока остается на стадии Preview. По мере развития сервиса трансферы будут выходить в публичный доступ (GA). За появлением новых трансферов и об изменениях стадий следите в блоге и телеграм-канале Yandex.Cloud.Базовая версия Yandex DataLens становится полностью бесплатной и без ограничений на число пользователей и сессий — как для внутренних, так и для внешних источников. Вместе с этим Yandex.Cloud продолжит развивать платные расширения для DataLens для решения более сложных задач.
Новые возможности в сервисах
В Data Transfer появилась возможность переносить данные между гетерогенными источниками. Например, можно взять данные из OLTP-базы и сделать их копию или постоянно поддерживаемую реплику в аналитической СУБД для их эффективного анализа.В Data Transfer появилась работа с произвольными потоками данных. Теперь вы можете сохранить данные из брокеров данных (Managed Service for Apache Kafka, Yandex Data Streams) в различные хранилища, которые поддерживает сервис. Так для анализа вы можете направить ваш поток данных в ClickHouse, а для более дешевого долговременного хранения — в Object Storage, по пути обрабатывая данные с помощью Cloud Functions.В Data Transfer появились public API и CLI.В Yandex DataLens добавлены SQL-чарты для написания SQL запроса под конкретный чарт. Это позволяет раскрыть широкие возможности создания отчетов с комплексными вычислениями над данными.В Yandex DataLens появились выражения Level of Detail — аналитические функции, которые можно использовать для двойных агрегаций. Например, чтобы посчитать средний DAU за неделю.В Yandex DataLens появились полилинии — еще один тип возможного геослоя на чарте «Карта». Для работы с ним в датасете каждая точка каждой полилинии должна храниться отдельной строкой.В Yandex DataLens добавили кольцевые диаграммы — новый тип чарта для отображения доли и общей суммы. Итоги можно включить через шестеренку настройки чарта.В Yandex DataLens добавили итоги в плоских таблицах и фильтр по умолчанию для новых чартов.В Yandex DataLens добавили новый коннектор для Greenplum и поддержку сервиса Yandex Database как источника данных.В Yandex DataLens добавлены расширенные палитры цветов.Большой демо дашборд с возможностями Yandex DataLens. В нем собраны как решения конкретных прикладных задач (например, когортный анализ), так и функциональные примеры, раскрывающие нюансы использования DataLens (комплексные аналитические функции, работа с геоданными и др.). Вы можете импортировать дашборд в свой аккаунт DataLens из Marketplace, чтобы изучать примеры, редактировать страницы и экспериментировать.Больше новостей про сервисы по управлению базами данных и средствами загрузки читайте в дайджесте платформы данных.
Serverless
Новые сервисы
Вечный Free Tier. После запуска программы Free Tier, в рамках которой можно было попробовать использовать нашу serverless-экосистему бесплатно при соблюдении базовых лимитов, было принято решение продлить эту программу бессрочно.Yandex Data Streams, сервис для управления потоками данных, становится общедоступным.Yandex Serverless Containers — сервис для миграции и запуска существующих микросервисных приложений в serverless-экосистему. Новый сервис позволяет запускать контейнеры без необходимости работы с Kubernetes, без создания виртуальных машин и настройки инфраструктуры.Yandex Cloud Logging, сервис для агрегации и чтения логов пользовательских приложений и ресурсов Yandex.Cloud, вышел в стадии Preview. Cloud Logging спроектирован как serverless-решение. С его помощью можно читать, записывать и безопасно хранить логи пользовательских приложений и ресурсов Yandex.Cloud, объединяя сообщения в группы, как с помощью низкоуровневого API, так и при помощи разработанного плагина для Fluent Bit.
Новые возможности в сервисах
В Yandex Data Streams появилась совместимость с сервисом AWS Kinesis Data Streams. Это позволяет легко мигрировать ваши приложения между облаком AWS и Yandex.Cloud. В результате получился простой в использовании serverless-сервис, который расширит возможности потоковой обработки в платформе Yandex.Cloud, дополнив Apache Kafka.В Yandex Data Streams появилась интеграция с сервисом Data Transfer, что позволяет пользователям удобно отправлять данные в системы хранения Yandex.Cloud без написания кода.MDB Proxy. Появилась возможность подключения serverless-экосистемы к платформе данных из функции. MDB Proxy позволит обращаться к хостам кластера, для которых не настроен публичный доступ. Сейчас эта возможность доступна для работы с базами, созданными при помощи сервисов Managed Service for PostgreSQL и Managed Service for ClickHouse, а в будущем и для других сервисов платформы данных Yandex.Cloud.
Developer Tools
Новые сервисы
Managed Service for GitLab, сервис для управления DevOps-платформой GitLab в инфраструктуре Yandex.Cloud, вышел в стадии Preview. Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud.Yandex Load Testing, сервис для проведения нагрузочного тестирования и анализа производительности, вышел в стадии Preview. Load Testing поможет подготовить виртуальную машину с необходимым ПО, настроить и запустить тесты и получить на их основе отчеты.
Бизнес-инструменты
Новые сервисы
Yandex Cloud Desktop, сервис для запуска рабочих мест, вышел в стадии Preview. Решение обеспечивает терминальный доступ к виртуальным машинам, на которых сотрудники запускают свои рабочие приложения. С помощью Yandex Cloud Desktop можно создать рабочие места в облаке компаниям любого размера и получить неограниченное количество вычислительных ресурсов и дискового пространства, а также защитить данные.
Новые возможности в сервисах
Мобильное приложение Yandex Tracker. Мы перезапустили мобильное приложение Yandex Tracker. На данный момент в нем можно: создать задачу, изменить исполнителя, дедлайн и другие параметры задачи, оставить комментарий в задаче, призвать коллегу, приложить или скачать файл, а также использовать шаблоны фильтров для быстрого поиска задач.
Безопасность
Новые сервисы
Yandex Cloud Organization — сервис для управления составом организации, настройки интеграции с каталогом сотрудников и разграничения доступов пользователей к облачным ресурсам организации. Пользователи, федерации удостоверений, облака и сервисы будут собраны внутри одной организации, что поможет централизованно управлять доступами и ресурсами.Yandex Audit Trails, сервис для сбора и выгрузки аудитных логов ресурсов Yandex.Cloud, вышел в стадии Preview. Он позволяет получать информацию о событиях, происходящих с ресурсами, и на основе этих данных строить процессы поиска аномалий. Audit Trails уже интегрирован с Yandex Cloud Organization. Собирайте события централизованно по всей организации, сохраняйте их в Object Storage для долговременного хранения, а также просматривайте в интерфейсе Cloud Logging и обрабатывайте при помощи триггеров.
Новые возможности в сервисах
У сервиса управления криптографическими ключами Yandex Key Management Service появился новый тип ключей, создание и использование которого проходит в специальных аппаратных модулях безопасности HSM. Это делает защиту ключей максимальной, а также убирает сложности самостоятельной работы с модулями HSM.В Yandex Container Registry вышла в стадии Public Preview функция сканирования безопасности образов контейнеров. Это позволяет отслеживать уязвимости в docker-образах средствами облака, делать приложения безопаснее и в том числе выполнять требования регуляторов.С помощью открытого решения External Secrets проведена интеграция Yandex Lockbox в Yandex Managed Service for Kubernetes® для еще более надежного хранения ваших секретов в Kubernetes.
Машинное обучение
Новые возможности в сервисах
ML-модель в Yandex DataSphere теперь можно развернуть «по одной кнопке». При этом пользователям не нужно создавать и управлять инфраструктурой — все будет создано автоматически.
Биллинг
Новые возможности в сервисе
Типы бюджета: квартальные, годовые, настраиваемые. Первые два позволяют установить сумму расходов либо за квартал, либо за год.Тип бюджета «Остаток средств». С его помощью пользователь будет получать уведомления, когда платежный баланс упадет ниже заданного лимита. Можно установить сразу несколько порогов, по достижении которых будут приходить сообщения, и задать каждому лимиту определенного получателя.Интеграция бюджетов с облачными функциями. Теперь можно привязать к бюджету написанную пользователем облачную функцию, которая автоматически будет выполняться при достижении установленного порога бюджета. Например, при превышении расходов начнется плановое отключение части виртуальных машин или сокращение подключенных ресурсов.Использование Cloud Functions и для интеграции со своими системами. Если вы используете CRM-систему, то можно настроить бюджеты так, чтобы сообщение о превышении потребления ресурсов приходило в систему. По схожему принципу происходит настройка отправки уведомлений в виде смс-сообщений или сообщений в мессенджер.

Новый сервис Yandex Managed Service for Greenplum
cloud.yandex.ru/services/managed-greenplum
cloud.yandex.ru/docs/managed-greenplum
Необходима аналитика на больших объемах данных.Существующая СУБД перестала справляться с аналитической нагрузкой и не масштабируется.Существующая СУБД стала слишком дорогой (из-за роста курса доллара и увеличения объема данных).Необходимо ядро для создания корпоративного хранилища данных.Необходима единая точка консолидации больших объемов данных из нескольких источников.
Решайте свои задачи с Managed Service for PostgreSQL
В 2012 году Яндекс решил перенести сервис Яндекс.Почта с Oracle на другую СУБД. Через четыре года экспериментов и подготовки — в 2016 году — сервис полностью мигрировал на PostgreSQL. С этого момента команда разработчиков и администраторов непрерывно развивает проект: написала свой пулер соединений, доработала системы репликации, восстановления и мониторинга. Сейчас база данных Почты занимает больше 2 ПБ, а пиковые нагрузки достигают 1 миллиона транзакций в секунду.
cloud.yandex.ru/services/managed-postgresql
console.cloud.yandex.ru/link/managed-postgresql/

Yandex SpeechKit Brand Voice: представляем технологию для создания фирменных голосов
cloud.yandex.ru/services/speechkit#brand-voice
маршрутизация звонков на первой линии;телемаркетинг;подтверждение заказов, записи на прием, напоминания клиентам;опросы и замер NPS.
Новый сервис Yandex Cloud Logging
cloud.yandex.ru/services/logging
cloud.yandex.ru/docs/logging
Cloud Logging агрегирует данные о работе сервисов и приложений в различные лог-группы:
по умолчанию (создается автоматически для каждого каталога) — в нее пишутся сообщения сервисов, если не указана пользовательская лог-группа;пользовательская — в ней создают новые лог-группы и добавляют права доступа для выбранных ресурсов.
Новые возможности Yandex.Cloud, реализованные из ваших идей
DNS как сервис (я голосовал кстати за него топил там)Yandex Managed Service for Apache KafkaПоиск с помощью ElasticsearchМногослойные геочартыКоннектор Google SheetsДетальные логи в Yandex Object StorageАвтообновляемый Let’s Encrypt для Yandex Object Storage (тоже голосовал)Управление внешними IP-адресами в VPCTerraform-поддержка для Yandex DatabaseВстроенный дашборд для Yandex Managed Service for KubernetesЭкспорт метрик в формате PrometheusПоддержка новых языков и пакетов в Yandex Сloud FunctionsМобильное приложениеЗащита мобильного приложения PIN-кодом или паролемcloud.yandex.ru/blog/posts/2021/07/implemented-features

Считаем звёзды в облаках: эксперимент создателей ClickHouse c датасетом GitHub
cloud.yandex.ru/blog/posts/2021/07/clickhouse-github

Новый сервис Yandex Cloud Organization вышел в Public Preview
cloud.yandex.ru/services/organization
cloud.yandex.ru/docs/organization/api-ref/grpc/
Единое решение для корпоративных клиентов, с помощью которого можно управлять списком ваших сотрудников, обеспечивать им единую авторизацию и назначать роли в подключенных сервисах Yandex.Cloud.

Окончание поддержки CentOS 8 в декабре 2021 года
AlmaLinuxOracle LinuxUbuntuCentOS Stream
Elasticsearch — поисковая система и аналитическая СУБД в облаке
Сейчас Elasticsearch — ядро экосистемы Elastic Stack, в состав которой также входят:
механизм сбора данных и регистрации журналов Logstash;платформа аналитики и визуализации Kibana;платформа для одноцелевых отправителей данных Beats.console.cloud.yandex.ru/link/managed-elasticsearch
cloud.yandex.ru/services/managed-elasticsearch

Операционная система Windows Server Standard больше не будет доступна в Yandex Cloud Marketplace
Windows Server Standard будет доступна в Yandex Cloud Marketplace только до 31 августа 2021 года включительно. С 1 сентября 2021 года при запуске новых ресурсов можно будет использовать только редакцию Windows Server Datacenter.

Новый сервис Yandex Data Streams вышел в стадии Preview
cloud.yandex.ru/solutions/serverless
Сохранение одного потока в несколько приемников с различными политиками хранения возможно с помощью сервиса Yandex Data Transfer. Данные из источников поступают в Data Streams, Data Transfer считывает эти данные, разбивает их на колонки и строки и сохраняет в одну или сразу в несколько принимающих систем типа: Yandex Database, ClickHouse, Object Storage и другие. Передаваемые данные можно обрабатывать в Yandex Cloud Functions, для обфускации чувствительных данных, смены их формата или любой другой обработки.
console.cloud.yandex.ru/link/data-streams/

Процессоры Intel Xeon Scalable 3-го поколения (Ice Lake) доступны в Yandex Compute Cloud
cloud.yandex.ru/docs/compute/concepts/vm-platforms
cloud.yandex.ru/services#data-platform
Теперь виртуальные машины размером до 32 vCPU размещаются на одной NUMA-ноде, что может дать дополнительный прирост производительности виртуальных машин с числом ядер от 20 до 32.
Технология Intel Deep Learning Boost обеспечивает решение задач машинного обучения в среднем на 56% быстрее по сравнению с предыдущим поколением.
console.cloud.yandex.ru/link/compute/

Обгоняя рынок: выручка Yandex.Cloud в первом полугодии выросла на 240%
Три самых важных факта о росте Yandex.Cloud в 2021 году
1,1 миллиарда рублей составила общая выручка Yandex.Cloud в первом полугодии 2021 года. Это больше, чем выручка облачной платформы Яндекса за весь 2020 год.На рост выручки повлияло в первую очередь то, что количество клиентов увеличилось на 60%, новые и действующие клиенты наращивают потребление облачных сервисов, сегмент крупных клиентов растет опережающим темпом.Клиенты Yandex.Cloud в пять раз увеличили потребление сервисов группы платформы данных и в четыре раза — группы контейнерная разработка.Обгоняя рынок: выручка Yandex.Cloud выросла в 3,4 раза, а средний чек — на 90%
cloud.yandex.ru/blog/posts/2021/09/financial-results-2021

1 октября изменятся цены на продукты и лицензии Microsoft
Microsoft объявила о вступающих в силу с 1 октября 2021 года изменениях в рублевом прайс-листе. Цены на все сегменты коммерческого ПО и облачных сервисов увеличатся примерно на 15,2%.

Новости Yandex Monitoring
В Мониторинге стали доступны метрики следующих сервисов:
Yandex Application Load BalancerYandex Cloud LoggingYandex Container RegistryYandex Data StreamsYandex Identity and Access ManagementYandex Key Management ServiceYandex Managed Service for GreenplumYandex MonitoringYandex SpeechkitYandex TranslateYandex VisionYandex Message Queuegithub.com/yandex-cloud/yagr
cloud.yandex.ru/mobile-app
cloud.yandex.ru/docs/monitoring/concepts/data-collection/unified-agent/

Три сервиса управления облачной инфраструктурой доступны всем пользователям
Yandex Cloud CDN cloud.yandex.ru/services/cdn
Yandex Application Load Balancer cloud.yandex.ru/services/application-load-balancer
Yandex Cloud DNS cloud.yandex.ru/services/dns

Новые возможности Yandex Data Transfer
cloud.yandex.ru/services/data-transfer
У сервиса появились public API и CLI — благодаря чему создание и управление трансфером стало еще проще.
cloud.yandex.ru/docs/data-transfer/

Развитие экосистемы Serverless в 2021 году
Вечный Free Tier от Yandex.Cloud
cloud.yandex.ru/docs/billing/concepts/serverless-free-tier
Yandex Data Streams
cloud.yandex.ru/services/data-streams
MDB Proxy
cloud.yandex.ru/docs/functions/operations/database-connection
Yandex Serverless Containers
cloud.yandex.ru/services/serverless-containers cloud.yandex.ru/docs/serverless-containers/
Yandex Cloud Logging
cloud.yandex.ru/services/logging
cloud.yandex.ru/docs/logging/

Инструменты разработчика
Managed Service for GitLab
cloud.yandex.ru/services/managed-gitlab
Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud. Кроме того, Managed Service for GitLab совмещает преимущества использования облачной версии gitlab.com и его установки на собственные сервера.
Yandex Load Testing
cloud.yandex.ru/services/load-testing
создать в один клик в своем облаке заранее настроенный генератор нагрузки на базе Яндекс.Танк и управлять им из удобного UI-интерфейса;сконфигурировать тест в интерфейсе и запустить нагрузку с созданного генератора (Phantom или Pandora);посмотреть отчет о проведенном тесте;хранить в единой базе ранее проведенные отчеты и управлять ими.
ML-модель в Yandex DataSphere теперь можно развернуть «по кнопке»
Типовой цикл ML-разработки состоит из следующих этапов:
сбор, структуризация и анализ данных;создание ML-моделей с разными параметрами и выбор топ-перформеров;обучение ML-модели на полных датасетах;развертывание модели в эксплуатацию.cloud.yandex.ru/services/datasphere
cloud.yandex.ru/docs/datasphere/

Новый сервис Yandex Cloud Desktop вышел в стадии Preview
cloud.yandex.ru/services/cloud-desktop
cloud.yandex.ru/docs/cloud-desktop
возможность создания одного или множества виртуальных рабочих мест;простота использования — необязательно иметь опыт в области IT, чтобы организовать удаленную работу сотрудника, достаточно несколько кликов в интерфейсе;высокий уровень безопасности — соответствие требованиям 152-ФЗ по уровню защищённости УЗ-1, а также требованиям международных и национальных стандартов ISO, GDPR, PCI DSS и ГОСТ Р 57580;оплата только за используемые ресурсы;высококвалифицированная поддержка, которая решит проблемы с настройкой рабочего места.
G-Cloud — новый проект Yandex.Cloud для государственных организаций
Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов.Реализация проекта G-Сloud снимет барьер использования публичных облачных платформ в государственном секторе и создаст дополнительные возможности для роста партнерской экосистемы Yandex.Cloud.
Yandex.Cloud выдает гранты за работу над документацией облачной платформы

cloud.yandex.ru/content-program
Познакомьтесь с Yandex Flavored Markdown и начинайте вносить правки
ydocs.tech/ru/

Представляем мобильное приложение Yandex Tracker
cloud.yandex.ru/services/tracker
создать задачу;изменить исполнителя, дедлайн и другие параметры задачи;оставить комментарий в задаче, призвать коллегу;приложить или скачать файл;использовать шаблоны фильтров для быстрого поиска задач.redirect.appmetrica.yandex.com/serve/675903944362323225
redirect.appmetrica.yandex.com/serve/315615973082170833

Больше возможностей для визуализации и анализа данных: главные апдейты Yandex DataLens
SQL-чартыВыражения Level of DetailКольцевые диаграммыИтоги в плоских таблицахПоддержка Greenplum и Yandex DatabaseФильтр по умолчанию для новых чартовБольшой демо дашборд с возможностями Yandex DataLenscloud.yandex.ru/docs/datalens/
datalens.yandex/demo
datalens.yandex.ru/marketplace/f2eui5ar8omalpcg1j3r

Новые решения в области безопасности Yandex.Cloud
Новые сервисы безопасностиБезопасность платформы и развитие функциональности сервисовИнтеграция балансировщика нагрузки уровня приложений (Application LB) с контроллером входящего трафика (Ingress Controller) в сервисе KubernettesБиблиотека решений по безопасности (Solution Library for Security)Сбор и анализ логов безопасности Managed Service for KubernetesПоддержка Cilium в Managed Service for Kubernetes
Новые возможности Биллинга, доступные всем пользователям Yandex.Cloud
Интеграция бюджетов с облачными функциями
cloud.yandex.ru/services/functions
В конце весны в Биллинге появились бюджеты — еще один способ контроля потребления ресурсов в платформе. Бюджеты позволяют установить сумму расходов за месяц, а при достижении порога потребления направляют уведомления указанным в настройках пользователям, которые зарегистрированы в облаке.
cloud.yandex.ru/docs/billing/concepts/budget

Система антиспама в Selectel до самописного решения
Привет, Хабр! Я Саша Федосеев, младший разработчик Python в Selectel. Несколько лет назад, когда наша компания начала особенно быстро расти, мы столкнулись с проблемой. Нашими ресурсами начали интересоваться всякие недобросовестные спамеры из жарких стран. У нас есть довольно бюджетные конфигурации виртуалок, а что им еще для счастья надо.

Почему мы решили с ними бороться? Ну, рассылается почта с аккаунтов, что тут такого… Однако с точки зрения облачного провайдера есть причины, почему все-таки стоит пресекать «размножение» спамеров.

Зачем бороться со спамерами
Они портят белые IP-адреса
Чтобы рассылать какую-то почту вовне, необходимо, чтобы виртуалка имела IP-адрес. Белые «айпишники» — достаточно ограниченный ресурс, поэтому нам важно понимать, что их занимают порядочные пользователи, а не спамеры. Последние провоцируют бан IP со стороны крупных email-сервисов: «айпишник» попадает в черный список, и мы даже не всегда можем это понять. Только тогда, когда передаем такой IP другому клиенту, которому нужно рассылать почту, а он в итоге не может этого делать. Выводить IP из бана — достаточно непростой процесс, поэтому лучше просто туда не попадать.

Эффект шумного соседа
Спамеры нередко разворачивают много спам-машин. И пользователи, которым не повезло находиться на том же хосте виртуализации, могут пострадать. Это неприятно.

Занимают IP-адрес и процессорное время
Зачем Selectel такие клиенты, если на их месте могут быть хорошие пользователи, которые заинтересованы в качестве наших услуг и тратят мощности на развитие своего бизнеса?

Репутационные проблемы
Ни одному провайдеру не понравится, если про него будут говорить, что у него развелись спамеры и он этим промышляет.

Как было раньше
С самого начала антиспам был ручной: проблемой занимались сотрудники технической поддержки, которые разбирали каждый инцидент. Техническая поддержка тащила на себе весь этот груз. Кроме того, администраторы периодически просматривали регистрации, чтобы убедиться, что 10 аккаунтов зарегистрировал не спамер и это просто стечение обстоятельств: 10 разных пользователей зарегистрировались в одно время.

Понятно, что такая система довольно неэффективна. Во-первых, между определением спамера и его баном проходит непозволительно долгая задержка. Во-вторых, сотрудники техподдержки могут тратить свое рабочее время более рационально. Поэтому мы начали искать другие варианты.

Возможные пути решения проблемы
Регистрация по документам
Так мы бы отпугнули спамеров, но существенно осложнили бы онбординг для добропорядочных клиентов. Кроме того, сотрудникам техподдержки пришлось бы просматривать каждую регистрацию. Кажется, не самая приятная работа. Да и наличие некоего jpg-файла не является гарантией существования реального документа.

Итог: решили не устраивать «paper, please» и отказались от этого варианта.

Закрыть возможность отправки почты для клиентов
Можно было предупреждать всех клиентов, что мы не поддерживаем отправку почты от слова совсем. Но, пожалуй, это было бы странно. Пользователи, которые не рассылают спам, лишились бы стандартных и привычных функций. Не смогли бы даже рабочую почтовую переписку вести и точно грустили бы из-за этого.

Итог: мы не хотели лишать клиентов каких-то очевидно необходимых возможностей и заставлять их искать решения «на стороне».

Создать Gateway для отправки почты
В целом, Gateway для почты — это сервер, через который проходят все письма. Он способен анализировать почту и выносить решение, является ли то или иное письмо спамом. В случае провайдера инфраструктуры, такого как Selectel, было бы правильным оформить это как сервис. Но такое решение требует отдельной команды разработчиков, постоянной поддержки и развития.

Итог: создание такой услуги не было в планах компании на момент решения.

Воспользоваться сторонним сервисом
Такой вариант мы тоже рассматривали, но нашли не один аргумент против. Во-первых, интеграция со сторонним сервисом — нетривиальная техническая задача. Во-вторых, мы бы поставили себя в ситуацию, когда мы зависим от какого-то внешнего сервиса. Наконец, это бы повысило ценник на наши услуги, ведь нам бы пришлось учитывать стоимость внешнего сервиса. А делать это не хотелось бы, конечно.

Итог: использование внешнего сервиса могло повлиять на стоимость наших услуг, мы же не могли на это пойти.

В общем, все перечисленные варианты мы отмели, поэтому решили делать собственную систему антиспама.

50 оттенков спамера
Если мы хотим самостоятельно выявлять спамеров среди пользователей, нам нужно определить, по каким критериям это делать.

Стоит обратить внимание на поведенческие особенности пользователя и проанализировать трафик:
→ дата регистрации аккаунта. Если он зарегистрирован 5 минут назад, а уже попал в поле зрения антиспама, велика вероятность, что акк создан исключительно для спам-целей.→ название почты. Все мы называем почтовые адреса так, чтобы в названии был какой-то смысл (название компании или фамилия отправителя). Если название невнятное и выглядит подозрительно, это вполне весомый довод в пользу бана.→ платежное средство. Если это одноразовая карта или PayPal, то такой аккаунт тоже подозрителен.→ геолокация IP-адреса при регистрации. Подавляющее количество клиентов Selectel – из России и стран СНГ. Если очередной пользователь зарегистрировался в солнечной Бразилии или Марокко (из этих стран традиционно больше всего спамеров), это повод для беспокойства. Можно также сверить код страны и номер телефона с информацией, полученной от геолокации IP-адреса.→ имя пользователя. Если имя пользователя выглядит так, как будто он рандомно прошелся пальцами по клавиатуре, это подозрительно, согласитесь.
Добавлю, что анализ трафика на уровне L7 мы сразу отмели. Ведь это бы означало, что нам надо открывать каждый email и «читать», что в нем. Такой подход, возможно, могла себе позволить крупная и влиятельная компания типа Google, настроив семантических анализ содержимого почты и обложившись NDA и юристами. Но нам такой вариант не подходит.

А вот с информацией на уровне L4 уже можно работать: она обезличенная и выражается в нескольких метриках. Здесь мы можем посмотреть на количество адресов, на которое рассылается почта с наших IP-адресов, и на размер переданной информации. Логично, что у спамеров обычно очень большая база адресов, на которые они отправляют письма.

В итоге мы решили, что комплекса всех этих критериев достаточно, чтобы делать достаточно аргументированное решение, спамер перед нами или нет.

Концепция решения
Рейтинг аккаунтов
Мы решили автоматизировать процесс оценки пользователей на основе перечисленных критериев — по модели рейтинга, своеобразного «индекса доверия». Мы не читаем почту, но взвешиваем конверты и анализируем метрики публичного трафика, который выходит из облака.

Как это работает. С самого начала, когда пользователь регистрируется, ему присваивается максимально возможный рейтинг, равный 100 баллам. Изначально мы всем доверяем и считаем, что все наши клиенты будут нормально работать, а не рассылать спам.


Дальше пользователь проходит цепочку проверок. Каждая проваленная проверка отразится на итоговом рейтинге пользователя в виде штрафов. Их размер мы установили исходя из опыта «общения» со спамерами.

В первую очередь мы обычно обращаем внимание на геолокацию IP-адреса: соответствует ли он стране, откуда приходит большинство спамеров. У нас есть список таких стран, который мы периодически пополняем. Затем «прогоняем» нового пользователя через остальные фильтры, о которых я упоминал выше. В итоге у нас есть финальная оценка аккаунта, который мы сохраняем для дальнейшего использования в сервисе антиспама.

Взвешивание конвертов и просмотр IP-адресов
Наше сетевое оборудование умеет выдавать метрики публичного трафика по протоколу Netflow. Среди них — SMTP-пакеты, SMTP-байты, количество SMTP-потоков и количество IP-адресов для каждого адреса-источника. Все эти метрики мы соберем в Netflow Collector. Последний их немного отформатирует для более удобного использования, а дальше с помощью вспомогательных сервисов, которые называются NetClick fetchers, они попадут уже в Clickhouse для дальнейшего использования в антиспаме.

Gotoh

У разработчиков Selectel есть небольшая традиция: самописные сервисы мы называем именами персонажей из вселенной Hunter х Hunter. Отсюда такое название — в честь героя манги Гото.

Антиспам состоит из двух частей и написан на Go. Первая часть сервиса называется Gotoh-fetcher. Он занимается тем, что забирает данные упомянутых метрик трафика, попадающих к нам по Netflow в несколько Clickhouse readers. Эти данные идут на обработку в ядро Gotoh-fetcher. Там они форматируются в более удобный формат и отправляются в Redis writer для дальнейшей записи. На этом работа Gotoh-fetcher заканчивается.


Дальше к работе приступает Gotoh-inspector, который соответствует своему названию. Он выполняет роль принимателя решений, судьи. Куда обращается Gotoh-inspector? Он обращается к Redis за данными, которые были получены от Gotoh-fetcher.

После получения данных наш «инспектор» начинает хождение по проверкам. Во-первых, он посмотрит, превышен ли лимит по какой-либо метрике. Если нет, то дальнейшая проверка не имеет смысла — Gotoh-inspector исключает эту часть данных из рассмотрения.


Если превышение лимитов есть хотя бы по одной метрике, то мы сначала посмотрим, есть ли у клиента тег доверенного. Он был специально введен для того, чтобы разделить спамеров и пользователей, которые рассылают нормальную почту, просто в больших количествах. Тег доверенного у пользователя может появиться только после разговора со специалистами Selectel.

Мы должны убедиться, что мы имеем дело с человеком из реальной компании, который просто рассылает нормальную деловую почту, просто ее много. Если тег доверенного есть, мы формируем инцидент в Clickhouse и больше не рассматриваем эту часть данных. Но, если у клиента нет тега, мы продолжаем «следствие».

Смотрим на рейтинг, и здесь начинается самое интересное. У скоринга есть две границы. Первая из них – доверительная граница. Если по результатам проверки аккаунту был присвоен хороший рейтинг, то мы просто отправим инцидент в Clickhouse и забудем про него. В целом, с пользователем с хорошим скорингом больше делать нечего.

Если скоринг меньше доверительной границы, дальше мы смотрим, далеко ли до границы бана. Две границы нужны для более справедливой оценки. Если скоринг хороший, тогда мы не будем банить пользователя, если же рейтинг вызывает вопросы, мы посмотрим на количество инцидентов, связанных с данным аккаунтом.

Если аккаунт попадает в промежуточную зону, когда его рейтинг меньше доверительной границы, но больше границы бана, система отправит алерт в чат дежурным. Они, в свою очередь, в ручном режиме посмотрят, рассылается ли с аккаунта или виртуалки спам.

Если же рейтинг не дотягивает даже границы бана, то тут совсем все просто: аккаунт попадает в бан, потому что у нас есть достаточно оснований полагать, что перед нами нарушитель.

Результат
Так мы создали нашу нехитрую систему антиспама. Возникает вопрос: стало ли лучше?

На картинке выше – количество алертов с момента начала запуска этого сервиса в начале 2020 года. Количество алертов в пике составляло больше 60 000.

При ручном антиспаме мы просто не могли обрабатывать такое количество информации — большое количество данных проходило мимо нас. А теперь мы уже можем как-то работать с этими данными, анализировать их.

Мы посмотрели общее количество алертов, прилетающих по всем четырем метрикам трафика, которые мы анализировали. Давайте посмотрим на график по каждой метрике.

Количество пересылаемых байт


Это самая многочисленная по количеству алертов метрика. И вообще, этот график довольно схож с предыдущим, потому что эти алерты практически полностью формируют картину спам-алертов. Тут логика простая: чем больше почты рассылается с аккаунта, тем быстрее он попадает в поле зрения антиспама и тем больше по нему будет сформировано алертов.

Количество SMTP-пакетов


Между этой метрикой и предыдущей есть связь. Но почему мы анализируем количество байт и пакетов по отдельности? Потому что были случаи, когда по аккаунту формировался алерт по количеству пакетов, но не по количеству байт. Например, спам-аккаунт рассылает много мелких писем, каждое из которых улетает в отдельном пакете, — в таком случае формируется алерт именно по количеству пакетов.

Количество IP-адресов назначения


Этот график непросто анализировать, но он может стать дополнительным источником информации. На каждом аккаунт рассылка спама организована по-разному: кто-то отправляет IP на 10 или 100 разных адресов, а кто-то отправляет на 10 фиксированных и не попадает в поле зрения антиспама по этой метрике.

Количество SMTP-потоков, открытых одновременно


Самая «непопулярная» метрика — алерты по ней прилетают нечасто. Если на предыдущих иллюстрациях на шкале Y были тысячи, то здесь это сотни. Тут, видимо, спамеры все-таки перестраховываются и не рассылают почту с большого количества открытых соединений. Несмотря на то, что график не репрезентативен, на первый взгляд, на самом деле, он помогает лучше понять, как может быть организована отправка спама.

Заключение
Безусловно, эта система может быть более совершенной, и мы планируем улучшать ее в дальнейшем. Но сейчас он достаточно эффективно показывает себя в работе.

Например, мы еще ни разу не забанили добропорядочного пользователя. А если такое все же произойдет (ну, вдруг у кого-то университетский проект связан с почтовыми рассылками), то все обратимо. Если вы видите, что ваш аккаунт в Selectel забанен (в личном кабинете будет указана причина блокировки), просто напишите в техподдержку. Мы посмотрим, что повлияло на снижение рейтинга и как вам избежать этого в дальнейшем. Это не пожизненный бан.

Как настроить экспорт логов из Yandex Object Storage и наглядно их анализировать при помощи интерактивных графиков в Yandex DataLens.

Логи
Для начала нам нужно включить экспорт логов Object Storage. Для этого нужно сделать запрос в API сервиса, потому что в UI пока этой опции нет. Запрос можно сделать любым способом, но удобнее всего для этого использовать утилиту aws-cli.

Если у вас не настроена эта утилита, то инструкцию по настройке можно найти в документации.
Чтобы включить логирование запросов для бакета, нужно выполнить следующую команду:
aws s3api put-bucket-logging \ --endpoint-url=https://storage.yandexcloud.net\ --bucket $BUCKET \ --bucket-logging-status file://log-config.json
где вместо $BUCKET вам нужно подставить имя вашего бакета, а файл log-config.json должен содержать следующее:
{ "LoggingEnabled": { "TargetBucket": "$LOGS_BUCKET", "TargetPrefix": "s3-logs/" } }
Соответственно, $LOGS_BUCKET нужно заменить на имя бакета, куда будут складываться логи.

ClickHouse
Вторым этапом будет создание кластера Managed Service for ClickHouse. Он будет выступать источником данных для DataLens.

Для наших целей нам подойдет самый маленький кластер burstable-типа. Создание кластера может занять значительное время.


Когда кластер будет создан, необходимо поправить настройки пользователя. Выставить для поля Date time input format значение best_effort.

В ClickHouse реализованы разные движки таблиц. В нашем случае нам пригодится S3.
CREATE TABLE db1.s3logs ( bucket String, -- Имя бакета. bytes_received Int64, -- Размер запроса в байтах. bytes_send Int64, -- Размер ответа в байтах. handler String, -- Метод запроса в формате REST.<HTTP-метод>.<субъект>. http_referer String, -- URL-адрес источника запроса. ip String, -- IP-адрес пользователя. method String, -- Метод HTTP-запроса. object_key String, -- Ключ объекта, закодированный методом URL-кодировки. protocol String, -- Версия протокола передачи данных. range String, -- HTTP-заголовок, который определяет диапазон байт для загрузки из объекта. requester String, -- Идентификатор пользователя. request_args String, -- Аргументы URL-запроса. request_id String, -- Идентификатор запроса. request_path String, -- Полный путь запроса. request_time Int64, -- Время обработки запроса, в миллисекундах. scheme String, -- Тип протокола передачи данных. -- Возможные значения: -- * http — протокол прикладного уровня передачи данных. -- * https — протокол прикладного уровня передачи данных с поддержкой шифрования. ssl_protocol String, -- Протокол обеспечения безопасности. status Int64, -- HTTP-код ответа. storage_class String, -- Класс хранилища объекта. timestamp DateTime, -- Дата и время операции с бакетом, в формате ГГГГ-ММ-ДДTЧЧ:ММ:ССZ. user_agent String, -- Клиентское приложение (User Agent), которое выполнило запрос. version_id String, -- Версия объекта. vhost String -- Виртуальный хост запроса. -- Возможные значения: -- * storage.yandexcloud.net. -- * <имя бакета>.storage.yandexcloud.net. -- * website.yandexcloud.net. -- * <имя бакета>.website.yandexcloud.net. ) ENGINE = S3( 'https://storage.yandexcloud.net/<BUCKET_NAME>/<PREFIX>/*', '<ACCESS_KEY>', '<SECRET_KEY>', 'JSONEachRow' );
<ACCESS_KEY> и <SECRET_KEY> следует заменить на значения статического ключа доступа в Object Storage. Инструкция по созданию ключа доступа в документации.
<BUCKET_NAME> и нужно заменить на значения, которые указывали в log-config.json, ведь именно туда будут складываться ваши логи и именно оттуда их и будем вычитывать в ClickHouse.
Теперь можно убедиться, что все работает, перейдя в базу db1 и открыв просмотр таблицы s3logs.


DataLens
Подключение
После того как кластер ClickHouse будет создан, можно перейти на вкладку DataLens и сразу создать подключение.



Датасет
Во всплывающем окне после сохранения подключения есть кнопка, позволяющая сразу перейти к созданию датасета на основе этого подключения. Нажмем её.

Перетащим из списка доступных таблиц в основную рабочую область только что созданную таблицу. Если все ок, то внизу в области предпросмотра увидим, что DataLens смог получить данные.

Теперь можно сохранить датасет. И приступить к созданию чартов на основе этого датасета.

Пример диаграммы количества запросов по методу. Так как это тестовый бакет, GET-запросов оказалось даже меньше, чем PUT.

В датасет можно добавить вычисляемые поля. Например, добавим file_type. Рассчитывать это значение будем по формуле SPLIT([object_key], ‘.’, -1).

Далее мы можем использовать это значение наравне с другими в построении чартов.


Дашборд
Все получившиеся чарты вы можете сгруппировать на дашборд.

Например, такой демо-дашборд для тестового бакета.

Приглашаем вас на онлайн-практикум по продуктовой аналитике. Совместно с командой Яндекс.Метрики.
Старт 18 мая в 12:00 (МСК).
На практикуме разберём базовые практические задачи: как строить воронки конверсий, делать когортный анализ и считать Retention пользовательской базы.
В конце вы получите понятную пошаговую инструкцию по настройке аналитики в облаке.
Практикум будет полезен всем, кто запускает веб-сервисы и анализирует их эффективность, а также разработчикам, data-инженерам, product-менеджерам и владельцам продуктов.

С какими инструментами будем работать
Yandex DataLens— сервис для анализа и визуализации данных.Yandex Managed Service for ClickHouse — управляемая база данных.Yandex DataSphere — сервис для анализа данных, разработки и запуска моделей машинного обучения.
cloud.yandex.ru/events/356

Хаб Serverless на Хабре
Совместно с редакцией Хабра запустили хаб Serverless. На этой открытой площадке вместе с другими участниками рынка мы постараемся консолидировать все материалы необходимые разработчикам для понимания идей бессерверных технологий. Со своей стороны планируем регулярно публиковать переводы, интервью, статьи и туториалы, чтобы строить знание о нашей Serverless Ecosystem.
Присоединяйтесь к комьюнити разработчиков, которым близки идеи Serverless!
habr.com/ru/hub/serverless/

Новый сервис Yandex Cloud DNS
Новый сервис Yandex Cloud DNS вышел в стадии Preview. С Cloud DNS вы можете управлять ресурсными записями и доменными именами из облака и настраивать внутренние и публичные DNS-зоны в консоли, API, CLI и Terraform. Сервис упростит делегирование доменов и позволит создавать разные окружения внутри вашего проекта без вложений в собственные DNS-сервера.
cloud.yandex.ru/services/dns

Решение Cloud Advisor для аудита облачной инфраструктуры
Cloud Advisor — партнерское решение для аудита и оптимизации облачной инфраструктуры, расположенной в Yandex.Cloud. С его помощью можно проверить, защищено ли ваше облако от актуальных угроз, соответствует ли оно практикам использования облачных сервисов и рекомендациям провайдера.
cloud.yandex.ru/blog/posts/2021/03/cloud-advisor-review

Плагин для гибридной работы с Citrix Virtual Apps and Desktops
Команда Yandex.Cloud в партнерстве с Citrix разработала плагин для гибридной работы с Citrix Virtual Apps and Desktops. С его помощью VDI Citrix интегрируется с облачной платформой и позволяет развернуть гибридное решение, предоставив больше мощности для локальной инфраструктуры виртуальных рабочих столов и приложений, или запустить CVAD с нуля в облаке Yandex.Cloud.
cloud.yandex.ru/blog/posts/2021/03/citrix-plugin

Schlumberger и Yandex.Cloud заключили соглашение о партнерстве
Schlumberger и Yandex.Cloud заключили соглашение, в рамках которого платформа искусственного интеллекта и цифровых инструментов DELFI будет размещена в Yandex.Cloud. Теперь российские энергетические компании смогут воспользоваться новыми цифровыми сервисами и технологиями в области искусственного интеллекта и больших данных для повышения эффективности бизнеса.
cloud.yandex.ru/blog/posts/2021/03/schlumberger-partnership

Мониторинг в мобильном приложении
Мы добавили мониторинг в мобильное приложение Yandex.Cloud — теперь вы можете контролировать статусы всех своих сервисов, узнавать об их доступности и контролировать появляющиеся ошибки. Если вы ещё не пользуетесь — сейчас самое время начать!
cloud.yandex.ru/mobile-app

Сравнение стоимости управляемых баз данных с on‑premise и самостоятельной установкой в облаке
Рассказали, как управляемые базы данных помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. Сделали расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной в облаке и управляемой базой данных.
cloud.yandex.ru/blog/posts/2021/03/mdb-advantages

Новости сервисов
Yandex Managed Service for Kubernetes
Теперь вы можете рассчитать стоимость кластера Kubernetes меньше, чем за минуту. Воспользуйтесь калькулятором в разделе Тарифы или на странице сервиса.
cloud.yandex.ru/services/managed-kubernetes

Monitoring
С помощью агентa для поставки метрик в мониторинг Yandex Unified Agent вы можете собирать и отправлять в Monitoring:
системные метрики (CPU, RAM, сеть, диски) для Linux-совместимых ОС;метрики с собственных клиентских приложений;метрики сторонних приложений.
Агент поддерживает сбор метрик в формате Prometheus.

Новые образы в Marketplace
PostgreSQL Pro 12.6.1HashiCorp Vault с поддержкой Yandex KMSДашборд DataLens «Социальная реклама в Яндексе»
Публикации в СМИ
Яндекс поможет отрядам «ЛизаАлерт» искать пропавших людей по снимкам с дронов
Поисковый отряд будет загружать фотографии с дронов в облачный сервис Yandex.Cloud, оттуда снимки попадут в сервис Яндекс.Толока, где исполнители просмотрят все кадры и отметят те, на которых виден человек. Читать в источнике → tass.ru/obschestvo/10944095

Как стартап ProctorEdu следит, чтобы студенты и менеджеры России, Индии и Израиля не списывали
ProctorEdu вырос из небольшого проекта для НИУ ВШЭ. ВУЗу нужна была система для распознавания нечестного поведения студентов на экзаменах. Потом были инвестиции, 5 крупных акселераторов и несколько стран с пилотами. Подробно рассказываем о прокторинге и деятельности еще одного участника программы Yandex Cloud Boost. Читать на VC → vc.ru/services/221710-kak-startap-proctoredu-sledit-chtoby-studenty-i-menedzhery-rossii-indii-i-izrailya-ne-spisyvali

Нейронная мимикрия: насколько хорошо ИИ предсказывает музыку
Завершить «Реквием» за Моцарта или продлить саундтрек к Gravity Falls в 5 раз нейросетью… Да, возможно, но сможет ли ИИ справиться с этим хорошо или даже лучше живого музыканта? Команда AI Community при поддержке Yandex.Cloud провела конкурс среди дата-сайентистов и получила несколько инсайтов. Читать на VC → vc.ru/ml/219573-neyronnaya-mimikriya-naskolko-horosho-ii-predskazyvaet-muzyku

Виртуальные компьютерные классы и единая среда для программирования
Факультет компьютерных наук НИУ ВШЭ использовал сервисы платформы Yandex.Cloud для запуска учебных курсов. Например, с помощью Yandex DataSphere удалось создать единую среду для обучения и сократить издержки за счет бесшовного переключения конфигураций в зависимости от сложности вычислений. Читать в источнике → cs.hse.ru/news/450921539.html

Истории успеха
Как HiPer IT повысила эффективность работы систем эксплуатации
HiPer IT — разработчик решений для повышения эффективности эксплуатации инженерных систем на основе собственной IIoT-платформы HiPerWare и оборудования для сбора больших данных. Система собирает миллионы значений тысяч переменных о работе инженерных систем объектов недвижимости, анализирует их и формирует рекомендации по оптимизации работы. С помощью Yandex.Cloud компания смогла увеличить эффективность работы систем и масштабироваться.
cloud.yandex.ru/cases/hiper-it

НефтеТрансСервис: IoT-решения Yandex.Cloud для промышленного бизнес-анализа
Транспортная группа НефтеТрансСервис обратилась к компании GlowByte для проведения исследовательского проекта. С помощью сервиса Yandex DataLens они смогли обнаружить нарушения в производственном процессе, нашли резерв производственных мощностей и выявили много коротких, но частых простоев станков. Это помогло проверить изначальные гипотезы клиента и убедиться, что цифровая бизнес-аналитика может применяться в самых разных задачах.
cloud.yandex.ru/cases/ntstrans

Развернуть инфраструктуру для робота-помощника за один день
Центр цифровой трансформации Республики Татарстан полностью отвечает за автоматизацию и цифровизацию электронных сервисов Татарстана, а также занимается разработкой новых продуктов, направленных на улучшение качества жизни жителей республики. В Yandex.Cloud им удалось за один день развернуть рабочую инфраструктуру для робота-помощника Лилии, правильно спроектировать платформу на уровне архитектуры ИС и провести поверхностный аудит решения.
cloud.yandex.ru/cases/digital-tatarstan

Как сервис Anywayanyday расширил аналитику и сократил затраты с инструментами Yandex.Cloud
Платформа BI на основе Yandex Managed Service for ClickHouse и DataLens сделала мониторинг и анализ показателей бизнеса доступным для всех сотрудников. Существенно ускорились принятие решений и реакция на отклонения показателей. ИТ-отдел сократил трудозатраты на поддержку системы отчетности на 20%.
cloud.yandex.ru/cases/anywayanyday

Мероприятия
about: cloud — всё о Платформе данных
На вебинаре мы рассказали о новых сервисах платформы данных: Managed Service for Apache Kafka, Data Transfer и Managed Service for Elasticsearch. И, конечно, о новых возможностях в сервисе Managed SQL Server: восстановление на произвольную точку времени (PITR), Scaling и мониторинг: и о важных обновлениях DataLens, бесплатном тарифе для пользователей управляемых баз данных, а также о других возможностях платформы.
cloud.yandex.ru/events/342

Напишите навык для Алисы на Serverless
Научили создавать новые навыки Алисы с помощью Serverless. Писали на Go и использовали сервисы Yandex Cloud Function, Yandex DataBase, Yandex API-gateway и Object Storage. В итоге получился новый навык под названием To-Do List. С помощью голосового управления он создаёт и редактирует списки задач. Пример можно легко адаптировать к своему любимому языку программирования.
cloud.yandex.ru/events/340

Работайте над проектами, как в Яндексе
Рассказали, какие возможности есть у сервиса для организации работы Yandex Tracker, чем она может быть полезна для компаний из различных отраслей, как с помощью Tracker можно автоматизировать рутинные процессы и что меняется в продукте с переходом в Yandex.Cloud.
cloud.yandex.ru/events/339

Заоблачные продажи — ищем первого клиента
Вебинар для новичков облачного бизнеса. Разобрали основные инструменты поиска клиентов, которые есть в Yandex.Cloud, и рассказали, как лучше начать поиск и на что важно обратить внимание на первых порах.
cloud.yandex.ru/events/338

Настройки ролевых моделей и политик для Managed Service for Kubernetes
На этом вебинаре мы разобрали инфраструктуру приложения, в которой есть продуктивный и непродуктивный контуры, и настроили:
RBAC в сервисе Managed Service for Kubernetes, используя интеграцию с IAM;политики работы с ресурсами Kubernetes и Docker-образами.

Спойлер: задачу помогли решить неочевидная метрика пользовательского ожидания и интерактивный график



Комфортное взаимодействие с облаком напрямую зависит от скорости работы облачных сервисов. Один из ключевых сервисов Yandex.Cloud — консоль, через которую пользователи решают задачи.

Скорость работы консоли влияет не только на наши бизнес-процессы, но и на бизнес-процессы заказчиков. Количество сервисов также важно для бизнеса. Поэтому Yandex.Cloud растет супербыстро: в 2020 году появились восемь новых сервисов. В какой-то момент платформа развивалась так интенсивно, что каждый месяц мы выпускали по сервису.

Скорость развития отразилась на скорости работы консоли. Она замедлилась, и мы стали получать негативный фидбек от пользователей. Надо было принимать меры. Начали с аналитики: собрали данные, запланировали задачи на улучшение. Это принесло результаты: за несколько месяцев консоль стала работать в два раза быстрее. Рассказываем в деталях, как мы этого достигли.

Свежий взгляд на аналитику
Для начала мы придумали построить график скорости всех страниц консоли. Задача усложнялась тем, что в консоли больше сотни страниц. У каждой страницы свои критерии загрузки, поэтому иногда приходилось делать разметку вручную.


Нам было важно знать, где пользователи проводят больше всего времени и какие страницы надо ускорить первыми. Эти данные взяли за основу и стали строить систему визуальной аналитики.

Хотелось всегда держать перед глазами удобный график скорости работы консоли, видеть всю консольную аналитику и максимально быстро определять источник торможения.

В основу графика легли две метрики:
Время первого открытия консоли — Time To Interactive (TTI). В этом режиме, который условно назвали холодным, мы учитываем полную загрузку консоли со стилями и скриптами.Время перехода между страницами. В этом режиме учета — горячем — статика уже загружена. Учитывается только время ответа API и рендеринг.Еще на старте мы собирали статистику обо всех API-запросах в Managed Service for ClickHouse. Сервис помогает разворачивать и поддерживать кластеры серверов столбцовой системы управлениями базами данных ClickHouse в инфраструктуре Yandex.Cloud. Для детализации мы добавили к данным запросов API информацию о странице, с которой происходят вызовы. Так мы стали вычислять, какие запросы пользователь ждет дольше всего на самых частотных страницах.

Разработчик Евгений Сорокин: «Сперва ввод метрики пользовательского ожидания был неочевидным. Казалось, что нужно концентрироваться на самых частотных запросах. Но практика показывала, что дело не в них: вызовов в Object Storage могло быть до 1к в секунду, но при этом сервис работал супербыстро».

Благодаря данным и метрикам мы локализовали проблемы в бэкенде и на фронтенде, сформировали список доработок на каждой стороне и отдали его ответственным командам.

Параллельный фикс
Что влияет на скорость работы консоли? Она складывается из множества параметров: размера статики, рендеринга компонентов. Наиболее чувствительна для пользователя скорость работы API.

Мы учли эти факторы, и в наших руках появился инструмент диагностики, который позволил быстро выявлять источник торможения. Проблемы скорости работы консоли стали устранять параллельно с клиентской и серверной сторон.

Что сделали на фронтенде
Сократили объемы поставляемой в браузер статики. Оптимизировали размер статики для первой загрузки и стали загружать пользователю только то, что ему нужно в данный момент.Избавились от большей части запросов, блокирующих интерфейс. То, без чего нельзя обойтись, стали загружать параллельно, где это возможно.
Что сделали на бэкенде
Оптимизировали логику запросов для открытия консоли.Ускорили критичные для открытия консоли методы API.Вынесли часть запросов с сервера на клиент, чтобы не блокировать первое открытие консоли.
Как устроен график: расследует и показывает
Данные графика коррелируют с синтетическими тестами, сделанными до и после оптимизации.



Самая крутая фича графика, кроме измерения скорости работы консоли — отслеживание источника торможения. Мы следим за деградацией сервиса в реальном времени и быстрее выявляем и устраняем проблемы.

График скорости работы консоли видят все, это улучшает скорость и качество взаимодействия между командами разработки облачного сервиса. Панель графика интерактивна и позволяет проваливаться в низкоуровневые метрики. Можно посмотреть динамику скорости конкретных страниц.

Если мы заметили замедление работы страницы или сервиса, то можем проанализировать, какие методы API на это повлияли.

Распределение скорости запросов в API по времени:

стало


Роль пользователей
График строится на основе пользовательских метрик, которые мы собираем. Он отражает реальную скорость работы сервиса у конечных потребителей.

Мы открыты для обратной связи. Пишите нам не только о проблемах: предлагайте, как улучшить, ускорить и сделать еще удобнее интерфейс, с которым вы работаете.

Сообщить об ошибке в работе консоли → console.cloud.yandex.ru/support/create-ticket
Предложить идею → cloud.yandex.ru/features

Мы покажем, как они помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. В конце статьи приведем расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной (ВМ) в облаке и управляемой базой данных (БД).

Установка и первоначальная настройка
Жизненный цикл любой БД начинается с установки. Но перед этим необходимо подготовить инфраструктуру: оборудование, операционную систему (ОС), сеть, политики безопасности, пользователей и т. д. С одной стороны, это разовое действие, с другой, если через месяц для нового проекта понадобится БД — все придется делать заново.

Управляемая БД разворачивается по нажатию нескольких кнопок: нужно выбрать тип, задать параметры ВМ (CPU, RAM и др.) и подождать несколько минут. Шаги для развёртывания баз данных при самостоятельной установке или с управляемой БД:


Поддержка специалистами
После установки сразу начинается этап поддержки. Нужно непрерывно следить за оборудованием, ОС и самой БД. Оборудование нуждается в бесперебойном питании, мониторинге и периодической замене. Необходимо регулярно устанавливать обновления ОС и БД, чтобы исправлять ошибки и закрывать уязвимости. Поддержка продолжается постоянно, на нее уходит время.

Отдельно стоит упомянуть мажорные обновления ОС и системы управления базами данных (СУБД). Время от времени нужно переходить на новые версии, но компании обычно откладывают миграцию на последний момент или вовсе продолжают работать с неподдерживаемыми версиями. Потому что самостоятельное обновление и миграция — это долго и сложно: нужно учесть много нюансов, провести тестирование и решить возникающие проблемы.

В небольших компаниях, как правило, за БД следят администраторы общей специализации. Но они обслуживают и другие элементы инфраструктуры, а с БД работают не каждый день, поэтому профильных компетенций может быть недостаточно. Как следствие — администраторы не всегда выбирают оптимальные настройки и устраняют проблемы намного дольше профессионалов.

В крупных компаниях есть администраторы, которые занимаются только БД. Это опытные специалисты, и у них достаточно знаний и умений, чтобы решать проблемы в сроки, определенные в SLA.

Примечание
Команда Yandex.Cloud не просто администрирует БД, мы также получаем опыт из разработки. Системные администраторы и разработчики совместно улучшают БД: решают инциденты и совершенствуют сам сервис.
Мы разработали ClickHouse — высокопроизводительную аналитическую БД, которая обрабатывает миллиарды строк в секунду. Мы создавали ее для внутренних задач, а сейчас ею пользуются более 2000 компаний по всему миру: в e-commerce, мобильной и игровой разработке, рекламе и аналитике.Мы участвуем в разработке других открытых проектов. Например, мы создали пулер соединений Odyssey для PostgreSQL, участвуем в развитии системы бекапирования WAL-G и других расширений для PostgreSQL.Мы используем управляемые БД внутри собственных продуктов: Почты, Такси, Диска, Драйва и др. Поэтому мы понимаем на деле, какие проблемы возникают у пользователей управляемых БД, и стараемся сами их решать.
В управляемом сервисе поддержкой занимается облачный провайдер, а клиенту нужно только управлять пользователями. Мы сами следим за оборудованием, ОС и БД; устанавливаем обновления, сопровождаем системы мониторинга, резервное копирование и сетевые настройки. За базами следят профильные специалисты, которые работают с ними каждый день. Они понимают, как устроены БД, следят за развитием технологий и последними новостями. Поэтому их решения — оптимальные и соответствуют лучшим практикам. Профильные специалисты знают, как лучше настроить БД, как реализовать ту или иную функцию, и помогут советом, если вы столкнетесь с нестандартной ситуацией.

В управляемой БД намного легче мигрировать на новые, мажорные версии. Для этого достаточно по клику создать копию хоста БД с новой версией, проверить, что все работает как надо, и просто перевести нагрузку на новый хост.

Ниже перечислены задачи обслуживания БД при самостоятельном администрировании и при использовании сервиса по управлению базой данных.


Отказоустойчивость и масштабируемость
Отказоустойчивость СУБД достигается за счет создания кластера: если из строя выйдет один из хостов, остальные продолжат работу. В идеале хосты следует расположить в разных ЦОДах (зонах доступности), обезопасить свой проект от сбоев целого дата-центра.

Такую отказоустойчивую систему можно создать и собственными силами, но для этого потребуется много ресурсов и навыки экспертов. Это непростая задача: нужно наладить связь между хостами, настроить репликацию данных и автоматический перенос нагрузки с одного узла на другой. Размещение хостов в разных дата-центрах требует дополнительных усилий: нужно разбираться, где физически находятся серверы, и арендовать их в разных зонах доступности.

Схема построения отказоустойчивого кластера:


Управляемые БД — это отказоустойчивость и легкое изменение топологии из коробки. Все наши БД кластерные, и для любой можно создать реплики в трех зонах доступности. Это повышает отказоустойчивость и позволяет легко масштабировать кластер. Например, вы разворачиваете стенд для нового проекта, который еще разрабатывается. Поначалу проекту не нужны реплики, так как к нему не предъявляются требования продуктивных систем. Но когда проект готов к запуску в production, вы можете из этой БД сразу же сделать боевую отказоустойчивую систему. Добавляете реплики к установке и получаете отказоустойчивую БД без переноса данных и миграции.

Резервное копирование и восстановление на любой момент
Резервное копирование позволяет восстановить данные в случае сбоя. Но чтобы оно правильно работало, нужно выбрать тип (когда лучше сделать полную копию, а когда инкремент), определиться с расписанием, найти место для хранения и организовать процесс так, чтобы копию можно было восстановить за несколько минут.

В управляемой БД все задачи, кроме расписания, решает облачный провайдер. Восстановить копию можно самостоятельно несколькими кликами мыши — не придется писать в поддержку и ждать ответа.

Кроме привычных всем бекапов, в некоторых СУБД есть механизм point-in-time recovery (PITR). Эта полезная функция позволяет восстановить данные на любой момент, а не только на момент создания копии. Например, бекап создается ночью в 00:00. Утром БД начинает наполняться данными, а в обед junior-разработчик случайно удаляет одну из таблиц. Если восстановить предыдущую копию — то потеряются утренние данные. Механизм PITR позволяет указать точное время, на которое нужно восстановить данные: он сам восстановит последнюю копию и применит все транзакции, которые прошли после ее создания.


PITR будет работать и при локальной установке БД. Но вам придется сначала настроить этот механизм, а потом просить системного администратора восстанавливать данные. В управляемой БД PITR уже настроен, а воспользоваться им можно без помощи администратора.

Полностью управляемый сервис, а не ВМ с шаблоном
Мы предоставляем полностью управляемые БД: вы получаете доступ к БД как пользователь, а мы следим, чтобы она работала как часы. Вы создаете схемы и таблицы, обращаетесь к данным, анализируете производительность запросов. Но у вас нет root-доступа, вы не можете менять системные настройки и управлять ВМ, на которой запущена СУБД.

Кажется, что вы получаете меньше гибкости, ведь вы не можете управлять всеми настройками. Но чаще всего клиентам нужна готовая и стабильная БД, а не конструктор, который легко сломать. Именно благодаря таким ограничениям мы гарантируем стабильную работу СУБД.

Есть и другой вариант: пользователи получают полный доступ к СУБД и ВМ, на которой она работает. Это нельзя назвать полностью управляемым сервисом, это скорее ВМ с готовым шаблоном для быстрого развертывания БД. Такой вариант упрощает установку и настройку. Но раз вы имеете доступ ко всем внутренним настройкам и функциям — провайдеру сложнее гарантировать стабильную работу. Если из-за вмешательства система сломается, провайдер не отвечает за это и разбираться придется самостоятельно.

В Yandex.Cloud вы получаете на 100% управляемый сервис. А еще мы единственный облачный провайдер в России, у которого есть Terraform для управляемых БД. Через него можно делать все то же самое, что через консоль управления, API и CLI.

Готовые метрики и простая визуализация данных
В сервисе мониторинга Yandex Monitoring для каждой управляемой БД есть более ста метрик, которые можно отслеживать. Мы настроили готовые дашборды, но ничего не мешает вам создавать свои варианты с нужными метриками.

Примеры графиков мониторинга — потребление ресурсов, количество запросов и другие:


Кроме самих метрик еще есть алерты — удобный способ узнать о приближении к критической отметке. Например, когда заканчивается место в БД или появляются запросы с ошибками.

Мы постарались создать удобный инструмент для мониторинга, но вы можете выгрузить данные метрик во внешнюю систему и анализировать их там. Подключите Prometheus или любой другой инструмент для анализа с помощью встроенного API.

Доступность выше, чем у ВМ
Еще одна особенность управляемых БД — соглашение об уровне сервиса (SLA). Мы гарантируем, что БД будет доступна определенное количество времени. Если мы не выполним обещание, то компенсируем вам стоимость сервиса.


Чтобы добиться такой доступности своими силами, нужно потратить много времени и сил. И если не получится и БД все-таки будет долго простаивать — вам это никто не компенсирует.

При аренде БД на ВМ провайдер также гарантирует доступность по SLA. Но, как правило, SLA для ВМ ниже, чем для управляемой БД. Например, наше SLA для ВМ — 99,95%. Когда ВМ простаивает, это означает, что БД недоступна на чтение и на запись. А в управляемой БД эти операции разделены, и если БД недоступна на запись, то вполне вероятно, что она доступна хотя бы на чтение благодаря репликам.

Управляемая БД экономит время и деньги, а также помогает решать задачи бизнеса
Все, что есть в управляемых БД, можно сделать самостоятельно: установить и настроить, поддерживать и обновлять, настроить резервное копирование и отказоустойчивость. Но чтобы делать это самим, придется тратить много времени, сил и денег. Мы покажем, сколько времени уходит на непрофильные задачи.

Компания MongoDB, наш партнер, описала все действия, на которые расходуется время в различных моделях развертывания БД: на своем оборудовании, на облачной ВМ и полностью управляемой БД. На схеме видно, что в управляемых БД практически все время уходит на разработку и инновации, т. е. на решение конкретных задач бизнеса, а не на настройку и обслуживание БД.


Управляемые БД снимают с вас многие задачи обслуживания и управления инфраструктурой. Появляется больше времени на решение ваших бизнес-задач, а не задач технического плана.

Сосредоточиться на задачах бизнеса также помогает интеграция с другими сервисами, например с сервисом визуализации данных Yandex DataLens. Это инструмент для визуализации данных: таблиц, графиков и карт. С его помощью можно быстро проверить гипотезу или собрать полноценный дашборд с показателями компании. DataLens бесплатен для пользователей управляемых БД.

Сколько это стоит
Мы посчитали стоимость владения и управления тремя видами ресурсов: on-premise, ВМ на базе Yandex Compute Cloud и сервисом по управлению базами данных. Мы выбрали эквивалентное по мощности оборудование и сравнили, сколько это стоит в каждом из вариантов.

Расчеты приведем на горизонте трех лет, т. е. амортизацию оборудования в on-premise-решении посчитаем за три года.

Это упрощенный расчет: мы не учли несколько моментов. Например, что в on-premise решении оборудование можно продать после использования, а отсутствие капитальных затрат в управляемой БД можно инвестировать в другие направления бизнеса. Более подробный расчет мы сделаем в отдельной статье.

Сравнение стоимости управления и владения различными вариантами работы с БД:


On-premise требует больше всего времени, денег и усилий, потому что вам придется:
Заниматься оборудованием: покупать его, следить за ним, поддерживать бесперебойную работу и периодически менять, когда оно устареет или сломается. Если проект развивается, то со временем мощности станет недостаточно и потребуется новое оборудование. Если же сразу взять мощность с запасом — оборудование будет простаивать.Пример: сервер HP с 12 ядрами стоимостью ≈ 800 000 ₽. С учетом амортизации за три года получается ≈ 22 000 ₽ в месяц.Согласно исследованию некоммерческой организации NRDC, утилизация on-premise оборудования от трех до четырех раз ниже, чем облачного. С учетом данной поправки стоимость владения оборудованием составит как минимум ≈ 22 000 × 3 = ≈ 66 000 ₽ в месяц.Искать сотрудников, платить зарплату и социальные взносы. При этом потребуется как минимум два специалиста, чтобы они могли подменять друг друга во время отпуска и болезни. Скорее всего, кроме БД, эти сотрудники будут заниматься и другими задачами, поэтому для примера примем, что на администрирование БД они тратят только 50% времени.Зарплата специалиста — ≈ 100 000 ₽, социальные взносы — 30 000 ₽. Потребуется два специалиста, каждый из которых администрирует БД 50% времени. В итоге получаем ≈ 130 000 ₽ в месяц.Итого ≈ 196 000 ₽ в месяц.
ВМ на базе Compute Cloud стоит дешевле и требует меньше усилий
Не нужно заниматься оборудованием: за ним следим мы.Стоимость развертывания ВМ в Yandex.Cloud — ≈ 27 500 ₽ в месяц.Нужно искать сотрудников, платить зарплату и социальные взносы. При этом потребуется как минимум два специалиста, чтобы они могли подменять друг друга во время отпуска и болезни. Скорее всего, кроме БД, эти сотрудники будут заниматься и другими задачами, поэтому для примера примем, что на администрирование БД они тратят только 50% времени.Зарплата специалиста — ≈ 100 000 ₽, социальные взносы — 30 000 ₽. Потребуется два специалиста, каждый из которых администрирует БД 50% времени. В итоге получаем ≈ 130 000 ₽ в месяц.Итого ≈ 157 500 ₽ в месяц.Управляемая БД требует меньше всего усилий и денег, потому что вам не нужно:
Заниматься оборудованием.Искать сотрудников для администрирования БД. Ваши специалисты могут сосредоточиться на развитии продукта. Для вас неважно, сколько человек администрируют базу, когда они уходят в отпуск и кто кого подменяет: мы решаем эти вопросы сами.Пример: управляемая БД (24 vCPU, 96 RAM, 240 ГБ SSD) стоит ≈ 42 000 ₽ в месяц.

Итог: экономия от управляемыми БД по сравнению с on-premise может доходить 80%, а по сравнению с ВМ на базе Compute Cloud до 70% (в основном за счет персонала).

Краткий вывод
В статье мы рассмотрели преимущества управляемых БД перед самостоятельным развертыванием в on-premise и в ВМ.
Сервис по управлению базами данных на платформе Yandex.Cloud позволяет:
Упростить установку, настройку и сопровождение системы;Подключить дополнительные инструменты, например систему мониторинга или визуализации данных;Экономить по сравнению с решениями on-premise и на базе ВМ, в основном за счет персонала и оборудования;Быстрее тестировать гипотезы и разрабатывать новые продукты, подключая необходимые ресурсы по клику и снижая время на time-to-market (запуск новых продуктов на рынок).

Работа в облаке для любой компании — это поиск баланса между желанием воспользоваться преимуществами облачных технологий и сохранением контроля над собственными данными. Есть ли смысл управлять инфраструктурой после миграции? Как это делать? За что отвечает облачный провайдер, а за что — клиент? Какие концептуальные особенности, с точки зрения клиента, облачные технологии добавляют в обеспечение информационной безопасности? В этой и следующей статье мы ответим на вопросы и расскажем о модели разделяемой ответственности и разделяемой информационной безопасности.

Обеспечение безопасности при использовании платформы публичного облака
Компании, которые совершили миграцию в облако, часто считают, что за безопасность целиком и полностью отвечает облачный провайдер. Конечно, по своему замыслу он обязан обеспечивать безопасность физической инфраструктуры и сетевых элементов, но и клиенты должны понимать свою роль в защите данных и приложений. Хорошей иллюстрацией этой проблемы является политика паролей: какие бы меры безопасности ни принимал облачный провайдер, все они бесполезны, если пользователи не применяют сложные пароли, двухфакторную аутентификацию и токены.

С точки зрения обеспечения информационной безопасности главное отличие работы в облаке от собственной инфраструктуре — это разделяемая ответственность. Конечно, и при наличии собственных дата-центров компания может разделить ответственность, просто передав часть процессов на аутсорсинг. Но при работе в облаке граница этого разделения зависит не от желания компании, а от тех сервисов, которые используются системой в облаке

Разделяемая ответственность
Ответственность провайдера и клиента различается в зависимости от модели использования облачных сервисов (IaaS — инфраструктура как услуга, PaaS — платформа как услуга, SaaS — программное обеспечение как услуга) и имеющихся у облачного провайдера защитных механизмов и политик: возможностей соблюдения законодательства, стратегии управления рисками, модели угроз и других факторов.


Модель разделяемой ответственности однозначно подразумевает, что физическая безопасность, безопасность сервисов и доступность всей инфраструктуры — это всегда ответственность специалистов облака, которую они не могут переложить на клиентов. С другой стороны, клиент должен контролировать права доступа к ресурсам, например к виртуальным машинам: управлять ими таким образом, чтобы не допустить несанкционированного доступа. Как в локальных, так и в облачных моделях компании сами несут ответственность за то, чтобы данные были маркированы и правильно классифицированы для выполнения любых обязательств по соответствию нормативным требованиям.

При использовании облачных сервисов по модели IaaS провайдер отвечает за физическую безопасность и отказоустойчивость самой платформы, защищает сеть, собирает и анализирует события безопасности гипервизоров и других компонентов инфраструктуры. Пользователи в этом случае должны отвечать за безопасность гостевых машин, а также осуществлять резервное копирование виртуальных машин, защищать виртуальную сеть, контролировать доступ к ресурсам и принимать меры по защите учетных записей пользователей облака.

При использовании управляемых сервисов (PaaS/SaaS) забот у конечного пользователя становится гораздо меньше, так как провайдер уже обеспечивает защиту компонент PaaS/SaaS-сервисов. Например, в случае Yandex Managed Service for ClickHouse провайдер защищает виртуальные машины сервиса, выполняет резервное копирование базы данных и шифрует пользовательские данные. В то же время клиент обязан классифицировать данные, обеспечить разграничение доступа к данным, настроить процессы для их защиты, а также отвечает за управление своими пользователями и конечными устройствами.

Безопасность на стороне Yandex.Cloud
С одной стороны, распределение ответственности удобно для клиентов. Им нужно меньше заботиться о безопасности, в сравнении с защитой системы при ее расположении на собственных мощностях. С другой стороны, данные и система все еще принадлежит конкретному клиенту, поэтому он не может безоглядно доверять провайдеру, просто полагаясь на его заверения. Точнее, все зависит от уровня экспертиз в части безопасности, которая есть (или нет) у конкретного клиента. Если такая экспертиза находится на зрелом уровне, то компания в состоянии оценить риски, уточнив особенности защиты на стороне провайдера и изучив определенные подтверждения рассказам провайдера (например сертификаты соответствия). Для удобства клиентов, Yandex.Cloud публикует определенную информацию о некоторых аспектах информационной безопасности платформы. Также мы всегда открыты для общения в режиме 1-1 для обсуждения деталей.

Яндекс обеспечивает безопасность облачной платформы на следующих уровнях:
Безопасность дата-центровБезопасность инфраструктурыЗащита на уровне данныхСоответствие стандартамБезопасность дата-центровЦОДы можно считать фундаментом облачной платформы. Все серверные ресурсы Yandex.Cloud располагаются в собственноручно спроектированных и построенных дата-центрах на территории России, которые связаны собственными каналами связи. Это позволяет команде обеспечивать соответствующий уровень безопасности, включая необходимые параметры надежности. Кстати, о надежности наших ЦОДов мы уже рассказали первой статье серии. Меры безопасности в дата-центрах соответствуют лучшим практикам и включают в себя процедуры контроля доступа, видеонаблюдение и регламенты замены оборудования, реализующие процедуры очистки носителей с данными клиентов.

Безопасность инфраструктуры
В основе безопасности инфраструктуры облачной платформы Yandex.Cloud — разделение и изоляция ресурсов. Критичные с точки зрения безопасности сервисы запускаются под управлением виртуальных машин на отдельной группе физических хостов, на которой не запускаются пользовательские виртуальные машины. Все административные виртуальные машины запускаются в физически или логически изолированных сетях, а корпоративная сеть провайдера отделена от сети облачной платформы.

Безопасность физических машин и сервисных виртуальных машин обеспечивается на нескольких уровнях: используется ряд межсетевых экранов, а также дополнительные средства защиты (AppArmor, Seccomp, Osquery 4 и система мониторинга и оповещения о подозрительном поведении).

Контроль доступа администраторов и разработчиков к продуктивной среде обеспечивается с помощью бастионного хоста, который записывает сессию пользователя. Информация из записанных сессий обрабатывается и попадает в SIEM-систему. Сотрудники службы информационной безопасности Yandex.Cloud регулярно анализируют эту информацию.

Защита данных. SDLC и defence in depth. Шифрование
Безопасность Yandex.Cloud организована таким образом, что одной угрозе противостоит набор средств защиты на разных уровнях. Такой подход удорожает любую потенциальную атаку и позволяет оперативно выявлять и предотвращать деятельность злоумышленников. Техническая команда платформы соблюдает процесс безопасной разработки (security development lifecycle, SDLC), выстраивая основу безопасности облачных сервисов с самых ранних этапов проекта. Дополняющая эти базовые принципы концепция эшелонированной обороны (defense in depth) обеспечивает многоступенчатую защиту, которая препятствует действиям злоумышленников и способствует раскрытию их деятельности еще при подготовке атаки.

Для шифрования разработаны несколько уровней:
Шифрование на уровне storage.Шифрование на уровне баз данных Yandex Database. Данные шифруются непосредственно перед отправкой в storage.Шифрование резервных копий данных в Managed Services for Databases (MDB). Все резервные копии, создаваемые MDB, шифруются перед отправкой в постоянное хранилище.Шифрование данных при передаче.Владельцем данных всегда является пользователь облачной платформы. Yandex.Cloud использует информацию клиента, размещенную на платформе, только для выполнения целей договора и уведомляет клиента об инцидентах, затрагивающих пользовательские данные.

Стандарты и законы
Как уже обозначалось выше, соответствие стандартам необходимо по двум причинам:
Это перепроверка самих себя и возможность подтвердить определенные тезисы в части безопасности клиентам.Предоставление возможности клиентам приведения в соответствии (например, с 152-ФЗ или PCI DSS) их систем, при размещении в облаке.В начале 2020 года Yandex.Cloud стала первой в России и СНГ публичной облачной платформой, выстроившей управление информационной безопасностью по стандарту ISO/IEC 27017:2015 и обеспечившей защиту персональных данных пользователей по международному стандарту ISO/IEC 27018:2019. Соответствие платформы требованиям международных нормативных документов подтверждено независимым аудитором — Британским институтом стандартов (BSI). Таким образом, наша платформа соответствует требованиям трех международных стандартов информационной безопасности: ISO/IEC 27001:2013, ISO/IEC 27017:2015, ISO/IEC 27018:2019.

В конце 2020 года Yandex.Cloud получила сертификат соответствия PCI DSS 3.2.1. PCI DSS содержит набор требований для защиты данных держателей карт. Так как требованиям стандарта соответствуют как ЦОДы, так и облачные сервисы, клиенты получили возможность размещать в облаке платежные шлюзы и другие системы, обрабатывающие данные платежных карт.

Ну и наконец, платформа прошла аудит по требованиям ФЗ-152 и теперь соответствует более высокому уровню защищенности персональных данных — УЗ-1, что позволяет клиентам хранить и обрабатывать в том числе специальные категории персональные данных, например медицинские данные.

И конечно, мы полностью соответствуем требованиям законодательства России и других стран, особенно если дело касается данных, доступ к которым должен быть ограничен.

Заключение
Мы рассказали про аспекты безопасности, за которые отвечает Yandex.Cloud. В следующей статье мы расскажем про возможности обеспечения безопасности, которые есть у клиентов.

Мы хотим поделиться с вами подробностями развития платформы Yandex.Cloud в 2020 году и рассказать о наших финансовых показателях, а также об особенностях спроса и потребления облачных сервисов нашей платформы.



В 2020 году выручка платформы Yandex.Cloud увеличилась в 4,5 раза и достигла 1 миллиарда рублей. Количество коммерческих клиентов Yandex.Cloud увеличилось в 2020 году по сравнению с 2019 годом в 1,4 раза и составило 9 700, а средний чек одного клиента увеличился за этот период в 3 раза.

Мы выделяем несколько главных причин такого роста. Во-первых, российские и международные компании стали более активно создавать и развивать собственные цифровые продукты. Во-вторых, многие отрасли, например ритейл и e-commerce, столкнулись с резким ростом нагрузки на онлайн-сервисы из-за пандемии, и компании искали в облаках возможность быстрого расширения ИТ-инфраструктуры, повышения производительности и отказоустойчивости.

Yandex.Cloud 2020: крупные клиенты увеличили объемы потребления
Крупными потребителями облачных сервисов Yandex.Cloud стали 270 клиентов. К ним относятся компании, занимающие лидирующие позиции в своих отраслях по капитализации, доле рынка и темпам роста. Это такие компании, как Леруа Мерлен, Ozon, М.Видео, ВТБ, SkyEng, Национальный исследовательский университет «Высшая школа экономики» и другие. Такие клиенты обрабатывают большие объемы данных, активно развивают корпоративные и отраслевые цифровые платформы для управления внутренними процессами бизнеса, запуска и поддержки новых приложений и сервисов.

В 2020 году количество крупных клиентов платформы Yandex.Cloud увеличилось более чем в 2 раза, а объем потребления ими сервисов Yandex.Cloud вырос почти в 5 раз. Доля крупных клиентов в общей выручке Yandex.Cloud составила 48%. Этот показатель вырос по сравнению с 2019 годом на 4 процентных пункта.

Стоит отметить, что доля компаний группы Яндекса в структуре выручки платформы Yandex.Cloud в 2020 году составила 4%. При расчете показателя учитывается только потребление Yandex.Cloud сервисами ГК Яндекс по общим рыночным условиям. Объем потребления ресурсов внутренней облачной платформы, локализованной под задачи компаний и отдельных сервисов ГК Яндекс, в структуре выручки Yandex.Cloud не учитывается.

Облака — не отдельные технологии, а платформа для роста бизнеса
Мы считаем, что в ближайшие несколько лет бизнес массово будет использовать облака как целостные платформы, на которых по запросу можно получить все необходимые сервисы для решения задач по развитию бизнеса.

На опыте Yandex.Cloud мы выделили 4 основных сценария потребления облачных сервисов компаниями:
перенос из собственной инфраструктуры на облачную корпоративных приложений и сервисов;развитие единой среды разработки, тестирования и запуска новых бизнес-приложений (цифровых продуктов);создание корпоративной платформы данных для хранения, обработки и анализа данных;применение сервисов на базе искусственного интеллекта и инструментов машинного обучения.
В свою очередь, сервисы платформы, которые наиболее активно участвуют в достижении этих сценариев, мы разделили на 4 основные группы и оценили, каким спросом они пользовались в 2020 году.

Группа № 1: «Базовая инфраструктура и сеть». Вклад в выручку Yandex.Cloud в 2020 году — 60%. В группу входят виртуальные машины, сетевые диски, инструменты управления виртуальными сетями. Это наиболее востребованная группа сервисов, на нее в 2020 году пришлось 60% выручки платформы Yandex.Cloud. Активные потребители сервисов этой группы — интернет-магазин Ozon.ru, DIY-ритейлер Leroy Merlin, разработчик мобильных игр Axlebolt.

Группа № 2: «Машинное обучение». Вклад в выручку Yandex.Cloud в 2020 году — 14%. В группу входят сервисы на базе уникальных технологий Яндекса в области машинного обучения и искусственного интеллекта. Сервисы машинного обучения активно используют такие компании, как Signal AI, Badoo, разработчик и интегратор голосовых сервисов АТС (разрабатывает сервисы для Альфа-Банка, Мегафона, ДИТ Москвы, Министерства здравоохранения МО). Наибольший рост — в 9 раз — показал сервис синтеза и распознавания речи Yandex SpeechKit. Это также подтверждает интерес партнеров, за 2020 год количество компаний, специализирующихся на разработке и внедрении голосовых сервисов выросло до 30. Сервис машинного перевода Yandex Translate принес 32% выручки направления, в том числе за счет спроса со стороны зарубежных клиентов, которых привлекает соотношение цены и качества перевода многих языковых пар, превосходящее такое соотношение в аналогичных сервисах.

Группа № 3 «Платформа данных». Вклад в выручку Yandex.Cloud — 12%. Экосистема облачных сервисов для полного цикла работы с данными. Самыми востребованными стали системы управления базами данных, предоставляемые на платформе как сервис. На первом месте по популярности — PostgreSQL, также в тройку входят ClickHouse и MySQL. Количество компаний-пользователей MDB в 2020 году достигло 1 350. Рост группы «Платформа данных» в 2020 году — в 8 раз. У нас хранят свои данные ВТБ, М.Видео и Декатлон.

Группа № 4 «Автоматизированное управление контейнерами». Вклад группы в выручку Yandex.Cloud — 7%. Основной сервис Managed Service for Kubernetes — для автоматизации развертывания, масштабирования и управления контейнеризированными приложениями. Коммерческими пользователями сервиса Managed Kubernetes в 2020 году стали 260 клиентов Yandex.Cloud. Общий рост группы в 2020 году — в 18 раз. Активные потребители сервисов группы: компания ПИК, «Альфа-Страхование», Инвестиционная группа «Севергрупп».

Еще 7% выручки Yandex.Cloud в 2020 году относятся к маркетплейсу и платной поддержке.

Что дальше: больше возможностей клиентам Yandex.Cloud в 2021 году
В 2021 году спрос компаний на облачные технологии будет увеличиваться. Мы планируем, что выручка от потребления сервисов нашей платформы вырастет в 2,6 раза. Мы прогнозируем увеличение спроса на облачные мощности, которыми крупные промышленные компании и государственные организации будут дополнять собственную инфраструктуру. Также в 2021 году мы планируем сделать акцент на развитии экосистемных сервисов: DataSphere, DataLens, бессерверных вычислениях.

Приоритетными остаются развитие безопасность и надежность платформы Yandex.Cloud, в том числе увеличение количества дополнительных сервисов от ведущих разработчиков в нашем маркетплейсе.

Компания LinkedIn в 2011 году разработала брокер сообщений Kafka. Сейчас Kafka — это отказоустойчивая распределенная стриминговая платформа с открытым исходным кодом, которая позволяет хранить, обрабатывать и доставлять огромные объемы данных в реальном времени.

Apache Kafka
Распределенные системы, как правило, состоят из множества сервисов: одни генерируют события (метрики, логи, события мониторинга, служебные события и т. д.), другие хотят эти данные получать. Kafka — гибрид распределенной базы данных и брокера сообщений с возможностью горизонтального масштабирования. Kafka собирает у приложений данные, хранит их в своем распределенном хранилище, группируя по топикам, и отдает компонентам приложения по подписке. При этом сообщения хранятся на различных узлах-брокерах, что обеспечивает высокую доступность и отказоустойчивость.

Топик — это способ группировки потоков сообщений в хранилище по категориям. Сервисы публикуют сообщения определенной категории в топик, а потребители подписываются на топик и читают из него сообщения. Для каждого топика Apache Kafka ведет лог сообщений, который может быть разбит на несколько разделов. Разделы — это последовательность сообщений топика в порядке поступления.

Сообщения сохраняются в так называемом журнале, долговременной упорядоченной структуре данных. Записи в журнал можно только добавлять, их нельзя ни изменять, ни удалять, а информация считывается слева направо, что гарантирует правильный порядок элементов.

Apache Kafka — это не СУБД в чистом виде, несмотря на то что она обеспечивает атомарность, согласованность, изолированность и долговечность хранимых данных, а также предоставляет возможность избирательного доступа к данным с помощью KSQL — SQL-движка на базе API Kafka Streams. Платформу используют как журнал фиксации и интеграционный центр для множества внешних СУБД и хранилищ.


Kafka vs RabbitMQ
Kafka часто сравнивают с другим популярным программным брокером сообщений и системой управления очередями — RabbitMQ. Обе системы используются для обмена информацией между приложениями, работают по схеме «издатель — подписчик» и обеспечивают репликацию сообщений. Однако они реализуют принципиально разные модели доставки сообщений: Kafka — pull (получатели сами достают из топика сообщения), а RabbitMQ — push (отправляет сообщения получателям).

Также RabbitMQ удаляет сообщение после доставки, а Kafka хранит его до запланированной очистки журнала. Таким образом, Apache Kafka сохраняет текущее и все прежние состояния системы и может использоваться как достоверный источник исторических данных. Это позволяет множеству потребителей читать одни и те же данные независимо, и такой паттерн удобен, например, в event-driven-системах.

У RabbitMQ очень гибкое управление очередями сообщений (маршрутизация, шаблоны доставки, мониторинг получения), но при большой нагрузке это приводит к снижению производительности. Поэтому для сбора и агрегации событий из множества источников, метрик и логов лучше использовать Apache Kafka, а RabbitMQ подходит для быстрого обмена сообщениями между несколькими сервисами.

Где применяется Kafka
Основное назначение Apache Kafka — это централизованный сбор, обработка, безопасное хранение и передача большого количества сообщений от отделенных друг от друга сервисов. Эта распределенная, горизонтально масштабируемая платформа обычно применяется там, где очень много больших неструктурированных данных:
Масштабные IoT/IIoT-системы, характеризующиеся архитектурой с множеством датчиков, сенсоров, контроллеров и других конечных устройств.Системы аналитики. Например, Kafka используется в компаниях IBM и DataSift в качестве коллектора для мониторинга событий и трекера потребления потоков данных пользователями в режиме реального времени.Финансовые системы. Используют финансовые организации: Сбербанк, Тинькофф, Альфа-Банк, ING Bank.Социальные сети. В Twitter Kafka — часть инфраструктуры потоковой обработки, а в LinkedIn используется для потоковой передачи данных о деятельности и операционных показателях приложений.Системы геопозиционирования. Foursquare — для передачи сообщений между онлайн- и офлайн-системами, а также для интеграции средств мониторинга в свою big data инфраструктуру на базе Hadoop.Телеком-операторы. ВымпелКом, МТС, Ростелеком и др.Онлайн-игры. Например, Demonware, подразделение Activision Blizzard — для обработки логов пользователей.Самый простой пример: с помощью Apache Kafka можно собирать логи сеансов от клиентов в потоковом режиме или логи с физических файлов журналов с серверов, а затем помещать их в одном месте, например в HDFS — файловой системе Apache Hadoop. Также Apache Kafka позволяет построить конвейер данных, чтобы с помощью алгоритмов машинного обучения извлекать из сырой информации сведения, ценные для бизнеса.

Managed Service for Apache Kafka
Создание, настройка и управление кластерами Apache Kafka — очень сложная задача, требующая внимания сертифицированных специалистов. В Yandex.Cloud брокер сообщений предоставляется как управляемый сервис, управление и обслуживание которого производится на стороне облачной платформы. Пользователь может создавать и настраивать кластеры для решения своих задач, а управление брокерами, обновление и оптимизация работы Apache Kafka происходит автоматически.

Возможности управляемого сервиса Managed Service for Apache Kafka в Yandex.Cloud:
Быстрое добавление брокеров в кластер.Распределение брокеров кластера между зонами доступности.Быстрое изменение ресурсов высокодоступной конфигурации без остановки работы и потери данных.Настройка политики очистки лога, типа сжатия и максимального количества сообщений для эффективного использования вычислительных, сетевых и дисковых ресурсов.Настройка репликации для обеспечения отказоустойчивости.Анализ метрики и состояния кластера.Автоматическая замена узлов кластера при отказе.Шифрование соединений при помощи протокола TLS. Механизм SASL контролирует доступ пользователей к топикам по спискам контроля доступа (ACL).Соответствие требованиям 152-ФЗ, индустриальным стандартам ISO и GDPR.
Managed Service for Apache Kafka вместе с другими управляемыми сервисами Yandex.Cloud позволяет создавать на облачной платформе витрины данных. Например, Yandex Managed Service for ClickHouse отлично справляется с обработкой запросов к большим объемам данных, Yandex Data Proc автоматически создаст и настроит кластеры Spark, Hadoop и другие компоненты, а Yandex DataLens позволит визуализировать эти данные и построить отчеты. С помощью Apache Kafka можно поставлять данные напрямую в ClickHouse без дополнительной разработки.

console.cloud.yandex.ru/link/managed-kafka/

Сервис визуализации и анализа данных DataLens становится ещё более удобным и доступным. Мы упростили тарифы, добавили поддержку SQL-запросов в датасетах и множество очень полезных функций, о которых просили пользователи. Подробнее в нашей статье.
cloud.yandex.ru/services/datalens

Простые тарифы
С 1 февраля внутренние сессии становятся бесплатными, а для внешних сессий исчезает повышающий коэффициент, при этом фактические лимиты на них остаются прежними. Теперь использовать DataLens в связке с управляемыми базами данных Yandex Cloud можно бесплатно и без ограничений по количеству пользователей и сессий. Подробности в документации.

Функции геокодирования — GEOCODE и GEOINFO.
cloud.yandex.ru/docs/datalens/function-ref/GEOCODE
cloud.yandex.ru/docs/datalens/function-ref/GEOINFO
Переход на новую тарификацию происходит с началом нового расчетного периода в течение февраля. Уточнить расчетный период для своего аккаунта DataLens можно в разделе Биллинг.
Пример:
15.12.2020 — Пользователь активировал DataLens.
15.01.2021 — Начнется новый расчетный период и продлится до 14.02.2021 по старым тарифам.
15.02.2021 — Начнется новый расчетный период по новым тарифам.

SQL-запросы в датасетах
Теперь источник данных датасета можно определять произвольными запросами SQL над подключениями к ClickHouse, PostgreSQL, MySQL, MS SQL Server, Oracle. Текст запроса при обращении к источнику данных исполняется в виде подзапроса.

Строго рекомендуется:
Ограничить права пользователя, прописанного в подключении, до read-only.Ограничить права на подключение до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.Ограничить права на связанные с подключением датасеты до «Исполнения для всех пользователей», которые не должны иметь права на выполнение произвольного запроса.Включить использование подзапросов в качестве источника можно в настройках подключения.


Новый коннектор Albato в Marketplace
Мы запускаем новый партнерский коннектор от компании Albato. С его помощью вы можете настроить интеграцию с более чем 100 различных сервисов и приложений.
cloud.yandex.ru/marketplace/products/f2euehocmctm48ni9dvu
Как настроить подключение коннектора от Albato читайте в инструкции на сайте партнера.
blog.albato.ru/podklyuchenie-i-nastrojka-datalens/

Новые возможности разметки текста
Теперь вы можете создавать ссылки из текстовых полей при помощи функции URL(), например для таблиц и тултипов карт.

Затем такое поле можно использовать в визуализации и оно будет выглядеть как гиперссылка:

cloud.yandex.ru/docs/datalens/function-ref/markup-functions

Пагинация
В плоские таблицы добавлена пагинация. Для новых таблиц она будет включаться автоматически.


Оконные функции
Теперь доступны скользящие и нарастающие суммы, доли от общей суммы и отдельной группы измерений, ТОПы и многое другое. Отметим:
Оконные функции работают над показателями (полями с агрегацией). Измерения могут быть использованы в дополнительных аргументах, например, определяющих группировку.Часть агрегатных функций также могут быть использованы как оконные: SUM, SUM_IF, AVG, AVG_IF, MAX, MIN, COUNT, COUNT_IF.Ниже несколько примеров.

Важно
Использование скользящих функций, в том числе RSUM() и MAVG(), требует обязательной явной сортировки измерений (в секции Сортировка).
cloud.yandex.ru/docs/datalens/function-ref/window-functions

Функции AGO и LAG, или как посмотреть в прошлое
Стали доступны новые функции AGO() и LAG(), которые позволят решать следующие задачи:
Вывод значения показателя N периодов назад.Подсчёт прироста показателя, как отношение показателя в текущем и предыдущем периодах.Ссылка в формуле на значение предыдущей строки.
Настройки осей
Расширены настройки в секциях осей X и Y. На данный момент есть возможность:
работать с логарифмической шкалой;переименовывать оси;скрывать и менять направление подписей;управлять сеткой и масштабом оси;менять направление подписей.

Тёмная тема
В DataLens появилась возможность автоматического переключения темы интерфейса в зависимости от настроек операционной системы. Включается в настройках оформления консоли Yandex.Cloud.


DataLens в Telegram
У вас есть вопросы или хотите обсудить использование сервиса DataLens? Приходите в наш уютный чат в Telegram.
t.me/YandexDataLens

Чем запомнился год
Мы много работали над развитием платформы. В Yandex.Cloud появилось девять новых сервисов, а уже существующие получили новые возможности. Например, ML-разработчики теперь могут использовать привычный инструмент Jupyter Notebook в Yandex DataSphere, а потоковую обработку данных для своего приложения теперь можно реализовать с помощью Yandex Managed Service for Apache Kafka. Был запущен Yandex Data Transfer для простой миграции ваших баз данных в Yandex.Cloud и Certificate Manager для создания и управления TLS-сертификаты от Let’s Encrypt.

Наши усилия привели к тому, что с начала 2020 года количество компаний, использующих Yandex.Cloud для развития бизнеса, выросло на 70% и сейчас у нас более 7 тысяч клиентов. Стремительное развитие платформы позволило Яндексу выделить Yandex.Cloud в отдельную бизнес-единицу.
yandex.ru/company/press_releases/2020/2020-10-30

В 2020 году мы опубликовали на сайте более 30 историй успеха наших клиентов и множество статей в СМИ, провели более 75 различных мероприятий — вебинаров и хакатонов. В том числе вторую большую конференцию Yandex Scale 2020, которая в этом году прошла онлайн.


Отдельно про COVID-19
Пандемия коронавируса СOVID-19 и связанные с ней ограничительные меры стали серьёзным испытанием для бизнеса: упал спрос на продукты и услуги, усилилась нагрузка на онлайн-сервисы, появилась необходимость обеспечивать удалённый доступ работникам. Понимая это, мы запустили различные меры по поддержке среднего и малого бизнеса — зафиксировали цены, увеличили гранты и предоставили скидки. Также, для обеспечения непрерывной работы платформы мы предприняли дополнительные меры — перевели на удалёнку 90% команды, обеспечили необходимые средства профилактики и максимально ограничили визиты сотрудников и гостей в дата-центры.
cloud.yandex.ru/blog/posts/2020/03/smb-offer
cloud.yandex.ru/blog/posts/2020/03/covid-19
cloud.yandex.ru/blog/posts/2020/04/datalens-news

С помощью сервиса Yandex DataLens мы собрали в единый дашборд информацию из Роспотребнадзора, университета Джонса Хопкинса и данных сервисов Яндекса, чтобы любой человек или компания могли получать оперативные данные о распространении коронавируса.


Совместно с РБК мы провели серию мероприятий про локдаун и обсудили с лидерами рынка, какие IT-решения применяют они, что сейчас помогает бизнесу и как компании переживают кризис, всё ли работает так, как было задумано.

Но самое главное, что наши клиенты и партнёры в этом году активно использовали облачные технологии, чтобы помогать врачам эффективнее бороться с пандемией. Например, RADLogics, один из пионеров технологии компьютерного зрения, использует сервисы Yandex.Cloud для обработки и анализа медицинских снимков, что позволяет им тратить на одно исследование всего 8-12 минут. Создатели проекта «Мейкеры против COVID-19», которые безвозмездно помогают расходниками для ИВЛ любому государственному медучреждению, больнице или поликлинике, перенесли в Yandex.Cloud своё решение для управления распределенным производством и тысячами волонтеров. Это дало им возможность не только надёжно и без сбоев принимать заявки от больниц, но и прогнозировать количество таких заявок, чтобы распределять нагрузку на волонтёров.
cloud.yandex.ru/cases/radlogics
vc.ru/life/172758-300-siz-privozim-v-kliniku-bystree-chem-obychno-dostavlyayut-piccu-zachem-v-pandemiyu-soedinyayut-3d-pechatnikov-i-vrachey



Общие новости платформы
Получили сертификацию ISO
В 2020 году Yandex.Cloud стала первой в России и СНГ публичной облачной платформой, выстроившей управление информационной безопасностью по стандарту ISO/IEC 27017:2015 и обеспечившей защиту персональных данных пользователей по международному стандарту ISO/IEC 27018:2019. А на нашем сайте был запущен новый раздел «Безопасность Yandex.Cloud», в котором мы рассказали обо всех стандартах и законодательных требованиях, которым соответствует наше облако.

Запустили расширенную техническую поддержку
В прошедшем году мы начали предоставлять пользователям расширенную техническую поддержку, а также рассказали, как устроен наш саппорт. Доступно четыре тарифа: от базового бесплатного до премиума с SLA с высокой скоростью ответа на запросы по всем каналам обращений и индивидуальными условиями работы.

Объявили о партнёрстве с NVIDIA
Yandex.Cloud в партнёрстве с американской технологической компанией NVIDIA открыли для российских компаний библиотеку приложений для работы с искусственным интеллектом и машинным обучением — NVIDIA GPU Cloud (NGC).

Также, акселерационные программы Yandex Cloud Boost и NVIDIA Inception договорились о взаимной поддержке для своих участников. С апреля компании-разработчики в области искусственного интеллекта из NVIDIA Inception могут присоединиться к Cloud Boost по упрощенной процедуре. В свою очередь, ИИ-стартапы Cloud Boost получают доступ к ресурсам NVIDIA Inception на приоритетных условиях.

Упростили миграцию в облако с помощью Hystax
Миграция в Yandex.Cloud с других платформ, в том числе создание виртуальных машин, подбор конфигураций, контроль переноса данных, стала возможна в формате SaaS по максимально доступной цене с помощью специального приложения Hystax Acura, который можно найти в маркетплейсе платформы.

Анонсировали Zoom в Yandex.Cloud
Компании, которые приобретают у компании RightConf лицензию для использования Zoom, также могут выбрать размещение серверов на нашей облачной платформе. В этом случае весь трафик пользователей будет обрабатываться в России, что повысит безопасность и качество связи.

Представили новые продукты в маркетплейсе
В нашем Marketplace вышло много новых сервисов. Например, стали доступны лицензии службы Remote Desktop Services для Windows Server, а также сервис Валарм WAF для защиты веб-приложений и API от самых распространенных кибератак.

Запустили реферальную программу
1 октября заработала реферальная программа для партнеров Yandex.Cloud. Теперь вы можете делитесь ссылками с клиентами и получать 10% от их расходов в Yandex.Cloud.

Инфраструктура
Новые сервисы
Certificate Manager — сервис для управления TLS-сертификатами. Теперь вы можете создавать TLS-сертификаты от Let’s Encrypt® или импортировать пользовательские сертификаты для защиты своих сервисов.Сервис для управления криптографическими ключами Yandex Key Management Service — защищайте небольшие файлы-секреты, личные данные и другую конфиденциальную информацию, которую храните в облаке, с криптографическими ключами сервиса Key Management Service.Новые возможности в сервисах
Выделенные хосты в Compute Cloud — физически изолированные серверы, которые подойдут компаниям с высокими требованиями безопасности. С ними вы можете пользоваться сервисами Yandex.Cloud и устанавливать собственные лицензии Microsoft, Oracle и другие лицензии, требующие выделенных серверов.Нереплицируемые сетевые диски в Compute Cloud. Диски с повышенной производительностью за счет отказа от репликации данных. Такие диски вы можете использовать для баз данных с репликацией (MySQL, PostgreSQL), в качестве зеркала для хранения данных в формате read-only, или для данных, которые можно вычислить заново (например, кэш). Нереплицируемые диски находятся в Preview, предоставляются по запросу и не тарифицируются.Доступна конфигурация ВМ с Intel Xeon Gold 6230R. С этой конфигурацией вы получите 80 vCPU и 640 ГБ RAM.8 GPU в Compute Cloud. Теперь вы можете создавать высокопроизводительные виртуальные машины и устанавливать в них до 8 графических карт NVIDIA Tesla V100 с 32 ГБ памяти c высокой пропускной способностью.Instance Groups: деликатная стратегия остановкивиртуальных машин. При выборе такой стратегии сервис ожидает, когда виртуальные машины остановятся самостоятельно или будут остановлены пользователем, и затем запускает обновление.Переменные в шаблонах виртуальных машин Instance Groups позволят вам из одного шаблона развернуть группу различных виртуальных машин.Версионирование в Object Storage. Теперь вы можете хранить историю объекта и восстанавливать нужную версию из списка. Это дополнительно защитит ваши данные как от непреднамеренных действий пользователя, так и от сбоев приложений.Группы безопасности Yandex Virtual Private Cloud. С группами безопасности вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и настраивать правила для приёма и передачи трафика.В Yandex Monitoring появилась настройка алертов и уведомлений об изменении метрик.Метрики из Yandex Monitoring можно экспортировать в формате Prometheus.
Платформа данных
Сервисы хранения данных и управления ими — одно из самых быстрорастущих направлений платформы Yandex.Cloud. Управляемые базы данных традиционно популярны и востребованы пользователями — с начала 2020 года потребление выросло в 3 раза, а количество созданных баз данных превысило 10 000. Как выглядит платформа данных Yandex.Cloud сейчас:


Новые сервисы
Yandex Managed Service for SQL Server — управляемый сервис для СУБД SQL Server. Включает в себя Enterprise лицензии SQL Server 2016 ServicePack 2 и позволяет не беспокоиться об обслуживании баз данных.Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch. Вы можете загружать текстовые документы в JSON-формате с помощью API, индексировать и хранить их. С его помощью вы можете настроить полнотекстовый поиск и анализ информации, содержащейся в этих документах.Yandex Managed Service for Apache Kafka — сервис для создания и управления кластерами Apache Kafka в инфраструктуре Yandex.Cloud. С помощью Managed Service for Apache Kafka и Data Proc (компонент Apache Spark) вы можете настроить потоковую обработку данных для своего приложения. Управляемые сервисы помогут сэкономить время на создание, обслуживание и управление кластерами, а настроенные в сервисах репликация и система автоматического восстановления будут поддерживать кластеры в рабочем состоянии.Yandex Data Transfer — удобный инструмент для миграции баз данных и консолидации нескольких баз данных в одну. На данный момент доступна миграция однородных баз данных MySQL и PostgreSQL.Новые возможности в сервисах
Гибридное хранение в Managed Service for ClickHouse. Теперь вы можете комбинировать сетевые диски и объектное хранилище Object Storage для хранения данных в кластерах ClickHouse.Автоматическое масштабирование Data Proc. Data Proc использует группы виртуальных машин для автоматического масштабирования подкластеров Compute Cloud, чтобы наращивать или уменьшать вычислительные ресурсы.Data Proc UI Proxy обеспечит доступ к web-интерфейсам компонентов кластера и позволит настроить совместную работу в Zeppelin notebooks.Point in Time Recovery в Yandex Managed Service for MongoDB. Механизм позволяет восстановить базу данных из любого состояния за последние 7 дней.Последняя версия Redis 6 теперь и в Managed Service for Redis.В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей.В Yandex DataLens добавлен коннектор для 1С, появились зависимые селекторы, расширен функционал для геоаналитики, а также проведены усовершенствования UI и визуализаций.

Serverless
Новые сервисы
Бессерверный режим в Yandex Database. Теперь при создании кластера вы можете выбрать режим бессерверных вычислений и платить только за запросы к базе данных. Режим позволяет создавать таблицы двух типов: совместимые c API Amazon DynamoDB и с собственным Yandex Database API. На serverless-решения до октября 2021 года действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.Yandex API Gateway — сервис для создания API-шлюзов. С API Gateway вы можете организовать доступ к статическим данным напрямую из хранилища Object Storage, обработать запрос с помощью сервиса Cloud Functions или отправить HTTP-запрос в произвольный веб-сервис.Новые возможности в сервисах
Новые языки Cloud Functions. Теперь вам доступны 8 языков программирования.В Cloud Functions добавлена функция для создания снимков дисков по расписанию.Домены для Yandex API Gateway. Вы можете подтвердить права на домен в сервисе Certificate Manager и использовать этот домен для обращения к API.
ML & AI
Новые сервисы
Yandex DataSphere — сервис, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы, необходимые для анализа данных, разработки и эксплуатации моделей машинного обучения. DataSphere помогает пройти полный цикл создания модели: от эксперимента и разработки до запуска готовой версии в эксплуатацию на вычислительных мощностях Yandex.Cloud.
Новые возможности в сервисах
В рамках программы Yandex Cloud Professionals партнерам стала доступна специализация ML-сервиса синтеза и распознавания речи SpeechKit Pro, которая предусматривает ко-маркетинг, привлечение менеджеров Yandex.Cloud в крупные сделки и специальное предложение по предоставлению технической поддержки уровня Business. Главное преимущество программы — это возможность получать до 40% за сделки на использование технологий SpeechKit.
Мобильное приложение
Мы сделали работу с платформой ещё удобнее и запустили приложение Yandex.Cloud на мобильных устройствах. Приложение уже доступно для скачивания в App Store и Google Play.
apps.apple.com/ru/app/yandex-cloud/id1515465314
play.google.com/store/apps/details?id=ru.yandex.cloud

С Новым годом!
Весь прошедший год мы очень много работали на тем, чтобы дать бизнесу гибкость. Чтобы наши клиенты и партнёры могли использовать облачные технологии для роста своего бизнеса. Развитие платформы не останавливается ни на минуту и дальше будет ещё интереснее.
Команда Yandex.Cloud поздравляет Вас с наступающим 2021 годом, желает добиваться успехов и расти вместе с нами.

Новости сервисов
Yandex DataSphere
Сервис Yandex DataSphere перешел в общий доступ. DataSphere позволяет разрабатывать модели машинного обучения с сохранением версий расчетов по трем измерениям — данные, код и состояние. Это позволит вам вернуться к любому этапу разработки модели без потери прогресса и учитывать меняющиеся условия бизнеса.

На видео мы продемонстрировали, как просто сохранить состояние модели, вернуться к предыдущему состояию или поделиться им с внешними пользователями.

Yandex Managed Service for PostgreSQL
Появился статический анализатор SQL от holistic.dev для Managed Service for PostgreSQL.
Этот продукт проводит анализ схемы данных и запросов и подсказывает, где могут возникать ошибки.
На скриншоте пример использования сервиса. Пробуйте и изучайте рекомендации, чтобы не допускать ошибок при написании запросов.


Yandex Managed Service for ClickHouse
В первой статье про управляемые базы данных вы узнаете о преимуществах ClickHouse в облаке. Мы постарались ответить на вопросы: почему колоночные СУБД быстрее традиционных и какие задачи можно решать с помощью ClickHouse?

Специальные предложения
Черная пятница. Сделайте ваш сайт устойчивым к перегрузкам во время распродаж — мигрируйте в Yandex.Cloud быстро и с минимальными затратами. cloud.yandex.ru/promo/black-friday/

Резервируемое потребление (CVoS). Планируйте ИТ-бюджет на год с выгодой от использования вычислительных мощностей и платформенных сервисов. Цены для вас фиксируются и не будут зависеть от курса рубля. cloud.yandex.ru/promo/cvos/cio/

Новые образы в Marketplace
Kaspersky Security
Kaspersky Security для виртуальных и облачных сред защищает сервисы от программ-шифровальщиков и от бесфайлового вредоносного ПО, предотвращает использование эксплойтов, блокирует сетевые атаки, проводит поведенческий анализ вредоносного ПО. Образ доступен по модели BYOL (Bring Your Own License): подписка на услугу оформляется напрямую у «Лаборатории Касперского».
cloud.yandex.ru/marketplace/products/f2e6gdh3e3jjt58rc1md
Apache Airflow 1.10
Образ Apache Airflow позволит вам создавать графы выполнения задач (DAG) в облаке. Вы можете легко визуализировать запущенные задачи, наблюдать за прогрессом их выполнения и возникающими в процессе ошибками в удобном веб-интерфейсе.
cloud.yandex.ru/marketplace/products/f2evjfflh55novd70pd0
1С: Предприятие 8.3
Готовый образ сервера приложений 1С: Предприятие 8×64 на базе операционной системы семейства Linux для простого и быстрого развертывания 1С-инфраструктуры. Образ предоставляется партнером WiseAdvice специально для инфраструктуры Yandex.Cloud.
cloud.yandex.ru/marketplace/products/f2ej469j8ajoafnr7pa5

Вебинары
Прошедшие вебинары, доступные в записи:
Как избежать ошибок на этапе пилота голосового робота
Вебинар о Managed Service for Apache Kafka
Архитектуры обработки больших данных
Обзор платформы Yandex.Cloud

Истории успеха
«Почта России» использует Yandex SpeechKit
«Почта России» запустила собственного голосового ассистента на базе технологии Yandex SpeechKit. Он обслуживает запросы клиентов по 9 тематикам и уже обрабатывает 30% обращений. rb.ru/news/pochta-rossii-golosovoy-pomoshnik/

ЦНИИ Эпидемиологии обрабатывает данные о COVID-19 в Yandex.Cloud
На базе Центрального НИИ эпидемиологии работает Центр молекулярной диагностики (CMD) — один из крупнейших лабораторно-диагностических центров в России. С помощью партнёра Yandex.Cloud облачного провайдера «Аплана Диджитал» CMD смогли провести миграцию своей высоконагруженной инфраструктуры в облако с простоем всего в две минуты. cloud.yandex.ru/cases/cmd-online

Мгновенный анализ снимков для диагностики коронавируса COVID–19
Компания RADLogics обрабатывает и анализирует рентген-снимки и снимки компьютерной томографии в Yandex.Cloud. cloud.yandex.ru/cases/radlogics

Развертывание рабочих мест Zextras/Zimbra в Yandex.Cloud
Zextras — расширения почтового сервера Zimbra, которые добавляют в него возможности совместной работы и коммуникаций, поддержку хранилищ и мобильных устройств. Один из самых удобных и выгодных вариантов работы в Zextras — аренда ресурсов в облаке, а для развертывания в России был выбран Yandex.Cloud. cloud.yandex.ru/cases/zextras

Popmechanic: как мы «проели» инвестиции, но через год смогли успешно перезапуститься
Основатель Popmechanic рассказал, почему не стоит сдаваться и как в новых победах ему помогает участие в программе Yandex Cloud Boost. vc.ru/life/167546-kak-my-proeli-investicii-no-cherez-god-smogli-uspeshno-perezapustits

Документация