Это выжимка новостей на платформе MCS за прошлый месяц. Новости можно получать в реальном времени в Телеграм-канале обновлений MCS.

Дисковые конфигурации с мгновенным откликом
Мы открыли ранний доступ к новому типу дисков Low-Latency NVME с гарантированным временем отклика дисковой подсистемы 0,5 мс с SLA 99,95%. Данный тип дисков многократно снижает задержку при совершении операций с дисковой подсистемой и решает задачи высоконагруженных систем, таких как сервера баз данных или ERP.

Low-Latency NVME можно подключить при выборе высокопроизводительных CPU (флейвор «Freq») на процессорах Intel Xeon Gold 6230R 3.4 ГГц и Gold 6238R 3.4 ГГц.
Для получения доступа к Low Latency NVME обратитесь в службу поддержки, указав количество CPU и RAM, которые планируете использовать с Low Latency NVME.
Обратиться через сайт, через Телеграм.

ClickHouse 20.8 в сервисе Mail.ru Cloud Databases
Наш DBaaS теперь поддерживает ClickHouse 20.8, как в single-, так и в кластерных конфигурациях. В новой версии вы сможете подключать внешние словари через SQL, настраивать с помощью SQL гранулярные права доступа, использовать SEMI/ANTI JOIN и работать с DateTime64 с точностью до наносекунд.
Создать базу ClickHouse

Настройка списка сервисов в меню слева
В личном кабинете слева есть меню со всеми сервисами MCS. Теперь для удобства вы можете скрыть в нём сервисы, которые не используете. Для этого внизу меню кликните больше сервисов.


Смена типа диска без остановки машины
Тип диска виртуальной машины теперь можно менять без её остановки. Например, поменять диск HDD на SSD. Документация о смене типа диска
mcs.mail.ru/help/ru_RU/vm-volumes/volume-convert

Ждем вас на вебинарах:
15 декабря мы совместно с Tarantool проведем вебинар «Деплоим приложение на Tarantool Cartridge в кластер Kubernetes MCS»
events.webinar.ru/mcs/Tarantool

17 декабря. Вебинар «Первые шаги при подключении к облаку или все что нужно знать о настройке сети»
Расскажем, как построить современную сетевую инфраструктуру: все этапы настройки виртуальной сети, обеспечение удаленного доступа, безопасности и отказоустойчивости на уровне инфраструктуры и необходимо сделать для правильного распределения нагрузки сети.
events.webinar.ru/mcs/7393355

22 декабря. Вебинар«MLOps без боли в облаке MCS #1: Разворачиваем Kubeflow. Простые масштабируемые воркфлоу для ML на Kubernetes»
Мы начнем серию вебинаров “MLOps без боли” с Kubeflow — он позволяет создавать индивидуальные окружения для тестирования: с гибкой настройкой, используя Docker и Kubernetes, — а также решить проблему воспроизводимости экспериментов.
events.webinar.ru/mcs/7395709

Посмотреть наши прошедшие вебинары:
Как построить инфраструктурную основу в облаке для управления даннымиKubernetes в облакеВоркшоп о том, как подготовить инфраструктуру к высоким нагрузкам
Почитать:
5 новых прогнозов Forrester о цифровизации на 2021 год
State of DevOps Report 2020: как платформенный подход развивает культуру DevOps
Четверть IT-директоров крупных компаний практически станут исполнительными директорами к 2024 году

В 2009 году Яндекс для мгновенного построения отчетов по неагрегированным логам в режиме реального времени разработал первый прототип своей аналитической системы управления базами данных — ClickHouse. Сейчас эта СУБД может применяться в различных сферах для задач, где требуется огромная скорость обработки постоянно поступающей информации.

Зачем понадобились колоночные (столбцовые) системы управления базами данных
Универсальные СУБД при достаточно большой нагрузке либо становятся очень медленными, либо начинают потреблять большое количество серверных мощностей. Например, классическая проблема любой традиционной реляционной базы данных, которая хранит все в строках, — это очень медленная работа сложных аналитических запросов, если количество записей достигает нескольких миллиардов строк. При создании отчетов таким СУБД приходится анализировать множество лишней связанной информации. На скорость построения выборок из такого количества записей не влияет даже оптимизация — правильно настроенные ключи и индексы.

Чтобы ускорить построение отчетов, были придуманы колоночные СУБД, которые, как можно догадаться, изначально хранят данные в колонках. Если один столбец содержит единственный набор значений, то становится гораздо проще строить отчеты по каким-либо показателям. Колоночные СУБД лучше всего подходят для OLAP сценариев работы — обработки аналитических запросов в режиме онлайн. Для таких задач характерны следующие факторы:
подавляющее большинство запросов идет на чтение;данные добавляются и обновляются достаточно большими пачками (> 1000 строк), а не по одной строке, или не добавляются и не обновляются вообще;данные добавляются в базу данных, но не изменяются;при чтении используется достаточно большое количество строк из базы данных, но только небольшое подмножество столбцов.
Если вы попытаетесь использовать для аналитики классические СУБД, то получите очень низкую производительность по сравнению с OLAP-СУБД. Это проще продемонстрировать визуально:



ClickHouse
Колоночная СУБД ClickHouse разрабатывалась, чтобы можно было в интерактивном режиме строить отчеты по неагрегированным логам пользовательских действий. Но этим возможности системы не ограничиваются. Со временем к ClickHouse была написана подробная документация, и базу данных стали активно использовать в других продуктах Яндекса — Директе, Маркете, Почте, ADFOX, Вебмастере, в мониторинге и бизнес-аналитике. Например, сервис нагрузочного тестирования Яндекс.Танк использует ClickHouse для хранения данных телеметрии. СУБД позволяла решать задачи, для которых раньше не было подходящих инструментов, или же с ней получалось это делать намного эффективнее, чем с другими системами.

Вот лишь некоторые архитектурные особенности ClickHouse:
столбцовое хранение данных — данные считываются только из нужных колонок, и однотипная информация эффективно сжимается;поддержка приближенных вычислений на части выборки — снижается число обращений к жесткому диску, что еще больше повышает скорость обработки данных;физическая сортировка данных по первичному ключу — можно быстро получить конкретные значения или диапазоны;векторные вычисления по кусочкам столбцов — снижаются издержки на диспетчеризацию, эффективно используется CPU;распараллеливание операций как в пределах одного сервера на несколько процессорных ядер, так и в рамках распределенных вычислений на кластере за счет механизма шардирования;линейная масштабируемость — есть возможность построить кластер очень большого размера;работа с жесткими дисками — ClickHouse достаточно эффективно работает, когда данные не попадают в кеш памяти целиком. Дополнительно это снижает стоимость эксплуатации системы, так как жесткие диски дешевле RAM;отказоустойчивость — система представляет собой кластер шардов, где каждый шард — это группа реплик.
ClickHouse поддерживает клиенты для подключения к базе данных: консольный клиент, HTTP API, ряд wrapper’ов на Python, PHP, Node.js, Perl, Ruby, R и многие другие. Также для ClickHouse есть JDBC- и Golang-драйверы.



Где можно применять ClickHouse
За рамки внутренних проектов ClickHouse вышла в 2013 году, когда ее начали применять для анализа метаданных о событиях эксперимента LHCb в CERN. Базу данных могли бы использовать более широко, но в то время мешал закрытый статус. Однако уже в июне 2016 года исходный код ClickHouse был выложен в open source под лицензией Apache 2.0. Это позволило взять ее на вооружение IT-департаментам множества отечественных и зарубежных компаний. В их числе Cloudflare, Bloomberg, ВКонтакте, «Тинькофф банк», Avito, онлайн-кинотеатр ivi.ru, интернет-порталы Mail.ru и Rambler. Например, социальная сеть VK использует нашу СУБД для хранения и чтения отладочных логов. Аналогично делают и другие компании, сгружая в базы данных логи микросервисов и приложений за большой период, а затем быстро возвращаясь к ним для анализа.

ClickHouse в 2020 году — это полноценная СУБД, которая обладает очень широкими возможностями. Создавайте таблицы и базы данных в runtime, загружайте из разных источников данные, анализируйте их и выполняйте запросы без переконфигурирования и перезапуска сервера. ClickHouse позволяет реализовать быстрый доступ к корпоративным хранилищам данных, поддерживает декларативный язык запросов на основе SQL, во многих случаях совпадающий с SQL стандартом. СУБД можно интегрировать с такими Big Data системами, как Apache Kafka и HDFS, а также с MySQL и прочими внешними источниками данных через ODBC или JDBC.

Возможности колоночных СУБД и преимущества конкретно ClickHouse позволяют очень эффективно использовать нашу разработку в самых разных сферах. Это могут быть:
аналитика веб-проектов и мобильных приложений;рекламные сети и real-time bidding (торги в реальном времени);телекоммуникации;электронная коммерция и финансы;информационная безопасность;бизнес-аналитика;онлайн-игры;интернет вещей.
Но по-прежнему главное преимущество ClickHouse — невероятная скорость. Она позволяет решать очень важную общую задачу бизнеса в области аналитики поведения клиентов — очень быстро и легко генерировать аналитические отчеты по большим данным в режиме реального времени. Это актуально для ритейла, телекома, любой интернет-инфраструктуры, хранения данных и быстрого к ним доступа с устройств интернета вещей и т. д.

ClickHouse позволяет отслеживать бизнес-метрики для анализа поведения пользователей на сайте магазина или в онлайн-играх. Компании могут даже собирать и создавать витрины данных для своих клиентов, предоставляя им безопасный доступ только к той информации, которой можно делиться.

Что дальше?
Мир накапливает очень много больших неструктурированных данных, к которым нужно иметь доступ в режиме реального времени. И для этого необходимо развивать и совершенствовать такие системы управления базами данных, как ClickHouse.

Следующим шагом для бизнеса должен стать переход в облачные решения, чтобы иметь возможность быстро визуализировать данные без долгой покупки и настройки железа, мгновенно настраивать дашборды под свои задачи, а также в реальном времени анализировать события и бизнес-процессы.

Для этого уже есть сервис Yandex Managed Service for ClickHouse, который помогает разворачивать и поддерживать в инфраструктуре Yandex.Cloud кластеры баз данных на основе ClickHouse. Вы получаете все описанные преимущества колоночных СУБД, и при этом вам не нужно покупать и настраивать железо, разбираться со сложностями в обслуживании баз данных и решать проблемы с обновлением. Кроме того, Yandex Managed Service for ClickHouse значительно повышает безопасность работы и позволяет создавать хосты кластера в разных зонах доступности.

Создайте свой первый кластер ClickHouse
console.cloud.yandex.ru/link/managed-clickhouse/

О сервисе
Сервис «Где мои дети», принадлежащий компании «Рефреш», позволяет родителю в любой момент времени определять, где находится его ребенок. Для работы сервиса нужна оперативная обработка и хранение огромного количества зашифрованных геоданных. На данный момент сервис «Где мои дети» локализован на 32 языка и имеет зарегистрированных пользователей в 209 странах мира, в 30 из которых зарегистрировались более 10 000 человек. Сейчас у приложения 800 000 активных пользователей, при этом на Россию и СНГ приходится лишь половина из них, вторая половина преимущественно из таких стран, как Бразилия, Турция, Израиль, США и Индия.
findmykids.org

Рубеж масштабирования
Сервис «Где мои дети» предлагает разные возможности. Например, при помощи приложения можно позвонить ребенку, и он услышит звонок, даже если он забыл отключить бесшумный режим после урока. А чтобы узнать, закончился ли у ребенка урок, родитель может прослушать звук вокруг его телефона. Но основной функцией приложения является отслеживание местоположения ребенка плюс взаимосвязанные опции вроде уведомления о выходе ребенка из обозначенной зоны и автоматического сохранения истории посещений. Сервис использует функцию GPS-трекинга. В качестве клиентского устройства может выступать смартфон с установленным на него приложением либо GPS-аксессуар в виде наручных часов. На данный момент клиентские устройства присылают более 1 000 наборов зашифрованных геоданных каждую секунду. Сервис подошел к тому рубежу, когда дальнейшее масштабирование становилось невозможным из-за технологических ограничений текущей инфраструктуры. В итоге перед командой встала необходимость решения следующих задач:
Сократить расходы на серверную инфраструктуру.Повысить стабильность решения за счет меньшей требовательности к скорости дисков.Организовать масштабирование ресурсов для хранилища геоданных «на лету».Получить возможность выполнять более сложные запросы и извлекать больше пользы из данных.
Переход на Yandex Managed Service for ClickHouse
Решение о переходе на Yandex Managed Service for ClickHouse было обусловлено предшествующим опытом. Изначально в компании геоданные хранили в MySQL, используя виртуальные серверы одного из облачных провайдеров. Несмотря на использование самых дорогих облачных дисков на базе SSD, вскоре был достигнут барьер производительности записи текущего дискового решения. Следующим этапом стал горизонтальный шардинг данных на несколько БД серверов, но даже при непиковой скорости записи специалисты компании периодически сталкивались с тем, что производительность дисков в облаке некоторых серверов сильно деградировала без каких-либо причин, что приводило к аварийным ситуациям. В разные периоды времени с разной частотой специалисты компании сталкивались с ситуацией, когда очередь на запись начинала расти быстрее, чем рассасываться. Приходилось экстренно переносить данные на другие шарды и жертвовать надежностью хранения в угоду временному увеличению производительности. Помимо этого, в определенный момент обнаружилось, что только на облачные диски приходится более половины всех расходов на инфраструктуру и оборудование.

Несмотря на сложности, компания не хотела переходить на выделенные серверы, чтобы не отказываться от возможности удобного масштабирования ресурсов и их администрирования. Выбор пал на ClickHouse. Во время тестирования были выполнены следующие шаги:
создание тестовой учетной записи и изучение архитектуры, которая будет оптимальна для текущих задач;создание тестового кластера, нагрузочное тестирование записи и извлечения данных.При тестировании запросы были аналогичны тем, которые выполнялись в старом хранилище, а результаты были аналогичны или лучше. Например, появилась возможность выполнять запросы на агрегацию больших данных, которые без дополнительного инструментария раньше выполнить было просто невозможно.

После получения положительных результатов началась непосредственная реализация проекта:
создание аккаунта для организации, формальные операции;создание кластера, тестирование работы хранилища в реальных условиях (настройка записи данных в старое хранилище и ClickHouse одновременно);перенастройка сервиса на использование данных из нового хранилища;миграция данных из старого хранилища в новое;переключение подсистемы на работу только с новым хранилищем.Миграцию провел один разработчик, трудозатраты составили менее 60 человеко-часов.

Результаты
По итогам проекта сразу удалось решить три из четырех поставленных задач. Затраты на решение для хранения геоданных сократились более чем в три раза. С момента переезда в Яндекс.Облако uptime сервиса составляет 100%, повысились удобство работы с геоданными и стабильность решения в целом. В настоящий момент сотрудничество продолжается. После того как в компании попробовали ClickHouse для хранения геоданных, было принято решение перевести в него данные внутренней продуктовой аналитики.

Мнение
Техподдержка Яндекс.Облака быстро решала технические вопросы и консультировала специалиста, клиентские менеджеры оперативно закрывали организационные вопросы. Эффективная коммуникация, удобный инструмент для управления облаком и достаточно полная документация позволили провести тестирование и миграцию на новое хранилище за один месяцГригорий Гудименко, технический директор компании „Рефреш“

AdsCompass — это интеллектуальная платформа для монетизации трафика. Компания работает в сфере интернет-рекламы и служит связующим звеном между издателями и рекламодателями при покупке и продаже трафика по всему миру. Конкурентное преимущество AdsCompass в том и состоит, что компания занимается разработкой своей платформы, а не арендует стороннюю, как это распространено в сфере интернет-рекламы.

AdsCompass начинала свою деятельность с нескольких десятков интернет-компаний, но за шесть лет развития партнерская сеть расширилась. Сегодня у AdsCompass более пяти тысяч рекламодателей, число которых ежемесячно растет примерно на 10—15%. Кроме этого, с 2018 года на платформе появилась возможность напрямую покупать интернет-рекламу через личный кабинет, а значит сеть пополнилась еще и за счет частных рекламодателей. Чтобы охватить всех партнеров из более чем 200 стран, сервисы, отвечающие за нагрузку, работают в двух ЦОД в Европе и США на собственном железе. На данный момент обрабатываемый трафик генерирует более 4 млрд записей статистики в сутки. Запись происходит с нескольких десятков серверов в один кластер ClickHouse. Ежемесячно происходит прирост объема трафика в среднем на 6-10%.

Задача AdsCompass
Компания столкнулась с необходимостью постоянно наращивать технические мощности, увеличивать затраты на поддержку кластера ClickHouse на собственном железе. Также прямо пропорционально масштабу бизнеса росли потери от падений в работе кластера.

Компания поставила задачи:
Увеличить стабильность работы кластера,Сократить затраты на поддержку и развитие инфраструктуры, чтобы сосредоточиться непосредственно на продукте.
Решение
«Толчком к переходу на Яндекс.Облако было именно появление Yandex Managed Service for ClickHouse, — объясняет Андрей Привалов, ведущий разработчик AdsCompass. — Если не ошибаюсь, есть и другие предложения на рынке, но тот факт, что Яндекс является разработчиком этой базы данных, сыграл большую роль в выборе в пользу Managed Service for ClickHouse».

Переезд кластера в Yandex Managed Service for ClickHouse был осуществлен силами главных разработчиков AdsCompass. Процесс, включавший тестирование и постепенный полный перевод трафика, занял меньше недели.

На начальном этапе одновременно писали данные в свой кластер и в Яндекс.Облако для того, чтобы выявить наличие неучтенных лимитов. Также в первые дни проведены еще несколько штатных проверок, в том числе:
тестирование с целью «поймать» возможные всплески трафика;проверка функционирования облачного сервиса в ситуации, когда после паузы объем записей значительно увеличивается с целью «догнать запись».
Результаты
Первым результатом переезда стало почти полное сокращение затрат временных ресурсов на поддержку кластера, не считая короткого общения с ТП Яндекс.Облака. Также по итогам переезда в AdsCompass отмечают рост стабильности работы кластера. Регулярное обновление кластера до новых версий происходит с минимальным простоем. Уже был случай, когда поддержка Яндекс.Облака решала проблемы с железом, все данные остались целы.

После переезда уже складывалась непростая для решения ситуация, когда место на дисках закончилось скачком. Через веб-интерфейс удалось быстро увеличить квоты и расширить место.

AdsCompass планирует использовать в своей деятельности также Managed PostgreSQL, Compute Cloud, Container registry и Message Queue. Разработчики планируют написать скрипт для очистки партиций и рассчитывают на появление решений в этом направлении.

Мнение
Повышение стабильности и экономия — не единственные результаты этого проекта. Раньше были случаи, когда при остановке кластера ClickHouse у нас копилась статистика для последующей записи. Если на дисках заканчивается место и файлы статистики больше некуда писать, их как-то придется удалять. Удаление статистики — это прямые потери данных, в том числе финансовых. Потеря даже небольшого объема финансовых данных может привести к ухудшению отношений с клиентами, а это уже большие репутационные риски. С Yandex Managed Service for ClickHouse мы забыли о таких рисках.уточняет Андрей Привалов, ведущий разработчик AdsCompass

При развитии Яндекс.Облака мы, с одной стороны, наращиваем функциональность самой платформы, а с другой — следим, чтобы компоненты было несложно интегрировать с внешними продуктами. Graphite — пример ПО, лёгкость интеграции с которым является важным свойством баз данных Облака. Это библиотека с открытым кодом для хранения и визуализации метрик.

Graphite удобно настроить так, чтобы данные хранились в столбцовой аналитической базе ClickHouse. Специально для этого разработан один из множества движков — GraphiteMergeTree. Он лучше всего подходит для прореживания и агрегирования (либо усреднения) содержимого БД. Саму базу полезно разместить в Яндекс.Облаке через платформенный сервис Yandex Managed Service for ClickHouse. Тогда её не потребуется обслуживать и обновлять — все подобные функции сервис возьмёт на себя.

В этом посте мы опишем процесс настройки Yandex Managed Service for ClickHouse специально под Graphite.

1. Регистрация конфигурации rollup в ClickHouse
Создание конфигурации rollup в существующем кластере Managed Service for Clickhouse можно произвести через CLI или API.

CLI
Если вы выбрали интерфейс командной строки, подготовьте yaml-файл с описанием параметров rollup, например:
graphite-rollup.yaml: name: test_rollup patterns: - regexp: click_cost function: max retention: - age: 86400 precision: 60
Указанные в файле параметры соответствуют конфигурации, описанной в документации.

Далее выполните команду, указав ID кластера ClickHouse и имя файла конфигурации, созданного на предыдущем шаге:
$ yc managed-clickhouse cluster add-graphite-rollup <CLUSTER_ID> --rollup-file-name graphite_rollup.yaml

API
Используйте метод update для кластера ClickHouse, передав в теле запроса требуемые параметры rollup:
"graphiteRollup": [ { "name": "test_rollup", "patterns": [ { "regexp": "click_cost", "function": "max", "retention": [ { "age": "86400", "precision": "60" } ] } ] } ]

2. Создание таблицы на основе GraphiteMergeTree
Подключитесь к хосту ClickHouse и выполните запрос на создание таблицы на основе GraphiteMergeTree. В качестве параметра передайте имя секции rollup, описанной на предыдущем этапе. Вот пример:
CREATE TABLE GraphiteTable ( metric String, time DateTime, value Int64, version UInt64 ) ENGINE = GraphiteMergeTree('test_rollup') PARTITION BY time ORDER BY cityHash64(version, metric)
Теперь можно настроить Graphite для сохранения значений метрик на выбранном хосте ClickHouse. При этом прореживание данных будет проводиться автоматически средствами сервера ClickHouse в соответствии с параметрами, которые вы указали.

Привет!

Мы с вами живем в динамичную эпоху, когда информационные технологии развиваются стремительно, а события в мире накладывают отпечаток на бизнес, поэтому владельцам и разработчикам проектов, так или иначе, приходится учитывать множество нюансов – например, что любой зарубежный инструмент может внезапно стать недоступен.

Вот почему в это турбулентное время набирают популярность продукты, помогающие не зависеть от решений уходящих с рынка иностранных вендоров и других непредвиденных ситуаций. Одним из продуктов, которые помогают решить эту проблему, является виртуальный сервер – благодаря его возможностям можно спокойно развивать и масштабировать бизнес, несмотря на геополитические и прочие события в мире.

Сегодня мы хотели бы немного подробнее остановиться на сфере применения таких серверов и на конкретных примерах разобрать, как VPS помогает развитию бизнеса и для каких именно целей его можно использовать.

Возможно, среди наших примеров окажется тот, который послужит для вас надежным подспорьем и поможет при развитии проекта или даже масштабировании бизнеса.

Итак, перейдем к самим кейсам.

Автоматизировать всё
Автоматизация рабочих процессов с каждым днем становится всё востребованнее – 74% российских организаций активно запускают подобные проекты, а к 2028 году, по прогнозам, темпы роста мирового рынка автоматизации процессов составят 5,9%.

Особенно остро необходимость в автоматизации ощущается, когда проект растет, ведь если, например, обработку 10 заявок с сайта в день можно поручить сотруднику, то 100, а тем более 1000 вручную обработать он уже не сможет.

Возможным вариантом, позволяющим закрыть потребность в автоматизации любых бизнес-процессов, может стать создание VPS с готовым решением для этой задачи. Например, на виртуальном сервере можно буквально в пару кликов развернуть платформу n8n.

Эта интеграционная чудо-платформа поддерживает более 300 различных приложений (среди них есть даже Почта России), которые можно использовать одновременно. Скажем, вы хотите получать сообщение в Telegram при изменении документа в Google Docs или создавать тикеты в Freshdesk на основе записей в Airtable – это и многое другое возможно с n8n.

Что именно можно автоматизировать с n8n? По правде сказать, всё что угодно.

Вот лишь несколько примеров:
управление серверами – например, можно автоматизировать процесс мониторинга состояния сервера, запуск/остановку служб, а также регулярное создание резервных копий на сервере или в облачном хранилище;аналитика – собирайте данные из различных источников, создавайте отчеты и настраивайте отправку уведомлений о ключевых метриках;управление проектами – с n8n можно автоматизировать обработку заказов, обновление их статусов, отправку оповещений сотрудникам и клиентам и другие операции;синхронизация файлов между облачными хранилищами – например, можно копировать файлы из Google Drive в Dropbox и таким образом всегда иметь под рукой их актуальную версию на всех устройствах;управление контентом в соцсетях – отслеживайте активность пользователей и упоминания бренда, настраивайте публикацию в нескольких соцсетях одновременно для экономии времени и увеличения охватов;интеграция CRM-системы с другими сервисами – например, электронной почтой и социальными сетями для добавления новых контактов и отправки персонализированных сообщений.Если вашим бизнес-процессам поможет автоматизация, то мы поможем с виртуальным сервером для этой задачи. Разверните VPS с n8n – и автоматизируйте всё, что пожелаете.
beget.com/ru/cloud/marketplace/n8n

Настройка рабочего пространства
Компании, вне зависимости от масштаба и сферы деятельности, одновременно используют для работы и коммуникаций разные инструменты. Например, планируют задачи в Google Tasks, изображения хранят в Dropbox, а общаются в Telegram. Подобная разрозненность может снизить эффективность взаимодействий, кроме того, в свете геополитических событий, когда с рынка уходят зарубежные компании, использование разных инструментов может обернуться крахом кропотливо выстроенных процессов.

Одним из решений в подобных реалиях может стать настройка рабочего пространства с помощью виртуального частного сервера. Используя VPS для бизнеса, можно создавать и настраивать собственные окружения с нужными программами, приложениями и сервисами, обеспечивая гибкость и контроль над рабочим процессом.

Например, на VPS можно развернуть бесплатное облачное хранилище Nextcloud. Эта платформа станет удобной заменой Dropbox, Google Drive, Office 365 и проч., позволяет хранить и редактировать файлы, работать и общаться в команде, настраивая уровни доступа для пользователей. Уже после установки Nextcloud предлагает целый набор готовых возможностей: персональное хранилище файлов, менеджер фотографий, конференции, календарь и таск-трекер. Кроме того, в Nextcloud предусмотрен встроенный маркетплейс дополнительных решений и приложений, за счет чего можно расширять функциональность ПО, адаптируя его под себя.

Nextcloud является Open Source решением и предоставляется абсолютно бесплатно.
beget.com/ru/cloud/marketplace/nextcloud

Если настройка собственного рабочего пространства для вас и вашей команды актуальна, предлагаем ознакомиться с нашим решением для этой задачи.

Ну а если платформа, объединяющая сразу несколько полезных инструментов, вам не по душе, на VPS-сервере можно отдельно развернуть ПО с прицелом на решение конкретной задачи.

Вот лишь несколько примеров такого ПО:
Rocket.Chat – удобный настраиваемый мессенджер для видеозвонков и обмена сообщениями в распределенной или корпоративной среде. Zulip – корпоративный чат с возможностью создания тредов, который сделает коммуникацию внутри отдельной команды или всей компании быстрой и эффективной.Bitwarden – простой и функциональный бесплатный менеджер паролей с клиентами для всех популярных платформ.BigBlueButton + Moodle – сборка для создания образовательных проектов, тренингов и онлайн-курсов, которая сделает процесс обучения более доступным и вовлекающим. beget.com/ru/cloud/marketplace/rocketchat
beget.com/ru/cloud/marketplace/zulip
beget.com/ru/cloud/marketplace/bitwarden
beget.com/ru/cloud/marketplace/bigbluebuttonmoodle

И это – далеко не полный список готовых решений, которые могут пригодиться вам при развитии проекта. Еще больше ПО – в нашем маркетплейсе.
beget.com/ru/cloud/marketplace

Когда нужен полный контроль
Бывает так, что для развития проекта необходимо иметь возможность самостоятельно управлять всей инфраструктурой.

Обычно такая потребность возникает, если:
количество пользователей сайта или приложения растет и ресурсов обычного хостинга уже недостаточно;нужна изолированная среда для тестирования и деплоя кода;планируется установка и настройка специализированного и/или специфического ПО;требуется гибкий и настраиваемый уровень доступа к серверу;необходимо самостоятельно управлять хранилищем данных.В этих и других аналогичных случаях имеет смысл задуматься о переходе на VPS.

Благодаря выделенному IP и root-доступу на VPS можно развернуть любое ПО и настроить его под себя и при этом полный контроль над виртуальным сервером будет в ваших руках. С сервером можно делать всё, что может требоваться вашему проекту: устанавливать любые приложения, выбирать, настраивать и изменять ПО под ваши проекты и при этом не чувствовать себя скованным лимитами трафика или конфигурацией.

Таким образом, VPS-сервер станет оптимальным решением для всех, кто хочет иметь полный контроль над серверным окружением, настройками ОС и установкой ПО и управлять всем этим так, как душе угодно.
beget.com/ru/vps

Волшебная палочка для аналитика
Как известно, кто владеет информацией, тот правит миром. Вот почему сбор и анализ данных с каждым днем становятся всё актуальнее для любого бизнеса. Но что делать, если данные хранятся разрозненно и в результате их сложно собирать из разных источников и к тому же их так много, что обработка данных занимает часы, а то и дни?

Для этого и многих других случаев мы специально подготовили сборку Superset+Airflow, которая позволяет хранить, визуализировать и обрабатывать любой объем данных без необходимости самостоятельно настраивать и интегрировать ПО.

В сборку входит сразу три полезных и готовых к работе инструмента:
Superset – открытое ПО для исследования и визуализации, ориентированное на большие данные.Airflow – открытое ПО для создания, выполнения, мониторинга и оркестровки потоков операций по обработке данных.Clickhouse – система управления базами данных для интерактивной аналитической обработки (OLAP).Сборка позволяет настроить мощную конфигурацию VPS-сервера, которая даст возможность выполнять сложные вычисления и обрабатывать огромные массивы данных за считанные минуты. Словом, всё, что нужно для аналитиков и других сотрудников, которые занимаются анализом данных. И конечно, сборка устанавливается в пару кликов и, как и другие наши VPS, доступна с посуточной оплатой.
beget.com/ru/cloud/marketplace/supersetairflow

Заключение
Сейчас VPS на пике популярности – по прогнозам, мировой рынок таких серверов к 2030 году достигнет 7,8 млрд долл. Это и неудивительно, с учетом преимуществ использования VPS для бизнеса (гибкость, масштабируемость, производительность, надежность, контролируемость и др.) и возможностей, которые предоставляют виртуальные серверы, в первую очередь – развиваться, несмотря на уход с рынка иностранных вендоров и мировые события в целом.

Разумеется, приведенный нами перечень примеров использования виртуальных выделенных серверов для бизнеса не является исчерпывающим, есть и другие. Например, чего только стоят создание и запуск веб-приложений, построение тестовых площадок и сред разработки, почтовые и игровые серверы, VPN, IP-телефония и т. д. – с VPS можно буквально всё.

Надеемся, кейсы, которыми мы сегодня поделились, принесут пользу вашему проекту
beget.com/

Если у вас возникли какие-либо вопросы, свяжитесь с нами удобным для вас способом – и мы обязательно ответим. Также ждем вас в нашем официальном Telegram-канале t.me/beget_official а обсудить выгоды использования VPS в бизнесе или просто пообщаться с коллегами по цеху и сотрудниками Бегета вы можете в нашем чате. t.me/beget_chat

Kiali 1.74.0, Istio и Istio Ingress 1.19.0, 22 декабря 2023
Новые версии аддонов доступны для пользователей Kubernetes начиная с 1.25. Повысить версию аддона и изменить его настройки теперь можно по кнопке, без его переустановки в кластере. Для этого перейдите в настройки аддона, выберите нужную версию и примените обновление.
cloud.vk.com/docs/kubernetes/k8s/concepts/addons-and-settings/addons

Доступен Kubernetes 1.27.6, 21 декабря 2023
Кластер с этой версией можно создать в личном кабинете, по API или с помощью Terraform-провайдера. Среди нововведений Seccomp для блокировки неразрешенных системных вызовов и поддержка gRPC.
При создании нового кластера мы рекомендуем выбирать версию Kubernetes 1.27.6.
cloud.vk.com/docs/kubernetes/k8s/concepts/versions/version-changelog#kubernetes_1276

Упростили настройку аддонов, 19 декабря 2023
Пользователи сервиса Managed Kubernetes теперь могут в несколько кликов настроить аддон, изменить его конфигурации и повысить его версию до наиболее актуальной в сервисе. Обновления применятся в кластере без переустановки аддона.
Для настройки перейдите во вкладку «Аддоны» и выберите нужный. Затем в разделе «Меню» обновите конфигурацию и нажмите «Сохранить».
cloud.vk.com/docs/kubernetes/k8s/operations/addons

Cloud Logging переходит в стадию открытого бета-тестирования, 12 декабря 2023
Сервис Cloud Logging переходит в стадию открытого бета-тестирования. Сервис стал доступен для подключения в личном кабинете платформы VK Cloud.
cloud.vk.com/docs/kubernetes/k8s/operations/addons/advanced-installation/install-advanced-logaas-integration

Работа с логами в Cloud Containers, 12 декабря 2023
Теперь логи кластеров Kubernetes можно отправлять в центральное хранилище сервиса Cloud Logging, интегрированного с Cloud Containers. Для этого нужно установить аддон FluentBit из маркетплейса аддонов.
cloud.vk.com/docs/kubernetes/k8s/operations/addons/advanced-installation/install-advanced-logaas-integration

Мы переехали! 10 ноября 2023Сайт и личный кабинет VK Cloud переехали на новый домен. Это никак не повлияет на вашу работу и доступность облачных сервисов. Новые ссылки: сайт и личный кабинет.
Для работы с платформой вам будет необходимо заново авторизоваться в личном кабинете VK Cloud, используя ваши прежние email и пароль.
Старый адрес личного кабинета будет отключен в конце ноября.
cloud.vk.com/
msk.cloud.vk.com/app/

Cloud Direct Connect, 10 ноября 2023
Новый сервис позволяет подключить внутреннюю сеть компании к VK Cloud, минуя интернет. Выделенный канал подключается к сетевому оборудованию компании и объединяет локальную инфраструктуру с облаком.
Пропускная способность канала — 10 Гбит/с. В личном кабинете VK Cloud подключение выглядит как новая подсеть.
cloud.vk.com/docs/networks/vnet/use-cases/advanced-router

Hystax Acura Disaster Recovery — бесплатно, 26 октября 2023
VK Cloud открывает бесплатный доступ к лицензиям Hystax Acura Disaster Recovery. Предложение распространяется на все дополнительные лицензии сверх текущего потребления.
cloud.vk.com/docs/applications-and-services/marketplace/initial-configuration/dr-quick-start

Kubernetes 1.26.5 в Cloud Containers, 05 сентября 2023
Пользователи сервиса по управлению кластерами Cloud Containers могут обновить кластер Kubernetes до версии 1.26. Новая версия содержит обновления и улучшения для поддержания кластера в стабильном и безопасном состоянии, а также позволяющие лучше контролировать поведение при запуске нагрузки.
msk.cloud.vk.com/app/services/containers/

Интеграция DBaaS с сервисом Cloud Monitoring, 17 августа 2023
Теперь пользователям платформы VK Cloud доступен сервис Cloud Monitoring для отслеживания работоспособности DBaaS PostgreSQL, Postgres Pro, Clickhouse и Redis.
cloud.vk.com/docs/manage/monitoring

Новый инструмент K8s: Terraform addons, 17 августа 2023
Позволяет автоматизировать процесс добавления аддонов в кластер без захода в личный кабинет. Достаточно прописать все параметры в манифестах Terraform.
cloud.vk.com/docs/kubernetes/k8s/operations/addons/manage-addons#332-3

Программа поддержки стартапов от VK Cloud, 07 августа 2023
Мы открыли прием заявок на программу поддержки стартапов и разработчиков цифровых продуктов. Участники получат ресурсы на работу с сервисами VK для создания, масштабирования и продвижения продуктов, а также для взаимодействия команды — на платформах VK Cloud, VK WorkSpace и VK Реклама.

STR в Vision, 02 августа 2023
Мы выпустили новую функциональность в сервисе Vision — Scene Text Recognition (STR). Эта модель позволит распознавать текст на фотографиях со сложной геометрией и нестандартным написанием текста. Например, на фотографиях с городских улиц, где очень много вывесок, баннеров, дорожных знаков и этикеток.
cloud.vk.com/docs/tools-for-using-services/api/api-spec/vision-api#/

Магазин приложений VK Cloud, 02 августа 2023
Теперь разработчики приложений смогут самостоятельно размещать свои решения в маркетплейсе VK Cloud через удобный интерфейс. Перед публикацией вы сможете проверить работу приложения в тестовом пространстве, чтобы удостовериться, что все работает корректно. Отправьте заявку на marketplace@lists.vk.team, чтобы получить доступ к интерфейсу загрузки.

Kubernetes 1.25.10, 13 июля 2023
В этом релизе устаревший контроллер PodSecurityPolicy заменен на новый PodSecurity Admission, а также реализована стабилизация функции CSI Migration.
cloud.vk.com/docs/kubernetes/k8s/concepts/versions/version-support

Аддоны Istio и Kiali, 13 июля 2023
Istio и Kiali позволят реализовать единообразный и эффективный подход к управлению трафиком, балансировке нагрузки, шифрованию и мониторингу в сервисе для управления кластерами Kubernetes от VK Cloud.
cloud.vk.com/docs/kubernetes/k8s/concepts/addons-and-settings/addons

Большое обновление Redis на платформе VK Cloud, 25 апреля 2023
Большое обновление Redis aaS на платформе VK Cloud: пользователям доступна версия 6.0, а также конфигурация Cluster. Новая конфигурация Cluster позволяет использовать масштабируемые кластеры Redis в облаке для большинства распространенных сценариев по работе с задачами, где требуется быстрая работа с данными.
cloud.vk.com/databases/redis/

Новая версия Arenadata DB 6.22, 20 апреля 2023
Обновили Arenadata DB в облаке VK Cloud до версии 6.22. В ней появился плагин DDBoost для утилиты gpbackup/gprestore и новые total-метрики. Также добавлена интеграция с Oracle/Teradata в PXF и исправлен ряд ошибок.
msk.cloud.vk.com/app/services/analytic-databases

K8s 1.24.9 в Cloud Containers, 28 марта 2023
Обновили версию Kubernetes. Она содержит расширения, которые делают работу K8s еще более безопасной, а также обновления некоторых компонентов. В новой версии CNI Calico обновлен до 3.25.0 и Kubernetes Dashboard обновлен до версии 2.7.0.
cloud.vk.com/docs/kubernetes/k8s/concepts/versions/version-changelog

Добавили аддоны в Kubernetes, 21 марта 2023
Добавили новую функцию в Kubernetes as a Service. С ее помощью можно быстро и удобно добавлять новые функции в кластеры и расширять их стандартные характеристики. Аддон можно подключить нажатием кнопки в личном кабинете VK Cloud.
cloud.vk.com/docs/kubernetes/k8s/operations/addons

Восстановление бэкапа в исходную ВМ, 02 марта 2023
Раньше для восстановления бэкапа в облаке VK Cloud нужно было создавать новую виртуальную машину. Теперь пользователи могут воспроизвести резервную копию данных в исходную конфигурацию ВМ. Это помогает снизить RTO (время восстановления работы) виртуальной машины.
cloud.vk.com/docs/storage/backups/vm-backup/vm-backup-manage

Тарификация сервиса Балансировщик нагрузки с 13.03.2023, 15 февраля 2023
C 13.03.2023 VK Cloud начинает тарифицировать сервис Балансировщик нагрузки.
Подробная информация доступна в Базе Знаний.
cloud.vk.com/docs/networks/vnet/tariffs

K8s 1.23.13 в Cloud Containers, 14 февраля 2023
Обновили версию Kubernetes. Она содержит расширения для более безопасной и стабильной работы. Обновить кластер до версии 1.23.13 можно с помощью одной кнопки. Обновление кластера до новой патч-версии происходит легко и просто, так как не затрагивает больших изменений в API.
cloud.vk.com/containers/

MLflow открыт для всех, 18 января 2023
Открыли для всех пользователей Cloud ML Platform компонент MLflow — один из наиболее популярных и простых в использовании open-source-инструментов для MLOps. С помощью MLflow пользователи Cloud ML Platform смогут вести трекинг экспериментов, создавать реестр ML-моделей и экспериментов с удобной навигацией в понятном UI, запускать модели в продакшен.
MLflow в облаке уже преднастроен, с ним можно сразу начинать работать. Он интегрирован с JupyterHub и работает в двух режимах: Test и Production. Для Production настроена интеграция с S3 и СУБД для хранения моделей и метаинформации.
msk.cloud.vk.com/app/services/ml-platform

Запустили новый сервис – VK Testers, 12 января 2023
VK Testers – это платформа для крауд-тестирования с многотысячным коммьюнити бета-тестировщиков и собственными инструментами для работы с данными. Она позволяет протестировать продукт на различных устройствах и ОС с привлечением реальных пользователей, расширяет возможности штатного отдела QA и помогает проверить работу продукта в реальных условиях.
Пользователям платформы будет доступен персональный менеджер, доступ к коммьюнити из 30 тысяч тестировщиков, гибкое масштабирование тестового покрытия и различные инструменты для безопасности и максимально быстрого и точного тестирования. Это поможет улучшить UX, конверсию и удержание клиентов.
msk.cloud.vk.com/app/services/marketplace

MLflow Deploy, 11 января 2023
В Cloud ML Platform появился новый инструмент для быстрого разворачивания моделей в облаке. Он упаковывает ML-модели в Docker-контейнеры, которые автоматически деплоятся в облако. Также благодаря ML Deploy эти модели доступны по REST API для решения задач Real-Time Serving.
MLflow Deploy работает совместно с MLflow и JupyterHub. Создавать инстансы и управлять деплоем моделей можно через UI или MLflow Client.
Сейчас инструмент доступен по запросу — можно оставить заявку на сайте. В феврале 2023 он откроется для всех.
cloud.vk.com/machine-learning/

Kubernetes SSO, 09 ноября 2022
Добавили в k8s возможность разграничивать доступ в кластерах и выдавать разные права. Роли в кластере интегрированы с ролями в личном кабинете VK Cloud, так что их не нужно конфигурировать отдельно. Они влияют на доступ к отдельным кластерам и операциям.
Доступны роли администратора с полными правами на кластер, оператора с правами на чтение и запись, и аудитора с правом на чтение. SSO полностью бесплатно и доступно по умолчанию для всех пользователей Kubernetes в VK Cloud с версии 1.23 и выше.
cloud.vk.com/docs/kubernetes/k8s/concepts/access-management

Параллельное обновление нод Kubernetes, 05 октября 2022
Теперь в настройках кластера можно задать процент одновременно обновляемых нод — от 1% до 100%. Если вы не указываете процент — ноды обновляются последовательно, при 100% — все одновременно. При 50% половина нод обновляется, вторая доступна для работы приложения.
С новой настройкой кластер будет быстрее обновляться до новой версии.
cloud.vk.com/docs/ru/base/k8s/k8s-node-groups/config-update-node

JupyterHub в ML Platform, 28 сентября 2022
Сервис JupyterHub aaS в ML Platform позволяет создать полностью готовую рабочую среду для Data-специалистов без необходимости настройки ПО на локальных машинах. Предоставляет удобные инструменты для проведения экспериментов с ML-моделями и интерактивной разработки в многопользовательском режиме.
msk.cloud.vk.com/app/services/ml-platform

ClickHouse 22.8, 26 сентября 2022
В ClickHouse 22.8 доступны новые операторы и дополнительные параметры запросов, а также вывод журнала в формате JSON для упрощения аналитики.
Новая версия более производительная. Она эффективнее использует ресурсы памяти при объединении результатов агрегирования, точнее управляет параллелизмом и поддерживает более оптимальную сортировку и фильтрацию.
msk.cloud.vk.com/app/services/databases/add

Postgres Pro Enterprise, 20 сентября 2022
В VK Cloud теперь доступна высокопроизводительная СУБД, которая поддерживает высокие нагрузки и параллельную работу до 10 000 пользователей. Тарификация посекундная — вы платите только за фактически использованные мощности.
Postgres Pro Enterprise подходит крупным компаниям с высокими требованиями к скорости работы и защищенности данных, например промышленным предприятиям, организациям финсектора или крупному ритейлу. Также в облаке доступна специальная версия СУБД для 1С.
Postgres Pro Enterprise входит в реестр отечественного ПО. Используя сервисы в облаке VK Cloud, вы можете обеспечить выполнение требований по работе с персональными данными по стандартам 152-ФЗ.
msk.cloud.vk.com/app/services/databases/add

Получили аттестат УЗ-1, 19 сентября 2022
Подтвердили соответствие требованиям ФСТЭК для первого, наивысшего уровня защищенности по ФЗ-152 «О персональных данных».
Теперь в облаке VK Cloud можно хранить и использовать любые типы персональных данных, в том числе биометрические и специальные.
Аттестат УЗ-1 нужен компаниям, которые работают с персональными данными и предъявляют повышенные требования к обеспечению их безопасности. Это особенно важно для бизнеса, работающего в сфере здравоохранения, финансов и услуг.
cloud.vk.com/solutions/152-fz/

Arenadata DB 6.12.8, 01 сентября 2022
В новом релизе — несколько дополнительные возможностей: нулевое заполнение страниц, коннектор Kafka 1.0.4, plcontainer 2.1.5 и другие. Исправлена ошибка выполнения теста subselect_gp.
Еще в VK Cloud открыли для всех пользователей доступ к Enterprise-версии Arenadata DB, раньше его предоставляли только по запросу. Для подключения нужно повысить квоты и включить флейвор HEAVY 16-128. Это можно сделать, написав в техподдержку.
msk.cloud.vk.com/app/services/analytic-databases

Журнал действий для Kubernetes, 24 августа 2022
Теперь с Kubernetes интегрирован единый журнал действий платформы VK Cloud. В нем можно просматривать историю действий над кластерами Kubernetes: создание, удаление, изменение параметров.
Специально ничего подключать не нужно — интеграция заработает автоматически.
msk.cloud.vk.com/app/action-logger

Postgres Pro Standard 14.4, 23 августа 2022
Обновили версию Postgres Pro Standard, доступную в VK Cloud. В ней улучшены механизмы, влияющие на скорость и эффективность выполнения запросов. Встроены механизмы защиты данных, которые обнуляют файлы перед их удалением.
Также в Postgres Pro Standard 14.4 появились дополнительные модули, которые позволяют сохранять статистику данных при резервном копировании и восстановлении, контролируют объем данных, облегчают поиск.
Подробнее — в документации.
postgrespro.ru/docs/postgrespro/14/release-14

Новая версия PostgreSQL 14.5, 18 августа 2022
В ней расширены возможности по управлению рабочими нагрузками данных в масштабе, улучшена репрезентативность данных, есть новые функции для разработчиков приложений.
msk.cloud.vk.com/app/services/databases

Arenadata DB, 10 августа 2022
Запустили сервис мониторинга кластера БД. Он помогает контролировать выполнение запросов, отслеживать загруженность кластера, анализировать планы запросов и выполнять другие задачи. Для мониторинга доступны более 20 типов метрик, а также сбор, хранение, отображение и анализ параметров мониторинга.
cloud.vk.com/docs/dbs/adb/quick-start/create-adb

Выпустили Cloud ML Platform, 02 августа 2022
Открыли доступ к тестированию Cloud ML Platform для проведения экспериментов с данными и работы с ML-моделями. Платформа создана для совместной работы дата-команд. Например, пользователи платформы смогут работать с инструментом для управления жизненным циклом ML-моделей MLflow, решением для распределенной обработки данных Spark на базе Kubernetes. Пока Cloud ML Platform в стадии бета-теста, вы можете оставить заявку, чтобы бесплатно попробовать сервис в деле.
cloud.vk.com/machine-learning/

Patch Management для обновления версии БД, 21 июля 2022
В облаке VK Cloud Solutions появился сервис Patch Management, который позволяет управлять обновлениями версий БД. Сейчас он доступен для PostgreSQL.
Система уведомляет о доступных обновлениях и позволяет перейти на новую версию в несколько кликов.
Помимо ручного обновления, можно отправить API-запрос, чтобы отследить доступные версии и запросить повышение.
cloud.vk.com/docs/ru/dbs/dbaas/service-management/postgre-update

Измените CNAME-записи в CDN, 20 июля 2022
Чтобы не допустить сбоев в работе сервиса, связанных с возможными действиями иностранных операторов связи, CDN переходит на российский домен. Новый домен, зарегистрированный в России, заменит gcdn.co.
Пожалуйста, внесите изменения в CNAME-записи в ваших DNS до 31.07.2022 года. Измените домен cl-541e19d9.gcdn.co на cl-541e19d9.mf.cdnmgf.megafon.ru.
С 1.08.2022 все ресурсы, направленные на gcdn.co, перестанут работать.

Преднастроенные дашборды в Cloud Monitoring, 08 июля 2022
Добавили уже настроенные дашборды с графиками и счетчиками для отслеживания метрик MySQL, PostgreSQL и ClickHouse. Для этого нужно подключить сервис Cloud Monitoring.
Во вкладке «Мониторинг» доступны более 10 метрик с визуализацией в виде графиков. Данные в системе обновляются каждые 5 минут. Чтобы увидеть новые показатели, обновите страницу.
msk.cloud.vk.com/app/services/monitoring

Kubernetes 1.22.9 и Alma Linux 9, 07 июля 2022
В новой версии Kubernetes повысили безопасность, обновили пакеты и исправили ошибки. Вместе с ней обновили ОС нод кластера до Alma Linux 9. Версия runtime CRI-o обновлена до v1.22.4.
С 1.22.6 до 1.22.9 можно обновиться без смены мажорной версии кластера, с сохранением совместимости API.
msk.cloud.vk.com/app/services/containers

OpenVPN, 28 июня 2022
Теперь в маркетплейсе VK Cloud Solutions доступна OpenVPN — популярная Open-Source-система, которую используют для организации доступа к внутренним корпоративным сетям через VPN.
В облаке VK Cloud Solutions c помощью OpenVPN можно создать защищенный «туннель» между VPN-клиентом и VPN-сервером, чтобы удаленно работать с корпоративными ресурсами. Также OpenVPN поддерживает шифрование, протоколы передачи данных UDP и TCP.

ClickHouse 21.3, 16 июня 2022
Теперь у ClickHouse выше производительность и скорость отдельных операций, добавлена поддержка PREWHERE и несколько новых фич.
Подробнее об обновлении — на официальном сайте вендора.
clickhouse.com/docs/en/whats-new/changelog/2021#clickhouse-release-213-lts

Доверенные репозитории, 01 июня 2022
При создании кластера Kubernetes теперь можно указать адрес репозитория Docker Registry. И при загрузке образов из этого репозитория система не будет проверять TLS.
Фича пригодится, если у вас есть репозиторий, TLS-сертификату которого кластер не доверяет.

Tarantool Cloud, 27 апреля 2022
Добавили Tarantool Cloud — платформу in-memory-вычислений, которая хранит данные в оперативной памяти и выдерживает нагрузку в сотни тысяч RPS.
Встроенный сервер приложений обеспечивает низкую задержку ответа и помогает выдерживать высокие нагрузки. В облаке сервис преднастроен и разворачивается одной кнопкой.
cloud.vk.com/databases/tarantool/

Новый сервис бэкапов, 19 апреля 2022
Запустили новый оркестратор бэкапов, еще более быстрый и функциональный. Оркестратор создает бэкапы виртуальных машин и баз данных на указанный период, если есть точка восстановления, а также позволяет гибко управлять глубиной хранения копий.
Для действующих клиентов Karbor уже заменен на новый оркестратор.
cloud.vk.com/docs/storage/backups/vm-backup

IoT Platform, 19 апреля 2022
Обновили Cloud IoT Platform — платформу, которая агрегирует, обрабатывает и визуализирует данные с умных устройств и выступает базой для построения систем интернета вещей. Она помогает снизить затраты на разработку и эксплуатацию IoT-решений и быстрее выводить их на рынок.
Сейчас Cloud IoT Platform находится в бета-тестировании — на этом этапе вы можете использовать ее бесплатно. Чтобы получить доступ к бете, заполните заявку на странице сервиса.

Cloud Alerting, 17 марта 2022
Подключили сервис, который поможет следить за состоянием облачных ресурсов и вовремя предотвращать сбои. Если ключевые метрики достигнут пороговых значений, Cloud Alerting пришлет уведомление.
Вы можете отслеживать изменения производительности, потребления ресурсов или работоспособности системы в виртуальных машинах и во всех управляемых базах данных.
msk.cloud.vk.com/app/services/monitoring/

Функция GFS, 04 марта 2022
На платформе появился алгоритм резервного копирования Grandfather-father-son backup. Он позволяет хранить:
недельные полные и инкрементные бэкапы для восстановления в случае неисправности ВМ,месячные полные бэкапы для восстановления удаленных данных,годовые полные бэкапы для соблюдения закона.
Kubernetes 1.22.6, 28 февраля 2022
Среди обновлений — Server-side Apply (алгоритм владения полями и слияния объектов), Cluster-wide seccomp defaults (альфа-функция в Kubelet), etcd в версии 3.5.0, QoS для ресурсов памяти.

Замена СentOS на AlmaLinux, 28 февраля 2022
Начиная с версии K8s 1.21, в кластерах вместо неподдерживаемого образа нод CentOS теперь совместимая с ним AlmaLinux. Рабочие ноды обновляются при скалировании, а мастер-ноды — при обновлении версии кластера.

Vertica, 03 февраля 2022
На платформе доступна высокопроизводительная база данных Vertica, которая подходит для решения аналитических задач на больших данных.
Благодаря колоночной структуре и архитектуре MPP (Massively Parallel Processing) БД быстро справляется с аналитическими запросами любой сложности. Vertica хранит данные с высокой степенью сжатия — за счет чего экономит до 90% места на диске.
msk.cloud.vk.com/app/services/analytic-databases/

MySQL 8.0, 02 февраля 2022
Добавили версию 8.0 базы данных MySQL — в ней доступно удаленное управление и мгновенный DDL, улучшилась производительность InnoDB и появилась функция группы ресурсов, которая помогает оптимизировать рабочие нагрузки на конкретном оборудовании. База данных теперь еще надежнее: операторы DDL стали быстрее и безопаснее с точки зрения аварий, а метаданные хранятся в одном словаре транзакционных данных.
msk.cloud.vk.com/app/services/databases/

Диск Prometheus в K8s, 13 января 2022
Диск Prometheus, предустановленный аддон мониторинга кластеров Kubernetes, теперь можно расширять самостоятельно. Для этого при заполнении диска достаточно выбрать объем хранилища, необходимый для вашего проекта.
cloud.vk.com/docs/base/k8s/manage-k8s/k8s-monitoring#rasshirenie_diska

Бонусы новым пользователям, 30 декабря 2021
Новые пользователи получают 3000 бонусных рублей для тестирования платформы VK Cloud Solutions — это делает менеджер во время звонка. Зарегистрировавшимся в новогодние праздники бонусы начисляем чуть позже — после 10 января. Ждите звонка в первую рабочую неделю января.

FIFO-очереди, 28 декабря 2021
Теперь в сервисе очередей доступны FIFO-очереди. Сообщения из таких очередей считываются в порядке поступления. Они используются там, где важна последовательность доставки сообщений.

Инвалидация ssh ключей для K8s, 23 ноября 2021
Теперь можно менять публичные ключи на нодах кластеров Kubernetes на новый
cloud.vk.com/docs/ru/base/k8s/manage-k8s/key-pair-invalidation

Перешли на CRI-O, 03 ноября 2021
Заменили Docker на CRI-O в Kubernetes начиная с версии 1.20

Kubernetes 1.21, 01 ноября 2021
Новая версия Kubernetes уже на платформе
kubernetes.io/blog/2021/04/08/kubernetes-1-21-release-announcement/

Terraform-провайдер для DBaaS, 08 октября 2021
MCS Terraform Provider совместим с последней версией API MCS и поддерживает все доступные в облаке базы данных и их топологии: MySQL, PostgreSQL, MongoDB, Redis, ClickHouse и PostgresPro.
Теперь его можно использовать для развертывания на платформе DBaaS в парадигме «инфраструктура как код».
registry.terraform.io/providers/MailRuCloudSolutions/mcs/latest/docs

PostgreSQL 13, 07 октября 2021
Обновленная СУБД PostgreSQL 13 доступна на облачной платформе Mail․ru Cloud Solutions.
В 13 релизе реляционной СУБД увеличена производительность, улучшены системы индексирования и поиска данных, а также безопасность.
PostgreSQL 13 облегчает работу с типами данных PostgreSQL из разных источников, что делает разработку приложений удобнее. Создайте облачную БД PostgreSQL в новой версии, чтобы попробовать все улучшения.
msk.cloud.vk.com/app/services/databases/

Кластерный режим MySQL, 06 октября 2021
Мы добавили кластерный режим работы для СУБД MySQL в облаке. Теперь при создании базы данных на платформе Mail․ru Cloud Solutions доступно три конфигурации MySQL: Single, Master-Slave и кластер.
В кластерном режиме по умолчанию создается три инстанса: мастер и две синхронных реплики. Также есть возможность добавить несколько синхронных реплик для увеличения размера кластера.
В случае отказа мастера кластер аварийно переключается на одну из доступных реплик с помощью Galera, тем самым обеспечивая более высокий уровень отказоустойчивости БД.
msk.cloud.vk.com/app/services/databases/

Портал идей MCS, 04 октября 2021
Мы запустили портал идей Mail.ru Cloud Solutions (beta), на котором представлены возможности по доработкам, улучшениям и новым фичам. Теперь вы можете напрямую влиять на дорожную карту MCS и развивать платформу вместе с нами.
Предлагайте новые идеи и голосуйте за уже существующие на сайте. Там же вы можете подписаться на обновления по конкретной фиче и отслеживать статус ее реализации.
features.mcs.mail.ru/

Mail.ru Cloud Voice, 04 октября 2021
Теперь можно распознать и озвучить текст в облаке
cloud.vk.com/cloud-voice/

Старт вечерней школы Kubernetes, 01 октября 2021
За две недели мы получили более 12 000 заявок в вечернюю школу Kubernetes от Mail․ru Cloud Solutions, Слёрм и Intel. Сегодня в 19:00 стартует первая лекция «Введение в Kubernetes». Марсель Ибраев, CTO Слёрм расскажет, какие задачи решает Kubernetes, как работать с кластером и чем отличается работа с Bare-metal, частным облаком или управляемым кластером.
Если вы не успели зарегистрироваться и не сможете приступить к программе сегодня – не беда. Можно присоединиться чуть позже и посмотреть пропущенные лекции в записи.
Записаться в вечернюю школу Kubernetes
slurm.io/events-k8s

Terraform v0.5.2, 30 сентября 2021
Мы выпустили обновленный MCS Terraform Provider v0.5.2 для работы с платформой. В нем появился Data Source mcs_kubernetes_clustertemplates, который возвращает список версий, доступных для создания кластера Kubernetes (MCS Kubernetes Cluster Templates).
Теперь с помощью Terraform удобно динамически запрашивать последнюю доступную версию Kubernetes в MCS и создавать на её основе кластер.
msk.cloud.vk.com/app/notifications/

Новый код ошибки в S3, 15 сентября 2021
429 — новый код ошибки для рейт лимита в S3
Изменился код ошибки, который вы видите при превышении рейт лимита объектного хранилища. Теперь сервис S3 отвечает кодом 429, ранее использовался код 503.
Изменения не повлияют на работу стандартных библиотек и приложений, работающих по S3-совместимому протоколу, но могут затронуть интеграции, логика которых построена на конкретных кодах ошибок.
Если у вас остались вопросы, напишите в поддержку.

Важно!, 09 сентября 2021
Обновление конфигурационных файлов Terraform и CLI (openrc)
Mail․ru Cloud Solutions станет еще лучше: вскоре на платформе будут доступны новые регионы. Просим вас обновить конфигурационные файлы Terraform и CLI (openrc) до 20 сентября 2021. Если не сделать этого, Terraform и CLI перестанут работать, как только на платформе появится первый новый регион.

Публичный DNS, 24 августа 2021
Теперь можно создать DNS-зону и управлять ее ресурсными записями в личном кабинете
msk.cloud.vk.com/app/services/cloud-networks/dns/

Журнал действий, 20 августа 2021
Просматривайте историю действий пользователей в проекте
msk.cloud.vk.com/app/action-logger/

27 июля. Вебинар
На старте проекта важно правильно подобрать облачное хранилище, тогда у вашего приложения будет надежная и масштабируемая инфраструктура. Но в первый раз этот выбор может быть сложным: непонятно, по каким критериям сравнивать, и как вписаться в бюджет.
Чтобы не искать ответы на вопросы самостоятельно, приходите на наш бесплатный вебинар. На нем поговорим про общие подходы к выбору хранилища вне зависимости от реализации — в облаке или On-Premise, расскажем о системах хранения от Mail.ru Cloud Solutions и, конечно, ответим на все ваши вопросы.
cloud.vk.com/events/san270721/

​​Поддержка Kubernetes 1.20, 13 мая 2021
Теперь можно развернуть кластер Kubernetes версии 1.20
msk.cloud.vk.com/app/services/containers/add/

Mail.ru Cloud Queues, 28 апреля 2021
Открываем cервис очередей для микросервисных и распределенных систем и приложений. Это готовый управляемый сервис, который получает, хранит и пересылает сообщения между микросервисами без потерь. При этом отпадает необходимость поддерживать синхронные коммуникации микросервисов либо подключать дополнительные межплатформенные средства для коммуникации компонентов.
С помощью сервиса очередей можно обрабатывать запросы пользователей в пиковые нагрузки, снизить риск сбоев и потери данных, а также создать надежную связь между серверами в разных филиалах.
Решение работает на Tarantool — собственной высокопроизводительной In-Memory платформе, за счет чего скорость обработки запросов достигает 5000 запросов в секунду на одну очередь.
Подключить Mail․ru Cloud Queues можно прямо из консоли.

29 апреля. Вебинар
«Как запустить проект в Kubernetes за 60 минут»
events.webinar.ru/mcs/kubernetesproject

27 апреля. Вебинар
«Все для быстрого старта проекта на Managed-базах данных»
events.webinar.ru/mcs/databases

Просмотр баланса многих проектов, 25 марта 2021
Теперь в разделе Баланс можно отобразить отчет сразу за несколько проектов. Чтобы увидеть общий отчет, используйте кнопку Фильтры и выберите нужные проекты.
cloud.vk.com/docs#section-0

6 апреля. Вебинар
«Технологии, которые позволяют E-commerce опередить конкурентов»
events.webinar.ru/mcs/ecom

Свои SSL-сертификаты в CDN, 23 марта 2021
Раньше для настройки CDN можно было использовать только сертификаты Let's Encrypt, которые имеют свои ограничения.
Теперь вы можете добавлять свои сертификаты, в том числе:
на wildcard-доменименнные на wildcardOV SSL(organization validation)EV SSL (extended validation)Multi-Domain, типа UCСcloud.vk.com/docs#section-8

23 марта. Вебинар
«MLflow в облаке. Простой и быстрый способ вывести ML-модели в продакшен»

25 февраля 2021
«Ошибки PRO-уровня при внедрении Kubernetes»

12 февраля 2021
«Выбираем облачные системы хранения для ваших сервисов: актуальные практики для любого проекта»

Просмотр журналов баз данных, 02 февраля 2021
Теперь можно посмотреть журналы (логи) баз данных:
MySQLPostgreSQL/PostgresProClickHouseRedisMongoBDПросмотреть журналы можно для экземпляров баз данных, созданных после 1 декабря 2020 года. Для этого надо подключиться по SSH к виртуальной машине.
cloud.vk.com/docs

18 января 2021
Обзор сервиса Mail.ru Cloud Containers
Создание, управлениеНастройка автомасштабированияПоддержка Node PoolsУправление с kubectl и Kubernetes DashboardМониторинг кластераPersistent VolumesВидео занимает 10 минут.
18 января 2021
Обзор сервиса Mail.ru Cloud Databases:
Создание, управлениеКонфигурации: single, master-slave, clusterБэкапыАналитические базы данных (Arenadata DB на основе Greenplum)Видео занимает 10 минут.
Mail.ru Cloud Monitoring, 14 января 2021
Теперь вы можете следить за состоянием инфраструктуры и бизнес-метриками в одном сервисе, чтобы оптимизировать потребление ресурсов, отслеживать производительность приложений и поддерживать их стабильную работу.
С сервисом мониторинга пользователям MCS доступно гораздо больше инфраструктурных метрик, а также мониторинг бизнес-части приложений. Все новые виртуальные машины теперь автоматически подключаются к мониторингу, ничего не надо настраивать дополнительно.
Сервис выдерживает обработку сотен тысяч метрик с десятков тысяч объектов.
Мониторинг стандартного ПО из коробки с помощью готовых агентов: баз данных, очередей сообщений, серверов приложений и т. д.
Мониторинг бизнес-показателей с помощью настройки пользовательских метрик.
Агрегация метрик от 1 минуты до 1 часа по выбранным значениям и гибкая настройка их визуализации.
Понятный интерфейс и язык запросов, совместимый с PromQL из Prometheus.
Сейчас мы предоставляем бесплатный доступ к сервису пользователям платформы.
Узнать больше о сервисе

Kubernetes 1.18 и 1.19, 12 января 2021
Теперь в MCS можно развернуть кластеры Kubernetes версий 1.18 и 1.19.
Главное в 1.18
Более безопасный server side apply для Kubectl.Дебаг подов с помощью kubectl alpha debug.Поддержка NUMA с помощью Topology Manager для low latency вычислений.Сильно улучшены функции Ingress. Например, добавлена поддержка wildcard-записей о доменах.Главное в 1.19
Поддержка дебага подов за счет их копирования.Дебаг нод.Поддержка управления шедулером с помощью KubeSchedulerConfiguration.Неизменяемые Secret и ConfigMaps.Эфемерные Persistent Volumes на базе CSI, чтобы создавать RAM-диски или использовать локальные LVM для временного хранения.msk.cloud.vk.com/app/services/containers/add/

Нестабильная ситуация в мире и экономике оказывает беспрецедентное влияние на бизнес всех технологических компаний и вынуждает нас пересмотреть стоимость услуг в рублях и тенге — с 13 апреля 2022 года.

Основные причины — повышение цен на закупку сетевого и серверного оборудования из-за роста курса валют и сложности в логистике поставок.
Новые цены появятся на этой странице.

Все согласованные ранее специальные условия продолжают действовать в соответствии с договорённостями. Цены в долларах останутся без изменений.

Диапазон изменения цен
Compute Cloud +40–60%Object Storage +60%Network Load Balancer +40%Application Load Balancer +60%Cloud CDN +60%Virtual Private Cloud +60%Cloud DNS +44–60%Managed Service for Kubernetes +60%Container Registry +60%Managed Service for PostgreSQL +40–60%Managed Service for ClickHouse +40–60%Managed Service for MySQL +33–60%Managed Service for Redis +60%Managed Service for MongoDB +33–80%Managed Service for Elasticsearch +60%Managed Service for Apache Kafka® +40–60%Managed Service for SQL Server +60%*Managed Service for Greenplum® +40–60%Data Proc +33–60%Yandex Database +60%Cloud Functions +60%Message Queue +60%Yandex API Gateway +60%Yandex IoT Core +60%Serverless Containers +60%DataSphere +60%SpeechKit +5–10%Translate +10%Vision +8%Yandex Key Management Service +60%Yandex Monitoring +40%
Изменение цен на Managed Service for SQL Server пройдёт в два этапа: +60% с 22.03 только на лицензионные составляющие и на 60% с 13.04 на вычислительные мощности.

Текущие изменения не затронут сервисы Yandex Interconnect, DDoS Protection, Data Streams, Tracker и тарифные планы поддержки.

Сервисы Yandex DataLens, Data Transfer, Certificate Manager, Forms, Wiki, Identity and Access Management (IAM), Resource Manager и Cloud Organization мы продолжаем предоставлять бесплатно. Для сервисов экосистемы бессерверных вычислений на прежних условиях сохраняется уровень нетарифицируемого использования (serverless free tier).

Цены на программные продукты в Yandex Cloud Marketplace регулируются компаниями-вендорами. Если ценовая политика вендора изменилась — меняются цены на лицензионные составляющие в образах. Некоторые образы в Marketplace базируются на ОС Windows (Loginom, Kaspersky, Геонафт), и повышение цен на OC Windows приведет к повышению цен на эти образы. Обо всех таких изменениях мы будем сообщать отдельно.

Специальные условия, скидки и резервы
Резервирование ресурсов (CVoS) в автоматическом режиме в консоли на данный момент приостановлено. При этом цены и скидки, которые были зафиксированы в рамках специальных условий или резервов до 21 марта 2022 года, остаются в силе и продолжат действовать в рамках согласованного срока и объёма потребления.

Общие новости
Yandex.Cloud выходит на европейский рынок. До конца 2022 года Yandex.Cloud откроет регион из нескольких зон доступности в Европе. Первый регион за пределами России будет размещаться в Германии. Клиенты европейской зоны доступности смогут воспользоваться всеми существующими сервисами и инструментами Yandex.Cloud. Доступ будет обеспечиваться с выполнением требований постановления Европейского союза General Data Protection Regulation для европейских пользователей. Кроме того, в планах платформы локализация когнитивных сервисов Yandex SpeechKit.Гранты за работу над документацией облачной платформы. Контент-программа Yandex.Cloud предоставляет пользователям возможность улучшать и создавать новую документацию для облачной платформы. Каждый автор, который внесет правки в документацию, подготовит оригинальный сценарий решения задачи или пошаговое руководство, получит грант на свой платежный аккаунт Yandex.Cloud.Yandex.Cloud и «АльфаСтрахование» запустили первую в России программу страхования рисков бизнеса при использовании облачных сервисов. Теперь ответственность Yandex.Cloud как провайдера облачных сервисов будет усилена новым инструментом — расширенной защитой от потенциальных убытков, связанных с нарушением целостности данных и непрерывности бизнеса.G-Cloud. Для размещения государственных информационных систем на базе инфраструктуры и сервисов платформы Yandex.Cloud будет создан отдельный облачный регион, соответствующий требованиям безопасности и защищенности, которые регуляторы предъявляют к сервисам и инфраструктуре для работы ГИС. Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов. Планируется, что платформа G-Cloud будет готова к размещению ГИС к концу 2022 года.Yandex Distributed Cloud. Развитие концепции распределённого облака, в основе которой лежит использование платформенных сервисов и технологических решений Yandex.Cloud не только в публичном облаке, но и непосредственно на территории клиента. Комплексное облачное решение включает в себя IaaS, PaaS и SaaS и развивается вместе с публичным Yandex.Cloud за счёт общей кодовой базы. Единое решение одного вендора гарантирует высокую совместимость сервисов. Информационная безопасность обеспечивается совместно Yandex.Cloud и клиентом по прозрачной модели разделяемой ответственности. Сервисы предоставляются в соответствии с описанием и SLA.Yandex.Cloud переходит на новое поколение серверных стоек. Теперь серверное оборудование поддерживает последние поколения процессоров — Intel Ice Lake. Новое поколение платформы позволяет добиться повышения производительности до 50% при работе с управляемыми базами данных, системами аналитики, сервисами машинного обучения, веб-приложениями и виртуальными рабочими местами. Также в новом поколении стоечных решений стали доступны графические процессоры NVIDIA A100 (GPU), которые работают с новыми процессорами AMD Epyc 2 (Milan).Улучшение производительности дисков. Помимо производительности процессоров за этот год мы ускорили наши диски. Облачный диск более надежен чем физический, так как каждый блок данных мы записываем не на один, а на несколько дисков, расположенных в разных серверных стойках. Мы много инвестировали в производительность нашей дисковой подсистемы, и теперь по синтетическим тестам они подходят для всех типовых сценариев.Образовательная инициатива. Один из приоритетов Yandex.Сloud на ближайшие годы — создание цифровых решений для развития сферы науки и образования. Облачная платформа располагает всеми необходимыми инструментами и технологиями, которые помогут решить любые задачи как ведущим вузам, так и EdTech-стартапам. Мы собрали все проекты, которые реализуем для сферы образования и науки.
Инфраструктура
Новые сервисы
Yandex Cloud CDN, сервис для организации сети распространения, созданный на основе G-Core Labs CDN и предназначенный для переноса части нагрузки с источников данных на CDN-серверы, вышел в общий доступ. Сетевая инфраструктура Content Delivery Network состоит из распределенных CDN-серверов (более 800 серверов по всему миру).Yandex Application Load Balancer, сервис для распределения трафика между приложениями и создания управляемых балансировщиков, вышел в общий доступ. Сервис предоставляет масштабируемую инфраструктуру подачи HTTP-трафика, что облегчает построение микросервисной архитектуры.Yandex Cloud DNS, сервис администрирования ресурсных записей DNS и обслуживания DNS-запросов, вышел в общий доступ. С помощью Cloud DNS пользователи управляют своими доменами, купленными у любого регистратора, и доступом по доменным именам к приложениям, развёрнутым в облаке.
Новые возможности в сервисах
Public gRPC API — программный интерфейс в Yandex Cloud CDN для интеграции и обращения к облачным сервисам из внешних систем и управления ресурсами в облаке.Поддержка Origin Shielding в Yandex Cloud CDN — помогает защитить origin-сервер (источник данных) от перегрузки запросами с нескольких узлов CDN. Origin Shielding аккумулирует все запросы клиентов на специальном сервере предварительного кэширования и перенаправляет их на origin-сервер.Поддержка Raw Logs в Yandex Cloud CDN — позволяет получить с CDN-серверов все access-логи для их дальнейшего анализа.Интеграция Yandex Cloud CDN с Certificate Manager — осуществляет управление и хранение TLS-сертификатов, а также позволяет использовать их в интегрированных сервисах Yandex.Cloud.Управление трафиком приложений, запущенных в кластере Managed Service for Kubernetes®, в Yandex Application Load Balancer через ingress-контроллер. После установки такого контроллера будет автоматически развернут балансировщик с нужными целевыми и backend-группами, HTTP-роутерами и обработчиками. Контроллер поддерживает gRPC, traffic-shifting, интеграцию с Certificate Manager и Object Storage.
Платформа данных
Новые сервисы
Yandex Data Transfer стал доступен для всех пользователей, но часть функциональности пока остается на стадии Preview. По мере развития сервиса трансферы будут выходить в публичный доступ (GA). За появлением новых трансферов и об изменениях стадий следите в блоге и телеграм-канале Yandex.Cloud.Базовая версия Yandex DataLens становится полностью бесплатной и без ограничений на число пользователей и сессий — как для внутренних, так и для внешних источников. Вместе с этим Yandex.Cloud продолжит развивать платные расширения для DataLens для решения более сложных задач.
Новые возможности в сервисах
В Data Transfer появилась возможность переносить данные между гетерогенными источниками. Например, можно взять данные из OLTP-базы и сделать их копию или постоянно поддерживаемую реплику в аналитической СУБД для их эффективного анализа.В Data Transfer появилась работа с произвольными потоками данных. Теперь вы можете сохранить данные из брокеров данных (Managed Service for Apache Kafka, Yandex Data Streams) в различные хранилища, которые поддерживает сервис. Так для анализа вы можете направить ваш поток данных в ClickHouse, а для более дешевого долговременного хранения — в Object Storage, по пути обрабатывая данные с помощью Cloud Functions.В Data Transfer появились public API и CLI.В Yandex DataLens добавлены SQL-чарты для написания SQL запроса под конкретный чарт. Это позволяет раскрыть широкие возможности создания отчетов с комплексными вычислениями над данными.В Yandex DataLens появились выражения Level of Detail — аналитические функции, которые можно использовать для двойных агрегаций. Например, чтобы посчитать средний DAU за неделю.В Yandex DataLens появились полилинии — еще один тип возможного геослоя на чарте «Карта». Для работы с ним в датасете каждая точка каждой полилинии должна храниться отдельной строкой.В Yandex DataLens добавили кольцевые диаграммы — новый тип чарта для отображения доли и общей суммы. Итоги можно включить через шестеренку настройки чарта.В Yandex DataLens добавили итоги в плоских таблицах и фильтр по умолчанию для новых чартов.В Yandex DataLens добавили новый коннектор для Greenplum и поддержку сервиса Yandex Database как источника данных.В Yandex DataLens добавлены расширенные палитры цветов.Большой демо дашборд с возможностями Yandex DataLens. В нем собраны как решения конкретных прикладных задач (например, когортный анализ), так и функциональные примеры, раскрывающие нюансы использования DataLens (комплексные аналитические функции, работа с геоданными и др.). Вы можете импортировать дашборд в свой аккаунт DataLens из Marketplace, чтобы изучать примеры, редактировать страницы и экспериментировать.Больше новостей про сервисы по управлению базами данных и средствами загрузки читайте в дайджесте платформы данных.
Serverless
Новые сервисы
Вечный Free Tier. После запуска программы Free Tier, в рамках которой можно было попробовать использовать нашу serverless-экосистему бесплатно при соблюдении базовых лимитов, было принято решение продлить эту программу бессрочно.Yandex Data Streams, сервис для управления потоками данных, становится общедоступным.Yandex Serverless Containers — сервис для миграции и запуска существующих микросервисных приложений в serverless-экосистему. Новый сервис позволяет запускать контейнеры без необходимости работы с Kubernetes, без создания виртуальных машин и настройки инфраструктуры.Yandex Cloud Logging, сервис для агрегации и чтения логов пользовательских приложений и ресурсов Yandex.Cloud, вышел в стадии Preview. Cloud Logging спроектирован как serverless-решение. С его помощью можно читать, записывать и безопасно хранить логи пользовательских приложений и ресурсов Yandex.Cloud, объединяя сообщения в группы, как с помощью низкоуровневого API, так и при помощи разработанного плагина для Fluent Bit.
Новые возможности в сервисах
В Yandex Data Streams появилась совместимость с сервисом AWS Kinesis Data Streams. Это позволяет легко мигрировать ваши приложения между облаком AWS и Yandex.Cloud. В результате получился простой в использовании serverless-сервис, который расширит возможности потоковой обработки в платформе Yandex.Cloud, дополнив Apache Kafka.В Yandex Data Streams появилась интеграция с сервисом Data Transfer, что позволяет пользователям удобно отправлять данные в системы хранения Yandex.Cloud без написания кода.MDB Proxy. Появилась возможность подключения serverless-экосистемы к платформе данных из функции. MDB Proxy позволит обращаться к хостам кластера, для которых не настроен публичный доступ. Сейчас эта возможность доступна для работы с базами, созданными при помощи сервисов Managed Service for PostgreSQL и Managed Service for ClickHouse, а в будущем и для других сервисов платформы данных Yandex.Cloud.
Developer Tools
Новые сервисы
Managed Service for GitLab, сервис для управления DevOps-платформой GitLab в инфраструктуре Yandex.Cloud, вышел в стадии Preview. Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud.Yandex Load Testing, сервис для проведения нагрузочного тестирования и анализа производительности, вышел в стадии Preview. Load Testing поможет подготовить виртуальную машину с необходимым ПО, настроить и запустить тесты и получить на их основе отчеты.
Бизнес-инструменты
Новые сервисы
Yandex Cloud Desktop, сервис для запуска рабочих мест, вышел в стадии Preview. Решение обеспечивает терминальный доступ к виртуальным машинам, на которых сотрудники запускают свои рабочие приложения. С помощью Yandex Cloud Desktop можно создать рабочие места в облаке компаниям любого размера и получить неограниченное количество вычислительных ресурсов и дискового пространства, а также защитить данные.
Новые возможности в сервисах
Мобильное приложение Yandex Tracker. Мы перезапустили мобильное приложение Yandex Tracker. На данный момент в нем можно: создать задачу, изменить исполнителя, дедлайн и другие параметры задачи, оставить комментарий в задаче, призвать коллегу, приложить или скачать файл, а также использовать шаблоны фильтров для быстрого поиска задач.
Безопасность
Новые сервисы
Yandex Cloud Organization — сервис для управления составом организации, настройки интеграции с каталогом сотрудников и разграничения доступов пользователей к облачным ресурсам организации. Пользователи, федерации удостоверений, облака и сервисы будут собраны внутри одной организации, что поможет централизованно управлять доступами и ресурсами.Yandex Audit Trails, сервис для сбора и выгрузки аудитных логов ресурсов Yandex.Cloud, вышел в стадии Preview. Он позволяет получать информацию о событиях, происходящих с ресурсами, и на основе этих данных строить процессы поиска аномалий. Audit Trails уже интегрирован с Yandex Cloud Organization. Собирайте события централизованно по всей организации, сохраняйте их в Object Storage для долговременного хранения, а также просматривайте в интерфейсе Cloud Logging и обрабатывайте при помощи триггеров.
Новые возможности в сервисах
У сервиса управления криптографическими ключами Yandex Key Management Service появился новый тип ключей, создание и использование которого проходит в специальных аппаратных модулях безопасности HSM. Это делает защиту ключей максимальной, а также убирает сложности самостоятельной работы с модулями HSM.В Yandex Container Registry вышла в стадии Public Preview функция сканирования безопасности образов контейнеров. Это позволяет отслеживать уязвимости в docker-образах средствами облака, делать приложения безопаснее и в том числе выполнять требования регуляторов.С помощью открытого решения External Secrets проведена интеграция Yandex Lockbox в Yandex Managed Service for Kubernetes® для еще более надежного хранения ваших секретов в Kubernetes.
Машинное обучение
Новые возможности в сервисах
ML-модель в Yandex DataSphere теперь можно развернуть «по одной кнопке». При этом пользователям не нужно создавать и управлять инфраструктурой — все будет создано автоматически.
Биллинг
Новые возможности в сервисе
Типы бюджета: квартальные, годовые, настраиваемые. Первые два позволяют установить сумму расходов либо за квартал, либо за год.Тип бюджета «Остаток средств». С его помощью пользователь будет получать уведомления, когда платежный баланс упадет ниже заданного лимита. Можно установить сразу несколько порогов, по достижении которых будут приходить сообщения, и задать каждому лимиту определенного получателя.Интеграция бюджетов с облачными функциями. Теперь можно привязать к бюджету написанную пользователем облачную функцию, которая автоматически будет выполняться при достижении установленного порога бюджета. Например, при превышении расходов начнется плановое отключение части виртуальных машин или сокращение подключенных ресурсов.Использование Cloud Functions и для интеграции со своими системами. Если вы используете CRM-систему, то можно настроить бюджеты так, чтобы сообщение о превышении потребления ресурсов приходило в систему. По схожему принципу происходит настройка отправки уведомлений в виде смс-сообщений или сообщений в мессенджер.

Новый сервис Yandex Managed Service for Greenplum
cloud.yandex.ru/services/managed-greenplum
cloud.yandex.ru/docs/managed-greenplum
Необходима аналитика на больших объемах данных.Существующая СУБД перестала справляться с аналитической нагрузкой и не масштабируется.Существующая СУБД стала слишком дорогой (из-за роста курса доллара и увеличения объема данных).Необходимо ядро для создания корпоративного хранилища данных.Необходима единая точка консолидации больших объемов данных из нескольких источников.
Решайте свои задачи с Managed Service for PostgreSQL
В 2012 году Яндекс решил перенести сервис Яндекс.Почта с Oracle на другую СУБД. Через четыре года экспериментов и подготовки — в 2016 году — сервис полностью мигрировал на PostgreSQL. С этого момента команда разработчиков и администраторов непрерывно развивает проект: написала свой пулер соединений, доработала системы репликации, восстановления и мониторинга. Сейчас база данных Почты занимает больше 2 ПБ, а пиковые нагрузки достигают 1 миллиона транзакций в секунду.
cloud.yandex.ru/services/managed-postgresql
console.cloud.yandex.ru/link/managed-postgresql/

Yandex SpeechKit Brand Voice: представляем технологию для создания фирменных голосов
cloud.yandex.ru/services/speechkit#brand-voice
маршрутизация звонков на первой линии;телемаркетинг;подтверждение заказов, записи на прием, напоминания клиентам;опросы и замер NPS.
Новый сервис Yandex Cloud Logging
cloud.yandex.ru/services/logging
cloud.yandex.ru/docs/logging
Cloud Logging агрегирует данные о работе сервисов и приложений в различные лог-группы:
по умолчанию (создается автоматически для каждого каталога) — в нее пишутся сообщения сервисов, если не указана пользовательская лог-группа;пользовательская — в ней создают новые лог-группы и добавляют права доступа для выбранных ресурсов.
Новые возможности Yandex.Cloud, реализованные из ваших идей
DNS как сервис (я голосовал кстати за него топил там)Yandex Managed Service for Apache KafkaПоиск с помощью ElasticsearchМногослойные геочартыКоннектор Google SheetsДетальные логи в Yandex Object StorageАвтообновляемый Let’s Encrypt для Yandex Object Storage (тоже голосовал)Управление внешними IP-адресами в VPCTerraform-поддержка для Yandex DatabaseВстроенный дашборд для Yandex Managed Service for KubernetesЭкспорт метрик в формате PrometheusПоддержка новых языков и пакетов в Yandex Сloud FunctionsМобильное приложениеЗащита мобильного приложения PIN-кодом или паролемcloud.yandex.ru/blog/posts/2021/07/implemented-features

Считаем звёзды в облаках: эксперимент создателей ClickHouse c датасетом GitHub
cloud.yandex.ru/blog/posts/2021/07/clickhouse-github

Новый сервис Yandex Cloud Organization вышел в Public Preview
cloud.yandex.ru/services/organization
cloud.yandex.ru/docs/organization/api-ref/grpc/
Единое решение для корпоративных клиентов, с помощью которого можно управлять списком ваших сотрудников, обеспечивать им единую авторизацию и назначать роли в подключенных сервисах Yandex.Cloud.

Окончание поддержки CentOS 8 в декабре 2021 года
AlmaLinuxOracle LinuxUbuntuCentOS Stream
Elasticsearch — поисковая система и аналитическая СУБД в облаке
Сейчас Elasticsearch — ядро экосистемы Elastic Stack, в состав которой также входят:
механизм сбора данных и регистрации журналов Logstash;платформа аналитики и визуализации Kibana;платформа для одноцелевых отправителей данных Beats.console.cloud.yandex.ru/link/managed-elasticsearch
cloud.yandex.ru/services/managed-elasticsearch

Операционная система Windows Server Standard больше не будет доступна в Yandex Cloud Marketplace
Windows Server Standard будет доступна в Yandex Cloud Marketplace только до 31 августа 2021 года включительно. С 1 сентября 2021 года при запуске новых ресурсов можно будет использовать только редакцию Windows Server Datacenter.

Новый сервис Yandex Data Streams вышел в стадии Preview
cloud.yandex.ru/solutions/serverless
Сохранение одного потока в несколько приемников с различными политиками хранения возможно с помощью сервиса Yandex Data Transfer. Данные из источников поступают в Data Streams, Data Transfer считывает эти данные, разбивает их на колонки и строки и сохраняет в одну или сразу в несколько принимающих систем типа: Yandex Database, ClickHouse, Object Storage и другие. Передаваемые данные можно обрабатывать в Yandex Cloud Functions, для обфускации чувствительных данных, смены их формата или любой другой обработки.
console.cloud.yandex.ru/link/data-streams/

Процессоры Intel Xeon Scalable 3-го поколения (Ice Lake) доступны в Yandex Compute Cloud
cloud.yandex.ru/docs/compute/concepts/vm-platforms
cloud.yandex.ru/services#data-platform
Теперь виртуальные машины размером до 32 vCPU размещаются на одной NUMA-ноде, что может дать дополнительный прирост производительности виртуальных машин с числом ядер от 20 до 32.
Технология Intel Deep Learning Boost обеспечивает решение задач машинного обучения в среднем на 56% быстрее по сравнению с предыдущим поколением.
console.cloud.yandex.ru/link/compute/

Обгоняя рынок: выручка Yandex.Cloud в первом полугодии выросла на 240%
Три самых важных факта о росте Yandex.Cloud в 2021 году
1,1 миллиарда рублей составила общая выручка Yandex.Cloud в первом полугодии 2021 года. Это больше, чем выручка облачной платформы Яндекса за весь 2020 год.На рост выручки повлияло в первую очередь то, что количество клиентов увеличилось на 60%, новые и действующие клиенты наращивают потребление облачных сервисов, сегмент крупных клиентов растет опережающим темпом.Клиенты Yandex.Cloud в пять раз увеличили потребление сервисов группы платформы данных и в четыре раза — группы контейнерная разработка.Обгоняя рынок: выручка Yandex.Cloud выросла в 3,4 раза, а средний чек — на 90%
cloud.yandex.ru/blog/posts/2021/09/financial-results-2021

1 октября изменятся цены на продукты и лицензии Microsoft
Microsoft объявила о вступающих в силу с 1 октября 2021 года изменениях в рублевом прайс-листе. Цены на все сегменты коммерческого ПО и облачных сервисов увеличатся примерно на 15,2%.

Новости Yandex Monitoring
В Мониторинге стали доступны метрики следующих сервисов:
Yandex Application Load BalancerYandex Cloud LoggingYandex Container RegistryYandex Data StreamsYandex Identity and Access ManagementYandex Key Management ServiceYandex Managed Service for GreenplumYandex MonitoringYandex SpeechkitYandex TranslateYandex VisionYandex Message Queuegithub.com/yandex-cloud/yagr
cloud.yandex.ru/mobile-app
cloud.yandex.ru/docs/monitoring/concepts/data-collection/unified-agent/

Три сервиса управления облачной инфраструктурой доступны всем пользователям
Yandex Cloud CDN cloud.yandex.ru/services/cdn
Yandex Application Load Balancer cloud.yandex.ru/services/application-load-balancer
Yandex Cloud DNS cloud.yandex.ru/services/dns

Новые возможности Yandex Data Transfer
cloud.yandex.ru/services/data-transfer
У сервиса появились public API и CLI — благодаря чему создание и управление трансфером стало еще проще.
cloud.yandex.ru/docs/data-transfer/

Развитие экосистемы Serverless в 2021 году
Вечный Free Tier от Yandex.Cloud
cloud.yandex.ru/docs/billing/concepts/serverless-free-tier
Yandex Data Streams
cloud.yandex.ru/services/data-streams
MDB Proxy
cloud.yandex.ru/docs/functions/operations/database-connection
Yandex Serverless Containers
cloud.yandex.ru/services/serverless-containers cloud.yandex.ru/docs/serverless-containers/
Yandex Cloud Logging
cloud.yandex.ru/services/logging
cloud.yandex.ru/docs/logging/

Инструменты разработчика
Managed Service for GitLab
cloud.yandex.ru/services/managed-gitlab
Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud. Кроме того, Managed Service for GitLab совмещает преимущества использования облачной версии gitlab.com и его установки на собственные сервера.
Yandex Load Testing
cloud.yandex.ru/services/load-testing
создать в один клик в своем облаке заранее настроенный генератор нагрузки на базе Яндекс.Танк и управлять им из удобного UI-интерфейса;сконфигурировать тест в интерфейсе и запустить нагрузку с созданного генератора (Phantom или Pandora);посмотреть отчет о проведенном тесте;хранить в единой базе ранее проведенные отчеты и управлять ими.
ML-модель в Yandex DataSphere теперь можно развернуть «по кнопке»
Типовой цикл ML-разработки состоит из следующих этапов:
сбор, структуризация и анализ данных;создание ML-моделей с разными параметрами и выбор топ-перформеров;обучение ML-модели на полных датасетах;развертывание модели в эксплуатацию.cloud.yandex.ru/services/datasphere
cloud.yandex.ru/docs/datasphere/

Новый сервис Yandex Cloud Desktop вышел в стадии Preview
cloud.yandex.ru/services/cloud-desktop
cloud.yandex.ru/docs/cloud-desktop
возможность создания одного или множества виртуальных рабочих мест;простота использования — необязательно иметь опыт в области IT, чтобы организовать удаленную работу сотрудника, достаточно несколько кликов в интерфейсе;высокий уровень безопасности — соответствие требованиям 152-ФЗ по уровню защищённости УЗ-1, а также требованиям международных и национальных стандартов ISO, GDPR, PCI DSS и ГОСТ Р 57580;оплата только за используемые ресурсы;высококвалифицированная поддержка, которая решит проблемы с настройкой рабочего места.
G-Cloud — новый проект Yandex.Cloud для государственных организаций
Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов.Реализация проекта G-Сloud снимет барьер использования публичных облачных платформ в государственном секторе и создаст дополнительные возможности для роста партнерской экосистемы Yandex.Cloud.
Yandex.Cloud выдает гранты за работу над документацией облачной платформы

cloud.yandex.ru/content-program
Познакомьтесь с Yandex Flavored Markdown и начинайте вносить правки
ydocs.tech/ru/

Представляем мобильное приложение Yandex Tracker
cloud.yandex.ru/services/tracker
создать задачу;изменить исполнителя, дедлайн и другие параметры задачи;оставить комментарий в задаче, призвать коллегу;приложить или скачать файл;использовать шаблоны фильтров для быстрого поиска задач.redirect.appmetrica.yandex.com/serve/675903944362323225
redirect.appmetrica.yandex.com/serve/315615973082170833

Больше возможностей для визуализации и анализа данных: главные апдейты Yandex DataLens
SQL-чартыВыражения Level of DetailКольцевые диаграммыИтоги в плоских таблицахПоддержка Greenplum и Yandex DatabaseФильтр по умолчанию для новых чартовБольшой демо дашборд с возможностями Yandex DataLenscloud.yandex.ru/docs/datalens/
datalens.yandex/demo
datalens.yandex.ru/marketplace/f2eui5ar8omalpcg1j3r

Новые решения в области безопасности Yandex.Cloud
Новые сервисы безопасностиБезопасность платформы и развитие функциональности сервисовИнтеграция балансировщика нагрузки уровня приложений (Application LB) с контроллером входящего трафика (Ingress Controller) в сервисе KubernettesБиблиотека решений по безопасности (Solution Library for Security)Сбор и анализ логов безопасности Managed Service for KubernetesПоддержка Cilium в Managed Service for Kubernetes
Новые возможности Биллинга, доступные всем пользователям Yandex.Cloud
Интеграция бюджетов с облачными функциями
cloud.yandex.ru/services/functions
В конце весны в Биллинге появились бюджеты — еще один способ контроля потребления ресурсов в платформе. Бюджеты позволяют установить сумму расходов за месяц, а при достижении порога потребления направляют уведомления указанным в настройках пользователям, которые зарегистрированы в облаке.
cloud.yandex.ru/docs/billing/concepts/budget

Система антиспама в Selectel до самописного решения
Привет, Хабр! Я Саша Федосеев, младший разработчик Python в Selectel. Несколько лет назад, когда наша компания начала особенно быстро расти, мы столкнулись с проблемой. Нашими ресурсами начали интересоваться всякие недобросовестные спамеры из жарких стран. У нас есть довольно бюджетные конфигурации виртуалок, а что им еще для счастья надо.

Почему мы решили с ними бороться? Ну, рассылается почта с аккаунтов, что тут такого… Однако с точки зрения облачного провайдера есть причины, почему все-таки стоит пресекать «размножение» спамеров.

Зачем бороться со спамерами
Они портят белые IP-адреса
Чтобы рассылать какую-то почту вовне, необходимо, чтобы виртуалка имела IP-адрес. Белые «айпишники» — достаточно ограниченный ресурс, поэтому нам важно понимать, что их занимают порядочные пользователи, а не спамеры. Последние провоцируют бан IP со стороны крупных email-сервисов: «айпишник» попадает в черный список, и мы даже не всегда можем это понять. Только тогда, когда передаем такой IP другому клиенту, которому нужно рассылать почту, а он в итоге не может этого делать. Выводить IP из бана — достаточно непростой процесс, поэтому лучше просто туда не попадать.

Эффект шумного соседа
Спамеры нередко разворачивают много спам-машин. И пользователи, которым не повезло находиться на том же хосте виртуализации, могут пострадать. Это неприятно.

Занимают IP-адрес и процессорное время
Зачем Selectel такие клиенты, если на их месте могут быть хорошие пользователи, которые заинтересованы в качестве наших услуг и тратят мощности на развитие своего бизнеса?

Репутационные проблемы
Ни одному провайдеру не понравится, если про него будут говорить, что у него развелись спамеры и он этим промышляет.

Как было раньше
С самого начала антиспам был ручной: проблемой занимались сотрудники технической поддержки, которые разбирали каждый инцидент. Техническая поддержка тащила на себе весь этот груз. Кроме того, администраторы периодически просматривали регистрации, чтобы убедиться, что 10 аккаунтов зарегистрировал не спамер и это просто стечение обстоятельств: 10 разных пользователей зарегистрировались в одно время.

Понятно, что такая система довольно неэффективна. Во-первых, между определением спамера и его баном проходит непозволительно долгая задержка. Во-вторых, сотрудники техподдержки могут тратить свое рабочее время более рационально. Поэтому мы начали искать другие варианты.

Возможные пути решения проблемы
Регистрация по документам
Так мы бы отпугнули спамеров, но существенно осложнили бы онбординг для добропорядочных клиентов. Кроме того, сотрудникам техподдержки пришлось бы просматривать каждую регистрацию. Кажется, не самая приятная работа. Да и наличие некоего jpg-файла не является гарантией существования реального документа.

Итог: решили не устраивать «paper, please» и отказались от этого варианта.

Закрыть возможность отправки почты для клиентов
Можно было предупреждать всех клиентов, что мы не поддерживаем отправку почты от слова совсем. Но, пожалуй, это было бы странно. Пользователи, которые не рассылают спам, лишились бы стандартных и привычных функций. Не смогли бы даже рабочую почтовую переписку вести и точно грустили бы из-за этого.

Итог: мы не хотели лишать клиентов каких-то очевидно необходимых возможностей и заставлять их искать решения «на стороне».

Создать Gateway для отправки почты
В целом, Gateway для почты — это сервер, через который проходят все письма. Он способен анализировать почту и выносить решение, является ли то или иное письмо спамом. В случае провайдера инфраструктуры, такого как Selectel, было бы правильным оформить это как сервис. Но такое решение требует отдельной команды разработчиков, постоянной поддержки и развития.

Итог: создание такой услуги не было в планах компании на момент решения.

Воспользоваться сторонним сервисом
Такой вариант мы тоже рассматривали, но нашли не один аргумент против. Во-первых, интеграция со сторонним сервисом — нетривиальная техническая задача. Во-вторых, мы бы поставили себя в ситуацию, когда мы зависим от какого-то внешнего сервиса. Наконец, это бы повысило ценник на наши услуги, ведь нам бы пришлось учитывать стоимость внешнего сервиса. А делать это не хотелось бы, конечно.

Итог: использование внешнего сервиса могло повлиять на стоимость наших услуг, мы же не могли на это пойти.

В общем, все перечисленные варианты мы отмели, поэтому решили делать собственную систему антиспама.

50 оттенков спамера
Если мы хотим самостоятельно выявлять спамеров среди пользователей, нам нужно определить, по каким критериям это делать.

Стоит обратить внимание на поведенческие особенности пользователя и проанализировать трафик:
→ дата регистрации аккаунта. Если он зарегистрирован 5 минут назад, а уже попал в поле зрения антиспама, велика вероятность, что акк создан исключительно для спам-целей.→ название почты. Все мы называем почтовые адреса так, чтобы в названии был какой-то смысл (название компании или фамилия отправителя). Если название невнятное и выглядит подозрительно, это вполне весомый довод в пользу бана.→ платежное средство. Если это одноразовая карта или PayPal, то такой аккаунт тоже подозрителен.→ геолокация IP-адреса при регистрации. Подавляющее количество клиентов Selectel – из России и стран СНГ. Если очередной пользователь зарегистрировался в солнечной Бразилии или Марокко (из этих стран традиционно больше всего спамеров), это повод для беспокойства. Можно также сверить код страны и номер телефона с информацией, полученной от геолокации IP-адреса.→ имя пользователя. Если имя пользователя выглядит так, как будто он рандомно прошелся пальцами по клавиатуре, это подозрительно, согласитесь.
Добавлю, что анализ трафика на уровне L7 мы сразу отмели. Ведь это бы означало, что нам надо открывать каждый email и «читать», что в нем. Такой подход, возможно, могла себе позволить крупная и влиятельная компания типа Google, настроив семантических анализ содержимого почты и обложившись NDA и юристами. Но нам такой вариант не подходит.

А вот с информацией на уровне L4 уже можно работать: она обезличенная и выражается в нескольких метриках. Здесь мы можем посмотреть на количество адресов, на которое рассылается почта с наших IP-адресов, и на размер переданной информации. Логично, что у спамеров обычно очень большая база адресов, на которые они отправляют письма.

В итоге мы решили, что комплекса всех этих критериев достаточно, чтобы делать достаточно аргументированное решение, спамер перед нами или нет.

Концепция решения
Рейтинг аккаунтов
Мы решили автоматизировать процесс оценки пользователей на основе перечисленных критериев — по модели рейтинга, своеобразного «индекса доверия». Мы не читаем почту, но взвешиваем конверты и анализируем метрики публичного трафика, который выходит из облака.

Как это работает. С самого начала, когда пользователь регистрируется, ему присваивается максимально возможный рейтинг, равный 100 баллам. Изначально мы всем доверяем и считаем, что все наши клиенты будут нормально работать, а не рассылать спам.


Дальше пользователь проходит цепочку проверок. Каждая проваленная проверка отразится на итоговом рейтинге пользователя в виде штрафов. Их размер мы установили исходя из опыта «общения» со спамерами.

В первую очередь мы обычно обращаем внимание на геолокацию IP-адреса: соответствует ли он стране, откуда приходит большинство спамеров. У нас есть список таких стран, который мы периодически пополняем. Затем «прогоняем» нового пользователя через остальные фильтры, о которых я упоминал выше. В итоге у нас есть финальная оценка аккаунта, который мы сохраняем для дальнейшего использования в сервисе антиспама.

Взвешивание конвертов и просмотр IP-адресов
Наше сетевое оборудование умеет выдавать метрики публичного трафика по протоколу Netflow. Среди них — SMTP-пакеты, SMTP-байты, количество SMTP-потоков и количество IP-адресов для каждого адреса-источника. Все эти метрики мы соберем в Netflow Collector. Последний их немного отформатирует для более удобного использования, а дальше с помощью вспомогательных сервисов, которые называются NetClick fetchers, они попадут уже в Clickhouse для дальнейшего использования в антиспаме.

Gotoh

У разработчиков Selectel есть небольшая традиция: самописные сервисы мы называем именами персонажей из вселенной Hunter х Hunter. Отсюда такое название — в честь героя манги Гото.

Антиспам состоит из двух частей и написан на Go. Первая часть сервиса называется Gotoh-fetcher. Он занимается тем, что забирает данные упомянутых метрик трафика, попадающих к нам по Netflow в несколько Clickhouse readers. Эти данные идут на обработку в ядро Gotoh-fetcher. Там они форматируются в более удобный формат и отправляются в Redis writer для дальнейшей записи. На этом работа Gotoh-fetcher заканчивается.


Дальше к работе приступает Gotoh-inspector, который соответствует своему названию. Он выполняет роль принимателя решений, судьи. Куда обращается Gotoh-inspector? Он обращается к Redis за данными, которые были получены от Gotoh-fetcher.

После получения данных наш «инспектор» начинает хождение по проверкам. Во-первых, он посмотрит, превышен ли лимит по какой-либо метрике. Если нет, то дальнейшая проверка не имеет смысла — Gotoh-inspector исключает эту часть данных из рассмотрения.


Если превышение лимитов есть хотя бы по одной метрике, то мы сначала посмотрим, есть ли у клиента тег доверенного. Он был специально введен для того, чтобы разделить спамеров и пользователей, которые рассылают нормальную почту, просто в больших количествах. Тег доверенного у пользователя может появиться только после разговора со специалистами Selectel.

Мы должны убедиться, что мы имеем дело с человеком из реальной компании, который просто рассылает нормальную деловую почту, просто ее много. Если тег доверенного есть, мы формируем инцидент в Clickhouse и больше не рассматриваем эту часть данных. Но, если у клиента нет тега, мы продолжаем «следствие».

Смотрим на рейтинг, и здесь начинается самое интересное. У скоринга есть две границы. Первая из них – доверительная граница. Если по результатам проверки аккаунту был присвоен хороший рейтинг, то мы просто отправим инцидент в Clickhouse и забудем про него. В целом, с пользователем с хорошим скорингом больше делать нечего.

Если скоринг меньше доверительной границы, дальше мы смотрим, далеко ли до границы бана. Две границы нужны для более справедливой оценки. Если скоринг хороший, тогда мы не будем банить пользователя, если же рейтинг вызывает вопросы, мы посмотрим на количество инцидентов, связанных с данным аккаунтом.

Если аккаунт попадает в промежуточную зону, когда его рейтинг меньше доверительной границы, но больше границы бана, система отправит алерт в чат дежурным. Они, в свою очередь, в ручном режиме посмотрят, рассылается ли с аккаунта или виртуалки спам.

Если же рейтинг не дотягивает даже границы бана, то тут совсем все просто: аккаунт попадает в бан, потому что у нас есть достаточно оснований полагать, что перед нами нарушитель.

Результат
Так мы создали нашу нехитрую систему антиспама. Возникает вопрос: стало ли лучше?

На картинке выше – количество алертов с момента начала запуска этого сервиса в начале 2020 года. Количество алертов в пике составляло больше 60 000.

При ручном антиспаме мы просто не могли обрабатывать такое количество информации — большое количество данных проходило мимо нас. А теперь мы уже можем как-то работать с этими данными, анализировать их.

Мы посмотрели общее количество алертов, прилетающих по всем четырем метрикам трафика, которые мы анализировали. Давайте посмотрим на график по каждой метрике.

Количество пересылаемых байт


Это самая многочисленная по количеству алертов метрика. И вообще, этот график довольно схож с предыдущим, потому что эти алерты практически полностью формируют картину спам-алертов. Тут логика простая: чем больше почты рассылается с аккаунта, тем быстрее он попадает в поле зрения антиспама и тем больше по нему будет сформировано алертов.

Количество SMTP-пакетов


Между этой метрикой и предыдущей есть связь. Но почему мы анализируем количество байт и пакетов по отдельности? Потому что были случаи, когда по аккаунту формировался алерт по количеству пакетов, но не по количеству байт. Например, спам-аккаунт рассылает много мелких писем, каждое из которых улетает в отдельном пакете, — в таком случае формируется алерт именно по количеству пакетов.

Количество IP-адресов назначения


Этот график непросто анализировать, но он может стать дополнительным источником информации. На каждом аккаунт рассылка спама организована по-разному: кто-то отправляет IP на 10 или 100 разных адресов, а кто-то отправляет на 10 фиксированных и не попадает в поле зрения антиспама по этой метрике.

Количество SMTP-потоков, открытых одновременно


Самая «непопулярная» метрика — алерты по ней прилетают нечасто. Если на предыдущих иллюстрациях на шкале Y были тысячи, то здесь это сотни. Тут, видимо, спамеры все-таки перестраховываются и не рассылают почту с большого количества открытых соединений. Несмотря на то, что график не репрезентативен, на первый взгляд, на самом деле, он помогает лучше понять, как может быть организована отправка спама.

Заключение
Безусловно, эта система может быть более совершенной, и мы планируем улучшать ее в дальнейшем. Но сейчас он достаточно эффективно показывает себя в работе.

Например, мы еще ни разу не забанили добропорядочного пользователя. А если такое все же произойдет (ну, вдруг у кого-то университетский проект связан с почтовыми рассылками), то все обратимо. Если вы видите, что ваш аккаунт в Selectel забанен (в личном кабинете будет указана причина блокировки), просто напишите в техподдержку. Мы посмотрим, что повлияло на снижение рейтинга и как вам избежать этого в дальнейшем. Это не пожизненный бан.

Как настроить экспорт логов из Yandex Object Storage и наглядно их анализировать при помощи интерактивных графиков в Yandex DataLens.

Логи
Для начала нам нужно включить экспорт логов Object Storage. Для этого нужно сделать запрос в API сервиса, потому что в UI пока этой опции нет. Запрос можно сделать любым способом, но удобнее всего для этого использовать утилиту aws-cli.

Если у вас не настроена эта утилита, то инструкцию по настройке можно найти в документации.
Чтобы включить логирование запросов для бакета, нужно выполнить следующую команду:
aws s3api put-bucket-logging \ --endpoint-url=https://storage.yandexcloud.net\ --bucket $BUCKET \ --bucket-logging-status file://log-config.json
где вместо $BUCKET вам нужно подставить имя вашего бакета, а файл log-config.json должен содержать следующее:
{ "LoggingEnabled": { "TargetBucket": "$LOGS_BUCKET", "TargetPrefix": "s3-logs/" } }
Соответственно, $LOGS_BUCKET нужно заменить на имя бакета, куда будут складываться логи.

ClickHouse
Вторым этапом будет создание кластера Managed Service for ClickHouse. Он будет выступать источником данных для DataLens.

Для наших целей нам подойдет самый маленький кластер burstable-типа. Создание кластера может занять значительное время.


Когда кластер будет создан, необходимо поправить настройки пользователя. Выставить для поля Date time input format значение best_effort.

В ClickHouse реализованы разные движки таблиц. В нашем случае нам пригодится S3.
CREATE TABLE db1.s3logs ( bucket String, -- Имя бакета. bytes_received Int64, -- Размер запроса в байтах. bytes_send Int64, -- Размер ответа в байтах. handler String, -- Метод запроса в формате REST.<HTTP-метод>.<субъект>. http_referer String, -- URL-адрес источника запроса. ip String, -- IP-адрес пользователя. method String, -- Метод HTTP-запроса. object_key String, -- Ключ объекта, закодированный методом URL-кодировки. protocol String, -- Версия протокола передачи данных. range String, -- HTTP-заголовок, который определяет диапазон байт для загрузки из объекта. requester String, -- Идентификатор пользователя. request_args String, -- Аргументы URL-запроса. request_id String, -- Идентификатор запроса. request_path String, -- Полный путь запроса. request_time Int64, -- Время обработки запроса, в миллисекундах. scheme String, -- Тип протокола передачи данных. -- Возможные значения: -- * http — протокол прикладного уровня передачи данных. -- * https — протокол прикладного уровня передачи данных с поддержкой шифрования. ssl_protocol String, -- Протокол обеспечения безопасности. status Int64, -- HTTP-код ответа. storage_class String, -- Класс хранилища объекта. timestamp DateTime, -- Дата и время операции с бакетом, в формате ГГГГ-ММ-ДДTЧЧ:ММ:ССZ. user_agent String, -- Клиентское приложение (User Agent), которое выполнило запрос. version_id String, -- Версия объекта. vhost String -- Виртуальный хост запроса. -- Возможные значения: -- * storage.yandexcloud.net. -- * <имя бакета>.storage.yandexcloud.net. -- * website.yandexcloud.net. -- * <имя бакета>.website.yandexcloud.net. ) ENGINE = S3( 'https://storage.yandexcloud.net/<BUCKET_NAME>/<PREFIX>/*', '<ACCESS_KEY>', '<SECRET_KEY>', 'JSONEachRow' );
<ACCESS_KEY> и <SECRET_KEY> следует заменить на значения статического ключа доступа в Object Storage. Инструкция по созданию ключа доступа в документации.
<BUCKET_NAME> и нужно заменить на значения, которые указывали в log-config.json, ведь именно туда будут складываться ваши логи и именно оттуда их и будем вычитывать в ClickHouse.
Теперь можно убедиться, что все работает, перейдя в базу db1 и открыв просмотр таблицы s3logs.


DataLens
Подключение
После того как кластер ClickHouse будет создан, можно перейти на вкладку DataLens и сразу создать подключение.



Датасет
Во всплывающем окне после сохранения подключения есть кнопка, позволяющая сразу перейти к созданию датасета на основе этого подключения. Нажмем её.

Перетащим из списка доступных таблиц в основную рабочую область только что созданную таблицу. Если все ок, то внизу в области предпросмотра увидим, что DataLens смог получить данные.

Теперь можно сохранить датасет. И приступить к созданию чартов на основе этого датасета.

Пример диаграммы количества запросов по методу. Так как это тестовый бакет, GET-запросов оказалось даже меньше, чем PUT.

В датасет можно добавить вычисляемые поля. Например, добавим file_type. Рассчитывать это значение будем по формуле SPLIT([object_key], ‘.’, -1).

Далее мы можем использовать это значение наравне с другими в построении чартов.


Дашборд
Все получившиеся чарты вы можете сгруппировать на дашборд.

Например, такой демо-дашборд для тестового бакета.

Приглашаем вас на онлайн-практикум по продуктовой аналитике. Совместно с командой Яндекс.Метрики.
Старт 18 мая в 12:00 (МСК).
На практикуме разберём базовые практические задачи: как строить воронки конверсий, делать когортный анализ и считать Retention пользовательской базы.
В конце вы получите понятную пошаговую инструкцию по настройке аналитики в облаке.
Практикум будет полезен всем, кто запускает веб-сервисы и анализирует их эффективность, а также разработчикам, data-инженерам, product-менеджерам и владельцам продуктов.

С какими инструментами будем работать
Yandex DataLens— сервис для анализа и визуализации данных.Yandex Managed Service for ClickHouse — управляемая база данных.Yandex DataSphere — сервис для анализа данных, разработки и запуска моделей машинного обучения.
cloud.yandex.ru/events/356

Хаб Serverless на Хабре
Совместно с редакцией Хабра запустили хаб Serverless. На этой открытой площадке вместе с другими участниками рынка мы постараемся консолидировать все материалы необходимые разработчикам для понимания идей бессерверных технологий. Со своей стороны планируем регулярно публиковать переводы, интервью, статьи и туториалы, чтобы строить знание о нашей Serverless Ecosystem.
Присоединяйтесь к комьюнити разработчиков, которым близки идеи Serverless!
habr.com/ru/hub/serverless/

Новый сервис Yandex Cloud DNS
Новый сервис Yandex Cloud DNS вышел в стадии Preview. С Cloud DNS вы можете управлять ресурсными записями и доменными именами из облака и настраивать внутренние и публичные DNS-зоны в консоли, API, CLI и Terraform. Сервис упростит делегирование доменов и позволит создавать разные окружения внутри вашего проекта без вложений в собственные DNS-сервера.
cloud.yandex.ru/services/dns

Решение Cloud Advisor для аудита облачной инфраструктуры
Cloud Advisor — партнерское решение для аудита и оптимизации облачной инфраструктуры, расположенной в Yandex.Cloud. С его помощью можно проверить, защищено ли ваше облако от актуальных угроз, соответствует ли оно практикам использования облачных сервисов и рекомендациям провайдера.
cloud.yandex.ru/blog/posts/2021/03/cloud-advisor-review

Плагин для гибридной работы с Citrix Virtual Apps and Desktops
Команда Yandex.Cloud в партнерстве с Citrix разработала плагин для гибридной работы с Citrix Virtual Apps and Desktops. С его помощью VDI Citrix интегрируется с облачной платформой и позволяет развернуть гибридное решение, предоставив больше мощности для локальной инфраструктуры виртуальных рабочих столов и приложений, или запустить CVAD с нуля в облаке Yandex.Cloud.
cloud.yandex.ru/blog/posts/2021/03/citrix-plugin

Schlumberger и Yandex.Cloud заключили соглашение о партнерстве
Schlumberger и Yandex.Cloud заключили соглашение, в рамках которого платформа искусственного интеллекта и цифровых инструментов DELFI будет размещена в Yandex.Cloud. Теперь российские энергетические компании смогут воспользоваться новыми цифровыми сервисами и технологиями в области искусственного интеллекта и больших данных для повышения эффективности бизнеса.
cloud.yandex.ru/blog/posts/2021/03/schlumberger-partnership

Мониторинг в мобильном приложении
Мы добавили мониторинг в мобильное приложение Yandex.Cloud — теперь вы можете контролировать статусы всех своих сервисов, узнавать об их доступности и контролировать появляющиеся ошибки. Если вы ещё не пользуетесь — сейчас самое время начать!
cloud.yandex.ru/mobile-app

Сравнение стоимости управляемых баз данных с on‑premise и самостоятельной установкой в облаке
Рассказали, как управляемые базы данных помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. Сделали расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной в облаке и управляемой базой данных.
cloud.yandex.ru/blog/posts/2021/03/mdb-advantages

Новости сервисов
Yandex Managed Service for Kubernetes
Теперь вы можете рассчитать стоимость кластера Kubernetes меньше, чем за минуту. Воспользуйтесь калькулятором в разделе Тарифы или на странице сервиса.
cloud.yandex.ru/services/managed-kubernetes

Monitoring
С помощью агентa для поставки метрик в мониторинг Yandex Unified Agent вы можете собирать и отправлять в Monitoring:
системные метрики (CPU, RAM, сеть, диски) для Linux-совместимых ОС;метрики с собственных клиентских приложений;метрики сторонних приложений.
Агент поддерживает сбор метрик в формате Prometheus.

Новые образы в Marketplace
PostgreSQL Pro 12.6.1HashiCorp Vault с поддержкой Yandex KMSДашборд DataLens «Социальная реклама в Яндексе»
Публикации в СМИ
Яндекс поможет отрядам «ЛизаАлерт» искать пропавших людей по снимкам с дронов
Поисковый отряд будет загружать фотографии с дронов в облачный сервис Yandex.Cloud, оттуда снимки попадут в сервис Яндекс.Толока, где исполнители просмотрят все кадры и отметят те, на которых виден человек. Читать в источнике → tass.ru/obschestvo/10944095

Как стартап ProctorEdu следит, чтобы студенты и менеджеры России, Индии и Израиля не списывали
ProctorEdu вырос из небольшого проекта для НИУ ВШЭ. ВУЗу нужна была система для распознавания нечестного поведения студентов на экзаменах. Потом были инвестиции, 5 крупных акселераторов и несколько стран с пилотами. Подробно рассказываем о прокторинге и деятельности еще одного участника программы Yandex Cloud Boost. Читать на VC → vc.ru/services/221710-kak-startap-proctoredu-sledit-chtoby-studenty-i-menedzhery-rossii-indii-i-izrailya-ne-spisyvali

Нейронная мимикрия: насколько хорошо ИИ предсказывает музыку
Завершить «Реквием» за Моцарта или продлить саундтрек к Gravity Falls в 5 раз нейросетью… Да, возможно, но сможет ли ИИ справиться с этим хорошо или даже лучше живого музыканта? Команда AI Community при поддержке Yandex.Cloud провела конкурс среди дата-сайентистов и получила несколько инсайтов. Читать на VC → vc.ru/ml/219573-neyronnaya-mimikriya-naskolko-horosho-ii-predskazyvaet-muzyku

Виртуальные компьютерные классы и единая среда для программирования
Факультет компьютерных наук НИУ ВШЭ использовал сервисы платформы Yandex.Cloud для запуска учебных курсов. Например, с помощью Yandex DataSphere удалось создать единую среду для обучения и сократить издержки за счет бесшовного переключения конфигураций в зависимости от сложности вычислений. Читать в источнике → cs.hse.ru/news/450921539.html

Истории успеха
Как HiPer IT повысила эффективность работы систем эксплуатации
HiPer IT — разработчик решений для повышения эффективности эксплуатации инженерных систем на основе собственной IIoT-платформы HiPerWare и оборудования для сбора больших данных. Система собирает миллионы значений тысяч переменных о работе инженерных систем объектов недвижимости, анализирует их и формирует рекомендации по оптимизации работы. С помощью Yandex.Cloud компания смогла увеличить эффективность работы систем и масштабироваться.
cloud.yandex.ru/cases/hiper-it

НефтеТрансСервис: IoT-решения Yandex.Cloud для промышленного бизнес-анализа
Транспортная группа НефтеТрансСервис обратилась к компании GlowByte для проведения исследовательского проекта. С помощью сервиса Yandex DataLens они смогли обнаружить нарушения в производственном процессе, нашли резерв производственных мощностей и выявили много коротких, но частых простоев станков. Это помогло проверить изначальные гипотезы клиента и убедиться, что цифровая бизнес-аналитика может применяться в самых разных задачах.
cloud.yandex.ru/cases/ntstrans

Развернуть инфраструктуру для робота-помощника за один день
Центр цифровой трансформации Республики Татарстан полностью отвечает за автоматизацию и цифровизацию электронных сервисов Татарстана, а также занимается разработкой новых продуктов, направленных на улучшение качества жизни жителей республики. В Yandex.Cloud им удалось за один день развернуть рабочую инфраструктуру для робота-помощника Лилии, правильно спроектировать платформу на уровне архитектуры ИС и провести поверхностный аудит решения.
cloud.yandex.ru/cases/digital-tatarstan

Как сервис Anywayanyday расширил аналитику и сократил затраты с инструментами Yandex.Cloud
Платформа BI на основе Yandex Managed Service for ClickHouse и DataLens сделала мониторинг и анализ показателей бизнеса доступным для всех сотрудников. Существенно ускорились принятие решений и реакция на отклонения показателей. ИТ-отдел сократил трудозатраты на поддержку системы отчетности на 20%.
cloud.yandex.ru/cases/anywayanyday

Мероприятия
about: cloud — всё о Платформе данных
На вебинаре мы рассказали о новых сервисах платформы данных: Managed Service for Apache Kafka, Data Transfer и Managed Service for Elasticsearch. И, конечно, о новых возможностях в сервисе Managed SQL Server: восстановление на произвольную точку времени (PITR), Scaling и мониторинг: и о важных обновлениях DataLens, бесплатном тарифе для пользователей управляемых баз данных, а также о других возможностях платформы.
cloud.yandex.ru/events/342

Напишите навык для Алисы на Serverless
Научили создавать новые навыки Алисы с помощью Serverless. Писали на Go и использовали сервисы Yandex Cloud Function, Yandex DataBase, Yandex API-gateway и Object Storage. В итоге получился новый навык под названием To-Do List. С помощью голосового управления он создаёт и редактирует списки задач. Пример можно легко адаптировать к своему любимому языку программирования.
cloud.yandex.ru/events/340

Работайте над проектами, как в Яндексе
Рассказали, какие возможности есть у сервиса для организации работы Yandex Tracker, чем она может быть полезна для компаний из различных отраслей, как с помощью Tracker можно автоматизировать рутинные процессы и что меняется в продукте с переходом в Yandex.Cloud.
cloud.yandex.ru/events/339

Заоблачные продажи — ищем первого клиента
Вебинар для новичков облачного бизнеса. Разобрали основные инструменты поиска клиентов, которые есть в Yandex.Cloud, и рассказали, как лучше начать поиск и на что важно обратить внимание на первых порах.
cloud.yandex.ru/events/338

Настройки ролевых моделей и политик для Managed Service for Kubernetes
На этом вебинаре мы разобрали инфраструктуру приложения, в которой есть продуктивный и непродуктивный контуры, и настроили:
RBAC в сервисе Managed Service for Kubernetes, используя интеграцию с IAM;политики работы с ресурсами Kubernetes и Docker-образами.

Спойлер: задачу помогли решить неочевидная метрика пользовательского ожидания и интерактивный график



Комфортное взаимодействие с облаком напрямую зависит от скорости работы облачных сервисов. Один из ключевых сервисов Yandex.Cloud — консоль, через которую пользователи решают задачи.

Скорость работы консоли влияет не только на наши бизнес-процессы, но и на бизнес-процессы заказчиков. Количество сервисов также важно для бизнеса. Поэтому Yandex.Cloud растет супербыстро: в 2020 году появились восемь новых сервисов. В какой-то момент платформа развивалась так интенсивно, что каждый месяц мы выпускали по сервису.

Скорость развития отразилась на скорости работы консоли. Она замедлилась, и мы стали получать негативный фидбек от пользователей. Надо было принимать меры. Начали с аналитики: собрали данные, запланировали задачи на улучшение. Это принесло результаты: за несколько месяцев консоль стала работать в два раза быстрее. Рассказываем в деталях, как мы этого достигли.

Свежий взгляд на аналитику
Для начала мы придумали построить график скорости всех страниц консоли. Задача усложнялась тем, что в консоли больше сотни страниц. У каждой страницы свои критерии загрузки, поэтому иногда приходилось делать разметку вручную.


Нам было важно знать, где пользователи проводят больше всего времени и какие страницы надо ускорить первыми. Эти данные взяли за основу и стали строить систему визуальной аналитики.

Хотелось всегда держать перед глазами удобный график скорости работы консоли, видеть всю консольную аналитику и максимально быстро определять источник торможения.

В основу графика легли две метрики:
Время первого открытия консоли — Time To Interactive (TTI). В этом режиме, который условно назвали холодным, мы учитываем полную загрузку консоли со стилями и скриптами.Время перехода между страницами. В этом режиме учета — горячем — статика уже загружена. Учитывается только время ответа API и рендеринг.Еще на старте мы собирали статистику обо всех API-запросах в Managed Service for ClickHouse. Сервис помогает разворачивать и поддерживать кластеры серверов столбцовой системы управлениями базами данных ClickHouse в инфраструктуре Yandex.Cloud. Для детализации мы добавили к данным запросов API информацию о странице, с которой происходят вызовы. Так мы стали вычислять, какие запросы пользователь ждет дольше всего на самых частотных страницах.

Разработчик Евгений Сорокин: «Сперва ввод метрики пользовательского ожидания был неочевидным. Казалось, что нужно концентрироваться на самых частотных запросах. Но практика показывала, что дело не в них: вызовов в Object Storage могло быть до 1к в секунду, но при этом сервис работал супербыстро».

Благодаря данным и метрикам мы локализовали проблемы в бэкенде и на фронтенде, сформировали список доработок на каждой стороне и отдали его ответственным командам.

Параллельный фикс
Что влияет на скорость работы консоли? Она складывается из множества параметров: размера статики, рендеринга компонентов. Наиболее чувствительна для пользователя скорость работы API.

Мы учли эти факторы, и в наших руках появился инструмент диагностики, который позволил быстро выявлять источник торможения. Проблемы скорости работы консоли стали устранять параллельно с клиентской и серверной сторон.

Что сделали на фронтенде
Сократили объемы поставляемой в браузер статики. Оптимизировали размер статики для первой загрузки и стали загружать пользователю только то, что ему нужно в данный момент.Избавились от большей части запросов, блокирующих интерфейс. То, без чего нельзя обойтись, стали загружать параллельно, где это возможно.
Что сделали на бэкенде
Оптимизировали логику запросов для открытия консоли.Ускорили критичные для открытия консоли методы API.Вынесли часть запросов с сервера на клиент, чтобы не блокировать первое открытие консоли.
Как устроен график: расследует и показывает
Данные графика коррелируют с синтетическими тестами, сделанными до и после оптимизации.



Самая крутая фича графика, кроме измерения скорости работы консоли — отслеживание источника торможения. Мы следим за деградацией сервиса в реальном времени и быстрее выявляем и устраняем проблемы.

График скорости работы консоли видят все, это улучшает скорость и качество взаимодействия между командами разработки облачного сервиса. Панель графика интерактивна и позволяет проваливаться в низкоуровневые метрики. Можно посмотреть динамику скорости конкретных страниц.

Если мы заметили замедление работы страницы или сервиса, то можем проанализировать, какие методы API на это повлияли.

Распределение скорости запросов в API по времени:

стало


Роль пользователей
График строится на основе пользовательских метрик, которые мы собираем. Он отражает реальную скорость работы сервиса у конечных потребителей.

Мы открыты для обратной связи. Пишите нам не только о проблемах: предлагайте, как улучшить, ускорить и сделать еще удобнее интерфейс, с которым вы работаете.

Сообщить об ошибке в работе консоли → console.cloud.yandex.ru/support/create-ticket
Предложить идею → cloud.yandex.ru/features

Мы покажем, как они помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. В конце статьи приведем расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной (ВМ) в облаке и управляемой базой данных (БД).

Установка и первоначальная настройка
Жизненный цикл любой БД начинается с установки. Но перед этим необходимо подготовить инфраструктуру: оборудование, операционную систему (ОС), сеть, политики безопасности, пользователей и т. д. С одной стороны, это разовое действие, с другой, если через месяц для нового проекта понадобится БД — все придется делать заново.

Управляемая БД разворачивается по нажатию нескольких кнопок: нужно выбрать тип, задать параметры ВМ (CPU, RAM и др.) и подождать несколько минут. Шаги для развёртывания баз данных при самостоятельной установке или с управляемой БД:


Поддержка специалистами
После установки сразу начинается этап поддержки. Нужно непрерывно следить за оборудованием, ОС и самой БД. Оборудование нуждается в бесперебойном питании, мониторинге и периодической замене. Необходимо регулярно устанавливать обновления ОС и БД, чтобы исправлять ошибки и закрывать уязвимости. Поддержка продолжается постоянно, на нее уходит время.

Отдельно стоит упомянуть мажорные обновления ОС и системы управления базами данных (СУБД). Время от времени нужно переходить на новые версии, но компании обычно откладывают миграцию на последний момент или вовсе продолжают работать с неподдерживаемыми версиями. Потому что самостоятельное обновление и миграция — это долго и сложно: нужно учесть много нюансов, провести тестирование и решить возникающие проблемы.

В небольших компаниях, как правило, за БД следят администраторы общей специализации. Но они обслуживают и другие элементы инфраструктуры, а с БД работают не каждый день, поэтому профильных компетенций может быть недостаточно. Как следствие — администраторы не всегда выбирают оптимальные настройки и устраняют проблемы намного дольше профессионалов.

В крупных компаниях есть администраторы, которые занимаются только БД. Это опытные специалисты, и у них достаточно знаний и умений, чтобы решать проблемы в сроки, определенные в SLA.

Примечание
Команда Yandex.Cloud не просто администрирует БД, мы также получаем опыт из разработки. Системные администраторы и разработчики совместно улучшают БД: решают инциденты и совершенствуют сам сервис.
Мы разработали ClickHouse — высокопроизводительную аналитическую БД, которая обрабатывает миллиарды строк в секунду. Мы создавали ее для внутренних задач, а сейчас ею пользуются более 2000 компаний по всему миру: в e-commerce, мобильной и игровой разработке, рекламе и аналитике.Мы участвуем в разработке других открытых проектов. Например, мы создали пулер соединений Odyssey для PostgreSQL, участвуем в развитии системы бекапирования WAL-G и других расширений для PostgreSQL.Мы используем управляемые БД внутри собственных продуктов: Почты, Такси, Диска, Драйва и др. Поэтому мы понимаем на деле, какие проблемы возникают у пользователей управляемых БД, и стараемся сами их решать.
В управляемом сервисе поддержкой занимается облачный провайдер, а клиенту нужно только управлять пользователями. Мы сами следим за оборудованием, ОС и БД; устанавливаем обновления, сопровождаем системы мониторинга, резервное копирование и сетевые настройки. За базами следят профильные специалисты, которые работают с ними каждый день. Они понимают, как устроены БД, следят за развитием технологий и последними новостями. Поэтому их решения — оптимальные и соответствуют лучшим практикам. Профильные специалисты знают, как лучше настроить БД, как реализовать ту или иную функцию, и помогут советом, если вы столкнетесь с нестандартной ситуацией.

В управляемой БД намного легче мигрировать на новые, мажорные версии. Для этого достаточно по клику создать копию хоста БД с новой версией, проверить, что все работает как надо, и просто перевести нагрузку на новый хост.

Ниже перечислены задачи обслуживания БД при самостоятельном администрировании и при использовании сервиса по управлению базой данных.


Отказоустойчивость и масштабируемость
Отказоустойчивость СУБД достигается за счет создания кластера: если из строя выйдет один из хостов, остальные продолжат работу. В идеале хосты следует расположить в разных ЦОДах (зонах доступности), обезопасить свой проект от сбоев целого дата-центра.

Такую отказоустойчивую систему можно создать и собственными силами, но для этого потребуется много ресурсов и навыки экспертов. Это непростая задача: нужно наладить связь между хостами, настроить репликацию данных и автоматический перенос нагрузки с одного узла на другой. Размещение хостов в разных дата-центрах требует дополнительных усилий: нужно разбираться, где физически находятся серверы, и арендовать их в разных зонах доступности.

Схема построения отказоустойчивого кластера:


Управляемые БД — это отказоустойчивость и легкое изменение топологии из коробки. Все наши БД кластерные, и для любой можно создать реплики в трех зонах доступности. Это повышает отказоустойчивость и позволяет легко масштабировать кластер. Например, вы разворачиваете стенд для нового проекта, который еще разрабатывается. Поначалу проекту не нужны реплики, так как к нему не предъявляются требования продуктивных систем. Но когда проект готов к запуску в production, вы можете из этой БД сразу же сделать боевую отказоустойчивую систему. Добавляете реплики к установке и получаете отказоустойчивую БД без переноса данных и миграции.

Резервное копирование и восстановление на любой момент
Резервное копирование позволяет восстановить данные в случае сбоя. Но чтобы оно правильно работало, нужно выбрать тип (когда лучше сделать полную копию, а когда инкремент), определиться с расписанием, найти место для хранения и организовать процесс так, чтобы копию можно было восстановить за несколько минут.

В управляемой БД все задачи, кроме расписания, решает облачный провайдер. Восстановить копию можно самостоятельно несколькими кликами мыши — не придется писать в поддержку и ждать ответа.

Кроме привычных всем бекапов, в некоторых СУБД есть механизм point-in-time recovery (PITR). Эта полезная функция позволяет восстановить данные на любой момент, а не только на момент создания копии. Например, бекап создается ночью в 00:00. Утром БД начинает наполняться данными, а в обед junior-разработчик случайно удаляет одну из таблиц. Если восстановить предыдущую копию — то потеряются утренние данные. Механизм PITR позволяет указать точное время, на которое нужно восстановить данные: он сам восстановит последнюю копию и применит все транзакции, которые прошли после ее создания.


PITR будет работать и при локальной установке БД. Но вам придется сначала настроить этот механизм, а потом просить системного администратора восстанавливать данные. В управляемой БД PITR уже настроен, а воспользоваться им можно без помощи администратора.

Полностью управляемый сервис, а не ВМ с шаблоном
Мы предоставляем полностью управляемые БД: вы получаете доступ к БД как пользователь, а мы следим, чтобы она работала как часы. Вы создаете схемы и таблицы, обращаетесь к данным, анализируете производительность запросов. Но у вас нет root-доступа, вы не можете менять системные настройки и управлять ВМ, на которой запущена СУБД.

Кажется, что вы получаете меньше гибкости, ведь вы не можете управлять всеми настройками. Но чаще всего клиентам нужна готовая и стабильная БД, а не конструктор, который легко сломать. Именно благодаря таким ограничениям мы гарантируем стабильную работу СУБД.

Есть и другой вариант: пользователи получают полный доступ к СУБД и ВМ, на которой она работает. Это нельзя назвать полностью управляемым сервисом, это скорее ВМ с готовым шаблоном для быстрого развертывания БД. Такой вариант упрощает установку и настройку. Но раз вы имеете доступ ко всем внутренним настройкам и функциям — провайдеру сложнее гарантировать стабильную работу. Если из-за вмешательства система сломается, провайдер не отвечает за это и разбираться придется самостоятельно.

В Yandex.Cloud вы получаете на 100% управляемый сервис. А еще мы единственный облачный провайдер в России, у которого есть Terraform для управляемых БД. Через него можно делать все то же самое, что через консоль управления, API и CLI.

Готовые метрики и простая визуализация данных
В сервисе мониторинга Yandex Monitoring для каждой управляемой БД есть более ста метрик, которые можно отслеживать. Мы настроили готовые дашборды, но ничего не мешает вам создавать свои варианты с нужными метриками.

Примеры графиков мониторинга — потребление ресурсов, количество запросов и другие:


Кроме самих метрик еще есть алерты — удобный способ узнать о приближении к критической отметке. Например, когда заканчивается место в БД или появляются запросы с ошибками.

Мы постарались создать удобный инструмент для мониторинга, но вы можете выгрузить данные метрик во внешнюю систему и анализировать их там. Подключите Prometheus или любой другой инструмент для анализа с помощью встроенного API.

Доступность выше, чем у ВМ
Еще одна особенность управляемых БД — соглашение об уровне сервиса (SLA). Мы гарантируем, что БД будет доступна определенное количество времени. Если мы не выполним обещание, то компенсируем вам стоимость сервиса.


Чтобы добиться такой доступности своими силами, нужно потратить много времени и сил. И если не получится и БД все-таки будет долго простаивать — вам это никто не компенсирует.

При аренде БД на ВМ провайдер также гарантирует доступность по SLA. Но, как правило, SLA для ВМ ниже, чем для управляемой БД. Например, наше SLA для ВМ — 99,95%. Когда ВМ простаивает, это означает, что БД недоступна на чтение и на запись. А в управляемой БД эти операции разделены, и если БД недоступна на запись, то вполне вероятно, что она доступна хотя бы на чтение благодаря репликам.

Управляемая БД экономит время и деньги, а также помогает решать задачи бизнеса
Все, что есть в управляемых БД, можно сделать самостоятельно: установить и настроить, поддерживать и обновлять, настроить резервное копирование и отказоустойчивость. Но чтобы делать это самим, придется тратить много времени, сил и денег. Мы покажем, сколько времени уходит на непрофильные задачи.

Компания MongoDB, наш партнер, описала все действия, на которые расходуется время в различных моделях развертывания БД: на своем оборудовании, на облачной ВМ и полностью управляемой БД. На схеме видно, что в управляемых БД практически все время уходит на разработку и инновации, т. е. на решение конкретных задач бизнеса, а не на настройку и обслуживание БД.


Управляемые БД снимают с вас многие задачи обслуживания и управления инфраструктурой. Появляется больше времени на решение ваших бизнес-задач, а не задач технического плана.

Сосредоточиться на задачах бизнеса также помогает интеграция с другими сервисами, например с сервисом визуализации данных Yandex DataLens. Это инструмент для визуализации данных: таблиц, графиков и карт. С его помощью можно быстро проверить гипотезу или собрать полноценный дашборд с показателями компании. DataLens бесплатен для пользователей управляемых БД.

Сколько это стоит
Мы посчитали стоимость владения и управления тремя видами ресурсов: on-premise, ВМ на базе Yandex Compute Cloud и сервисом по управлению базами данных. Мы выбрали эквивалентное по мощности оборудование и сравнили, сколько это стоит в каждом из вариантов.

Расчеты приведем на горизонте трех лет, т. е. амортизацию оборудования в on-premise-решении посчитаем за три года.

Это упрощенный расчет: мы не учли несколько моментов. Например, что в on-premise решении оборудование можно продать после использования, а отсутствие капитальных затрат в управляемой БД можно инвестировать в другие направления бизнеса. Более подробный расчет мы сделаем в отдельной статье.

Сравнение стоимости управления и владения различными вариантами работы с БД:


On-premise требует больше всего времени, денег и усилий, потому что вам придется:
Заниматься оборудованием: покупать его, следить за ним, поддерживать бесперебойную работу и периодически менять, когда оно устареет или сломается. Если проект развивается, то со временем мощности станет недостаточно и потребуется новое оборудование. Если же сразу взять мощность с запасом — оборудование будет простаивать.Пример: сервер HP с 12 ядрами стоимостью ≈ 800 000 ₽. С учетом амортизации за три года получается ≈ 22 000 ₽ в месяц.Согласно исследованию некоммерческой организации NRDC, утилизация on-premise оборудования от трех до четырех раз ниже, чем облачного. С учетом данной поправки стоимость владения оборудованием составит как минимум ≈ 22 000 × 3 = ≈ 66 000 ₽ в месяц.Искать сотрудников, платить зарплату и социальные взносы. При этом потребуется как минимум два специалиста, чтобы они могли подменять друг друга во время отпуска и болезни. Скорее всего, кроме БД, эти сотрудники будут заниматься и другими задачами, поэтому для примера примем, что на администрирование БД они тратят только 50% времени.Зарплата специалиста — ≈ 100 000 ₽, социальные взносы — 30 000 ₽. Потребуется два специалиста, каждый из которых администрирует БД 50% времени. В итоге получаем ≈ 130 000 ₽ в месяц.Итого ≈ 196 000 ₽ в месяц.
ВМ на базе Compute Cloud стоит дешевле и требует меньше усилий
Не нужно заниматься оборудованием: за ним следим мы.Стоимость развертывания ВМ в Yandex.Cloud — ≈ 27 500 ₽ в месяц.Нужно искать сотрудников, платить зарплату и социальные взносы. При этом потребуется как минимум два специалиста, чтобы они могли подменять друг друга во время отпуска и болезни. Скорее всего, кроме БД, эти сотрудники будут заниматься и другими задачами, поэтому для примера примем, что на администрирование БД они тратят только 50% времени.Зарплата специалиста — ≈ 100 000 ₽, социальные взносы — 30 000 ₽. Потребуется два специалиста, каждый из которых администрирует БД 50% времени. В итоге получаем ≈ 130 000 ₽ в месяц.Итого ≈ 157 500 ₽ в месяц.Управляемая БД требует меньше всего усилий и денег, потому что вам не нужно:
Заниматься оборудованием.Искать сотрудников для администрирования БД. Ваши специалисты могут сосредоточиться на развитии продукта. Для вас неважно, сколько человек администрируют базу, когда они уходят в отпуск и кто кого подменяет: мы решаем эти вопросы сами.Пример: управляемая БД (24 vCPU, 96 RAM, 240 ГБ SSD) стоит ≈ 42 000 ₽ в месяц.

Итог: экономия от управляемыми БД по сравнению с on-premise может доходить 80%, а по сравнению с ВМ на базе Compute Cloud до 70% (в основном за счет персонала).

Краткий вывод
В статье мы рассмотрели преимущества управляемых БД перед самостоятельным развертыванием в on-premise и в ВМ.
Сервис по управлению базами данных на платформе Yandex.Cloud позволяет:
Упростить установку, настройку и сопровождение системы;Подключить дополнительные инструменты, например систему мониторинга или визуализации данных;Экономить по сравнению с решениями on-premise и на базе ВМ, в основном за счет персонала и оборудования;Быстрее тестировать гипотезы и разрабатывать новые продукты, подключая необходимые ресурсы по клику и снижая время на time-to-market (запуск новых продуктов на рынок).

Работа в облаке для любой компании — это поиск баланса между желанием воспользоваться преимуществами облачных технологий и сохранением контроля над собственными данными. Есть ли смысл управлять инфраструктурой после миграции? Как это делать? За что отвечает облачный провайдер, а за что — клиент? Какие концептуальные особенности, с точки зрения клиента, облачные технологии добавляют в обеспечение информационной безопасности? В этой и следующей статье мы ответим на вопросы и расскажем о модели разделяемой ответственности и разделяемой информационной безопасности.

Обеспечение безопасности при использовании платформы публичного облака
Компании, которые совершили миграцию в облако, часто считают, что за безопасность целиком и полностью отвечает облачный провайдер. Конечно, по своему замыслу он обязан обеспечивать безопасность физической инфраструктуры и сетевых элементов, но и клиенты должны понимать свою роль в защите данных и приложений. Хорошей иллюстрацией этой проблемы является политика паролей: какие бы меры безопасности ни принимал облачный провайдер, все они бесполезны, если пользователи не применяют сложные пароли, двухфакторную аутентификацию и токены.

С точки зрения обеспечения информационной безопасности главное отличие работы в облаке от собственной инфраструктуре — это разделяемая ответственность. Конечно, и при наличии собственных дата-центров компания может разделить ответственность, просто передав часть процессов на аутсорсинг. Но при работе в облаке граница этого разделения зависит не от желания компании, а от тех сервисов, которые используются системой в облаке

Разделяемая ответственность
Ответственность провайдера и клиента различается в зависимости от модели использования облачных сервисов (IaaS — инфраструктура как услуга, PaaS — платформа как услуга, SaaS — программное обеспечение как услуга) и имеющихся у облачного провайдера защитных механизмов и политик: возможностей соблюдения законодательства, стратегии управления рисками, модели угроз и других факторов.


Модель разделяемой ответственности однозначно подразумевает, что физическая безопасность, безопасность сервисов и доступность всей инфраструктуры — это всегда ответственность специалистов облака, которую они не могут переложить на клиентов. С другой стороны, клиент должен контролировать права доступа к ресурсам, например к виртуальным машинам: управлять ими таким образом, чтобы не допустить несанкционированного доступа. Как в локальных, так и в облачных моделях компании сами несут ответственность за то, чтобы данные были маркированы и правильно классифицированы для выполнения любых обязательств по соответствию нормативным требованиям.

При использовании облачных сервисов по модели IaaS провайдер отвечает за физическую безопасность и отказоустойчивость самой платформы, защищает сеть, собирает и анализирует события безопасности гипервизоров и других компонентов инфраструктуры. Пользователи в этом случае должны отвечать за безопасность гостевых машин, а также осуществлять резервное копирование виртуальных машин, защищать виртуальную сеть, контролировать доступ к ресурсам и принимать меры по защите учетных записей пользователей облака.

При использовании управляемых сервисов (PaaS/SaaS) забот у конечного пользователя становится гораздо меньше, так как провайдер уже обеспечивает защиту компонент PaaS/SaaS-сервисов. Например, в случае Yandex Managed Service for ClickHouse провайдер защищает виртуальные машины сервиса, выполняет резервное копирование базы данных и шифрует пользовательские данные. В то же время клиент обязан классифицировать данные, обеспечить разграничение доступа к данным, настроить процессы для их защиты, а также отвечает за управление своими пользователями и конечными устройствами.

Безопасность на стороне Yandex.Cloud
С одной стороны, распределение ответственности удобно для клиентов. Им нужно меньше заботиться о безопасности, в сравнении с защитой системы при ее расположении на собственных мощностях. С другой стороны, данные и система все еще принадлежит конкретному клиенту, поэтому он не может безоглядно доверять провайдеру, просто полагаясь на его заверения. Точнее, все зависит от уровня экспертиз в части безопасности, которая есть (или нет) у конкретного клиента. Если такая экспертиза находится на зрелом уровне, то компания в состоянии оценить риски, уточнив особенности защиты на стороне провайдера и изучив определенные подтверждения рассказам провайдера (например сертификаты соответствия). Для удобства клиентов, Yandex.Cloud публикует определенную информацию о некоторых аспектах информационной безопасности платформы. Также мы всегда открыты для общения в режиме 1-1 для обсуждения деталей.

Яндекс обеспечивает безопасность облачной платформы на следующих уровнях:
Безопасность дата-центровБезопасность инфраструктурыЗащита на уровне данныхСоответствие стандартамБезопасность дата-центровЦОДы можно считать фундаментом облачной платформы. Все серверные ресурсы Yandex.Cloud располагаются в собственноручно спроектированных и построенных дата-центрах на территории России, которые связаны собственными каналами связи. Это позволяет команде обеспечивать соответствующий уровень безопасности, включая необходимые параметры надежности. Кстати, о надежности наших ЦОДов мы уже рассказали первой статье серии. Меры безопасности в дата-центрах соответствуют лучшим практикам и включают в себя процедуры контроля доступа, видеонаблюдение и регламенты замены оборудования, реализующие процедуры очистки носителей с данными клиентов.

Безопасность инфраструктуры
В основе безопасности инфраструктуры облачной платформы Yandex.Cloud — разделение и изоляция ресурсов. Критичные с точки зрения безопасности сервисы запускаются под управлением виртуальных машин на отдельной группе физических хостов, на которой не запускаются пользовательские виртуальные машины. Все административные виртуальные машины запускаются в физически или логически изолированных сетях, а корпоративная сеть провайдера отделена от сети облачной платформы.

Безопасность физических машин и сервисных виртуальных машин обеспечивается на нескольких уровнях: используется ряд межсетевых экранов, а также дополнительные средства защиты (AppArmor, Seccomp, Osquery 4 и система мониторинга и оповещения о подозрительном поведении).

Контроль доступа администраторов и разработчиков к продуктивной среде обеспечивается с помощью бастионного хоста, который записывает сессию пользователя. Информация из записанных сессий обрабатывается и попадает в SIEM-систему. Сотрудники службы информационной безопасности Yandex.Cloud регулярно анализируют эту информацию.

Защита данных. SDLC и defence in depth. Шифрование
Безопасность Yandex.Cloud организована таким образом, что одной угрозе противостоит набор средств защиты на разных уровнях. Такой подход удорожает любую потенциальную атаку и позволяет оперативно выявлять и предотвращать деятельность злоумышленников. Техническая команда платформы соблюдает процесс безопасной разработки (security development lifecycle, SDLC), выстраивая основу безопасности облачных сервисов с самых ранних этапов проекта. Дополняющая эти базовые принципы концепция эшелонированной обороны (defense in depth) обеспечивает многоступенчатую защиту, которая препятствует действиям злоумышленников и способствует раскрытию их деятельности еще при подготовке атаки.

Для шифрования разработаны несколько уровней:
Шифрование на уровне storage.Шифрование на уровне баз данных Yandex Database. Данные шифруются непосредственно перед отправкой в storage.Шифрование резервных копий данных в Managed Services for Databases (MDB). Все резервные копии, создаваемые MDB, шифруются перед отправкой в постоянное хранилище.Шифрование данных при передаче.Владельцем данных всегда является пользователь облачной платформы. Yandex.Cloud использует информацию клиента, размещенную на платформе, только для выполнения целей договора и уведомляет клиента об инцидентах, затрагивающих пользовательские данные.

Стандарты и законы
Как уже обозначалось выше, соответствие стандартам необходимо по двум причинам:
Это перепроверка самих себя и возможность подтвердить определенные тезисы в части безопасности клиентам.Предоставление возможности клиентам приведения в соответствии (например, с 152-ФЗ или PCI DSS) их систем, при размещении в облаке.В начале 2020 года Yandex.Cloud стала первой в России и СНГ публичной облачной платформой, выстроившей управление информационной безопасностью по стандарту ISO/IEC 27017:2015 и обеспечившей защиту персональных данных пользователей по международному стандарту ISO/IEC 27018:2019. Соответствие платформы требованиям международных нормативных документов подтверждено независимым аудитором — Британским институтом стандартов (BSI). Таким образом, наша платформа соответствует требованиям трех международных стандартов информационной безопасности: ISO/IEC 27001:2013, ISO/IEC 27017:2015, ISO/IEC 27018:2019.

В конце 2020 года Yandex.Cloud получила сертификат соответствия PCI DSS 3.2.1. PCI DSS содержит набор требований для защиты данных держателей карт. Так как требованиям стандарта соответствуют как ЦОДы, так и облачные сервисы, клиенты получили возможность размещать в облаке платежные шлюзы и другие системы, обрабатывающие данные платежных карт.

Ну и наконец, платформа прошла аудит по требованиям ФЗ-152 и теперь соответствует более высокому уровню защищенности персональных данных — УЗ-1, что позволяет клиентам хранить и обрабатывать в том числе специальные категории персональные данных, например медицинские данные.

И конечно, мы полностью соответствуем требованиям законодательства России и других стран, особенно если дело касается данных, доступ к которым должен быть ограничен.

Заключение
Мы рассказали про аспекты безопасности, за которые отвечает Yandex.Cloud. В следующей статье мы расскажем про возможности обеспечения безопасности, которые есть у клиентов.

Мы хотим поделиться с вами подробностями развития платформы Yandex.Cloud в 2020 году и рассказать о наших финансовых показателях, а также об особенностях спроса и потребления облачных сервисов нашей платформы.



В 2020 году выручка платформы Yandex.Cloud увеличилась в 4,5 раза и достигла 1 миллиарда рублей. Количество коммерческих клиентов Yandex.Cloud увеличилось в 2020 году по сравнению с 2019 годом в 1,4 раза и составило 9 700, а средний чек одного клиента увеличился за этот период в 3 раза.

Мы выделяем несколько главных причин такого роста. Во-первых, российские и международные компании стали более активно создавать и развивать собственные цифровые продукты. Во-вторых, многие отрасли, например ритейл и e-commerce, столкнулись с резким ростом нагрузки на онлайн-сервисы из-за пандемии, и компании искали в облаках возможность быстрого расширения ИТ-инфраструктуры, повышения производительности и отказоустойчивости.

Yandex.Cloud 2020: крупные клиенты увеличили объемы потребления
Крупными потребителями облачных сервисов Yandex.Cloud стали 270 клиентов. К ним относятся компании, занимающие лидирующие позиции в своих отраслях по капитализации, доле рынка и темпам роста. Это такие компании, как Леруа Мерлен, Ozon, М.Видео, ВТБ, SkyEng, Национальный исследовательский университет «Высшая школа экономики» и другие. Такие клиенты обрабатывают большие объемы данных, активно развивают корпоративные и отраслевые цифровые платформы для управления внутренними процессами бизнеса, запуска и поддержки новых приложений и сервисов.

В 2020 году количество крупных клиентов платформы Yandex.Cloud увеличилось более чем в 2 раза, а объем потребления ими сервисов Yandex.Cloud вырос почти в 5 раз. Доля крупных клиентов в общей выручке Yandex.Cloud составила 48%. Этот показатель вырос по сравнению с 2019 годом на 4 процентных пункта.

Стоит отметить, что доля компаний группы Яндекса в структуре выручки платформы Yandex.Cloud в 2020 году составила 4%. При расчете показателя учитывается только потребление Yandex.Cloud сервисами ГК Яндекс по общим рыночным условиям. Объем потребления ресурсов внутренней облачной платформы, локализованной под задачи компаний и отдельных сервисов ГК Яндекс, в структуре выручки Yandex.Cloud не учитывается.

Облака — не отдельные технологии, а платформа для роста бизнеса
Мы считаем, что в ближайшие несколько лет бизнес массово будет использовать облака как целостные платформы, на которых по запросу можно получить все необходимые сервисы для решения задач по развитию бизнеса.

На опыте Yandex.Cloud мы выделили 4 основных сценария потребления облачных сервисов компаниями:
перенос из собственной инфраструктуры на облачную корпоративных приложений и сервисов;развитие единой среды разработки, тестирования и запуска новых бизнес-приложений (цифровых продуктов);создание корпоративной платформы данных для хранения, обработки и анализа данных;применение сервисов на базе искусственного интеллекта и инструментов машинного обучения.
В свою очередь, сервисы платформы, которые наиболее активно участвуют в достижении этих сценариев, мы разделили на 4 основные группы и оценили, каким спросом они пользовались в 2020 году.

Группа № 1: «Базовая инфраструктура и сеть». Вклад в выручку Yandex.Cloud в 2020 году — 60%. В группу входят виртуальные машины, сетевые диски, инструменты управления виртуальными сетями. Это наиболее востребованная группа сервисов, на нее в 2020 году пришлось 60% выручки платформы Yandex.Cloud. Активные потребители сервисов этой группы — интернет-магазин Ozon.ru, DIY-ритейлер Leroy Merlin, разработчик мобильных игр Axlebolt.

Группа № 2: «Машинное обучение». Вклад в выручку Yandex.Cloud в 2020 году — 14%. В группу входят сервисы на базе уникальных технологий Яндекса в области машинного обучения и искусственного интеллекта. Сервисы машинного обучения активно используют такие компании, как Signal AI, Badoo, разработчик и интегратор голосовых сервисов АТС (разрабатывает сервисы для Альфа-Банка, Мегафона, ДИТ Москвы, Министерства здравоохранения МО). Наибольший рост — в 9 раз — показал сервис синтеза и распознавания речи Yandex SpeechKit. Это также подтверждает интерес партнеров, за 2020 год количество компаний, специализирующихся на разработке и внедрении голосовых сервисов выросло до 30. Сервис машинного перевода Yandex Translate принес 32% выручки направления, в том числе за счет спроса со стороны зарубежных клиентов, которых привлекает соотношение цены и качества перевода многих языковых пар, превосходящее такое соотношение в аналогичных сервисах.

Группа № 3 «Платформа данных». Вклад в выручку Yandex.Cloud — 12%. Экосистема облачных сервисов для полного цикла работы с данными. Самыми востребованными стали системы управления базами данных, предоставляемые на платформе как сервис. На первом месте по популярности — PostgreSQL, также в тройку входят ClickHouse и MySQL. Количество компаний-пользователей MDB в 2020 году достигло 1 350. Рост группы «Платформа данных» в 2020 году — в 8 раз. У нас хранят свои данные ВТБ, М.Видео и Декатлон.

Группа № 4 «Автоматизированное управление контейнерами». Вклад группы в выручку Yandex.Cloud — 7%. Основной сервис Managed Service for Kubernetes — для автоматизации развертывания, масштабирования и управления контейнеризированными приложениями. Коммерческими пользователями сервиса Managed Kubernetes в 2020 году стали 260 клиентов Yandex.Cloud. Общий рост группы в 2020 году — в 18 раз. Активные потребители сервисов группы: компания ПИК, «Альфа-Страхование», Инвестиционная группа «Севергрупп».

Еще 7% выручки Yandex.Cloud в 2020 году относятся к маркетплейсу и платной поддержке.

Что дальше: больше возможностей клиентам Yandex.Cloud в 2021 году
В 2021 году спрос компаний на облачные технологии будет увеличиваться. Мы планируем, что выручка от потребления сервисов нашей платформы вырастет в 2,6 раза. Мы прогнозируем увеличение спроса на облачные мощности, которыми крупные промышленные компании и государственные организации будут дополнять собственную инфраструктуру. Также в 2021 году мы планируем сделать акцент на развитии экосистемных сервисов: DataSphere, DataLens, бессерверных вычислениях.

Приоритетными остаются развитие безопасность и надежность платформы Yandex.Cloud, в том числе увеличение количества дополнительных сервисов от ведущих разработчиков в нашем маркетплейсе.