Рейтинг
0.00

Yandex Cloud

5 читателей, 240 топиков

Дайджест новостей за март




Хаб Serverless на Хабре
Совместно с редакцией Хабра запустили хаб Serverless. На этой открытой площадке вместе с другими участниками рынка мы постараемся консолидировать все материалы необходимые разработчикам для понимания идей бессерверных технологий. Со своей стороны планируем регулярно публиковать переводы, интервью, статьи и туториалы, чтобы строить знание о нашей Serverless Ecosystem.
Присоединяйтесь к комьюнити разработчиков, которым близки идеи Serverless!
habr.com/ru/hub/serverless/

Новый сервис Yandex Cloud DNS
Новый сервис Yandex Cloud DNS вышел в стадии Preview. С Cloud DNS вы можете управлять ресурсными записями и доменными именами из облака и настраивать внутренние и публичные DNS-зоны в консоли, API, CLI и Terraform. Сервис упростит делегирование доменов и позволит создавать разные окружения внутри вашего проекта без вложений в собственные DNS-сервера.
cloud.yandex.ru/services/dns

Решение Cloud Advisor для аудита облачной инфраструктуры
Cloud Advisor — партнерское решение для аудита и оптимизации облачной инфраструктуры, расположенной в Yandex.Cloud. С его помощью можно проверить, защищено ли ваше облако от актуальных угроз, соответствует ли оно практикам использования облачных сервисов и рекомендациям провайдера.
cloud.yandex.ru/blog/posts/2021/03/cloud-advisor-review

Плагин для гибридной работы с Citrix Virtual Apps and Desktops
Команда Yandex.Cloud в партнерстве с Citrix разработала плагин для гибридной работы с Citrix Virtual Apps and Desktops. С его помощью VDI Citrix интегрируется с облачной платформой и позволяет развернуть гибридное решение, предоставив больше мощности для локальной инфраструктуры виртуальных рабочих столов и приложений, или запустить CVAD с нуля в облаке Yandex.Cloud.
cloud.yandex.ru/blog/posts/2021/03/citrix-plugin

Schlumberger и Yandex.Cloud заключили соглашение о партнерстве
Schlumberger и Yandex.Cloud заключили соглашение, в рамках которого платформа искусственного интеллекта и цифровых инструментов DELFI будет размещена в Yandex.Cloud. Теперь российские энергетические компании смогут воспользоваться новыми цифровыми сервисами и технологиями в области искусственного интеллекта и больших данных для повышения эффективности бизнеса.
cloud.yandex.ru/blog/posts/2021/03/schlumberger-partnership

Мониторинг в мобильном приложении
Мы добавили мониторинг в мобильное приложение Yandex.Cloud — теперь вы можете контролировать статусы всех своих сервисов, узнавать об их доступности и контролировать появляющиеся ошибки. Если вы ещё не пользуетесь — сейчас самое время начать!
cloud.yandex.ru/mobile-app

Сравнение стоимости управляемых баз данных с on‑premise и самостоятельной установкой в облаке
Рассказали, как управляемые базы данных помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. Сделали расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной в облаке и управляемой базой данных.
cloud.yandex.ru/blog/posts/2021/03/mdb-advantages

Новости сервисов
Yandex Managed Service for Kubernetes

Теперь вы можете рассчитать стоимость кластера Kubernetes меньше, чем за минуту. Воспользуйтесь калькулятором в разделе Тарифы или на странице сервиса.
cloud.yandex.ru/services/managed-kubernetes

Monitoring
С помощью агентa для поставки метрик в мониторинг Yandex Unified Agent вы можете собирать и отправлять в Monitoring:
  • системные метрики (CPU, RAM, сеть, диски) для Linux-совместимых ОС;
  • метрики с собственных клиентских приложений;
  • метрики сторонних приложений.

Агент поддерживает сбор метрик в формате Prometheus.

Новые образы в Marketplace

Публикации в СМИ
Яндекс поможет отрядам «ЛизаАлерт» искать пропавших людей по снимкам с дронов

Поисковый отряд будет загружать фотографии с дронов в облачный сервис Yandex.Cloud, оттуда снимки попадут в сервис Яндекс.Толока, где исполнители просмотрят все кадры и отметят те, на которых виден человек. Читать в источнике → tass.ru/obschestvo/10944095

Как стартап ProctorEdu следит, чтобы студенты и менеджеры России, Индии и Израиля не списывали
ProctorEdu вырос из небольшого проекта для НИУ ВШЭ. ВУЗу нужна была система для распознавания нечестного поведения студентов на экзаменах. Потом были инвестиции, 5 крупных акселераторов и несколько стран с пилотами. Подробно рассказываем о прокторинге и деятельности еще одного участника программы Yandex Cloud Boost. Читать на VC → vc.ru/services/221710-kak-startap-proctoredu-sledit-chtoby-studenty-i-menedzhery-rossii-indii-i-izrailya-ne-spisyvali

Нейронная мимикрия: насколько хорошо ИИ предсказывает музыку
Завершить «Реквием» за Моцарта или продлить саундтрек к Gravity Falls в 5 раз нейросетью… Да, возможно, но сможет ли ИИ справиться с этим хорошо или даже лучше живого музыканта? Команда AI Community при поддержке Yandex.Cloud провела конкурс среди дата-сайентистов и получила несколько инсайтов. Читать на VC → vc.ru/ml/219573-neyronnaya-mimikriya-naskolko-horosho-ii-predskazyvaet-muzyku

Виртуальные компьютерные классы и единая среда для программирования
Факультет компьютерных наук НИУ ВШЭ использовал сервисы платформы Yandex.Cloud для запуска учебных курсов. Например, с помощью Yandex DataSphere удалось создать единую среду для обучения и сократить издержки за счет бесшовного переключения конфигураций в зависимости от сложности вычислений. Читать в источнике → cs.hse.ru/news/450921539.html

Истории успеха
Как HiPer IT повысила эффективность работы систем эксплуатации

HiPer IT — разработчик решений для повышения эффективности эксплуатации инженерных систем на основе собственной IIoT-платформы HiPerWare и оборудования для сбора больших данных. Система собирает миллионы значений тысяч переменных о работе инженерных систем объектов недвижимости, анализирует их и формирует рекомендации по оптимизации работы. С помощью Yandex.Cloud компания смогла увеличить эффективность работы систем и масштабироваться.
cloud.yandex.ru/cases/hiper-it

НефтеТрансСервис: IoT-решения Yandex.Cloud для промышленного бизнес-анализа
Транспортная группа НефтеТрансСервис обратилась к компании GlowByte для проведения исследовательского проекта. С помощью сервиса Yandex DataLens они смогли обнаружить нарушения в производственном процессе, нашли резерв производственных мощностей и выявили много коротких, но частых простоев станков. Это помогло проверить изначальные гипотезы клиента и убедиться, что цифровая бизнес-аналитика может применяться в самых разных задачах.
cloud.yandex.ru/cases/ntstrans

Развернуть инфраструктуру для робота-помощника за один день
Центр цифровой трансформации Республики Татарстан полностью отвечает за автоматизацию и цифровизацию электронных сервисов Татарстана, а также занимается разработкой новых продуктов, направленных на улучшение качества жизни жителей республики. В Yandex.Cloud им удалось за один день развернуть рабочую инфраструктуру для робота-помощника Лилии, правильно спроектировать платформу на уровне архитектуры ИС и провести поверхностный аудит решения.
cloud.yandex.ru/cases/digital-tatarstan

Как сервис Anywayanyday расширил аналитику и сократил затраты с инструментами Yandex.Cloud
Платформа BI на основе Yandex Managed Service for ClickHouse и DataLens сделала мониторинг и анализ показателей бизнеса доступным для всех сотрудников. Существенно ускорились принятие решений и реакция на отклонения показателей. ИТ-отдел сократил трудозатраты на поддержку системы отчетности на 20%.
cloud.yandex.ru/cases/anywayanyday

Мероприятия
about: cloud — всё о Платформе данных

На вебинаре мы рассказали о новых сервисах платформы данных: Managed Service for Apache Kafka, Data Transfer и Managed Service for Elasticsearch. И, конечно, о новых возможностях в сервисе Managed SQL Server: восстановление на произвольную точку времени (PITR), Scaling и мониторинг: и о важных обновлениях DataLens, бесплатном тарифе для пользователей управляемых баз данных, а также о других возможностях платформы.
cloud.yandex.ru/events/342

Напишите навык для Алисы на Serverless
Научили создавать новые навыки Алисы с помощью Serverless. Писали на Go и использовали сервисы Yandex Cloud Function, Yandex DataBase, Yandex API-gateway и Object Storage. В итоге получился новый навык под названием To-Do List. С помощью голосового управления он создаёт и редактирует списки задач. Пример можно легко адаптировать к своему любимому языку программирования.
cloud.yandex.ru/events/340

Работайте над проектами, как в Яндексе
Рассказали, какие возможности есть у сервиса для организации работы Yandex Tracker, чем она может быть полезна для компаний из различных отраслей, как с помощью Tracker можно автоматизировать рутинные процессы и что меняется в продукте с переходом в Yandex.Cloud.
cloud.yandex.ru/events/339

Заоблачные продажи — ищем первого клиента
Вебинар для новичков облачного бизнеса. Разобрали основные инструменты поиска клиентов, которые есть в Yandex.Cloud, и рассказали, как лучше начать поиск и на что важно обратить внимание на первых порах.
cloud.yandex.ru/events/338

Настройки ролевых моделей и политик для Managed Service for Kubernetes
На этом вебинаре мы разобрали инфраструктуру приложения, в которой есть продуктивный и непродуктивный контуры, и настроили:
  • RBAC в сервисе Managed Service for Kubernetes, используя интеграцию с IAM;
  • политики работы с ресурсами Kubernetes и Docker-образами.

Yandex.Cloud Solution Library for Amazon Web Services



Мы знаем, что многим компаниям важна возможность работать с двумя облачными провайдерами одновременно. Для разработчиков, которые хотят развернуть проект в Yandex.Cloud и Amazon Web Services, мы подготовили набор рекомендаций и примеров кода для основных сценариев и задач.

Единое хранилище данных для распределённых сервисов и приложений, продвинутая маршрутизация в зависимости от локации пользователя, масштабируемая инфраструктура с использованием Kubernetes — эти и другие задачи мы помогаем решить компаниям, которые хотят использовать преимущества обеих облачных платформ.

Подробнее в разделе Решения → cloud.yandex.ru/solutions/yc-solution-library-for-aws
Сразу на GitHub → github.com/yandex-cloud/yc-solution-library-for-aws

Как мы ускорили работу консоли в два раза

Спойлер: задачу помогли решить неочевидная метрика пользовательского ожидания и интерактивный график



Комфортное взаимодействие с облаком напрямую зависит от скорости работы облачных сервисов. Один из ключевых сервисов Yandex.Cloud — консоль, через которую пользователи решают задачи.

Скорость работы консоли влияет не только на наши бизнес-процессы, но и на бизнес-процессы заказчиков. Количество сервисов также важно для бизнеса. Поэтому Yandex.Cloud растет супербыстро: в 2020 году появились восемь новых сервисов. В какой-то момент платформа развивалась так интенсивно, что каждый месяц мы выпускали по сервису.

Скорость развития отразилась на скорости работы консоли. Она замедлилась, и мы стали получать негативный фидбек от пользователей. Надо было принимать меры. Начали с аналитики: собрали данные, запланировали задачи на улучшение. Это принесло результаты: за несколько месяцев консоль стала работать в два раза быстрее. Рассказываем в деталях, как мы этого достигли.

Свежий взгляд на аналитику
Для начала мы придумали построить график скорости всех страниц консоли. Задача усложнялась тем, что в консоли больше сотни страниц. У каждой страницы свои критерии загрузки, поэтому иногда приходилось делать разметку вручную.


Нам было важно знать, где пользователи проводят больше всего времени и какие страницы надо ускорить первыми. Эти данные взяли за основу и стали строить систему визуальной аналитики.

Хотелось всегда держать перед глазами удобный график скорости работы консоли, видеть всю консольную аналитику и максимально быстро определять источник торможения.

В основу графика легли две метрики:
  • Время первого открытия консоли — Time To Interactive (TTI). В этом режиме, который условно назвали холодным, мы учитываем полную загрузку консоли со стилями и скриптами.
  • Время перехода между страницами. В этом режиме учета — горячем — статика уже загружена. Учитывается только время ответа API и рендеринг.
Еще на старте мы собирали статистику обо всех API-запросах в Managed Service for ClickHouse. Сервис помогает разворачивать и поддерживать кластеры серверов столбцовой системы управлениями базами данных ClickHouse в инфраструктуре Yandex.Cloud. Для детализации мы добавили к данным запросов API информацию о странице, с которой происходят вызовы. Так мы стали вычислять, какие запросы пользователь ждет дольше всего на самых частотных страницах.

Разработчик Евгений Сорокин: «Сперва ввод метрики пользовательского ожидания был неочевидным. Казалось, что нужно концентрироваться на самых частотных запросах. Но практика показывала, что дело не в них: вызовов в Object Storage могло быть до 1к в секунду, но при этом сервис работал супербыстро».

Благодаря данным и метрикам мы локализовали проблемы в бэкенде и на фронтенде, сформировали список доработок на каждой стороне и отдали его ответственным командам.

Параллельный фикс
Что влияет на скорость работы консоли? Она складывается из множества параметров: размера статики, рендеринга компонентов. Наиболее чувствительна для пользователя скорость работы API.

Мы учли эти факторы, и в наших руках появился инструмент диагностики, который позволил быстро выявлять источник торможения. Проблемы скорости работы консоли стали устранять параллельно с клиентской и серверной сторон.

Что сделали на фронтенде
  • Сократили объемы поставляемой в браузер статики. Оптимизировали размер статики для первой загрузки и стали загружать пользователю только то, что ему нужно в данный момент.
  • Избавились от большей части запросов, блокирующих интерфейс. То, без чего нельзя обойтись, стали загружать параллельно, где это возможно.

Что сделали на бэкенде
  • Оптимизировали логику запросов для открытия консоли.
  • Ускорили критичные для открытия консоли методы API.
  • Вынесли часть запросов с сервера на клиент, чтобы не блокировать первое открытие консоли.

Как устроен график: расследует и показывает
Данные графика коррелируют с синтетическими тестами, сделанными до и после оптимизации.



Самая крутая фича графика, кроме измерения скорости работы консоли — отслеживание источника торможения. Мы следим за деградацией сервиса в реальном времени и быстрее выявляем и устраняем проблемы.

График скорости работы консоли видят все, это улучшает скорость и качество взаимодействия между командами разработки облачного сервиса. Панель графика интерактивна и позволяет проваливаться в низкоуровневые метрики. Можно посмотреть динамику скорости конкретных страниц.

Если мы заметили замедление работы страницы или сервиса, то можем проанализировать, какие методы API на это повлияли.

Распределение скорости запросов в API по времени:

стало


Роль пользователей
График строится на основе пользовательских метрик, которые мы собираем. Он отражает реальную скорость работы сервиса у конечных потребителей.

Мы открыты для обратной связи. Пишите нам не только о проблемах: предлагайте, как улучшить, ускорить и сделать еще удобнее интерфейс, с которым вы работаете.

Сообщить об ошибке в работе консоли → console.cloud.yandex.ru/support/create-ticket
Предложить идею → cloud.yandex.ru/features

Новый сервис для хранения секретов Yandex Lockbox



Новый сервис Yandex Lockbox вышел в стадии Preview. Теперь в инфраструктуре Yandex.Cloud вы можете безопасно хранить секреты: логины и пароли, ключи сертификатов серверов или ключи сервисного аккаунта в облаке и другие конфиденциальные данные.
cloud.yandex.ru/services/lockbox

Секреты хранятся только в зашифрованном виде — Yandex Lockbox работает в связке с сервисом криптографических ключей Yandex Key Management Service.
cloud.yandex.ru/services/kms

Как работает сервис
Вы можете создавать секреты в консоли управления или через API и настраивать доступ к ним с помощью сервисных ролей.
cloud.yandex.ru/docs/lockbox/security/


Секреты безопасно хранятся в Yandex Lockbox и доступны для использования в других сервисах платформы. Также можно обращаться к секретам Yandex Lockbox из внешних систем с помощью gRPC или REST API. Подробнее о работе с сервисом читайте в документации.

Сервис поможет
  • Безопасно и централизованно хранить секреты и контролировать доступ к их значениям.
  • Управлять жизненными циклами секретов.
  • Проходить аудиты и соответствовать требованиям информационной безопасности.

Сервис находится на стадии Preview и не тарифицируется.
cloud.yandex.ru/docs/overview/concepts/launch-stages
cloud.yandex.ru/docs/lockbox/quickstart

Дайджест новостей за февраль

Финансовые итоги 2020 года
В 2020 году выручка платформы Yandex.Cloud увеличилась в 4,5 раза и достигла 1 миллиарда рублей. Количество коммерческих клиентов Yandex.Cloud выросло по сравнению с 2019 годом в 1,4 раза и составило 9 700, а средний чек одного клиента увеличился за этот период в 3 раза.

Мы подробно рассказали про развитие платформы Yandex.Cloud в 2020 году, наших финансовых показателях, а также об особенностях спроса и потребления облачных сервисов платформы в отдельном посте.


Решения на сайте
Мы запустили на сайте раздел Решения. Собрали в нём популярные задачи и отрасли, которые используют сервисы и технологии Yandex.Cloud, и рассказали, как они помогают решать задачи бизнеса.
Сейчас на сайте 15 решений: для отраслей — среди них ритейл, финансы, образование — и для популярных задач, например, миграции в облако, визуализации данных и автоматизации колл-центров.
Мы будем развивать раздел: добавим новые руководства, записи вебинаров, кейсы клиентов, чтобы вы лучше ориентировались в возможностях Yandex.Cloud и быстрее находили решения для ваших задач.
cloud.yandex.ru/solutions

Yandex Tracker в Yandex.Cloud
С 1 марта Yandex Tracker становится частью Yandex.Cloud. Tracker — это универсальный сервис для командной работы, распределения ресурсов и контроля выполнения задач внутри компаний. После присоединения к облачной платформе в нём появятся новые возможности для корпоративных клиентов, среди них — подключение федерации удостоверений в Yandex.Cloud.
Федерация удостоверений позволит авторизоваться в Tracker через корпоративную учётную запись, по технологии единого входа SSO (Single Sign-On). Для компаний, использующих корпоративные системы управления пользователями, например Active Directory, это упростит администрирование доступов сотрудников. Клиенты, уже работающие с облачной платформой, смогут подключить Tracker к своей учётной записи и оплачивать сервис с единого платёжного аккаунта.

Новый сервис Yandex Application Load Balancer
На платформе Yandex.Cloud появился сервис Yandex Application Load Balancer для создания масштабируемых управляемых балансировщиков HTTP-трафика. Сервис берёт на себя маршрутизацию трафика с учётом HTTP-запросов и заголовков, терминирование TLS и обеспечение безопасности соединений между компонентами приложений.
C Application Load Balancer вы можете создавать масштабируемые L7-балансировщики для распределения HTTP-трафика и управлять ими в консоли управления или с помощью CLI.
Сервис сетевых балансировщиков теперь называется Yandex Network Load Balancer.
cloud.yandex.ru/blog/posts/2021/02/application-load-balancer-preview

Блог в Яндекс.Дзене
Мы запустили блог в Яндекс.Дзене и начали собирать в нём полезные статьи об облаках для бизнеса, реальные кейсы клиентов, ликбезы по нашим сервисам, мнения экспертов Yandex.Cloud и новости облачной индустрии и IT в целом.
zen.yandex.ru/yandexcloud

Новости сервисов
Yandex Database

Добавлена инструкция по использованию AWS CLI и AWS SDK для работы с базой через Document API. Протестируйте использование Yandex Database в serverless-режиме бесплатно по программе — free tier.

Managed Service for PostgreSQL
Добавлена поддержка управления группами безопасности в консоли управления, CLI и с помощью Terraform.
Добавлены команды yc managed-postgresql cluster create, yc managed-postgresql cluster update и yc managed-postgresql cluster restore.
Для флага --postgresql-version string добавлено значение 13 для создания кластера PostgreSQL версии 13.

Новые образы в Marketplace
Сделали обновление образов на базе Linux с исправлением ошибок «CVE-2021-3156 — Privileges escalation via sudo»:
  • Ubuntu 16.04 LTS GPU;
  • openSUSE 15.2;
  • 1С: ​​​Предприятие 8.3.

Публикации в СМИ
IT-бизнес RussiaRunning

В нашем блоге на vc.ru рассказали про проект RussiaRunning. Компания монетизировала и масштабировала один из ИТ-проектов для спортивных мероприятий с помощью облачных технологий Yandex.Cloud.
vc.ru/life/210844-kak-my-prevratili-semeynye-zabegi-v-it-biznes

Студенты из Бауманки сделали беспилотный гоночный болид
В статье на vc.ru рассказываем, как студенческая команда МГТУ им. Н. Э. Баумана одной из первых в России проектирует беспилотный гоночный электроболид для международных соревнований, а нейросети и облачные технологии помогают им на поворотах.
vc.ru/transport/204818-driverless-po-studencheski-kak-komanda-iz-baumanki-razrabatyvaet-bespilotnyy-gonochnyy-bolid

Как анализировать до 100% звонков
Никита Ткачёв в статье для vc.ru рассказал, как мы в Yandex.Cloud совершенствуем технологии автоматического распознавания речи, которые позволяют нашим пользователям транскрибировать звонок с минимальной задержкой и с точностью до 97%.
vc.ru/yandex.cloud/203019-kak-analizirovat-do-100-zvonkov-ot-vashih-klientov-ne-razduvaya-byudzhet

Истории успеха
Как Yandex.Cloud помогает «АльфаСтрахованию» ускорять бизнес

Группа «АльфаСтрахование» — крупнейшая российская частная страховая компания, в портфеле которой более 100 цифровых продуктов для бизнеса и частных клиентов. Для развития им потребовалась новая инфраструктура с возможностью гибкого масштабирования и платформенные сервисы.
Yandex.Cloud помог «АльфаСтрахованию» сократить время вывода новых продуктов на рынок с одного года до 1‑3 месяцев, уменьшить расходы на инфраструктуру — на некоторых проектах до 30% ожидавшихся затрат, а также расширить экспертный опыт сотрудников.
cloud.yandex.ru/cases/alfastrah

Всероссийская олимпиада школьников в Yandex.Cloud: 24 предмета и более 320 тысяч уникальных пользователей
Компания «Цифровое образование», используя технологии Yandex.Cloud, впервые провела школьный этап Всероссийской олимпиады школьников в Московской области онлайн. Новый формат позволил охватить большое количество школьников: более 320 тысяч учащихся решили 1,2 миллиона олимпиад. Нагрузку в начале олимпиады было сложно предсказать, но облачная инфраструктура позволила гибко масштабироваться. Сервис работал стабильно даже в моменты пиковых нагрузок.
cloud.yandex.ru/cases/talenttech

Мероприятия в марте
В марте мы уже провели Cloud Day для сферы образования, где рассказали об опыте использования облачных сервисов. Обязательно регистрируйтесь на вебинары Настройки ролевых моделей и политик для Managed Service for Kubernetes, Работайте над проектами, как в Яндексе про нашу работу в Yandex Tracker, участвуйте в митапе about: cloud — всё о Платформе данных и других.
cloud.yandex.ru/events/342
cloud.yandex.ru/events/304
cloud.yandex.ru/events/337
cloud.yandex.ru/events/339

Прошедшие вебинары
Безопасность в инфраструктуре, основанной на Kubernetes

Обсудили набор практик, которые минимизируют риски простоя production-среды из-за человеческих ошибок, при этом сохраняя self-service модель для разработчиков, за которую так ценят Kubernetes.
cloud.yandex.ru/events/302

Java в serverless — быть или не быть?
Рассказали про этапы создания serverless-рантайма для Java. Как устроен рантайм, каковы его сильные и слабые стороны и как с его помощью переносить почти любые Java-приложения в serverless. Запись вебинара поможет вам создавать собственные serverless-приложения.
cloud.yandex.ru/events/300

Возможности речевой аналитики для бизнеса
Как анализировать 100% информации 24/7 и всегда держать руку на пульсе коммуникаций компании, как изменить отдел клиентского сервиса, анализировать намного больше коммуникаций с клиентами и значительно улучшить показатели контакт-центра. Смотрите вебинар про главные тренды в речевой аналитике.
cloud.yandex.ru/events/303

Новое в Yandex DataSphere для ML-разработки
Рассказали о том, как получить доступ к режиму Early Access Version, как использовать индикацию загрузки памяти и CPU, TensorBoard и новые фоновые операции. И конечно, поделились планами по развитию Yandex DataSphere на ближайшие месяцы.
cloud.yandex.ru/events/301

Безопасная обработка данных платёжных карт в Yandex.Cloud
Обсудили особенности PCI DSS и разделение ответственности в облачных сервисах. Рассмотрели ситуации, когда PCI DSS необходим, а когда можно обойтись без него. Показали примеры реализации инфраструктуры клиента, соответствующей стандартам PCI DSS.
cloud.yandex.ru/events/299

Управляемые базы данных: сравнение стоимости с on‑premise и самостоятельной установкой в облаке



Мы покажем, как они помогают сократить нагрузку на персонал, сэкономить деньги и сосредоточиться на задачах бизнеса. В конце статьи приведем расчеты, сколько стоит владение каждым из вариантов: on-premise, виртуальной машиной (ВМ) в облаке и управляемой базой данных (БД).

Установка и первоначальная настройка
Жизненный цикл любой БД начинается с установки. Но перед этим необходимо подготовить инфраструктуру: оборудование, операционную систему (ОС), сеть, политики безопасности, пользователей и т. д. С одной стороны, это разовое действие, с другой, если через месяц для нового проекта понадобится БД — все придется делать заново.

Управляемая БД разворачивается по нажатию нескольких кнопок: нужно выбрать тип, задать параметры ВМ (CPU, RAM и др.) и подождать несколько минут. Шаги для развёртывания баз данных при самостоятельной установке или с управляемой БД:


Поддержка специалистами
После установки сразу начинается этап поддержки. Нужно непрерывно следить за оборудованием, ОС и самой БД. Оборудование нуждается в бесперебойном питании, мониторинге и периодической замене. Необходимо регулярно устанавливать обновления ОС и БД, чтобы исправлять ошибки и закрывать уязвимости. Поддержка продолжается постоянно, на нее уходит время.

Отдельно стоит упомянуть мажорные обновления ОС и системы управления базами данных (СУБД). Время от времени нужно переходить на новые версии, но компании обычно откладывают миграцию на последний момент или вовсе продолжают работать с неподдерживаемыми версиями. Потому что самостоятельное обновление и миграция — это долго и сложно: нужно учесть много нюансов, провести тестирование и решить возникающие проблемы.

В небольших компаниях, как правило, за БД следят администраторы общей специализации. Но они обслуживают и другие элементы инфраструктуры, а с БД работают не каждый день, поэтому профильных компетенций может быть недостаточно. Как следствие — администраторы не всегда выбирают оптимальные настройки и устраняют проблемы намного дольше профессионалов.

В крупных компаниях есть администраторы, которые занимаются только БД. Это опытные специалисты, и у них достаточно знаний и умений, чтобы решать проблемы в сроки, определенные в SLA.

Примечание
Команда Yandex.Cloud не просто администрирует БД, мы также получаем опыт из разработки. Системные администраторы и разработчики совместно улучшают БД: решают инциденты и совершенствуют сам сервис.
  • Мы разработали ClickHouse — высокопроизводительную аналитическую БД, которая обрабатывает миллиарды строк в секунду. Мы создавали ее для внутренних задач, а сейчас ею пользуются более 2000 компаний по всему миру: в e-commerce, мобильной и игровой разработке, рекламе и аналитике.
  • Мы участвуем в разработке других открытых проектов. Например, мы создали пулер соединений Odyssey для PostgreSQL, участвуем в развитии системы бекапирования WAL-G и других расширений для PostgreSQL.
  • Мы используем управляемые БД внутри собственных продуктов: Почты, Такси, Диска, Драйва и др. Поэтому мы понимаем на деле, какие проблемы возникают у пользователей управляемых БД, и стараемся сами их решать.

В управляемом сервисе поддержкой занимается облачный провайдер, а клиенту нужно только управлять пользователями. Мы сами следим за оборудованием, ОС и БД; устанавливаем обновления, сопровождаем системы мониторинга, резервное копирование и сетевые настройки. За базами следят профильные специалисты, которые работают с ними каждый день. Они понимают, как устроены БД, следят за развитием технологий и последними новостями. Поэтому их решения — оптимальные и соответствуют лучшим практикам. Профильные специалисты знают, как лучше настроить БД, как реализовать ту или иную функцию, и помогут советом, если вы столкнетесь с нестандартной ситуацией.

В управляемой БД намного легче мигрировать на новые, мажорные версии. Для этого достаточно по клику создать копию хоста БД с новой версией, проверить, что все работает как надо, и просто перевести нагрузку на новый хост.

Ниже перечислены задачи обслуживания БД при самостоятельном администрировании и при использовании сервиса по управлению базой данных.


Отказоустойчивость и масштабируемость
Отказоустойчивость СУБД достигается за счет создания кластера: если из строя выйдет один из хостов, остальные продолжат работу. В идеале хосты следует расположить в разных ЦОДах (зонах доступности), обезопасить свой проект от сбоев целого дата-центра.

Такую отказоустойчивую систему можно создать и собственными силами, но для этого потребуется много ресурсов и навыки экспертов. Это непростая задача: нужно наладить связь между хостами, настроить репликацию данных и автоматический перенос нагрузки с одного узла на другой. Размещение хостов в разных дата-центрах требует дополнительных усилий: нужно разбираться, где физически находятся серверы, и арендовать их в разных зонах доступности.

Схема построения отказоустойчивого кластера:


Управляемые БД — это отказоустойчивость и легкое изменение топологии из коробки. Все наши БД кластерные, и для любой можно создать реплики в трех зонах доступности. Это повышает отказоустойчивость и позволяет легко масштабировать кластер. Например, вы разворачиваете стенд для нового проекта, который еще разрабатывается. Поначалу проекту не нужны реплики, так как к нему не предъявляются требования продуктивных систем. Но когда проект готов к запуску в production, вы можете из этой БД сразу же сделать боевую отказоустойчивую систему. Добавляете реплики к установке и получаете отказоустойчивую БД без переноса данных и миграции.

Резервное копирование и восстановление на любой момент
Резервное копирование позволяет восстановить данные в случае сбоя. Но чтобы оно правильно работало, нужно выбрать тип (когда лучше сделать полную копию, а когда инкремент), определиться с расписанием, найти место для хранения и организовать процесс так, чтобы копию можно было восстановить за несколько минут.

В управляемой БД все задачи, кроме расписания, решает облачный провайдер. Восстановить копию можно самостоятельно несколькими кликами мыши — не придется писать в поддержку и ждать ответа.

Кроме привычных всем бекапов, в некоторых СУБД есть механизм point-in-time recovery (PITR). Эта полезная функция позволяет восстановить данные на любой момент, а не только на момент создания копии. Например, бекап создается ночью в 00:00. Утром БД начинает наполняться данными, а в обед junior-разработчик случайно удаляет одну из таблиц. Если восстановить предыдущую копию — то потеряются утренние данные. Механизм PITR позволяет указать точное время, на которое нужно восстановить данные: он сам восстановит последнюю копию и применит все транзакции, которые прошли после ее создания.


PITR будет работать и при локальной установке БД. Но вам придется сначала настроить этот механизм, а потом просить системного администратора восстанавливать данные. В управляемой БД PITR уже настроен, а воспользоваться им можно без помощи администратора.

Полностью управляемый сервис, а не ВМ с шаблоном
Мы предоставляем полностью управляемые БД: вы получаете доступ к БД как пользователь, а мы следим, чтобы она работала как часы. Вы создаете схемы и таблицы, обращаетесь к данным, анализируете производительность запросов. Но у вас нет root-доступа, вы не можете менять системные настройки и управлять ВМ, на которой запущена СУБД.

Кажется, что вы получаете меньше гибкости, ведь вы не можете управлять всеми настройками. Но чаще всего клиентам нужна готовая и стабильная БД, а не конструктор, который легко сломать. Именно благодаря таким ограничениям мы гарантируем стабильную работу СУБД.

Есть и другой вариант: пользователи получают полный доступ к СУБД и ВМ, на которой она работает. Это нельзя назвать полностью управляемым сервисом, это скорее ВМ с готовым шаблоном для быстрого развертывания БД. Такой вариант упрощает установку и настройку. Но раз вы имеете доступ ко всем внутренним настройкам и функциям — провайдеру сложнее гарантировать стабильную работу. Если из-за вмешательства система сломается, провайдер не отвечает за это и разбираться придется самостоятельно.

В Yandex.Cloud вы получаете на 100% управляемый сервис. А еще мы единственный облачный провайдер в России, у которого есть Terraform для управляемых БД. Через него можно делать все то же самое, что через консоль управления, API и CLI.

Готовые метрики и простая визуализация данных
В сервисе мониторинга Yandex Monitoring для каждой управляемой БД есть более ста метрик, которые можно отслеживать. Мы настроили готовые дашборды, но ничего не мешает вам создавать свои варианты с нужными метриками.

Примеры графиков мониторинга — потребление ресурсов, количество запросов и другие:


Кроме самих метрик еще есть алерты — удобный способ узнать о приближении к критической отметке. Например, когда заканчивается место в БД или появляются запросы с ошибками.

Мы постарались создать удобный инструмент для мониторинга, но вы можете выгрузить данные метрик во внешнюю систему и анализировать их там. Подключите Prometheus или любой другой инструмент для анализа с помощью встроенного API.

Доступность выше, чем у ВМ
Еще одна особенность управляемых БД — соглашение об уровне сервиса (SLA). Мы гарантируем, что БД будет доступна определенное количество времени. Если мы не выполним обещание, то компенсируем вам стоимость сервиса.


Чтобы добиться такой доступности своими силами, нужно потратить много времени и сил. И если не получится и БД все-таки будет долго простаивать — вам это никто не компенсирует.

При аренде БД на ВМ провайдер также гарантирует доступность по SLA. Но, как правило, SLA для ВМ ниже, чем для управляемой БД. Например, наше SLA для ВМ — 99,95%. Когда ВМ простаивает, это означает, что БД недоступна на чтение и на запись. А в управляемой БД эти операции разделены, и если БД недоступна на запись, то вполне вероятно, что она доступна хотя бы на чтение благодаря репликам.

Управляемая БД экономит время и деньги, а также помогает решать задачи бизнеса
Все, что есть в управляемых БД, можно сделать самостоятельно: установить и настроить, поддерживать и обновлять, настроить резервное копирование и отказоустойчивость. Но чтобы делать это самим, придется тратить много времени, сил и денег. Мы покажем, сколько времени уходит на непрофильные задачи.

Компания MongoDB, наш партнер, описала все действия, на которые расходуется время в различных моделях развертывания БД: на своем оборудовании, на облачной ВМ и полностью управляемой БД. На схеме видно, что в управляемых БД практически все время уходит на разработку и инновации, т. е. на решение конкретных задач бизнеса, а не на настройку и обслуживание БД.


Управляемые БД снимают с вас многие задачи обслуживания и управления инфраструктурой. Появляется больше времени на решение ваших бизнес-задач, а не задач технического плана.

Сосредоточиться на задачах бизнеса также помогает интеграция с другими сервисами, например с сервисом визуализации данных Yandex DataLens. Это инструмент для визуализации данных: таблиц, графиков и карт. С его помощью можно быстро проверить гипотезу или собрать полноценный дашборд с показателями компании. DataLens бесплатен для пользователей управляемых БД.

Сколько это стоит
Мы посчитали стоимость владения и управления тремя видами ресурсов: on-premise, ВМ на базе Yandex Compute Cloud и сервисом по управлению базами данных. Мы выбрали эквивалентное по мощности оборудование и сравнили, сколько это стоит в каждом из вариантов.

Расчеты приведем на горизонте трех лет, т. е. амортизацию оборудования в on-premise-решении посчитаем за три года.

Это упрощенный расчет: мы не учли несколько моментов. Например, что в on-premise решении оборудование можно продать после использования, а отсутствие капитальных затрат в управляемой БД можно инвестировать в другие направления бизнеса. Более подробный расчет мы сделаем в отдельной статье.

Сравнение стоимости управления и владения различными вариантами работы с БД:


On-premise требует больше всего времени, денег и усилий, потому что вам придется:
  • Заниматься оборудованием: покупать его, следить за ним, поддерживать бесперебойную работу и периодически менять, когда оно устареет или сломается. Если проект развивается, то со временем мощности станет недостаточно и потребуется новое оборудование. Если же сразу взять мощность с запасом — оборудование будет простаивать.
  • Пример: сервер HP с 12 ядрами стоимостью ≈ 800 000 ₽. С учетом амортизации за три года получается ≈ 22 000 ₽ в месяц.
  • Согласно исследованию некоммерческой организации NRDC, утилизация on-premise оборудования от трех до четырех раз ниже, чем облачного. С учетом данной поправки стоимость владения оборудованием составит как минимум ≈ 22 000 × 3 = ≈ 66 000 ₽ в месяц.
  • Искать сотрудников, платить зарплату и социальные взносы. При этом потребуется как минимум два специалиста, чтобы они могли подменять друг друга во время отпуска и болезни. Скорее всего, кроме БД, эти сотрудники будут заниматься и другими задачами, поэтому для примера примем, что на администрирование БД они тратят только 50% времени.
  • Зарплата специалиста — ≈ 100 000 ₽, социальные взносы — 30 000 ₽. Потребуется два специалиста, каждый из которых администрирует БД 50% времени. В итоге получаем ≈ 130 000 ₽ в месяц.
  • Итого ≈ 196 000 ₽ в месяц.

ВМ на базе Compute Cloud стоит дешевле и требует меньше усилий
  • Не нужно заниматься оборудованием: за ним следим мы.
  • Стоимость развертывания ВМ в Yandex.Cloud — ≈ 27 500 ₽ в месяц.
  • Нужно искать сотрудников, платить зарплату и социальные взносы. При этом потребуется как минимум два специалиста, чтобы они могли подменять друг друга во время отпуска и болезни. Скорее всего, кроме БД, эти сотрудники будут заниматься и другими задачами, поэтому для примера примем, что на администрирование БД они тратят только 50% времени.
  • Зарплата специалиста — ≈ 100 000 ₽, социальные взносы — 30 000 ₽. Потребуется два специалиста, каждый из которых администрирует БД 50% времени. В итоге получаем ≈ 130 000 ₽ в месяц.
  • Итого ≈ 157 500 ₽ в месяц.
Управляемая БД требует меньше всего усилий и денег, потому что вам не нужно:
  • Заниматься оборудованием.
  • Искать сотрудников для администрирования БД. Ваши специалисты могут сосредоточиться на развитии продукта. Для вас неважно, сколько человек администрируют базу, когда они уходят в отпуск и кто кого подменяет: мы решаем эти вопросы сами.
Пример: управляемая БД (24 vCPU, 96 RAM, 240 ГБ SSD) стоит ≈ 42 000 ₽ в месяц.

Итог: экономия от управляемыми БД по сравнению с on-premise может доходить 80%, а по сравнению с ВМ на базе Compute Cloud до 70% (в основном за счет персонала).

Краткий вывод
В статье мы рассмотрели преимущества управляемых БД перед самостоятельным развертыванием в on-premise и в ВМ.
Сервис по управлению базами данных на платформе Yandex.Cloud позволяет:
  • Упростить установку, настройку и сопровождение системы;
  • Подключить дополнительные инструменты, например систему мониторинга или визуализации данных;
  • Экономить по сравнению с решениями on-premise и на базе ВМ, в основном за счет персонала и оборудования;
  • Быстрее тестировать гипотезы и разрабатывать новые продукты, подключая необходимые ресурсы по клику и снижая время на time-to-market (запуск новых продуктов на рынок).

Разделяемая ответственность (shared responsibility). На стороне клиента



В предыдущей статье подробно описывалось разделение ответственности для различных моделей использования облачных сервисов и что Yandex.Cloud делает для обеспечения безопасности. Этот материал посвящён возможностям клиентов облака.

Ещё про разделение ответственности
Концепция разделения ответственности проходит сквозь большинство типичных процессов безопасности. Например, процесс мониторинга лежит как на облачном провайдере (он должен успевать реагировать на потенциальные угрозы для своей инфраструктуры и сервисов), так и на конечном клиенте облака (прикладная часть системы находится под контролем клиента, а значит, безопасность на этом уровне настраивает клиент).

Ответственность за соблюдение требований законодательства тоже в определённой степени разделяется, ведь без помощи со стороны провайдера у клиента практически нет возможности соблюсти требования регулирующих документов, так как доступа на уровне инфраструктуры облака у клиента нет, а требования обычно предусматривают меры в части физической безопасности и инфраструктуры виртуализации. С другой стороны, и провайдер не имеет возможности полностью выполнить все меры в отношении системы клиента «из коробки», так как в каждом случае приведение системы, размещаемой в облаке, в соответствие с требованиями стандарта — это отдельный проект, который требуется выполнять для каждой системы. Максимум, что может предложить провайдер — это типовую услугу для реализации таких проектов.

Ещё одна особенность облака связана с возможностями, которые используются для обеспечения безопасности конечной системы. В некоторых ситуациях заменить механизмы более привычными просто не получится. К числу таких средств безопасности можно отнести сервис IAM — без него невозможна работа с облаком в принципе, следовательно, конечная система должна учитывать особенности этого сервиса.

Возможности обеспечения безопасности, которые есть у клиентов
Последний штрих в безопасности системы клиента в облаке — это её защита в части зоны ответственности клиента. Для этого можно использовать как привычные инструменты «из мира собственных локальных инфраструктур», так и некоторые готовые облачные сервисы. Итоговый выбор за клиентом, но с частью облачных сервисов безопасности придётся научиться работать в любом случае. Ниже кратко разобраны основные аспекты выстраивания безопасности на стороне клиентской системы в облаке.

Управление доступом пользователей
Управление учётными записями — это одна из важнейших возможностей клиентов облака для обеспечения безопасности. Для IaaS, PaaS и SaaS управление учётными записями и доступом является общей ответственностью, требующей настройки контроля доступа на основе ролей и применения различных способов аутентификации, контроля и мониторинга. В Yandex.Cloud на данный момент пользователям доступны следующие виды аккаунтов:
  • Аккаунты на Яндексе. Для аутентификации необходимо использовать логин и пароль либо ПИН-код и приложение Яндекс.Ключ, если настроена двухфакторная аутентификация.
  • Федеративные аккаунты. Сервис IAM принимает от стороннего поставщика удостоверений (identity provider) подписанный SAML-токен, который содержит информацию об аутентифицированном пользователе.
  • Сервисные аккаунты — особый тип аккаунтов, которые используются для доступа к ресурсам Yandex.Cloud от имени приложения.
То есть, провайдер предоставляет способы идентификации/аутентификации, а пользователь уже самостоятельно выбирает наиболее подходящий в зависимости от своего сценария применения облачной платформы.

Управление ресурсами
С помощью механизма управления ресурсами и назначения ролей пользователь может довольно точно ограничить права групп пользователей (в соответствии с собственной моделью доступа), тем самым реализуя концепцию separation of duties. Для упрощения этой задачи платформа предлагает большой выбор сервисных ролей, которые реализуют множество сценариев доступа к ресурсам.

Сетевая безопасность и контроль сети
Сетевой контроль на стороне клиента включает в себя настройку и использование сетевых средств безопасности, таких как VPN, балансировщики нагрузки (load balancers), шлюзы и прочее.
  • В решениях SaaS управление и безопасность для клиента заключается в настройке программного обеспечения, так как конфигурация сети выполняется поставщиком услуг.
  • В решениях IaaS клиент разделяет с облачным провайдером ответственность за развёртывание, защиту, настройку сетевых решений и управление ими.
Для защиты виртуальных машин и выделения зон разного уровня безопасности пользователям также доступен механизм групп безопасности (security groups). Для повышения доступности инфраструктуры в Yandex.Cloud есть возможность управлять входящим и исходящим интернет-трафиком, в том числе с помощью балансировщика нагрузки Yandex Network Load Balancer, а также сегментировать виртуальные сети среды Yandex.Cloud. Балансировщик нагрузки может быть интегрирован с сервисом Yandex DDoS Protection, который защитит ваш сервис от DDoS-атак. Для защиты от атак на уровне L7 рекомендуется использовать виртуальные образы или облачные сервисы с web application firewall (WAF).

Связь с локальной инфраструктурой можно обеспечивать с помощью VPN-инстанса, сетевых образов из Cloud Marketplace или Yandex Cloud Interconnect.

Выделенный хост
Выделенный хост — физический сервер, предназначенный для размещения виртуальных машин только одного клиента в Yandex.Cloud. Эта возможность помогает в ряде сценариев, не связанных с безопасностью, и, в том числе, обеспечивает физическую изоляцию от виртуальных машин других пользователей, что может быть полезно при обработке высоко критичных данных в облаке.

Защита данных
Для шифрования данных на управляемых пользователем ключах у клиентов Yandex.Cloud есть возможность применять сервис Yandex Key Management Service. Сервис предназначен для управления криптографическими ключами пользователя и предоставляет возможность шифрования данных при сохранении пользовательского контроля над ключами шифрования. Отдельного внимания заслуживает интеграция сервиса KMS с Yandex Object Storage: в этом случае пользователю достаточно указать ключ KMS, на котором необходимо шифровать данные бакета, и все данные будут защищены с помощью указанного ключа, а просмотр или модификация данных станут невозможны без прав доступа на указанных ключ. Таким образом, можно контролировать использование данных.

Заключение
Компаниям, которые хотят перейти в облако, важно понимать модель разделения ответственности. Облачные провайдеры прилагают значительные усилия и предлагают очень много возможностей для обеспечения безопасности и соответствия нормативным требованиям, но эти преимущества не освобождают клиента от защиты своих пользователей и приложений.

При выборе облачной платформы вам придётся понять, как, сочетая привычные вам средства безопасности и облачную функциональность защиты, обеспечить безопасность системы в облаке в рамках своей зоны ответственности. Облачный провайдер заинтересован помогать конечным пользователям, поэтому регулярно рассказывает подробности о безопасности на своей стороне и о деталях сервисов безопасности платформы, которые полезны для безопасности конечных систем клиентов облака.

Разделяемая ответственность (shared responsibility). На стороне облака


Работа в облаке для любой компании — это поиск баланса между желанием воспользоваться преимуществами облачных технологий и сохранением контроля над собственными данными. Есть ли смысл управлять инфраструктурой после миграции? Как это делать? За что отвечает облачный провайдер, а за что — клиент? Какие концептуальные особенности, с точки зрения клиента, облачные технологии добавляют в обеспечение информационной безопасности? В этой и следующей статье мы ответим на вопросы и расскажем о модели разделяемой ответственности и разделяемой информационной безопасности.

Обеспечение безопасности при использовании платформы публичного облака
Компании, которые совершили миграцию в облако, часто считают, что за безопасность целиком и полностью отвечает облачный провайдер. Конечно, по своему замыслу он обязан обеспечивать безопасность физической инфраструктуры и сетевых элементов, но и клиенты должны понимать свою роль в защите данных и приложений. Хорошей иллюстрацией этой проблемы является политика паролей: какие бы меры безопасности ни принимал облачный провайдер, все они бесполезны, если пользователи не применяют сложные пароли, двухфакторную аутентификацию и токены.

С точки зрения обеспечения информационной безопасности главное отличие работы в облаке от собственной инфраструктуре — это разделяемая ответственность. Конечно, и при наличии собственных дата-центров компания может разделить ответственность, просто передав часть процессов на аутсорсинг. Но при работе в облаке граница этого разделения зависит не от желания компании, а от тех сервисов, которые используются системой в облаке

Разделяемая ответственность
Ответственность провайдера и клиента различается в зависимости от модели использования облачных сервисов (IaaS — инфраструктура как услуга, PaaS — платформа как услуга, SaaS — программное обеспечение как услуга) и имеющихся у облачного провайдера защитных механизмов и политик: возможностей соблюдения законодательства, стратегии управления рисками, модели угроз и других факторов.


Модель разделяемой ответственности однозначно подразумевает, что физическая безопасность, безопасность сервисов и доступность всей инфраструктуры — это всегда ответственность специалистов облака, которую они не могут переложить на клиентов. С другой стороны, клиент должен контролировать права доступа к ресурсам, например к виртуальным машинам: управлять ими таким образом, чтобы не допустить несанкционированного доступа. Как в локальных, так и в облачных моделях компании сами несут ответственность за то, чтобы данные были маркированы и правильно классифицированы для выполнения любых обязательств по соответствию нормативным требованиям.

При использовании облачных сервисов по модели IaaS провайдер отвечает за физическую безопасность и отказоустойчивость самой платформы, защищает сеть, собирает и анализирует события безопасности гипервизоров и других компонентов инфраструктуры. Пользователи в этом случае должны отвечать за безопасность гостевых машин, а также осуществлять резервное копирование виртуальных машин, защищать виртуальную сеть, контролировать доступ к ресурсам и принимать меры по защите учетных записей пользователей облака.

При использовании управляемых сервисов (PaaS/SaaS) забот у конечного пользователя становится гораздо меньше, так как провайдер уже обеспечивает защиту компонент PaaS/SaaS-сервисов. Например, в случае Yandex Managed Service for ClickHouse провайдер защищает виртуальные машины сервиса, выполняет резервное копирование базы данных и шифрует пользовательские данные. В то же время клиент обязан классифицировать данные, обеспечить разграничение доступа к данным, настроить процессы для их защиты, а также отвечает за управление своими пользователями и конечными устройствами.

Безопасность на стороне Yandex.Cloud
С одной стороны, распределение ответственности удобно для клиентов. Им нужно меньше заботиться о безопасности, в сравнении с защитой системы при ее расположении на собственных мощностях. С другой стороны, данные и система все еще принадлежит конкретному клиенту, поэтому он не может безоглядно доверять провайдеру, просто полагаясь на его заверения. Точнее, все зависит от уровня экспертиз в части безопасности, которая есть (или нет) у конкретного клиента. Если такая экспертиза находится на зрелом уровне, то компания в состоянии оценить риски, уточнив особенности защиты на стороне провайдера и изучив определенные подтверждения рассказам провайдера (например сертификаты соответствия). Для удобства клиентов, Yandex.Cloud публикует определенную информацию о некоторых аспектах информационной безопасности платформы. Также мы всегда открыты для общения в режиме 1-1 для обсуждения деталей.

Яндекс обеспечивает безопасность облачной платформы на следующих уровнях:
  • Безопасность дата-центров
  • Безопасность инфраструктуры
  • Защита на уровне данных
  • Соответствие стандартам
  • Безопасность дата-центров
ЦОДы можно считать фундаментом облачной платформы. Все серверные ресурсы Yandex.Cloud располагаются в собственноручно спроектированных и построенных дата-центрах на территории России, которые связаны собственными каналами связи. Это позволяет команде обеспечивать соответствующий уровень безопасности, включая необходимые параметры надежности. Кстати, о надежности наших ЦОДов мы уже рассказали первой статье серии. Меры безопасности в дата-центрах соответствуют лучшим практикам и включают в себя процедуры контроля доступа, видеонаблюдение и регламенты замены оборудования, реализующие процедуры очистки носителей с данными клиентов.

Безопасность инфраструктуры
В основе безопасности инфраструктуры облачной платформы Yandex.Cloud — разделение и изоляция ресурсов. Критичные с точки зрения безопасности сервисы запускаются под управлением виртуальных машин на отдельной группе физических хостов, на которой не запускаются пользовательские виртуальные машины. Все административные виртуальные машины запускаются в физически или логически изолированных сетях, а корпоративная сеть провайдера отделена от сети облачной платформы.

Безопасность физических машин и сервисных виртуальных машин обеспечивается на нескольких уровнях: используется ряд межсетевых экранов, а также дополнительные средства защиты (AppArmor, Seccomp, Osquery 4 и система мониторинга и оповещения о подозрительном поведении).

Контроль доступа администраторов и разработчиков к продуктивной среде обеспечивается с помощью бастионного хоста, который записывает сессию пользователя. Информация из записанных сессий обрабатывается и попадает в SIEM-систему. Сотрудники службы информационной безопасности Yandex.Cloud регулярно анализируют эту информацию.

Защита данных. SDLC и defence in depth. Шифрование
Безопасность Yandex.Cloud организована таким образом, что одной угрозе противостоит набор средств защиты на разных уровнях. Такой подход удорожает любую потенциальную атаку и позволяет оперативно выявлять и предотвращать деятельность злоумышленников. Техническая команда платформы соблюдает процесс безопасной разработки (security development lifecycle, SDLC), выстраивая основу безопасности облачных сервисов с самых ранних этапов проекта. Дополняющая эти базовые принципы концепция эшелонированной обороны (defense in depth) обеспечивает многоступенчатую защиту, которая препятствует действиям злоумышленников и способствует раскрытию их деятельности еще при подготовке атаки.

Для шифрования разработаны несколько уровней:
  • Шифрование на уровне storage.
  • Шифрование на уровне баз данных Yandex Database. Данные шифруются непосредственно перед отправкой в storage.
  • Шифрование резервных копий данных в Managed Services for Databases (MDB). Все резервные копии, создаваемые MDB, шифруются перед отправкой в постоянное хранилище.
  • Шифрование данных при передаче.
Владельцем данных всегда является пользователь облачной платформы. Yandex.Cloud использует информацию клиента, размещенную на платформе, только для выполнения целей договора и уведомляет клиента об инцидентах, затрагивающих пользовательские данные.

Стандарты и законы
Как уже обозначалось выше, соответствие стандартам необходимо по двум причинам:
  • Это перепроверка самих себя и возможность подтвердить определенные тезисы в части безопасности клиентам.
  • Предоставление возможности клиентам приведения в соответствии (например, с 152-ФЗ или PCI DSS) их систем, при размещении в облаке.
В начале 2020 года Yandex.Cloud стала первой в России и СНГ публичной облачной платформой, выстроившей управление информационной безопасностью по стандарту ISO/IEC 27017:2015 и обеспечившей защиту персональных данных пользователей по международному стандарту ISO/IEC 27018:2019. Соответствие платформы требованиям международных нормативных документов подтверждено независимым аудитором — Британским институтом стандартов (BSI). Таким образом, наша платформа соответствует требованиям трех международных стандартов информационной безопасности: ISO/IEC 27001:2013, ISO/IEC 27017:2015, ISO/IEC 27018:2019.

В конце 2020 года Yandex.Cloud получила сертификат соответствия PCI DSS 3.2.1. PCI DSS содержит набор требований для защиты данных держателей карт. Так как требованиям стандарта соответствуют как ЦОДы, так и облачные сервисы, клиенты получили возможность размещать в облаке платежные шлюзы и другие системы, обрабатывающие данные платежных карт.

Ну и наконец, платформа прошла аудит по требованиям ФЗ-152 и теперь соответствует более высокому уровню защищенности персональных данных — УЗ-1, что позволяет клиентам хранить и обрабатывать в том числе специальные категории персональные данных, например медицинские данные.

И конечно, мы полностью соответствуем требованиям законодательства России и других стран, особенно если дело касается данных, доступ к которым должен быть ограничен.

Заключение
Мы рассказали про аспекты безопасности, за которые отвечает Yandex.Cloud. В следующей статье мы расскажем про возможности обеспечения безопасности, которые есть у клиентов.

Плагин для гибридной работы с Citrix Virtual Apps and Desktops



Команда Yandex.Cloud разработала плагин для виртуальной инфраструктуры рабочих столов. С его помощью VDI Citrix интегрируется с облачной платформой. Плагин поддерживает гибридные инсталляции и позволяет перенести часть инфраструктуры в облако тем, кто уже работает с CVAD on-premise и нуждается в дополнительных мощностях для виртуальных рабочих мест и приложений.

Плагин позволяет управлять инфраструктурой в Yandex.Cloud с помощью инструмента Machine Creation Services — MCS. Также решение подходит для развертывания CVAD с нуля в облаке.

Плагин предоставляется бесплатно. Его разработка — результат партнерства Yandex.Cloud и Citrix.

Как это работает
Развертывание CVAD с нуля в облаке Yandex.Cloud

Для внедрения CVAD на собственной IT-инфраструктуре предприятию недостаточно иметь штат квалифицированных специалистов для настройки и поддержки VDI. Необходимы капитальные вложения в серверы, СХД, сетевое оборудование. Это приводит к увеличению бюджета и требует времени на согласование закупки оборудования.

В облаке решение Citrix разворачивается быстро и стоит дешевле, чем on-premise. Всю инфраструктуру предоставляет и обслуживает провайдер, а платить нужно только за использованные ресурсы Yandex.Cloud.

В отличие от on-premise, у облака гибкие возможности масштабирования. Предприятие не нуждается в резервных мощностях для пиковой нагрузки. В Yandex.Cloud можно взять необходимое количество виртуальных машин и в любой момент от них отказаться.

Гибридное решение: on-premise + Yandex.Cloud
Когда решение CVAD развернуто on-premise, с ростом нагрузки возникает потребность в дополнительном оборудовании. IT-департаменту предприятия трудно точно спрогнозировать потребность в ресурсах. Задачу усложняет необходимость держать резервные мощности для пиковых нагрузок. Избыточная оценка приводит к неоправданным тратам на оборудование.

В такой ситуации облако может стать провайдером IT-инфраструктуры. Yandex.Cloud через плагин подключается к инсталляции CVAD. Когда требуются дополнительные ресурсы, их предоставляет облако. Это избавляет предприятие от крупных вложений в оборудование и придает инфраструктуре гибкость.

С плагином можно создавать гибридные инсталляции из физических и виртуальных ресурсов и управлять инфраструктурой VDI с помощью привычных инструментов. Подготовка и развертывание мастер-образов происходят автоматически с помощью инструментов Citrix Studio и PowerShell SDK, используемых в инсталляциях CVAD. Вся работа ведется в привычной среде Citrix — дополнительное обучение не требуется.

Как получить плагин
Отправьте запрос в отдел продаж. Вы получите плагин бесплатно. Платить не придется, даже когда этап тестирования закончится.

Yandex.Cloud предлагает вам поучаствовать в пилотных проектах внедрения гибридного решения Citrix. Это позволит вам протестировать технологии на реальных задачах организации, получить рекомендации от наших специалистов и поделиться обратной связью. Благодаря ей команда Yandex.Cloud продолжит развитие проекта, добавит возможности по вашим запросам, повысит стабильность работы и производительность плагина.

Почему Yandex.Cloud
Платформа Yandex.Cloud — масштабируемое и надежное решение для реализации любых IT-проектов. В облаке размещены сайты и приложения самого Яндекса. Гибкость платформы позволяет мгновенно наращивать и освобождать ресурсы, когда нагрузка меняется. Благодаря модели pay as you go (PAYG) вы не платите за неиспользуемые и простаивающие ресурсы — только за реально использованные мощности.

Все сервисы платформы, а не только дата-центры, соответствуют требованиям закона о защите персональных данных ФЗ-152 и имеют самый высокий уровень защиты — УЗ-1. Это позволяет предприятиям федерального и международного уровня размещать в Yandex.Cloud персональные данные. Система управления информационной безопасностью (СУИБ) сертифицирована по стандартам ISO 27001, ISO 27017 и ISO 27018. Сертификат высшего уровня безопасности PCI DSS — Level 1 — позволяет клиентам Yandex.Cloud защищать данные держателей банковских карт. Подробную информацию вы можете найти на странице Безопасность.

Фактический уровень SLA Yandex.Cloud за последние три года не опускается ниже 99,9996%.

Получить плагин и внедрить гибридное решение Citrix cloud.yandex.ru/blog/posts/2021/03/citrix-plugin#contact-form

Schlumberger и Yandex.Cloud помогут российским нефтегазовым компаниям ускорить цифровизацию


Schlumberger и Yandex.Cloud заключили соглашение о сотрудничестве, в рамках которого платформа искусственного интеллекта (ИИ) и цифровых инструментов DELFI будет размещена на Yandex.Cloud. Партнерство Schlumberger и Yandex.Cloud позволит российским энергетическим компаниям воспользоваться новыми цифровыми сервисами и технологиями в области искусственного интеллекта и больших данных для повышения эффективности бизнеса.

Среда DELFI объединяет ведущие программные решения от компании Schlumberger, включая программную платформу Petrel E& P, платформу для скважин Techlog и инструментарий для моделирования пласта высокого разрешения INTERSECT, и расширяет их возможности с помощью искусственного интеллекта и высокопроизводительных вычислений, которые становятся возможными благодаря облачным технологиям.

Эти цифровые технологии выгодны в сегментах разведки и добычи, поскольку они позволяют работать с крупными и сложными моделями, производить цифровые расчеты моделей и их анализ за меньшее время, по сравнению с традиционными вычислительными решениями. Например, время выполнения 400 расчетов модели геологической среды, для пользователей DELFI, было сокращено с 11 дней до 46 минут. Такое повышение производительности приводит к значительному сокращению времени вывода продукта на рынок для операторов нефтегазовой отрасли, что позволяет им намного быстрее окупать свои инвестиции.

Наше стратегическое сотрудничество с Yandex.Cloud ускорит цифровую трансформацию российской энергетики. Размещая среду DELFI в Yandex.Cloud, мы предоставляем клиентам безопасный доступ к нашим ведущим ИИ и цифровым решениям в быстро развивающемся облачном сервисе по всей России. Благодаря передовым облачным технологиям и практически безграничным возможностям в области геофизики, инженеры и специалисты по обработке данных смогут ускорить свои рабочие процессы и анализ данных, что позволит улучшить важные решения для бизнеса. Развертывание комплекса DELFI поможет российскому энергетическому сектору повысить производительность всей производственной цепочки
прокомментировал Рустам Биктимиров, вице-президент по цифровым технологиям и интеграции компании Шлюмберже в России и Центральной Азии

Сервис Yandex.Cloud был выбран из-за его обширной и постоянно растущей сети центров обработки данных по всей России, поддерживаемых собственными технологиями и сервисами для хранения, обработки и анализа данных с расширенными цифровыми возможностями, включая искусственный интеллект. Сервис Yandex.Cloud также соответствует международным и российским стандартам защиты и безопасности данных, в том числе требованиям 152-ФЗ, стандарту безопасности платежных карт PCI DSS и сертификатам соответствия международным стандартам информационной безопасности ISO 27001, ISO 27017 и ISO 27018.

В таких ресурсоемких и наукоемких отраслях, как нефтегазовая, возможен колоссальный прорыв благодаря развитию и широкомасштабному использованию новых цифровых сервисов и бизнес-моделей. Мы целенаправленно инвестируем в развитие отрасли совместно с крупнейшими промышленными и технологическими лидерами зарубежного и российского нефтегазового рынка
прокомментировал Олег Коверзнев, операционный директор Yandex.Cloud.