Рейтинг
0.00

Yandex Cloud

5 читателей, 245 топиков

Уровень безопасности и защищенности Yandex.Cloud подтвержден международной ассоциацией Cloud Security Alliance



Облачная платформа получила регистрацию в публичном реестре международной ассоциации по безопасности Cloud Security Alliance. Таким образом, провайдер прошел первый этап программы Security, Trust, Assurance and Risk (STAR) — Level 1: Self-Assessment.

Специалисты Yandex.Cloud предоставили необходимую документацию для подтверждения соответствия лучшим практикам облачной безопасности от CSA, в том числе по сетевой безопасности, управлению доступом, уязвимостями, активами и инцидентами. Заявленным стандартам соответствуют самые востребованные облачные сервисы: платформа данных, контейнерная разработка, технологии для машинного обучения и инфраструктурные сервисы.

Список требований CSA включает более 190 параметров безопасности облачной платформы. Это открытый документ, доступный на сайте альянса любой российской или зарубежной компании, которая принимает решение об использовании Yandex.Cloud. С его помощью клиенты Yandex.Cloud могут самостоятельно и быстро сверить соответствие облачной платформы с внутренними требованиям компании к безопасности публичных облаков.
cloudsecurityalliance.org/star/registry/yandex-cloud/services/yandex-cloud/

Ранее платформа Yandex.Cloud уже подтвердила соответствие требованиям федерального закона № 152-ФЗ «О персональных данных» и Общего регламента о защите данных (General Data Protection Regulation, GDPR). Также по результатам аудита Yandex.Cloud соответствует международным стандартам информационной безопасности: ISO/IEC 27001:2013, ISO/IEC 27017:2015, ISO/IEC 27018:2019, PCI DSS, ГОСТ 57580.
cloud.yandex.ru/security#standards

Графические процессоры NVIDIA A100 стали доступны пользователям Yandex.Cloud



Пользователи Yandex.Cloud получили возможность использовать графические процессоры (GPU) NVIDIA A100 80GB, обеспечивающие самую высокую скорость работы и производительность в области искусственного интеллекта и высокопроизводительных вычислений (HPC). Новое поколение процессоров доступно для использования в виртуальных серверах Compute Cloud, работы с ML-сервисом Yandex DataSphere, а также при работе с сервисами контейнерной разработки Managed Service for Kubernetes.

Производительность GPU NVIDIA A100 в сравнении с предыдущими поколениями увеличена в два (а по некоторым тестам и в три) раза. A100 обладает самой быстрой в мире пропускной способностью памяти — более 2 ТБ/с, что позволяет работать с крупными моделями и наборами данных. Тензорные ядра с поддержкой режима Tensor Float 32 (TF32) обеспечивают самую высокую производительность HPC с момента появления GPU. 80 ГБ графической памяти позволяеют при работе с A100 сократить процесс моделирования с двойной точностью с десяти часов до менее чем четырех часов. Приложения для высокопроизводительных вычислений также могут использовать TF32 в NVIDIA A100 для достижения большей пропускной способности для точных операций.

GPU NVIDIA A100 обеспечивают быструю масштабируемость и высокую скорость тренировки моделей искусственного интеллекта и алгоритмов машинного обучения, анализа данных и высокопроизводительных вычислений (HPC). Новый графический процессор востребован для решения бизнес-задач в сфере финансовых услуг, ритейла, добывающей и обрабатывающей промышленности, строительства, фармацевтики и здравоохранения, медиа и многих других. Компании используют вычисления на GPU для прогнозирования спроса, управления заказами, подбора персонала, создания рекомендательных моделей, оптимизации логистики, анализа изображений и текста.

Сегодня решения на GPU NVIDIA A100 в Yandex.Cloud уже используются такими лидерами рынка как группа «М.Видео-Эльдорадо», компания VizorLabs. Кроме того, A100 доступны для участников программы поддержки цифровизации образовательных учреждений, к которой уже присоединились НИУ ВШЭ, МГТУ им. Н. Э. Баумана и МГУ.

В настоящее время в Yandex.Cloud предлагаются конфигурации с одной и восемью GPU NVIDIA A100 на машину, конфигурации по две и четыре GPU будут доступны уже в ближайшее время.

UserGate NGFW — защищаем сетевую инфраструктуру



Возможности UserGate NGFW, доступные в Yandex.Cloud
Межсетевое экранирование и обнаружение вторжений

Вне зависимости от того, будет межсетевой экран принимать весь корпоративный трафик, или только трафик, направленный к облачным системам, он будет блокировать атаки и фильтровать соединения по заданным правилам:
  • L3/L4 — фильтрация пакетов по сетевым признакам (к примеру, разрешается доступ только с выделенных IP-адресов компании и только по ограниченным портам);
  • L7 — ограничение протоколов и приложений, таких как Tor, YouTube, почта, различные VPN и анонимайзеры, работающие по протоколам HTTP и HTTPS.
В правилах можно указывать пользователей, которым разрешены или запрещены определённые действия. Или можно запретить доступ к внутренним сервисам для всех неавторизованных пользователей.

Обнаружение вторжений производится собственным высокопроизводительным ядром по сигнатурам производителя. Идёт поиск следов вирусной активности, попыток обойти фильтрацию приложений, эксплуатации уязвимостей и тому подобное.

Потоковый антивирус
Межсетевой экран нового поколения выявляет передаваемые в трафике файлы и анализирует их перед доставкой получателю.

Защита почты
Письма, проходящие через UserGate NGFW, проверяются целой группой фильтров. От подозрительных отправителей из чёрных списков письма блокируются. Заголовки, содержание, ссылки и вложения анализируются на признаки спама или фишинга.

Безопасная публикация приложений и контроль интернет-трафика
Если доступ к внутренним ресурсам компании (базы данных, файловые серверы, CRM и т. д.) нужно предоставить работникам, которые не находятся в локальной сети, немедленно возникает вопрос безопасности. Ведь вывести эти ресурсы в публичный доступ невозможно, они тут же станут мишенью для злоумышленников. Можно расположить их за VPN, но потребуется дополнительная настройка VPN-сервера и VPN-клиентов. UserGate NGFW предлагает в качестве решения безопасную публикацию ресурсов. Пользователь авторизуется на специальном портале, и только после этого для него появляется ссылка на внутренний ресурс.

UserGate NGFW в облаке можно также использовать в качестве прокси-сервера, если он будет являться точкой выхода в интернет для локальной сети, VDI или рабочих мест. При этом будет доступен большой арсенал настроек: ограничение конкретных запрещённых сайтов, чёрные и белые списки (в т. ч. Роскомнадзора), категорирование сайтов, определение тематики сайта по морфологии, разграничение доступа по роли пользователя, блокировка рекламных и вредоносных скриптов на веб-страницах.

Построение VPN
UserGate NGFW осуществляет построение Site-to-Site VPN, защищённого канала с другим межсетевым экраном или маршрутизатором с функцией VPN. В частности, это необходимо для конфиденциальной передачи данных между облаком и локальной сетью. Кроме того, поддерживается работа клиентских VPN, чтобы пользователи могли подключаться и работать из любой точки мира.

В облачном межсетевом экране есть возможность гибко менять конфигурацию устройства и используемые модули, чтобы адаптировать его к меняющейся нагрузке и оптимизировать затраты.

Соответствие требованиям и стандартам
Ещё одним преимуществом UserGate NGFW является сертификат ФСТЭК, подтверждающий соответствие требованиям к межсетевым экранам типа А, Б и Д четвертого класса защиты, требованиям к системам обнаружения вторжения уровня сети четвертого класса защиты и требованиям, предъявляемым к четвертому уровню доверия. Таким образом, UserGate NGFW полностью удовлетворяет запросам к защите конфиденциальной информации, которая хранится и обрабатывается в Yandex.Cloud.

Стоит отметить, что облако Yandex.Cloud имеет аттестат на соответствие требованиям по защите персональных данных (ФЗ-152) и другим индустриальным стандартам.

Интеграция UserGate NGFW с существующей инфраструктурой
Итак, вы создали виртуальную машину с UserGate NGFW в Yandex.Cloud. Что с ней делать дальше, чтобы защитить свою инфраструктуру?

Защита облачных сервисов
Если основные рабочие места находятся в локальной сети, а серверы информационных систем — в облаке, то на UserGate NGFW назначается «белый» IP-адрес на внешний интерфейс и создаются маршруты к серверам информационных систем. Пользователи при обращении к ИС используют внешний адрес UserGate NGFW.

При таких настройках межсетевой экран полностью контролирует трафик облачных систем, входящий трафик от рабочих мест, исходящий трафик самих серверов. Обычный интернет-трафик пользователей не контролируется. Затраты ресурсов виртуальной машины UserGate NGFW минимальны, изменение сетевых настроек несущественно. Можно назвать этот вариант «защита самого ценного».


Полная защита сети
У предыдущего варианта есть недостаток. Например, пользователь может скачать вредоносное ПО и заразить другие машины. Да, серверы затронуты не будут, но препятствия для нормальных рабочих процессов всё равно возникнут. Для противодействия этому можно защитить информационный поток локальной сети целиком.

Для этого между облачным UserGate NGFW и граничным маршрутизатором локальной сети настраивается VPN-канал. Внешние соединения разрешаются только через UserGate NGFW. Соответственно, полностью функционирует интернет-фильтрация, обнаружение атак, потоковый антивирус. Этот вариант ближе к классическому «фаервол на границе сети» и обеспечивает более надёжную защиту.


Защита нового филиала
При создании нового филиала существующей компании для защиты периметра и фильтрации трафика необходимо внедрять межсетевой экран. С UserGate NGFW в Yandex.Cloud этот процесс может пройти гораздо легче.

После создания локальной сети на её периметре устанавливается любой маршрутизатор, поддерживающий L2TP поверх IPsec, и устанавливается соединение с облачным UserGate NGFW. Затем для всех пользователей в качестве прокси-сервера устанавливается IP-адрес UserGate NGFW. Или, как в варианте выше, настраивается маршрутизация и запрещаются прочие внешние соединения. И финальным шагом на межсетевой экран устанавливается VPN-соединение с центральным офисом компании. Таким образом выход в интернет контролируется политиками UserGate NGFW, а связь с центральным офисом идёт только по защищённому каналу.

Подключение удалённых пользователей
Когда облачный UserGate NGFW защищает локальную сеть или терминальный сервер, доступна настройка удалённого доступа с использованием только браузера. Для этого на UserGate NGFW в настройках captive-портала включается сервис RDP и добавляется профиль MFA для удалённых пользователей, чтобы привязать устройство к пользователю в целях безопасности.

В результате пользователь имеет возможность подключаться через браузер к внутренним хостам, на которых включён RDP.



Облачный UserGate NGFW для комплексной защиты
Облачный межсетевой экран нового поколения UserGate, доступный в маркетплейсе Yandex.Cloud, поможет не только обеспечить комплексную защиту важных информационных ресурсов, но и всей сети передачи данных. UserGate NGFW не требует значительных затрат, им можно гибко управлять, увеличивать или уменьшать выделенные ресурсы ВМ, включать и отключать необходимые механизмы безопасности. Отдельным плюсом является наличие сертификата ФСТЭК России и высокий уровень технической поддержки клиентов Yandex.Cloud.

Новости платформы данных: анализ производительности и мониторинг



Диагностика производительности
Managed Service for MongoDB и Managed Service for MySQL

Для Managed Service for MongoDB и Managed Service for MySQL добавили возможность проводить диагностику производительности кластера. Новый инструмент помогает анализировать метрики сессий и запросов. В случае с Managed Service for MongoDB в диагностику производительности попадают только тяжелые запросы, порог которых (в миллисекундах) задается в настройках кластера (по умолчанию порог составляет 300 миллисекунд). Также инструмент выявляет предполагаемые индексы, которые могли бы улучшить скорость выполнения запросов.

Для включения диагностики производительности нужно активировать сбор статистики, после чего она будет доступна на вкладке «Диагностика производительности» в UI консоли на странице кластера Managed Service for MySQL и Managed Service for MongoDB.

Как включить диагностику производительности для Managed Service for MongoDB
cloud.yandex.ru/docs/managed-mongodb/operations/performance-diagnostics
Как включить диагностику производительности для Managed Service for MySQL
cloud.yandex.ru/docs/managed-mysql/operations/performance-diagnostics

Новая функциональность для Managed Service for MySQL и Managed Service for MongoDB находится в стадии Preview.

Managed Service for PostgreSQL
Для Managed Service for PostgreSQL улучшили инструмент анализа производительности кластера и разработали руководство по использованию диагностики и мониторинга для решения проблем.

Кроме того, в визуализации плана запроса в UI-консоли добавили дополнительные вкладки с расширенной информацией. Новая функциональность позволит пользователю получать сведения об операциях и количестве использованных ресурсов.

Подробнее о визуализации плана запроса


Для включения диагностики производительности нужно активировать сбор статистики, после чего она будет доступна на вкладке «Диагностика производительности» в UI консоли на странице кластера Managed Service for PostgreSQL.

Как включить диагностику производительности для Managed Service for PostgreSQL
cloud.yandex.ru/docs/managed-postgresql/operations/performance-diagnostics

Managed Service for SQL Server
Диагностика производительности доступна и для Managed Service for SQL Server™. Пользователи сервиса могут включить сбор статистики и диагностики средствами SQL Server Management Studio и Query Store с помощью нашей инструкции.
Инструкция cloud.yandex.ru/docs/managed-sqlserver/operations/performance-diagnostics

Больше информации по теме
cloud.yandex.ru/blog/posts/2021/11/mdb-monitoring-performance-diagnostics

50 анонсов Yandex Scale 2021



Общие новости
  • Yandex.Cloud выходит на европейский рынок. До конца 2022 года Yandex.Cloud откроет регион из нескольких зон доступности в Европе. Первый регион за пределами России будет размещаться в Германии. Клиенты европейской зоны доступности смогут воспользоваться всеми существующими сервисами и инструментами Yandex.Cloud. Доступ будет обеспечиваться с выполнением требований постановления Европейского союза General Data Protection Regulation для европейских пользователей. Кроме того, в планах платформы локализация когнитивных сервисов Yandex SpeechKit.
  • Гранты за работу над документацией облачной платформы. Контент-программа Yandex.Cloud предоставляет пользователям возможность улучшать и создавать новую документацию для облачной платформы. Каждый автор, который внесет правки в документацию, подготовит оригинальный сценарий решения задачи или пошаговое руководство, получит грант на свой платежный аккаунт Yandex.Cloud.
  • Yandex.Cloud и «АльфаСтрахование» запустили первую в России программу страхования рисков бизнеса при использовании облачных сервисов. Теперь ответственность Yandex.Cloud как провайдера облачных сервисов будет усилена новым инструментом — расширенной защитой от потенциальных убытков, связанных с нарушением целостности данных и непрерывности бизнеса.
  • G-Cloud. Для размещения государственных информационных систем на базе инфраструктуры и сервисов платформы Yandex.Cloud будет создан отдельный облачный регион, соответствующий требованиям безопасности и защищенности, которые регуляторы предъявляют к сервисам и инфраструктуре для работы ГИС. Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов. Планируется, что платформа G-Cloud будет готова к размещению ГИС к концу 2022 года.
  • Yandex Distributed Cloud. Развитие концепции распределённого облака, в основе которой лежит использование платформенных сервисов и технологических решений Yandex.Cloud не только в публичном облаке, но и непосредственно на территории клиента. Комплексное облачное решение включает в себя IaaS, PaaS и SaaS и развивается вместе с публичным Yandex.Cloud за счёт общей кодовой базы. Единое решение одного вендора гарантирует высокую совместимость сервисов. Информационная безопасность обеспечивается совместно Yandex.Cloud и клиентом по прозрачной модели разделяемой ответственности. Сервисы предоставляются в соответствии с описанием и SLA.
  • Yandex.Cloud переходит на новое поколение серверных стоек. Теперь серверное оборудование поддерживает последние поколения процессоров — Intel Ice Lake. Новое поколение платформы позволяет добиться повышения производительности до 50% при работе с управляемыми базами данных, системами аналитики, сервисами машинного обучения, веб-приложениями и виртуальными рабочими местами. Также в новом поколении стоечных решений стали доступны графические процессоры NVIDIA A100 (GPU), которые работают с новыми процессорами AMD Epyc 2 (Milan).
  • Улучшение производительности дисков. Помимо производительности процессоров за этот год мы ускорили наши диски. Облачный диск более надежен чем физический, так как каждый блок данных мы записываем не на один, а на несколько дисков, расположенных в разных серверных стойках. Мы много инвестировали в производительность нашей дисковой подсистемы, и теперь по синтетическим тестам они подходят для всех типовых сценариев.
  • Образовательная инициатива. Один из приоритетов Yandex.Сloud на ближайшие годы — создание цифровых решений для развития сферы науки и образования. Облачная платформа располагает всеми необходимыми инструментами и технологиями, которые помогут решить любые задачи как ведущим вузам, так и EdTech-стартапам. Мы собрали все проекты, которые реализуем для сферы образования и науки.

Инфраструктура
Новые сервисы
  • Yandex Cloud CDN, сервис для организации сети распространения, созданный на основе G-Core Labs CDN и предназначенный для переноса части нагрузки с источников данных на CDN-серверы, вышел в общий доступ. Сетевая инфраструктура Content Delivery Network состоит из распределенных CDN-серверов (более 800 серверов по всему миру).
  • Yandex Application Load Balancer, сервис для распределения трафика между приложениями и создания управляемых балансировщиков, вышел в общий доступ. Сервис предоставляет масштабируемую инфраструктуру подачи HTTP-трафика, что облегчает построение микросервисной архитектуры.
  • Yandex Cloud DNS, сервис администрирования ресурсных записей DNS и обслуживания DNS-запросов, вышел в общий доступ. С помощью Cloud DNS пользователи управляют своими доменами, купленными у любого регистратора, и доступом по доменным именам к приложениям, развёрнутым в облаке.

Новые возможности в сервисах
  • Public gRPC API — программный интерфейс в Yandex Cloud CDN для интеграции и обращения к облачным сервисам из внешних систем и управления ресурсами в облаке.
  • Поддержка Origin Shielding в Yandex Cloud CDN — помогает защитить origin-сервер (источник данных) от перегрузки запросами с нескольких узлов CDN. Origin Shielding аккумулирует все запросы клиентов на специальном сервере предварительного кэширования и перенаправляет их на origin-сервер.
  • Поддержка Raw Logs в Yandex Cloud CDN — позволяет получить с CDN-серверов все access-логи для их дальнейшего анализа.
  • Интеграция Yandex Cloud CDN с Certificate Manager — осуществляет управление и хранение TLS-сертификатов, а также позволяет использовать их в интегрированных сервисах Yandex.Cloud.
  • Управление трафиком приложений, запущенных в кластере Managed Service for Kubernetes®, в Yandex Application Load Balancer через ingress-контроллер. После установки такого контроллера будет автоматически развернут балансировщик с нужными целевыми и backend-группами, HTTP-роутерами и обработчиками. Контроллер поддерживает gRPC, traffic-shifting, интеграцию с Certificate Manager и Object Storage.

Платформа данных
Новые сервисы

  • Yandex Data Transfer стал доступен для всех пользователей, но часть функциональности пока остается на стадии Preview. По мере развития сервиса трансферы будут выходить в публичный доступ (GA). За появлением новых трансферов и об изменениях стадий следите в блоге и телеграм-канале Yandex.Cloud.
  • Базовая версия Yandex DataLens становится полностью бесплатной и без ограничений на число пользователей и сессий — как для внутренних, так и для внешних источников. Вместе с этим Yandex.Cloud продолжит развивать платные расширения для DataLens для решения более сложных задач.

Новые возможности в сервисах
  • В Data Transfer появилась возможность переносить данные между гетерогенными источниками. Например, можно взять данные из OLTP-базы и сделать их копию или постоянно поддерживаемую реплику в аналитической СУБД для их эффективного анализа.
  • В Data Transfer появилась работа с произвольными потоками данных. Теперь вы можете сохранить данные из брокеров данных (Managed Service for Apache Kafka, Yandex Data Streams) в различные хранилища, которые поддерживает сервис. Так для анализа вы можете направить ваш поток данных в ClickHouse, а для более дешевого долговременного хранения — в Object Storage, по пути обрабатывая данные с помощью Cloud Functions.
  • В Data Transfer появились public API и CLI.
  • В Yandex DataLens добавлены SQL-чарты для написания SQL запроса под конкретный чарт. Это позволяет раскрыть широкие возможности создания отчетов с комплексными вычислениями над данными.
  • В Yandex DataLens появились выражения Level of Detail — аналитические функции, которые можно использовать для двойных агрегаций. Например, чтобы посчитать средний DAU за неделю.
  • В Yandex DataLens появились полилинии — еще один тип возможного геослоя на чарте «Карта». Для работы с ним в датасете каждая точка каждой полилинии должна храниться отдельной строкой.
  • В Yandex DataLens добавили кольцевые диаграммы — новый тип чарта для отображения доли и общей суммы. Итоги можно включить через шестеренку настройки чарта.
  • В Yandex DataLens добавили итоги в плоских таблицах и фильтр по умолчанию для новых чартов.
  • В Yandex DataLens добавили новый коннектор для Greenplum и поддержку сервиса Yandex Database как источника данных.
  • В Yandex DataLens добавлены расширенные палитры цветов.
  • Большой демо дашборд с возможностями Yandex DataLens. В нем собраны как решения конкретных прикладных задач (например, когортный анализ), так и функциональные примеры, раскрывающие нюансы использования DataLens (комплексные аналитические функции, работа с геоданными и др.). Вы можете импортировать дашборд в свой аккаунт DataLens из Marketplace, чтобы изучать примеры, редактировать страницы и экспериментировать.
  • Больше новостей про сервисы по управлению базами данных и средствами загрузки читайте в дайджесте платформы данных.

Serverless
Новые сервисы

  • Вечный Free Tier. После запуска программы Free Tier, в рамках которой можно было попробовать использовать нашу serverless-экосистему бесплатно при соблюдении базовых лимитов, было принято решение продлить эту программу бессрочно.
  • Yandex Data Streams, сервис для управления потоками данных, становится общедоступным.
  • Yandex Serverless Containers — сервис для миграции и запуска существующих микросервисных приложений в serverless-экосистему. Новый сервис позволяет запускать контейнеры без необходимости работы с Kubernetes, без создания виртуальных машин и настройки инфраструктуры.
  • Yandex Cloud Logging, сервис для агрегации и чтения логов пользовательских приложений и ресурсов Yandex.Cloud, вышел в стадии Preview. Cloud Logging спроектирован как serverless-решение. С его помощью можно читать, записывать и безопасно хранить логи пользовательских приложений и ресурсов Yandex.Cloud, объединяя сообщения в группы, как с помощью низкоуровневого API, так и при помощи разработанного плагина для Fluent Bit.

Новые возможности в сервисах
  • В Yandex Data Streams появилась совместимость с сервисом AWS Kinesis Data Streams. Это позволяет легко мигрировать ваши приложения между облаком AWS и Yandex.Cloud. В результате получился простой в использовании serverless-сервис, который расширит возможности потоковой обработки в платформе Yandex.Cloud, дополнив Apache Kafka.
  • В Yandex Data Streams появилась интеграция с сервисом Data Transfer, что позволяет пользователям удобно отправлять данные в системы хранения Yandex.Cloud без написания кода.
  • MDB Proxy. Появилась возможность подключения serverless-экосистемы к платформе данных из функции. MDB Proxy позволит обращаться к хостам кластера, для которых не настроен публичный доступ. Сейчас эта возможность доступна для работы с базами, созданными при помощи сервисов Managed Service for PostgreSQL и Managed Service for ClickHouse, а в будущем и для других сервисов платформы данных Yandex.Cloud.

Developer Tools
Новые сервисы

  • Managed Service for GitLab, сервис для управления DevOps-платформой GitLab в инфраструктуре Yandex.Cloud, вышел в стадии Preview. Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud.
  • Yandex Load Testing, сервис для проведения нагрузочного тестирования и анализа производительности, вышел в стадии Preview. Load Testing поможет подготовить виртуальную машину с необходимым ПО, настроить и запустить тесты и получить на их основе отчеты.

Бизнес-инструменты
Новые сервисы

  • Yandex Cloud Desktop, сервис для запуска рабочих мест, вышел в стадии Preview. Решение обеспечивает терминальный доступ к виртуальным машинам, на которых сотрудники запускают свои рабочие приложения. С помощью Yandex Cloud Desktop можно создать рабочие места в облаке компаниям любого размера и получить неограниченное количество вычислительных ресурсов и дискового пространства, а также защитить данные.

Новые возможности в сервисах
  • Мобильное приложение Yandex Tracker. Мы перезапустили мобильное приложение Yandex Tracker. На данный момент в нем можно: создать задачу, изменить исполнителя, дедлайн и другие параметры задачи, оставить комментарий в задаче, призвать коллегу, приложить или скачать файл, а также использовать шаблоны фильтров для быстрого поиска задач.

Безопасность
Новые сервисы

  • Yandex Cloud Organization — сервис для управления составом организации, настройки интеграции с каталогом сотрудников и разграничения доступов пользователей к облачным ресурсам организации. Пользователи, федерации удостоверений, облака и сервисы будут собраны внутри одной организации, что поможет централизованно управлять доступами и ресурсами.
  • Yandex Audit Trails, сервис для сбора и выгрузки аудитных логов ресурсов Yandex.Cloud, вышел в стадии Preview. Он позволяет получать информацию о событиях, происходящих с ресурсами, и на основе этих данных строить процессы поиска аномалий. Audit Trails уже интегрирован с Yandex Cloud Organization. Собирайте события централизованно по всей организации, сохраняйте их в Object Storage для долговременного хранения, а также просматривайте в интерфейсе Cloud Logging и обрабатывайте при помощи триггеров.

Новые возможности в сервисах
  • У сервиса управления криптографическими ключами Yandex Key Management Service появился новый тип ключей, создание и использование которого проходит в специальных аппаратных модулях безопасности HSM. Это делает защиту ключей максимальной, а также убирает сложности самостоятельной работы с модулями HSM.
  • В Yandex Container Registry вышла в стадии Public Preview функция сканирования безопасности образов контейнеров. Это позволяет отслеживать уязвимости в docker-образах средствами облака, делать приложения безопаснее и в том числе выполнять требования регуляторов.
  • С помощью открытого решения External Secrets проведена интеграция Yandex Lockbox в Yandex Managed Service for Kubernetes® для еще более надежного хранения ваших секретов в Kubernetes.

Машинное обучение
Новые возможности в сервисах

  • ML-модель в Yandex DataSphere теперь можно развернуть «по одной кнопке». При этом пользователям не нужно создавать и управлять инфраструктурой — все будет создано автоматически.

Биллинг
Новые возможности в сервисе

  • Типы бюджета: квартальные, годовые, настраиваемые. Первые два позволяют установить сумму расходов либо за квартал, либо за год.
  • Тип бюджета «Остаток средств». С его помощью пользователь будет получать уведомления, когда платежный баланс упадет ниже заданного лимита. Можно установить сразу несколько порогов, по достижении которых будут приходить сообщения, и задать каждому лимиту определенного получателя.
  • Интеграция бюджетов с облачными функциями. Теперь можно привязать к бюджету написанную пользователем облачную функцию, которая автоматически будет выполняться при достижении установленного порога бюджета. Например, при превышении расходов начнется плановое отключение части виртуальных машин или сокращение подключенных ресурсов.
  • Использование Cloud Functions и для интеграции со своими системами. Если вы используете CRM-систему, то можно настроить бюджеты так, чтобы сообщение о превышении потребления ресурсов приходило в систему. По схожему принципу происходит настройка отправки уведомлений в виде смс-сообщений или сообщений в мессенджер.

Июль - Сентябрь 2021



Новый сервис Yandex Managed Service for Greenplum
cloud.yandex.ru/services/managed-greenplum
cloud.yandex.ru/docs/managed-greenplum
  • Необходима аналитика на больших объемах данных.
  • Существующая СУБД перестала справляться с аналитической нагрузкой и не масштабируется.
  • Существующая СУБД стала слишком дорогой (из-за роста курса доллара и увеличения объема данных).
  • Необходимо ядро для создания корпоративного хранилища данных.
  • Необходима единая точка консолидации больших объемов данных из нескольких источников.

Решайте свои задачи с Managed Service for PostgreSQL
В 2012 году Яндекс решил перенести сервис Яндекс.Почта с Oracle на другую СУБД. Через четыре года экспериментов и подготовки — в 2016 году — сервис полностью мигрировал на PostgreSQL. С этого момента команда разработчиков и администраторов непрерывно развивает проект: написала свой пулер соединений, доработала системы репликации, восстановления и мониторинга. Сейчас база данных Почты занимает больше 2 ПБ, а пиковые нагрузки достигают 1 миллиона транзакций в секунду.
cloud.yandex.ru/services/managed-postgresql
console.cloud.yandex.ru/link/managed-postgresql/

Yandex SpeechKit Brand Voice: представляем технологию для создания фирменных голосов
cloud.yandex.ru/services/speechkit#brand-voice
  • маршрутизация звонков на первой линии;
  • телемаркетинг;
  • подтверждение заказов, записи на прием, напоминания клиентам;
  • опросы и замер NPS.

Новый сервис Yandex Cloud Logging
cloud.yandex.ru/services/logging
cloud.yandex.ru/docs/logging
Cloud Logging агрегирует данные о работе сервисов и приложений в различные лог-группы:
  • по умолчанию (создается автоматически для каждого каталога) — в нее пишутся сообщения сервисов, если не указана пользовательская лог-группа;
  • пользовательская — в ней создают новые лог-группы и добавляют права доступа для выбранных ресурсов.

Новые возможности Yandex.Cloud, реализованные из ваших идей
  • DNS как сервис (я голосовал кстати за него топил там)
  • Yandex Managed Service for Apache Kafka
  • Поиск с помощью Elasticsearch
  • Многослойные геочарты
  • Коннектор Google Sheets
  • Детальные логи в Yandex Object Storage
  • Автообновляемый Let’s Encrypt для Yandex Object Storage (тоже голосовал)
  • Управление внешними IP-адресами в VPC
  • Terraform-поддержка для Yandex Database
  • Встроенный дашборд для Yandex Managed Service for Kubernetes
  • Экспорт метрик в формате Prometheus
  • Поддержка новых языков и пакетов в Yandex Сloud Functions
  • Мобильное приложение
  • Защита мобильного приложения PIN-кодом или паролем
cloud.yandex.ru/blog/posts/2021/07/implemented-features

Считаем звёзды в облаках: эксперимент создателей ClickHouse c датасетом GitHub
cloud.yandex.ru/blog/posts/2021/07/clickhouse-github

Новый сервис Yandex Cloud Organization вышел в Public Preview
cloud.yandex.ru/services/organization
cloud.yandex.ru/docs/organization/api-ref/grpc/
Единое решение для корпоративных клиентов, с помощью которого можно управлять списком ваших сотрудников, обеспечивать им единую авторизацию и назначать роли в подключенных сервисах Yandex.Cloud.

Окончание поддержки CentOS 8 в декабре 2021 года
  • AlmaLinux
  • Oracle Linux
  • Ubuntu
  • CentOS Stream

Elasticsearch — поисковая система и аналитическая СУБД в облаке
Сейчас Elasticsearch — ядро экосистемы Elastic Stack, в состав которой также входят:
  • механизм сбора данных и регистрации журналов Logstash;
  • платформа аналитики и визуализации Kibana;
  • платформа для одноцелевых отправителей данных Beats.
console.cloud.yandex.ru/link/managed-elasticsearch
cloud.yandex.ru/services/managed-elasticsearch

Операционная система Windows Server Standard больше не будет доступна в Yandex Cloud Marketplace
Windows Server Standard будет доступна в Yandex Cloud Marketplace только до 31 августа 2021 года включительно. С 1 сентября 2021 года при запуске новых ресурсов можно будет использовать только редакцию Windows Server Datacenter.

Новый сервис Yandex Data Streams вышел в стадии Preview
cloud.yandex.ru/solutions/serverless
Сохранение одного потока в несколько приемников с различными политиками хранения возможно с помощью сервиса Yandex Data Transfer. Данные из источников поступают в Data Streams, Data Transfer считывает эти данные, разбивает их на колонки и строки и сохраняет в одну или сразу в несколько принимающих систем типа: Yandex Database, ClickHouse, Object Storage и другие. Передаваемые данные можно обрабатывать в Yandex Cloud Functions, для обфускации чувствительных данных, смены их формата или любой другой обработки.
console.cloud.yandex.ru/link/data-streams/

Процессоры Intel Xeon Scalable 3-го поколения (Ice Lake) доступны в Yandex Compute Cloud
cloud.yandex.ru/docs/compute/concepts/vm-platforms
cloud.yandex.ru/services#data-platform
Теперь виртуальные машины размером до 32 vCPU размещаются на одной NUMA-ноде, что может дать дополнительный прирост производительности виртуальных машин с числом ядер от 20 до 32.
Технология Intel Deep Learning Boost обеспечивает решение задач машинного обучения в среднем на 56% быстрее по сравнению с предыдущим поколением.
console.cloud.yandex.ru/link/compute/

Обгоняя рынок: выручка Yandex.Cloud в первом полугодии выросла на 240%
Три самых важных факта о росте Yandex.Cloud в 2021 году
  • 1,1 миллиарда рублей составила общая выручка Yandex.Cloud в первом полугодии 2021 года. Это больше, чем выручка облачной платформы Яндекса за весь 2020 год.
  • На рост выручки повлияло в первую очередь то, что количество клиентов увеличилось на 60%, новые и действующие клиенты наращивают потребление облачных сервисов, сегмент крупных клиентов растет опережающим темпом.
  • Клиенты Yandex.Cloud в пять раз увеличили потребление сервисов группы платформы данных и в четыре раза — группы контейнерная разработка.
Обгоняя рынок: выручка Yandex.Cloud выросла в 3,4 раза, а средний чек — на 90%
cloud.yandex.ru/blog/posts/2021/09/financial-results-2021

1 октября изменятся цены на продукты и лицензии Microsoft
Microsoft объявила о вступающих в силу с 1 октября 2021 года изменениях в рублевом прайс-листе. Цены на все сегменты коммерческого ПО и облачных сервисов увеличатся примерно на 15,2%.

Новости Yandex Monitoring
В Мониторинге стали доступны метрики следующих сервисов:
  • Yandex Application Load Balancer
  • Yandex Cloud Logging
  • Yandex Container Registry
  • Yandex Data Streams
  • Yandex Identity and Access Management
  • Yandex Key Management Service
  • Yandex Managed Service for Greenplum
  • Yandex Monitoring
  • Yandex Speechkit
  • Yandex Translate
  • Yandex Vision
  • Yandex Message Queue
github.com/yandex-cloud/yagr
cloud.yandex.ru/mobile-app
cloud.yandex.ru/docs/monitoring/concepts/data-collection/unified-agent/

Три сервиса управления облачной инфраструктурой доступны всем пользователям
Yandex Cloud CDN cloud.yandex.ru/services/cdn
Yandex Application Load Balancer cloud.yandex.ru/services/application-load-balancer
Yandex Cloud DNS cloud.yandex.ru/services/dns

Новые возможности Yandex Data Transfer
cloud.yandex.ru/services/data-transfer
У сервиса появились public API и CLI — благодаря чему создание и управление трансфером стало еще проще.
cloud.yandex.ru/docs/data-transfer/

Развитие экосистемы Serverless в 2021 году
Вечный Free Tier от Yandex.Cloud
cloud.yandex.ru/docs/billing/concepts/serverless-free-tier
Yandex Data Streams
cloud.yandex.ru/services/data-streams
MDB Proxy
cloud.yandex.ru/docs/functions/operations/database-connection
Yandex Serverless Containers
cloud.yandex.ru/services/serverless-containers cloud.yandex.ru/docs/serverless-containers/
Yandex Cloud Logging
cloud.yandex.ru/services/logging
cloud.yandex.ru/docs/logging/

Инструменты разработчика
Managed Service for GitLab
cloud.yandex.ru/services/managed-gitlab
Managed Service for GitLab позволяет поддерживать инстанс GitLab без трудозатрат со стороны пользователя, поднимать сервис для работы с git-репозиториями в один клик. Сервис предоставляет инструменты для автоматического обновления, мониторинга, создания резервных копий и другие интеграции с Yandex.Cloud. Кроме того, Managed Service for GitLab совмещает преимущества использования облачной версии gitlab.com и его установки на собственные сервера.
Yandex Load Testing
cloud.yandex.ru/services/load-testing
  • создать в один клик в своем облаке заранее настроенный генератор нагрузки на базе Яндекс.Танк и управлять им из удобного UI-интерфейса;
  • сконфигурировать тест в интерфейсе и запустить нагрузку с созданного генератора (Phantom или Pandora);
  • посмотреть отчет о проведенном тесте;
  • хранить в единой базе ранее проведенные отчеты и управлять ими.

ML-модель в Yandex DataSphere теперь можно развернуть «по кнопке»
Типовой цикл ML-разработки состоит из следующих этапов:
  • сбор, структуризация и анализ данных;
  • создание ML-моделей с разными параметрами и выбор топ-перформеров;
  • обучение ML-модели на полных датасетах;
  • развертывание модели в эксплуатацию.
cloud.yandex.ru/services/datasphere
cloud.yandex.ru/docs/datasphere/

Новый сервис Yandex Cloud Desktop вышел в стадии Preview
cloud.yandex.ru/services/cloud-desktop
cloud.yandex.ru/docs/cloud-desktop
  • возможность создания одного или множества виртуальных рабочих мест;
  • простота использования — необязательно иметь опыт в области IT, чтобы организовать удаленную работу сотрудника, достаточно несколько кликов в интерфейсе;
  • высокий уровень безопасности — соответствие требованиям 152-ФЗ по уровню защищённости УЗ-1, а также требованиям международных и национальных стандартов ISO, GDPR, PCI DSS и ГОСТ Р 57580;
  • оплата только за используемые ресурсы;
  • высококвалифицированная поддержка, которая решит проблемы с настройкой рабочего места.

G-Cloud — новый проект Yandex.Cloud для государственных организаций
  • Благодаря G-Cloud государственные организации смогут использовать публичную облачную платформу для разработки и эксплуатации новых цифровых сервисов и оценить ее преимущества: виртуальную инфраструктуру, сервисы на базе ИИ, платформу данных и контейнерную разработку, а также гибкое и прозрачное ценообразование, профессиональную техническую поддержку критичных сервисов.
  • Реализация проекта G-Сloud снимет барьер использования публичных облачных платформ в государственном секторе и создаст дополнительные возможности для роста партнерской экосистемы Yandex.Cloud.

Yandex.Cloud выдает гранты за работу над документацией облачной платформы

cloud.yandex.ru/content-program
Познакомьтесь с Yandex Flavored Markdown и начинайте вносить правки
ydocs.tech/ru/

Представляем мобильное приложение Yandex Tracker
cloud.yandex.ru/services/tracker
  • создать задачу;
  • изменить исполнителя, дедлайн и другие параметры задачи;
  • оставить комментарий в задаче, призвать коллегу;
  • приложить или скачать файл;
  • использовать шаблоны фильтров для быстрого поиска задач.
redirect.appmetrica.yandex.com/serve/675903944362323225
redirect.appmetrica.yandex.com/serve/315615973082170833

Больше возможностей для визуализации и анализа данных: главные апдейты Yandex DataLens
  • SQL-чарты
  • Выражения Level of Detail
  • Кольцевые диаграммы
  • Итоги в плоских таблицах
  • Поддержка Greenplum и Yandex Database
  • Фильтр по умолчанию для новых чартов
  • Большой демо дашборд с возможностями Yandex DataLens
cloud.yandex.ru/docs/datalens/
datalens.yandex/demo
datalens.yandex.ru/marketplace/f2eui5ar8omalpcg1j3r

Новые решения в области безопасности Yandex.Cloud
  • Новые сервисы безопасности
  • Безопасность платформы и развитие функциональности сервисов
  • Интеграция балансировщика нагрузки уровня приложений (Application LB) с контроллером входящего трафика (Ingress Controller) в сервисе Kubernettes
  • Библиотека решений по безопасности (Solution Library for Security)
  • Сбор и анализ логов безопасности Managed Service for Kubernetes
  • Поддержка Cilium в Managed Service for Kubernetes

Новые возможности Биллинга, доступные всем пользователям Yandex.Cloud
Интеграция бюджетов с облачными функциями
cloud.yandex.ru/services/functions
В конце весны в Биллинге появились бюджеты — еще один способ контроля потребления ресурсов в платформе. Бюджеты позволяют установить сумму расходов за месяц, а при достижении порога потребления направляют уведомления указанным в настройках пользователям, которые зарегистрированы в облаке.
cloud.yandex.ru/docs/billing/concepts/budget

Yandex.Cloud выходит на европейский рынок

До конца 2022 года Yandex.Cloud откроет регион из нескольких зон доступности в Европе. Первый регион за пределами России будет размещаться в Германии. Также ведется работа по формированию команды и созданию представительства, которое будет заниматься выстраиванием системы продаж и клиентской поддержки.



Платформа будет развернута на базе мощностей коммерческого оператора дата-центров, соответствующего немецким, общеевропейским и мировым стандартам. Компания предоставит площадки для размещения серверов, возьмет на себя исполнение регламента технического обслуживания оборудования, обеспечит подключение к каналам связи. При этом для реализации проекта будет использовано серверное и сетевое оборудование, разработанное и произведенное при участии и под контролем специалистов Яндекса. На первом этапе для работы в европейском регионе запланирована поставка и установка 864 серверов нового поколения.

Российский и европейский регионы будут связаны таким образом, чтобы сохранить отказоустойчивость сервисов и упростить компаниям одновременное использование обеих локаций. Защита данных, расположенных на серверах в европейской юрисдикции, будет регулироваться местными законодательными и нормативными актами. Клиенты европейской зоны доступности смогут воспользоваться всеми существующими сервисами и инструментами Yandex.Cloud. Доступ к сервису будет обеспечиваться с выполнением требований постановления Европейского союза General Data Protection Regulation для европейских пользователей. Кроме того, в планах платформы локализация когнитивных сервисов Yandex SpeechKit.

Открытие новой зоны доступности Yandex.Cloud актуально для многих компаний из сферы финтеха, ритейла, электронной коммерции. Сейчас они вынуждены пользоваться услугами гиперскейлеров. С Yandex.Cloud на европейском рынке такие организации смогут получить привычный сервис по российским ценам.

Дата-центр Яндекса в Финляндии перейдёт на возобновляемую энергию

Интернет, 30 июня 2021 года. Дата-центр Яндекса в городе Мянтсяля полностью перейдёт на энергию из возобновляемых источников. Её будет поставлять финская компания Ilmatar Energy, которая управляет сетью ветряных электростанций. Яндекс и Ilmatar подписали соглашение на пять лет.



Переход произойдёт в начале 2022 года. Яндекс будет закупать у Ilmatar энергию ветра в объёме, достаточном, чтобы удовлетворить все потребности дата-центра в Мянтсяля. В 2020 году его энергопотребление составило 68 ГВт·ч. После перехода 20% энергии, потребляемой всеми дата-центрами Яндекса, будет поступать из возобновляемых источников.

Траты Яндекса на энергию, производимую ветрогенераторами, будут сопоставимы с тратами на энергию из традиционных источников. При этом часть расходов Яндекс возмещает, поставляя в Мянтсяля лишнее тепло от серверов — оно используется для обогрева домов в холодное время года.

Использование энергии из возобновляемых источников позволит уменьшить углеродный след, который оставляет инфраструктура Яндекса. Снижение углеродного следа — одна из целей, которые компания сформулировала для себя в повестке устойчивого развития. Яндекс также изучает возможность использовать альтернативные источники энергии и в других своих дата-центрах.

Дата-центр в Мянтсяля — один из пяти дата-центров Яндекса. Он был построен в 2014 году и используется для работы с зарубежными рынками. В Мянтсяля задействована технология естественного охлаждения: серверы круглый год остужают воздухом с улицы. Показатель энергоэффективности (PUE) финского дата-центра составляет 1,1, в то время как среднее значение по миру — 1,591. Чем ближе к единице значение PUE, тем выше энергоэффективность дата-центра.

Новый сервис Yandex Cloud CDN



Сервис для организации сети распространения контента Yandex Cloud CDN вышел в стадии Preview. Сервис создан на основе G-Core Labs CDN и включает более 800 серверов по всему миру.

CDN (Content Delivery Network) — это сетевая инфраструктура, состоящая из распределённых по всему миру CDN-серверов. CDN-серверы получают контент из ваших источников, кешируют его и доставляют конечным пользователям по их запросам. Запрос пользователя переадресуется к географически ближайшему CDN-серверу, благодаря чему контент загружается гораздо быстрее.

Какие задачи решает Cloud CDN
Сервис позволяет решить две задачи, встающие перед любым веб-сервисом:
  • Перенести часть нагрузки с источников данных на CDN-серверы.
  • Сократить время доставки контента конечным пользователям.
Скорость загрузки контента важна не только для повышения лояльности пользователей. Она учитывается в расчете позиции сайта в поисковой выдаче, то есть напрямую влияет на SEO.

Как пользоваться сервисом
В качестве источника контента вы можете выбрать ваш сервер, бакет Object Storage или L7-балансировщик Application Load Balancer. Затем вам необходимо будет изменить DNS-записи для доменного имени и задать настройки кеширования. Для всех этапов настройки Cloud CDN мы подготовили пошаговые инструкции.
cloud.yandex.ru/docs/cdn/operations/

Стоимость
При расчете стоимости использования Cloud CDN учитывается только объем исходящего трафика из CDN в интернет.
Стоимость 1 ГБ данных — 0,60 ₽. Трафик от сервисов Yandex.Cloud к CDN-серверам не тарифицируется.

Подробнее о работе с сервисом Cloud CDN читайте в документации.
cloud.yandex.ru/docs/cdn/concepts/