Yandex Cloud

Интернет, 30 июня 2021 года. Дата-центр Яндекса в городе Мянтсяля полностью перейдёт на энергию из возобновляемых источников. Её будет поставлять финская компания Ilmatar Energy, которая управляет сетью ветряных электростанций. Яндекс и Ilmatar подписали соглашение на пять лет.



Переход произойдёт в начале 2022 года. Яндекс будет закупать у Ilmatar энергию ветра в объёме, достаточном, чтобы удовлетворить все потребности дата-центра в Мянтсяля. В 2020 году его энергопотребление составило 68 ГВт·ч. После перехода 20% энергии, потребляемой всеми дата-центрами Яндекса, будет поступать из возобновляемых источников.

Траты Яндекса на энергию, производимую ветрогенераторами, будут сопоставимы с тратами на энергию из традиционных источников. При этом часть расходов Яндекс возмещает, поставляя в Мянтсяля лишнее тепло от серверов — оно используется для обогрева домов в холодное время года.

Использование энергии из возобновляемых источников позволит уменьшить углеродный след, который оставляет инфраструктура Яндекса. Снижение углеродного следа — одна из целей, которые компания сформулировала для себя в повестке устойчивого развития. Яндекс также изучает возможность использовать альтернативные источники энергии и в других своих дата-центрах.

Дата-центр в Мянтсяля — один из пяти дата-центров Яндекса. Он был построен в 2014 году и используется для работы с зарубежными рынками. В Мянтсяля задействована технология естественного охлаждения: серверы круглый год остужают воздухом с улицы. Показатель энергоэффективности (PUE) финского дата-центра составляет 1,1, в то время как среднее значение по миру — 1,591. Чем ближе к единице значение PUE, тем выше энергоэффективность дата-центра.

Сервис для организации сети распространения контента Yandex Cloud CDN вышел в стадии Preview. Сервис создан на основе G-Core Labs CDN и включает более 800 серверов по всему миру.

CDN (Content Delivery Network) — это сетевая инфраструктура, состоящая из распределённых по всему миру CDN-серверов. CDN-серверы получают контент из ваших источников, кешируют его и доставляют конечным пользователям по их запросам. Запрос пользователя переадресуется к географически ближайшему CDN-серверу, благодаря чему контент загружается гораздо быстрее.

Какие задачи решает Cloud CDN
Сервис позволяет решить две задачи, встающие перед любым веб-сервисом:

• Перенести часть нагрузки с источников данных на CDN-серверы.
• Сократить время доставки контента конечным пользователям.

Скорость загрузки контента важна не только для повышения лояльности пользователей. Она учитывается в расчете позиции сайта в поисковой выдаче, то есть напрямую влияет на SEO.

Как пользоваться сервисом
В качестве источника контента вы можете выбрать ваш сервер, бакет Object Storage или L7-балансировщик Application Load Balancer. Затем вам необходимо будет изменить DNS-записи для доменного имени и задать настройки кеширования. Для всех этапов настройки Cloud CDN мы подготовили пошаговые инструкции.
cloud.yandex.ru/docs/cdn/operations/

Стоимость
При расчете стоимости использования Cloud CDN учитывается только объем исходящего трафика из CDN в интернет.
Стоимость 1 ГБ данных — 0,60 ₽. Трафик от сервисов Yandex.Cloud к CDN-серверам не тарифицируется.

Подробнее о работе с сервисом Cloud CDN читайте в документации.
cloud.yandex.ru/docs/cdn/concepts/

Представители учебных заведений и научно-исследовательских лабораторий могут получить гранты на вычислительные ресурсы для учебно-исследовательской работы по машинному обучению, компьютерному зрению и анализу данных, приняв участие в программе содействия образованию и науке.

В рамках программы будут предоставлены гранты на Yandex DataSphere — облачный сервис для анализа данных, разработки и эксплуатации моделей машинного обучения. Получившие их научные лаборатории и учебные заведения смогут сделать значительный шаг вперед в научно-исследовательской работе в области Computer Science.
cloud.yandex.ru/services/datasphere

Yandex DataSphere позволяет производить сложные вычисления, такие как обучение нейронных сетей или анализ больших данных, используя привычный интерфейс Jupyter Notebook. Сервис не требует настройки. Он разворачивается за несколько кликов и сразу же готов к работе.

Благодаря грантам Yandex.Cloud возможности, ранее доступные только крупным корпорациям с собственными Data Science командами, теперь есть у любой российской научной лаборатории или учебного заведения, которые ведут деятельность в сферах:

• Machine Learning & Deep Learning
• Big Data & Data Science
• Natural language processing, NLP
• Компьютерное зрение
• Программирование и анализ данных на Python

Суммы выделяемых грантов рассчитываются индивидуально в зависимости от задачи, количества вовлеченных участников и потребностей заявителя. Ознакомиться с условиями и подать заявку на участие можно на сайте программы.
cloud.yandex.ru/promo/datasphere-education

Хотите научиться применять управляемые базы данных и контейнеры? Узнать принципы построения отказоустойчивого сервиса? Попробовать cloud-native разработку? Или просто системно изучить возможности платформы Yandex.Cloud?

Станьте инженером облачных сервисов!

Мировой рынок Cloud Computing стремительно растет. А значит, перед IT-специалистами открываются новые возможности. Если вы мечтаете работать над крупным проектом, инфраструктура которого сложнее, чем одна виртуальная машина с веб-сервером, ждем вас на новой программе в Яндекс.Практикуме.

Кому подойдет программа «Инженер облачных сервисов»:

• Разработчикам, администраторам и DevOps-инженерам с опытом работы от 1 года.
• Студентам IT-вузов с хорошей подготовкой и желанием узнать новое.
• Всем, у кого есть знания о базах данных, системном администрировании и сетях, а также навыки программирования на Python.

Обучаем бесплатно. Вас ждет 6 курсов, в которых вы узнаете все об особенностях облачных платформ и научитесь настраивать основные сервисы Yandex.Cloud.

А еще будет очень много практики. Вы получите грант на 10 тысяч рублей, чтобы выполнять практические задания в облаке.

Программу создала команда Yandex.Cloud: разработчики, архитекторы, партнёры платформы и специалисты по обучению. Практические задания подготовлены на основе реальных проектов и типичных сценариев.

Все студенты, успешно окончившие программу «Инженер облачных сервисов», получат сертификаты от Школы анализа данных (ШАД).

Первый курс «Виртуальные машины» уже доступен на платформе. Зарегистрироваться на программу →
praktikum.yandex.ru/ycloud/

Дайджест новостей за май
Исследование EY и Yandex.Cloud: облака в российских компаниях все чаще закупают не айтишники, а бизнес
Совместно с Ernst & Young мы провели исследование и выяснили, каких перемен добиваются компании, которые уже в облаке, и как из технологии облака становятся бизнес-платформой. Подробнее о том, как облака меняют российский бизнес, как компании выбирают провайдера и почему мигрируют не все, в спецпроекте Прививка облаком: как одна технология меняет крупные российские компании.

Yandex.Cloud ещё раз подтвердила высокий уровень безопасности
Платформа Yandex.Cloud прошла добровольную аттестацию информационных систем персональных данных (ИСПДн). Этим мы ещё раз подтвердили высокий уровень безопасности данных, размещённых в облаке, и дали нашим клиентам возможность аттестовать собственные системы. Ещё раз подтвердили высокий уровень безопасности данных и получили аттестат безопасности на 3 года.

Новая программа поддержки образования и науки в области Computer Science
Мы запустили инициативу «Программа содействия образованию и науке в области Computer Science», в рамках которой поддерживаем учебные и научные учреждения с помощью грантов на сервис для ML-разработки и анализа данных Yandex DataSphere. Узнать больше об условиях и подать заявку на грант можно на сайте программы.

Бесплатный курс по визуализации данных совместно с Нетологией
Совместно с командой Нетологии мы запустили бесплатный курс-симулятор «Визуализация данных: от скучных графиков к интерактивным дашбордам». На нём вы попробуете себя в роли аналитика в крупной компании, построите интерактивную карту клиентов в DataLens, соберёте отчёт-конструктор расходов в Excel, сравните показатели в Power BI, а в конце наведёте красоту в Tableau.

Российские ученые научили нейросеть прогнозировать урожай вместе с Yandex.Cloud
Биологический факультет МГУ вместе с консорциумом в составе ФНЦ имени Мичурина, Тамбовского государственного университета и агроинженерного центра ВИМ создали в Yandex.Cloud полноценную систему мониторинга и прогнозирования урожая.

Подробнее МАЙ
cloud.yandex.ru/blog/posts/2021/06/digest-may

Дайджест новостей за апрель
Yandex.Cloud в Казахстане
Казахстан стал первой страной после запуска платформы Yandex.Cloud в России, в которой стратегия развития ориентирована на запросы местных компаний. Среди первых клиентов платформы в Казахстане инвестиционно-строительный холдинг BI Group, оператор сотовой связи Kcell, HR-tech платформа Clockster и сервис для автоматизации работы отдела кадров HR Messenger.

Бессерверные вычисления для бизнеса
Каждый день мы активно работаем над новыми продуктами в области Serverless. Рост сервисов экосистемы привёл к запуску отдельной страницы решений на сайте по этому направлению. На ней вы найдете всю информацию по бессерверным решениям. И не забывайте про наш Serverless чат, где вы можете задать все интересующие вас вопросы.

Yandex.Cloud Solution Library for AWS
Мы знаем, что многим компаниям важна возможность работать с двумя облачными провайдерами одновременно. Для разработчиков, которые хотят развернуть проект в Yandex.Cloud и Amazon Web Services, мы подготовили набор рекомендаций и примеров кода для основных сценариев и задач, собранных в публичном репозитории на GitHub.

Быстрые нереплицируемые диски
У нас появились быстрые сетевые хранилища — нереплицируемые диски. Устройство нереплицируемых дисков существенно проще стандартных сетевых хранилищ SSD. Благодаря этому производительность выше в несколько раз.

Подтвердили соответствие требованиям безопасности Центробанка России
Мы стали первой российской публичной облачной платформой, подтвердившей соответствие стандарту ГОСТ Р 57580.1-2017. Теперь наши клиенты смогут размещать в облаке системы для обработки банковской тайны и проведения любых финансовых операций. Это поможет компаниям сэкономить время и деньги на создании и сертификации собственной инфраструктуры.

Ускорили работу консоли в два раза
Из-за стремительного роста нашей платформы, консоль, один из важнейших инструментов Yandex.Cloud, стала терять в скорости. В блоге мы рассказали, как, запуская по одному новому продукту в месяц, нам удалось оптимизировать работу консоли, используя неочевидную метрику пользовательского ожидания и интерактивный график.

Анализ логов Object Storage при помощи DataLens
В Yandex.Cloud появился механизм логирования действий с бакетом в Object Storage. В блоге мы описали пример визуализации логов при помощи DataLens.

Иконки сервисов
По вашей просьбе мы выложили на сайт логотип Yandex.Cloud и иконки сервисов и элементы для создания архитектурных схем для инструментов Visio и Draw.io.

Подробнее Апрель
cloud.yandex.ru/blog/posts/2021/05/digest-april

Дайджест новостей платформы данных
cloud.yandex.ru/blog/posts/2021/06/mdb-digest

Yandex.Cloud прошла добровольную аттестацию информационных систем персональных данных (ИСПДн). Этим мы ещё раз подтвердили высокий уровень безопасности данных, размещённых в облаке, и дали нашим клиентам возможность аттестовать собственные системы.

Для подтверждения соблюдения федерального закона 152-ФЗ «О персональных данных» обычно достаточно заключения о соответствии, полученного в рамках самостоятельной оценки, либо с привлечением организации с лицензией ФСТЭК. В начале года платформа Yandex.Cloud прошла такой внешний аудит и подтвердила соответствие высшему уровню защищённости персональных данных — УЗ-1. Наши клиенты получили возможность обрабатывать в облаке любые категории персональных данных, включая биометрические и специальные (сведения о здоровье, вероисповедании, личных взглядах и другие чувствительные данные).
storage.yandexcloud.net/yc-compliance/conformance_ru_certificate.pdf

Однако в ряде случаев компании-операторы персональных данных требуют, чтобы система контрагента, которому оператор передаёт данные для обработки, была аттестована на соответствие требованиям по безопасности информации. Наличие аттестата ИСПДн, например, требуется для взаимодействия с государственными информационными системами в сфере здравоохранения. Наши клиенты, обрабатывающие чувствительные данные, часто сталкивались с подобными требованиями, поэтому мы приняли решение пройти добровольную аттестацию, чтобы дать им возможность без проблем аттестовывать собственные системы, размещённые в Yandex.Cloud. Для информационных систем, не являющихся государственными, аттестат не обязателен, но он может быть получен в добровольном порядке для подтверждения должного уровня защиты ИСПДн.

Разница между заключением о соответствии и аттестатом заключается в более строгом регулировании вопросов проведения аудита. Компания, оказывающая услуги по аттестации, в соответствии с приказом ФСТЭК РФ № 21 и постановлением Правительства России № 1119 должна иметь лицензию на осуществление деятельности по технической защите конфиденциальной информации и пройти процедуру аккредитации ФСТЭК России. Затем создаётся аттестационная комиссия, состоящая из экспертов и специалистов в области информационной безопасности, которая может проводить оценку соответствия организационных и технических мер, а также испытания технических и программных средств защиты персональных данных.

В результате добровольной аттестации платформа Yandex.Cloud ещё раз подтвердила высокий уровень безопасности данных, размещённых в облаке, и получила аттестат безопасности на 3 года.
cloud.yandex.ru/security#standards

Недавно в Биллинге Yandex.Cloud появились бюджеты. Бюджет — это способ контролировать расходы на потребление ресурсов в Yandex.Cloud. В бюджете вы устанавливаете сумму расходов для определенных ресурсов за определенное время и настраиваете, при достижении какого порога потребления и кому будут отправлены уведомления.



Ещё одна новость: в Биллинге появилась интеграция с DataLens. Это простой и удобный способ понять, на что расходуются средства в облаке.

Наши пользователи могли бы заметить: ну как же — у вас всегда был раздел Детализация. Да, это так, но интеграция с DataLens выводит анализ статистики потребления и затрат на новый уровень.

К существующим разрезам (облако, сервис и продукт) добавляются каталоги, ресурсы и метки. Это позволит находить ответы на такие вопросы, как:

• на какую виртуальную машину уходит больше всего средств,
• как распределяются затраты и потребление по проектам.

Актуальность данных близка к реальному времени. Вы можете выгрузить данные в CSV/XLSX и автоматически их обработать. Так, например, вы можете генерировать и рассылать счета клиентам.

Для того, чтобы воспользоваться новыми возможностями, создайте новое подключение DataLens с типом Yandex Cloud Billing.


Используйте предустановленный Yandex Cloud Billing Dashboard или настройте дашборд под свои запросы.


Подробная инструкция по работе с дашбордом в документации.
cloud.yandex.ru/docs/billing/operations/dashbord

Недавно Yandex.Cloud и Ernst & Young провели первое исследование применения облачных сервисов российскими компаниями. А также их мотивов и барьеров к внедрению.
yandex-cloud.vedomosti.ru

Сначала исследователи провели глубинные интервью с 15 руководителями крупных компаний из разных отраслей рынка. Полученные данные и гипотезы проверили и скорректировали с помощью опроса представителей более 700 российских компаний.

Компании изначально идут в облака под давлением рынка, а приходят к обновлению бизнес-процессов.
«Так, мы выявили, что возросшая потребность создавать цифровые продукты приводит компании к облаку как к более комплексному технологическому решению», — Антон Устименко, партнер EY.

С увеличением объема данных и нагрузки на сервисы, компании все чаще приходят к облачным платформам, потому что не могут отвечать на вызовы рынка на одной только своей инфраструктуре. И с самого начала использования облака компании сталкиваются с эффектом перемен на уровне операционных бизнес-процессов. Участники исследования отмечали, что применение облака способствует трансформации самой операционной модели бизнеса, повышению скорости создания новых продуктов и снижению расходов на ИТ.

Кто инициирует переход в облако и отвечает за бюджет
Среди участников опроса 50% отметили повышение прозрачности и ответственности за затраты ИТ-отдела с переходом в облако, 46% согласились с тем, что повысилась ответственность за данные, а 35% рассказали, что облаком пользуются не только ИТ-специалисты, но и сотрудники бизнес-подразделений.

Это подтверждают данные о том, кто инициирует применение облаков: в 48% опрошенных компаний инициатива была именно за бизнесом. В 24% компаний из исследования ответственность за «облачный» бюджет также уже перенесена на бизнес-подразделения.

Чего боятся компании
Главный страх компаний перед облаками — потерять данные и попасть в зависимость от провайдеров облачной платформы. Так ответила половина респондентов исследования, которые уже перешли на облачные решения и 46% тех, кто только планирует это. Отсюда берется популярное компромиссное решение — переходить в облако из собственной инфраструктуры. То есть работать по гибридной модели, при которой в облако переводится только часть функций. Это мнение разделяет 67% участников исследования.

«Переход от потребления к созданию — это и есть то качественное изменение в бизнесе, которое ускоряется благодаря применению облачных платформ», — Олег Коверзнев, операционный директор Yandex.Cloud.

Как выбирают провайдера
При выборе облачного провайдера компании назвали важнейшим фактором интеграцию с собственной инфраструктурой. Это нужно, чтобы после тестирования продукта в облаке дальнейшее развитие перевести на развернутые к тому времени собственные мощности. Таким образом, переезд в облако и обратно становится частью жизненного цикла продукта.

Подробнее читайте в исследовании
forms.yandex.ru/surveys/10030087.6a61a6b656ef5862ba5bd663a929f4e27d381071/

Диагностика с помощью системных таблиц
Для проведения внутренней интроспекции состояния базы данных пользователи платформы с помощью нового веб-интерфейса могут осуществлять запросы в специальные системные таблицы (system views). Обращения выполняются с помощью YQL-запросов.

Анализ данных из системных таблиц позволяет выполнять диагностику по таблицам, запросам и данным БД:

• получить информацию о размерах и нагрузке на партиции таблиц;
• посмотреть топ долгих запросов, запросов с наибольшим потреблением CPU или читающих наибольшее количество данных;
• посмотреть подробную информацию о выполняющихся запросах с одинаковым текстом.

Ссылки на наиболее востребованные запросы к системным таблицам можно найти в новом разделе Диагностика. Перейдя по ссылке, в редактор YQL будет загружен необходимый запрос, пользователю останется только его выполнить.


Резервные копии
С помощью нового интерфейса стало удобнее управлять резервными копиями. Вы можете создать задание для резервного копирования и запланировать график его выполнения, восстановить данные из резервной копии в нужную базу данных или в отдельную директорию внутри.


Yandex Query Language (YQL)
Теперь при выполнении YQL-запроса можно посмотреть на результаты его исполнения, статистику выполнения, а также его EXPLAIN PLAN.


Навигация по базе данных
Мы переработали инструменты навигации по базе данных и добавили контекстные меню для всех объектов, с помощью которых вы можете:

• скопировать полный путь к таблице, а затем вставить его в редактор YQL-запросов;
• вызвать просмотр информации об объекте;
• сформировать DML-запрос для записи;
• сформировать DML-запрос для выборки данных;
• удалить объект.

Сниппеты подключения к базе в любом месте навигации
Мы упростили доступ к сниппетам с кодом для подключения к базе, теперь они доступны в любом месте навигации по базе. Находясь на любой странице интерфейса, пользователь может быстро подсмотреть сниппет для подключения к базе данных на любом доступном языке программирования.

Работа с таблицами
С помощью нового интерфейса встроенного редактора таблиц вы можете создавать и редактировать таблицы. Также он поможет задать схему таблицы и сформировать вторичные индексы при создании таблицы.

При создании таблицы вы можете выбрать политику начального партицирования, определить количество партиций при выборе равномерного партицирования или в явном виде указать партиции и границы ключей.


В том же разделе можно управлять свойствами автоматического масштабирования, например, автопартицированием по размеру и нагрузке. А с помощью расширенных настроек указать размер партиции для автоматического партицирования по размеру, задать ограничения по количеству партиций и, при необходимости, включить фильтр Блума.

Для существующих таблиц доступно создание, изменение или удаление созданных вторичных индексов. Причем, на все время построения индекса таблица остается доступной для чтения и записи.

Новый интерфейс позволяет посмотреть полную информацию, схему и свойства таблиц, включая расширенные настройки и опции партицирования. Вы можете получить сведения о вторичных индексах и о партициях таблицы, с границами партиций, сведениями о количестве строк и размере партиции.


Мы улучшили предварительный просмотр таблиц: теперь доступно отображение столбцов с типом JSON и постраничное листание. И прямо из интерфейса вы можете добавить строку в таблицу, что очень удобно для экспериментов с данными.

Бесплатный тариф DataLens теперь доступен без привязки карты
Мы существенно упростили подключение Yandex DataLens для новых пользователей. Даже если у вас пока еще нет облака и платёжного аккаунта Yandex.Cloud, для быстрой визуализации данных вам достаточно:

• Перейти на datalens.yandex.ru.
• Указать аккаунт на Яндексе.
• Активировать бесплатный тариф DataLens следуя инструкциям на стартовой странице.

Пользуясь бесплатным тарифом, вы можете полноценно работать с DataLens, настраивая подключения к собственным источникам данных.

Создание платежного аккаунта и привязка карты (или реквизитов вашего юридического лица) потребуются, если вам нужны:

• платные продукты в маркетплейсе DataLens;
• платный тариф «Стандарт» для DataLens и расширение лимита внешних сессий согласно тарифам;
• другие сервисы Yandex.Cloud, включая управляемые базы данных для надежного хранения и обработки данных в облаке.

Google Sheets в качестве источника
Мы реализовали один из самых популярных запросов для DataLens в нашем сообществе. Теперь при создании нового подключения DataLens вы можете выбрать Google Sheets.


Подключение к Google Sheets является развитием сценариев использования простых CSV. Теперь обновление данных будет происходить бесшовно, без необходимости загрузки новой версии файла и подмены подключения.

Особенности коннектора

• Поддерживается полный набор функций DataLens.
• На данный момент поддерживаются только документы с доступом по ссылке (доступ «Anyone with the link»).
• Используется тот лист таблицы, который был указан в ссылке. Для указания конкретного листа необходимо скопировать ссылку из адресной строки, а не из управления доступом (содержит #gid=… в ссылке).
• При загрузке используется кеш, время жизни — до 5 минут.
• На данный момент используется представление данных листа через Google Charts — этим обусловлено определение имён колонок, обработка типов значений и представление других возможностей Google Sheets.

Коннектор к детализации биллинга вашего облака
Еще один новый тип подключения — детализация биллинга. Он позволяет анализировать детальные данные о потреблении облачных ресурсов (инфраструктурные сервисы, управляемые базы данных и другие платные сервисы).

К существующим разрезам, доступным в консоли Yandex.Cloud (это облако, сервис и продукт), добавлены данные по каталогам, ресурсам и меткам. А это, в свою очередь, позволяет делать расширенную ad-hoc аналитику по потреблению и находить ответы на такие вопросы, как:

• на какую виртуальную машину уходит больше всего средств,
• как распределяются затраты и потребление по проектам.

Актуальность данных близка к реальному времени. Вы можете выгрузить данные в CSV/XLSX и автоматически их обработать. Так, например, вы можете генерировать и рассылать счета клиентам.

Коннектор позволяет развернуть стандартный дашборд и доработать его под свои нужны. Для того, чтобы воспользоваться новыми возможностями, создайте новое подключение DataLens с типом Yandex Cloud Billing.

Иерархии и drill-down
Долгожданные иерархии с drill-down теперь в DataLens!
Создать и настроить иерархию можно в несколько кликов на уровне чарта, нажав на кнопку +.

Интерактивный пример встроенного чарта:


В качестве источника использовали документ Google Sheet.

• Клик по строке в таблице — переход на уровень ниже с фильтрацией.
• Путь над таблицей отображает сделанные переходы по узлам дерева.
• Клик по значению, указанному в пути — возврат к выбранному уровню иерархии.
• Клики по стрелкам — переход вниз/вверх по иерархии.

Цвет и размер шрифта в индикаторах
Для чартов типа индикатор теперь можно указать цвет шрифта из существующей палитры, а также выбрать один из 4 предустановленных размеров.


Несколько счетчиков при подключении к Яндекс.Метрике и AppMetrica
Теперь в режиме прямого доступа можно подключаться к нескольким счетчикам Яндекс Метрики и AppMetrica.

В датасетах Метрики появились измерения Счетчик и Счетчик (id) по которым можно группировать данные. Если вы давно создавали датасет и у вас нет таких полей, нажмите в датасете кнопку Обновить поля и сохраните его.


Подробнее
cloud.yandex.ru/blog/posts/2021/06/datalens-digest-june-2021