Представители учебных заведений и научно-исследовательских лабораторий могут получить гранты на вычислительные ресурсы для учебно-исследовательской работы по машинному обучению, компьютерному зрению и анализу данных, приняв участие в программе содействия образованию и науке.
В рамках программы будут предоставлены гранты на Yandex DataSphere — облачный сервис для анализа данных, разработки и эксплуатации моделей машинного обучения. Получившие их научные лаборатории и учебные заведения смогут сделать значительный шаг вперед в научно-исследовательской работе в области Computer Science. cloud.yandex.ru/services/datasphere
Yandex DataSphere позволяет производить сложные вычисления, такие как обучение нейронных сетей или анализ больших данных, используя привычный интерфейс Jupyter Notebook. Сервис не требует настройки. Он разворачивается за несколько кликов и сразу же готов к работе.
Благодаря грантам Yandex.Cloud возможности, ранее доступные только крупным корпорациям с собственными Data Science командами, теперь есть у любой российской научной лаборатории или учебного заведения, которые ведут деятельность в сферах:
Machine Learning & Deep Learning
Big Data & Data Science
Natural language processing, NLP
Компьютерное зрение
Программирование и анализ данных на Python
Суммы выделяемых грантов рассчитываются индивидуально в зависимости от задачи, количества вовлеченных участников и потребностей заявителя. Ознакомиться с условиями и подать заявку на участие можно на сайте программы. cloud.yandex.ru/promo/datasphere-education
Хотите научиться применять управляемые базы данных и контейнеры? Узнать принципы построения отказоустойчивого сервиса? Попробовать cloud-native разработку? Или просто системно изучить возможности платформы Yandex.Cloud?
Станьте инженером облачных сервисов!
Мировой рынок Cloud Computing стремительно растет. А значит, перед IT-специалистами открываются новые возможности. Если вы мечтаете работать над крупным проектом, инфраструктура которого сложнее, чем одна виртуальная машина с веб-сервером, ждем вас на новой программе в Яндекс.Практикуме.
Кому подойдет программа «Инженер облачных сервисов»:
Разработчикам, администраторам и DevOps-инженерам с опытом работы от 1 года.
Студентам IT-вузов с хорошей подготовкой и желанием узнать новое.
Всем, у кого есть знания о базах данных, системном администрировании и сетях, а также навыки программирования на Python.
Обучаем бесплатно. Вас ждет 6 курсов, в которых вы узнаете все об особенностях облачных платформ и научитесь настраивать основные сервисы Yandex.Cloud.
А еще будет очень много практики. Вы получите грант на 10 тысяч рублей, чтобы выполнять практические задания в облаке.
Программу создала команда Yandex.Cloud: разработчики, архитекторы, партнёры платформы и специалисты по обучению. Практические задания подготовлены на основе реальных проектов и типичных сценариев.
Все студенты, успешно окончившие программу «Инженер облачных сервисов», получат сертификаты от Школы анализа данных (ШАД).
Первый курс «Виртуальные машины» уже доступен на платформе. Зарегистрироваться на программу → praktikum.yandex.ru/ycloud/
Дайджест новостей за май Исследование EY и Yandex.Cloud: облака в российских компаниях все чаще закупают не айтишники, а бизнес
Совместно с Ernst & Young мы провели исследование и выяснили, каких перемен добиваются компании, которые уже в облаке, и как из технологии облака становятся бизнес-платформой. Подробнее о том, как облака меняют российский бизнес, как компании выбирают провайдера и почему мигрируют не все, в спецпроекте Прививка облаком: как одна технология меняет крупные российские компании.
Yandex.Cloud ещё раз подтвердила высокий уровень безопасности
Платформа Yandex.Cloud прошла добровольную аттестацию информационных систем персональных данных (ИСПДн). Этим мы ещё раз подтвердили высокий уровень безопасности данных, размещённых в облаке, и дали нашим клиентам возможность аттестовать собственные системы. Ещё раз подтвердили высокий уровень безопасности данных и получили аттестат безопасности на 3 года.
Новая программа поддержки образования и науки в области Computer Science
Мы запустили инициативу «Программа содействия образованию и науке в области Computer Science», в рамках которой поддерживаем учебные и научные учреждения с помощью грантов на сервис для ML-разработки и анализа данных Yandex DataSphere. Узнать больше об условиях и подать заявку на грант можно на сайте программы.
Бесплатный курс по визуализации данных совместно с Нетологией
Совместно с командой Нетологии мы запустили бесплатный курс-симулятор «Визуализация данных: от скучных графиков к интерактивным дашбордам». На нём вы попробуете себя в роли аналитика в крупной компании, построите интерактивную карту клиентов в DataLens, соберёте отчёт-конструктор расходов в Excel, сравните показатели в Power BI, а в конце наведёте красоту в Tableau.
Российские ученые научили нейросеть прогнозировать урожай вместе с Yandex.Cloud
Биологический факультет МГУ вместе с консорциумом в составе ФНЦ имени Мичурина, Тамбовского государственного университета и агроинженерного центра ВИМ создали в Yandex.Cloud полноценную систему мониторинга и прогнозирования урожая.
Дайджест новостей за апрель Yandex.Cloud в Казахстане
Казахстан стал первой страной после запуска платформы Yandex.Cloud в России, в которой стратегия развития ориентирована на запросы местных компаний. Среди первых клиентов платформы в Казахстане инвестиционно-строительный холдинг BI Group, оператор сотовой связи Kcell, HR-tech платформа Clockster и сервис для автоматизации работы отдела кадров HR Messenger.
Бессерверные вычисления для бизнеса
Каждый день мы активно работаем над новыми продуктами в области Serverless. Рост сервисов экосистемы привёл к запуску отдельной страницы решений на сайте по этому направлению. На ней вы найдете всю информацию по бессерверным решениям. И не забывайте про наш Serverless чат, где вы можете задать все интересующие вас вопросы.
Yandex.Cloud Solution Library for AWS
Мы знаем, что многим компаниям важна возможность работать с двумя облачными провайдерами одновременно. Для разработчиков, которые хотят развернуть проект в Yandex.Cloud и Amazon Web Services, мы подготовили набор рекомендаций и примеров кода для основных сценариев и задач, собранных в публичном репозитории на GitHub.
Быстрые нереплицируемые диски
У нас появились быстрые сетевые хранилища — нереплицируемые диски. Устройство нереплицируемых дисков существенно проще стандартных сетевых хранилищ SSD. Благодаря этому производительность выше в несколько раз.
Подтвердили соответствие требованиям безопасности Центробанка России
Мы стали первой российской публичной облачной платформой, подтвердившей соответствие стандарту ГОСТ Р 57580.1-2017. Теперь наши клиенты смогут размещать в облаке системы для обработки банковской тайны и проведения любых финансовых операций. Это поможет компаниям сэкономить время и деньги на создании и сертификации собственной инфраструктуры.
Ускорили работу консоли в два раза
Из-за стремительного роста нашей платформы, консоль, один из важнейших инструментов Yandex.Cloud, стала терять в скорости. В блоге мы рассказали, как, запуская по одному новому продукту в месяц, нам удалось оптимизировать работу консоли, используя неочевидную метрику пользовательского ожидания и интерактивный график.
Анализ логов Object Storage при помощи DataLens
В Yandex.Cloud появился механизм логирования действий с бакетом в Object Storage. В блоге мы описали пример визуализации логов при помощи DataLens.
Иконки сервисов
По вашей просьбе мы выложили на сайт логотип Yandex.Cloud и иконки сервисов и элементы для создания архитектурных схем для инструментов Visio и Draw.io.
Yandex.Cloud прошла добровольную аттестацию информационных систем персональных данных (ИСПДн). Этим мы ещё раз подтвердили высокий уровень безопасности данных, размещённых в облаке, и дали нашим клиентам возможность аттестовать собственные системы.
Для подтверждения соблюдения федерального закона 152-ФЗ «О персональных данных» обычно достаточно заключения о соответствии, полученного в рамках самостоятельной оценки, либо с привлечением организации с лицензией ФСТЭК. В начале года платформа Yandex.Cloud прошла такой внешний аудит и подтвердила соответствие высшему уровню защищённости персональных данных — УЗ-1. Наши клиенты получили возможность обрабатывать в облаке любые категории персональных данных, включая биометрические и специальные (сведения о здоровье, вероисповедании, личных взглядах и другие чувствительные данные). storage.yandexcloud.net/yc-compliance/conformance_ru_certificate.pdf
Однако в ряде случаев компании-операторы персональных данных требуют, чтобы система контрагента, которому оператор передаёт данные для обработки, была аттестована на соответствие требованиям по безопасности информации. Наличие аттестата ИСПДн, например, требуется для взаимодействия с государственными информационными системами в сфере здравоохранения. Наши клиенты, обрабатывающие чувствительные данные, часто сталкивались с подобными требованиями, поэтому мы приняли решение пройти добровольную аттестацию, чтобы дать им возможность без проблем аттестовывать собственные системы, размещённые в Yandex.Cloud. Для информационных систем, не являющихся государственными, аттестат не обязателен, но он может быть получен в добровольном порядке для подтверждения должного уровня защиты ИСПДн.
Разница между заключением о соответствии и аттестатом заключается в более строгом регулировании вопросов проведения аудита. Компания, оказывающая услуги по аттестации, в соответствии с приказом ФСТЭК РФ № 21 и постановлением Правительства России № 1119 должна иметь лицензию на осуществление деятельности по технической защите конфиденциальной информации и пройти процедуру аккредитации ФСТЭК России. Затем создаётся аттестационная комиссия, состоящая из экспертов и специалистов в области информационной безопасности, которая может проводить оценку соответствия организационных и технических мер, а также испытания технических и программных средств защиты персональных данных.
В результате добровольной аттестации платформа Yandex.Cloud ещё раз подтвердила высокий уровень безопасности данных, размещённых в облаке, и получила аттестат безопасности на 3 года. cloud.yandex.ru/security#standards
Недавно в Биллинге Yandex.Cloud появились бюджеты. Бюджет — это способ контролировать расходы на потребление ресурсов в Yandex.Cloud. В бюджете вы устанавливаете сумму расходов для определенных ресурсов за определенное время и настраиваете, при достижении какого порога потребления и кому будут отправлены уведомления.
Ещё одна новость: в Биллинге появилась интеграция с DataLens. Это простой и удобный способ понять, на что расходуются средства в облаке.
Наши пользователи могли бы заметить: ну как же — у вас всегда был раздел Детализация. Да, это так, но интеграция с DataLens выводит анализ статистики потребления и затрат на новый уровень.
К существующим разрезам (облако, сервис и продукт) добавляются каталоги, ресурсы и метки. Это позволит находить ответы на такие вопросы, как:
на какую виртуальную машину уходит больше всего средств,
как распределяются затраты и потребление по проектам.
Актуальность данных близка к реальному времени. Вы можете выгрузить данные в CSV/XLSX и автоматически их обработать. Так, например, вы можете генерировать и рассылать счета клиентам.
Для того, чтобы воспользоваться новыми возможностями, создайте новое подключение DataLens с типом Yandex Cloud Billing.
Используйте предустановленный Yandex Cloud Billing Dashboard или настройте дашборд под свои запросы.
Недавно Yandex.Cloud и Ernst & Young провели первое исследование применения облачных сервисов российскими компаниями. А также их мотивов и барьеров к внедрению. yandex-cloud.vedomosti.ru
Сначала исследователи провели глубинные интервью с 15 руководителями крупных компаний из разных отраслей рынка. Полученные данные и гипотезы проверили и скорректировали с помощью опроса представителей более 700 российских компаний.
Компании изначально идут в облака под давлением рынка, а приходят к обновлению бизнес-процессов.
«Так, мы выявили, что возросшая потребность создавать цифровые продукты приводит компании к облаку как к более комплексному технологическому решению», — Антон Устименко, партнер EY.
С увеличением объема данных и нагрузки на сервисы, компании все чаще приходят к облачным платформам, потому что не могут отвечать на вызовы рынка на одной только своей инфраструктуре. И с самого начала использования облака компании сталкиваются с эффектом перемен на уровне операционных бизнес-процессов. Участники исследования отмечали, что применение облака способствует трансформации самой операционной модели бизнеса, повышению скорости создания новых продуктов и снижению расходов на ИТ.
Кто инициирует переход в облако и отвечает за бюджет
Среди участников опроса 50% отметили повышение прозрачности и ответственности за затраты ИТ-отдела с переходом в облако, 46% согласились с тем, что повысилась ответственность за данные, а 35% рассказали, что облаком пользуются не только ИТ-специалисты, но и сотрудники бизнес-подразделений.
Это подтверждают данные о том, кто инициирует применение облаков: в 48% опрошенных компаний инициатива была именно за бизнесом. В 24% компаний из исследования ответственность за «облачный» бюджет также уже перенесена на бизнес-подразделения.
Чего боятся компании
Главный страх компаний перед облаками — потерять данные и попасть в зависимость от провайдеров облачной платформы. Так ответила половина респондентов исследования, которые уже перешли на облачные решения и 46% тех, кто только планирует это. Отсюда берется популярное компромиссное решение — переходить в облако из собственной инфраструктуры. То есть работать по гибридной модели, при которой в облако переводится только часть функций. Это мнение разделяет 67% участников исследования.
«Переход от потребления к созданию — это и есть то качественное изменение в бизнесе, которое ускоряется благодаря применению облачных платформ», — Олег Коверзнев, операционный директор Yandex.Cloud.
Как выбирают провайдера
При выборе облачного провайдера компании назвали важнейшим фактором интеграцию с собственной инфраструктурой. Это нужно, чтобы после тестирования продукта в облаке дальнейшее развитие перевести на развернутые к тому времени собственные мощности. Таким образом, переезд в облако и обратно становится частью жизненного цикла продукта.
Диагностика с помощью системных таблиц
Для проведения внутренней интроспекции состояния базы данных пользователи платформы с помощью нового веб-интерфейса могут осуществлять запросы в специальные системные таблицы (system views). Обращения выполняются с помощью YQL-запросов.
Анализ данных из системных таблиц позволяет выполнять диагностику по таблицам, запросам и данным БД:
получить информацию о размерах и нагрузке на партиции таблиц;
посмотреть топ долгих запросов, запросов с наибольшим потреблением CPU или читающих наибольшее количество данных;
посмотреть подробную информацию о выполняющихся запросах с одинаковым текстом.
Ссылки на наиболее востребованные запросы к системным таблицам можно найти в новом разделе Диагностика. Перейдя по ссылке, в редактор YQL будет загружен необходимый запрос, пользователю останется только его выполнить.
Резервные копии
С помощью нового интерфейса стало удобнее управлять резервными копиями. Вы можете создать задание для резервного копирования и запланировать график его выполнения, восстановить данные из резервной копии в нужную базу данных или в отдельную директорию внутри.
Yandex Query Language (YQL)
Теперь при выполнении YQL-запроса можно посмотреть на результаты его исполнения, статистику выполнения, а также его EXPLAIN PLAN.
Навигация по базе данных
Мы переработали инструменты навигации по базе данных и добавили контекстные меню для всех объектов, с помощью которых вы можете:
скопировать полный путь к таблице, а затем вставить его в редактор YQL-запросов;
вызвать просмотр информации об объекте;
сформировать DML-запрос для записи;
сформировать DML-запрос для выборки данных;
удалить объект.
Сниппеты подключения к базе в любом месте навигации
Мы упростили доступ к сниппетам с кодом для подключения к базе, теперь они доступны в любом месте навигации по базе. Находясь на любой странице интерфейса, пользователь может быстро подсмотреть сниппет для подключения к базе данных на любом доступном языке программирования.
Работа с таблицами
С помощью нового интерфейса встроенного редактора таблиц вы можете создавать и редактировать таблицы. Также он поможет задать схему таблицы и сформировать вторичные индексы при создании таблицы.
При создании таблицы вы можете выбрать политику начального партицирования, определить количество партиций при выборе равномерного партицирования или в явном виде указать партиции и границы ключей.
В том же разделе можно управлять свойствами автоматического масштабирования, например, автопартицированием по размеру и нагрузке. А с помощью расширенных настроек указать размер партиции для автоматического партицирования по размеру, задать ограничения по количеству партиций и, при необходимости, включить фильтр Блума.
Для существующих таблиц доступно создание, изменение или удаление созданных вторичных индексов. Причем, на все время построения индекса таблица остается доступной для чтения и записи.
Новый интерфейс позволяет посмотреть полную информацию, схему и свойства таблиц, включая расширенные настройки и опции партицирования. Вы можете получить сведения о вторичных индексах и о партициях таблицы, с границами партиций, сведениями о количестве строк и размере партиции.
Мы улучшили предварительный просмотр таблиц: теперь доступно отображение столбцов с типом JSON и постраничное листание. И прямо из интерфейса вы можете добавить строку в таблицу, что очень удобно для экспериментов с данными.
Бесплатный тариф DataLens теперь доступен без привязки карты
Мы существенно упростили подключение Yandex DataLens для новых пользователей. Даже если у вас пока еще нет облака и платёжного аккаунта Yandex.Cloud, для быстрой визуализации данных вам достаточно:
Перейти на datalens.yandex.ru.
Указать аккаунт на Яндексе.
Активировать бесплатный тариф DataLens следуя инструкциям на стартовой странице.
Пользуясь бесплатным тарифом, вы можете полноценно работать с DataLens, настраивая подключения к собственным источникам данных.
Создание платежного аккаунта и привязка карты (или реквизитов вашего юридического лица) потребуются, если вам нужны:
платные продукты в маркетплейсе DataLens;
платный тариф «Стандарт» для DataLens и расширение лимита внешних сессий согласно тарифам;
другие сервисы Yandex.Cloud, включая управляемые базы данных для надежного хранения и обработки данных в облаке.
Google Sheets в качестве источника
Мы реализовали один из самых популярных запросов для DataLens в нашем сообществе. Теперь при создании нового подключения DataLens вы можете выбрать Google Sheets.
Подключение к Google Sheets является развитием сценариев использования простых CSV. Теперь обновление данных будет происходить бесшовно, без необходимости загрузки новой версии файла и подмены подключения.
Особенности коннектора
Поддерживается полный набор функций DataLens.
На данный момент поддерживаются только документы с доступом по ссылке (доступ «Anyone with the link»).
Используется тот лист таблицы, который был указан в ссылке. Для указания конкретного листа необходимо скопировать ссылку из адресной строки, а не из управления доступом (содержит #gid=… в ссылке).
При загрузке используется кеш, время жизни — до 5 минут.
На данный момент используется представление данных листа через Google Charts — этим обусловлено определение имён колонок, обработка типов значений и представление других возможностей Google Sheets.
Коннектор к детализации биллинга вашего облака
Еще один новый тип подключения — детализация биллинга. Он позволяет анализировать детальные данные о потреблении облачных ресурсов (инфраструктурные сервисы, управляемые базы данных и другие платные сервисы).
К существующим разрезам, доступным в консоли Yandex.Cloud (это облако, сервис и продукт), добавлены данные по каталогам, ресурсам и меткам. А это, в свою очередь, позволяет делать расширенную ad-hoc аналитику по потреблению и находить ответы на такие вопросы, как:
на какую виртуальную машину уходит больше всего средств,
как распределяются затраты и потребление по проектам.
Актуальность данных близка к реальному времени. Вы можете выгрузить данные в CSV/XLSX и автоматически их обработать. Так, например, вы можете генерировать и рассылать счета клиентам.
Коннектор позволяет развернуть стандартный дашборд и доработать его под свои нужны. Для того, чтобы воспользоваться новыми возможностями, создайте новое подключение DataLens с типом Yandex Cloud Billing.
Иерархии и drill-down
Долгожданные иерархии с drill-down теперь в DataLens!
Создать и настроить иерархию можно в несколько кликов на уровне чарта, нажав на кнопку +.
Интерактивный пример встроенного чарта:
В качестве источника использовали документ Google Sheet.
Клик по строке в таблице — переход на уровень ниже с фильтрацией.
Путь над таблицей отображает сделанные переходы по узлам дерева.
Клик по значению, указанному в пути — возврат к выбранному уровню иерархии.
Клики по стрелкам — переход вниз/вверх по иерархии.
Цвет и размер шрифта в индикаторах
Для чартов типа индикатор теперь можно указать цвет шрифта из существующей палитры, а также выбрать один из 4 предустановленных размеров. Несколько счетчиков при подключении к Яндекс.Метрике и AppMetrica
Теперь в режиме прямого доступа можно подключаться к нескольким счетчикам Яндекс Метрики и AppMetrica.
В датасетах Метрики появились измерения Счетчик и Счетчик (id) по которым можно группировать данные. Если вы давно создавали датасет и у вас нет таких полей, нажмите в датасете кнопку Обновить поля и сохраните его.
Kubernetes можно установить на своем оборудовании, либо использовать managed-решение от облачного провайдера. При самостоятельной установке on-premise вы можете более гибко контролировать процесс настройки, но есть риск столкнуться с определенными сложностями.
Если вы уже пробовали разворачивать и поддерживать кластер на своем оборудовании, то, возможно, знакомы с ними. Если только планируете это сделать — прочитайте статью, чтобы разобраться в преимуществах управляемого Kubernetes.
В статье мы расскажем про шесть причин перейти на Yandex Managed Service for Kubernetes®, чтобы избежать сложностей развертывания и администрирования кластера Kubernetes on-premise. Заметим, что это не все преимущества, которые дает управляемый Kubernetes, а только самые значимые, на наш взгляд.
Легко установить и настроить кластер
Kubernetes — сложная система, для установки и настройки которой нужны определенные знания и навыки. Чтобы получить стабильную и безопасную систему, важно правильно установить и настроить кластер: права доступа, сетевые настройки, мониторинг, резервное копирование, файловое хранилище и многое другое.
Чтобы это сделать, необходим специалист с определенными навыками. А лучше два, чтобы они подменяли друг друга на время отпусков и болезней. Хорошо, если у вас в компании уже есть такие люди. Если нет, потребуется время, чтобы их найти или обучить. При этом нужно постоянно поддерживать их квалификацию, потому что Kubernetes развивается и в нем появляются новые возможности и особенности.
Чтобы избавиться от сложностей установки и настройки кластера, можно воспользоваться управляемым Kubernetes. Создать готовый кластер в облаке сможет любой технический специалист, знакомый с Kubernetes на базовом уровне. Для этого не нужны глубокие знания администрирования, достаточно понимать основные концепции, чтобы выбрать параметры сети, группы безопасности, количество подов на узле.
Кластер создается в веб-интерфейсе несколькими кликами. Облачный провайдер выполнит за вас все основные настройки и интеграции, настроит резервное копирование, подключит мониторинг и настроит сеть.
Кроме UI-интерфейса Yandex.Cloud также предлагает возможность создания и управления кластером через API, CLI, SDK и Terraform. Главное преимущество такого способа — автоматизация рутинных задач по созданию и управлению ресурсами кластера. Облачный провайдер берет на себя большую часть задач по установке и настройке кластера, что ускоряет процесс развертывания и исключает необходимость иметь профильных специалистов в штате компании.
Кластер обновляет облачный провайдер
Как и любую систему, кластер нужно обновлять. В решении on-premise обновлять и тестировать кластер вам придется самостоятельно. А так как Kubernetes довольно сложен в освоении, не исключена вероятность ошибок, исправлять которые придется самостоятельно, что потребует много времени. А обновить кластер без простоя — еще более сложная задача.
В Managed Service for Kubernetes облачный провайдер сам обновит ваш кластер. Мы предварительно тестируем новые версии Kubernetes и только после этого устанавливаем их на кластеры клиентов. Вам остается лишь проверить корректность работы сервисов и приложений в новой версии Kubernetes. Как клиент может контролировать процесс обновления:
Вы выбираете расписание установки обновления. Можно указать конкретные дни недели и время. Например, в ночь с пятницы на субботу, чтобы в случае непредвиденных ситуаций еще оставалось время до понедельника. При этом перед установкой обновления мы вас обязательно оповестим.
Вы можете отключить автообновление и устанавливать каждое обновление отдельно, по мере необходимости. Это полезно, когда нет возможности заранее выделить единое время для установки всех обновлений.
У Kubernetes есть три релизных канала для обновления:
Rapid. Содержит самые свежие версии Kubernetes. На канале часто появляются минорные обновления с новой функциональностью и улучшениями. Рекомендуем для непродуктивных сред — разработки и тестирования — потому что тут раньше всего появляется функционал, который скоро появится в продуктивном канале regular.
Regular. Хорошо протестированные версии. Сюда они попадают из канала rapid. Мы рекомендуем использовать канал для большинства продуктовых сред.
Stable. Самые стабильные версии, которые включают в основном исправления ошибок и проблем безопасности. Сюда они попадают из канала regular. Этот канал мы рекомендуем, если вы хотите как можно реже обновлять кластер. Например, в Kubernetes работают второстепенные приложения, которые не нужно постоянно дорабатывать и тестировать. Также этот канал подойдет, если у вас долгий цикл разработки приложений.
Поддерживается автомасштабирование узлов
Kubernetes умеет горизонтально автомасштабироваться, то есть добавлять и освобождать узлы по мере нагрузки. Когда нагрузка на кластер растет — автоматически подключаются новые узлы, чтобы ваши приложения не тормозили. А когда нагрузка падает, ненужные узлы освобождаются.
Такая возможность есть в любой установке Kubernetes, даже on-premise. Но если настраивать автомасштабирование на своем оборудовании, необходим постоянный резерв свободных машин. При этом большую часть времени резервные машины скорее всего будут простаивать. К тому же не исключена вероятность, что в момент особо высокой непредвиденной нагрузки может не хватить даже этих резервов.
Облачный Kubernetes лишен этих недостатков:
Вам не нужно думать о простое оборудования. При создании кластера вы выбираете минимальное и максимальное количество рабочих узлов. Когда нагрузка небольшая, в вашем кластере будет минимум узлов. Когда нагрузка возрастает — кластер сам подключит дополнительные узлы из ресурсов облака.
Облачный провайдер обладает огромными вычислительными ресурсами и может масштабировать ваш кластер вплоть до любого необходимого числа узлов. Ваша система сможет выдержать даже очень высокие нагрузки.
Можно создать региональный отказоустойчивый кластер
При создании продуктового кластера важно позаботиться об отказоустойчивости. Как правило, для этого создаются несколько реплик мастер-узлов.
Если разворачивать кластер на своем оборудовании, как правило, все узлы будут находиться в одном дата-центре или географической зоне (городе или районе). Дата-центры обеспечивают надежность инфраструктуры резервированием, дублированием критических узлов и гарантируют SLA. Но в случае аварии природного или техногенного характера, а также человеческого фактора, ЦОД перестанет функционировать и вы полностью потеряете доступ к кластеру.
Managed-решение Yandex.Cloud позволяет создать региональный отказоустойчивый кластер. У нас есть три собственных дата-центра, расположенных во Владимирской, Рязанской и Московской областях. Если в одном из дата-центров произойдет авария, мастер-узлы в остальных дата-центрах продолжат работать и ваши приложения будут доступны.
А тестовые среды не предъявляют таких требований к отказоустойчивости, для них вы можете создать зональный кластер с одним мастер-узлом. Это будет намного дешевле, чем региональный отказоустойчивый кластер.
Работает с RBAC и IAM
Большие компании используют системы учетных записей, такие как Active Directory или G Suite. И для того чтобы интегрировать их с кластером Kubernetes, необходимо устанавливать и настраивать дополнительные инструменты.
В Managed Service for Kubernetes вы можете подключить систему и использовать свои учетные записи без дополнительных настроек. Для этого на уровне IAM настраивается федерация через протокол SAML. И тогда учетные записи ваших пользователей интегрируются с платформой Yandex.Cloud и им можно назначать роли.
Наш IAM является дополнением к стандартному Kubernetes RBAC. Используя обе системы, можно решать более сложные задачи по разграничению доступа. Например,
разработчику из всех ресурсов платформы необходим доступ только к кластеру Kubernetes. Для этого внутри облака ему выдаются минимальные права, достаточные лишь для подключения к кластеру. А внутри Kubernetes при помощи RBAC ему добавляются необходимые полномочия на объекты кластера.
Удобный UI «из коробки»
У Kubernetes нет стандартного графического интерфейса управления. Существуют сторонние разработки от сообщества, которые нужно устанавливать, настраивать и предоставлять к ним доступ.
Мы разработали собственный интерфейс управления, доступный всем пользователям Managed Service for Kubernetes. Он уже интегрирован с Yandex IAM, что позволяет легко раздавать полномочия. Вы можете использовать наш дашборд вместо одного из сторонних или вместе с ним. Вот несколько его ключевых возможностей:
Детализация узлов, деплойментов, подов и сети. По каждому из этих объектов можно увидеть текущее состояние, посмотреть перечень событий и логов. Это позволяет отлаживать приложения без необходимости устанавливать дополнительные инструменты в кластер. Из детализации деплоймента можно увидеть, какие поды создались на его основе, и сразу перейти к ним.
Детализация потребления ресурсов. По каждому узлу или поду можно увидеть, сколько тратится CPU, памяти и сетевых ресурсов.
Настройка детализации. В каждой детализации можно добавлять или убирать поля для отображения.
Гибкий фильтр событий. В кластере генерируется довольно много событий, поэтому мы создали гибкий фильтр. Можно фильтровать по пространству имен, уровню или сущности.
Мы постоянно дорабатываем дашборд, поэтому в будущем у него появятся новые возможности. Нашим клиентам ничего не нужно устанавливать или обновлять, они сразу будут получать новые возможности.
Краткие итоги
Мы рассмотрели шесть главных преимуществ Managed Service for Kubernetes® перед классическими on‑premise‑кластерами Kubernetes.
Но это не все, что может предложить Yandex.Cloud для решения задач Kubernetes. С помощью платформы вы можете решать и другие задачи, например находить уязвимости в образах контейнеров, шифровать секреты в etcd‑хранилище или интегрироваться с инструментами CI/CD. Более подробно об этих и других возможностях вы можете узнать из нашего вебинара «Kubernetes. Managed на все 100%».
Приглашаем вас на вебинар «Рекомендательные системы: архитектура и применение». Старт 22 июня в 12:00 (МСК).
Рекомендательная система — сплошная польза для бизнеса. Это и экономия ресурсов, и увеличение среднего чека, и допродажи, и лояльность пользователей.
Главное — всё правильно подготовить и интегрировать.
На вебинаре разберём, как собрать эффективный движок для рекомендательной системы. Покажем архитектуру современного движка на базе платформы данных Yandex.Cloud, посмотрим кейсы и рабочие алгоритмы.
Опытом построения рекомендательных систем поделятся наши коллеги из компании GlowByte — эксперты в области BI, Big Data и автоматизации маркетинга. cloud.yandex.ru/events/368
