Yandex Cloud

Новости сервисов
Yandex Managed Service for Apache Kafka
Сервис Managed Service for Apache Kafka перешел в общий доступ. Apache Kafka — это распределенная система обмена сообщениями с возможностью горизонтального масштабирования. С помощью Managed Service for Apache Kafka и Data Proc (компонент Apache Spark) вы можете настроить потоковую обработку данных для своего приложения.


Yandex DataSphere
Основные изменения в новом релизе Yandex DataSphere от 11.11.2020.
Добавили поддержку TensorFlow 2.х.

Реализована поддержка обновления предустановленных библиотек. в том числе TensorFlow.
Для обновления TensorFlow до последней версии нужно выполнить команду

%pip install tensorflow -U,

либо указать конкрентную версию, например

%pip install tensorflow==2.3.1

Внимание: По умолчанию по-прежнему устанавливается версия TensorFlow 1.15

В общем случае команда для обновления версии библиотеки

%pip install *название библиотеки* -U или ==*версия*

Обновлённые версии будут сохраняться при смене окружений и перезапуске проекта.

Внимание: Обновление предустановленной библиотеки может привнести в библиотеку новые типы данных, которые не поддерживаются в DataSphere и не версионируются. При выполнении ячеек с такими типами вы увидите предупреждение. В таких случаях необходимо сообщить в техническую поддержку, какие библиотеки были обновлены.

• Доработали алгоритм определения измененных пееременных. Теперь в коммит добавляются только переменные, которые действительно изменились.
• Добавили сниппет для работы с кластером SPARK.

Yandex Managed Service for Kubernetes
Данные в кластерах Managed Service for Kubernetes надежно хранятся и реплицируются в инфраструктуре Yandex.Cloud. Однако в любой момент вы можете с помощью пошаговых инструкций создать резервные копии данных из групп узлов кластеров Kubernetes и хранить их в Object Storage или другом хранилище.
cloud.yandex.ru/docs/managed-kubernetes/solutions/backup

Специальные предложения
Free tier на сервисы экосистемы бессерверных вычислений. На serverless-решения до октября 2021 действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно. cloud.yandex.ru/docs/billing/concepts/serverless-free-tier

Резервируемое потребление (CVoS). Планируйте ИТ-бюджет на год с выгодой от использования вычислительных мощностей и платформенных сервисов. Цены для вас фиксируются и не будут зависеть от курса рубля. Подробнее →

Новые образы в Marketplace

• Check Point CloudGuard IaaS — Firewall & Threat Prevention BYOL
• Check Point CloudGuard IaaS — Security Management BYOL

Разработанные с учетом динамичного характера гибких облачных инфраструктур решения безопасности публичных облачных сетей Check Point CloudGuard IaaS обеспечивает комплексную защиту сетей клиента. Защитите свои активы и данные в облаке от самых сложных атак при помощи многоуровневой защиты Check Point.

Вебинары
Прошедшие вебинары, доступные в записи:

• Речевые технологии в деле
• Практический вебинар по DataSphere
• Yet Another Meetup #3 для продакт-менеджеров
• Реферальная программа Yandex.Cloud
• Готовим интернет-магазин к Черной пятнице
• Соответствие 152-ФЗ, облака и проверки Роскомнадзора

Истории успеха
ИТ-решение для проекта «Мейкеры против COVID-19» в Yandex.Cloud
В России несколько тысяч человек помогли врачам в рамках проекта «Мейкеры против COVID-19». Проект снабжает врачей средствами индивидуальной защиты — щитками, переходниками, защитными боксами и заколками для масок и др. Координатор проекта Сергей Крашевич написал CRM-систему и перенес ИТ-решение в Yandex.Cloud. Система справилась с потоком заявок весной и с сентября снова обрабатывает высокие нагрузки.
vc.ru/life/172758-300-siz-privozim-v-kliniku-bystree-chem-obychno-dostavlyayut-piccu-zachem-v-pandemiyu-soedinyayut-3d-pechatnikov-i-vrachey

Ускоренная аналитика с Yandex DataLens и Managed Service for ClickHousе для «Окраины»
Компания «МПЗ Богородский» (ТМ «Окраина») разработала быструю и удобную систему обработки аналитических данных и визуализации отчетов в Yandex.Cloud. Разрозненные данные аналитики собраны в одном месте, что позволяет оперативно принимать бизнес-решения.
cloud.yandex.ru/cases/okraina

История QIWI: как мы прислушиваемся к голосу клиента
Благодаря Yandex SpeechKit QIWI автоматически анализирует 100% голосовых сообщений, может создавать каталог запросов и шаблонов не только по отработанным звонкам, но и проактивно — в качестве паттернов для будущих обращений.
cloud.yandex.ru/cases/qiwi

ГК «Рики» создает мультфильмы в облаке
Создатели «Смешариков», «Малышариков», «Тима и Тома», группа компаний «Рики» перенесла обработку видео в облако. Использование облачных сервисов позволило снизить зависимость от студийной инфраструктуры, ускорить выпуск мультфильмов и организовать удалённую работу сотрудников. В 2021 году ГК «Рики» планирует выпустить 1200 минут премьерных мультфильмов за счет переноса производства на Yandex.Cloud. Подробнее →

Как Renault сделал прямой эфир из Yandех.Cloud
В 2020 году Renault представила обновленную версию кроссовера Kaptur. Для запуска продаж в 83 дилерских автосалонов по всей России в прямом эфире показали презентационное видео. Прямой эфир должен был пройти без ошибок и прерываний, видео предоставлялось за несколько часов, а на организацию трансляции оставалось всего две недели. Партнер Yandex.Cloud компания OpsGuru предложила использовать адаптивный стриминг в облаке.
cloud.yandex.ru/cases/riki-group

Группа компаний «Цифра» перенесла свою систему мониторинга промышленного оборудования «Диспетчер» в Yandex.Cloud
После миграции «Диспетчер» стал доступен сотням предприятий, удалось сократить время внедрения системы в два раза, а первоначальные инвестиции — до десяти раз благодаря исключению затрат на покупку дорогостоящего ИТ-оборудования.
cloud.yandex.ru/cases/zyfra

Новости сервисов
Yandex DataSphere
Сервис Yandex DataSphere перешел в общий доступ. DataSphere позволяет разрабатывать модели машинного обучения с сохранением версий расчетов по трем измерениям — данные, код и состояние. Это позволит вам вернуться к любому этапу разработки модели без потери прогресса и учитывать меняющиеся условия бизнеса.

На видео мы продемонстрировали, как просто сохранить состояние модели, вернуться к предыдущему состояию или поделиться им с внешними пользователями.

Yandex Managed Service for PostgreSQL
Появился статический анализатор SQL от holistic.dev для Managed Service for PostgreSQL.
Этот продукт проводит анализ схемы данных и запросов и подсказывает, где могут возникать ошибки.
На скриншоте пример использования сервиса. Пробуйте и изучайте рекомендации, чтобы не допускать ошибок при написании запросов.


Yandex Managed Service for ClickHouse
В первой статье про управляемые базы данных вы узнаете о преимуществах ClickHouse в облаке. Мы постарались ответить на вопросы: почему колоночные СУБД быстрее традиционных и какие задачи можно решать с помощью ClickHouse?

Специальные предложения
Черная пятница. Сделайте ваш сайт устойчивым к перегрузкам во время распродаж — мигрируйте в Yandex.Cloud быстро и с минимальными затратами. cloud.yandex.ru/promo/black-friday/

Резервируемое потребление (CVoS). Планируйте ИТ-бюджет на год с выгодой от использования вычислительных мощностей и платформенных сервисов. Цены для вас фиксируются и не будут зависеть от курса рубля. cloud.yandex.ru/promo/cvos/cio/

Новые образы в Marketplace
Kaspersky Security
Kaspersky Security для виртуальных и облачных сред защищает сервисы от программ-шифровальщиков и от бесфайлового вредоносного ПО, предотвращает использование эксплойтов, блокирует сетевые атаки, проводит поведенческий анализ вредоносного ПО. Образ доступен по модели BYOL (Bring Your Own License): подписка на услугу оформляется напрямую у «Лаборатории Касперского».
cloud.yandex.ru/marketplace/products/f2e6gdh3e3jjt58rc1md
Apache Airflow 1.10
Образ Apache Airflow позволит вам создавать графы выполнения задач (DAG) в облаке. Вы можете легко визуализировать запущенные задачи, наблюдать за прогрессом их выполнения и возникающими в процессе ошибками в удобном веб-интерфейсе.
cloud.yandex.ru/marketplace/products/f2evjfflh55novd70pd0
1С: Предприятие 8.3
Готовый образ сервера приложений 1С: Предприятие 8×64 на базе операционной системы семейства Linux для простого и быстрого развертывания 1С-инфраструктуры. Образ предоставляется партнером WiseAdvice специально для инфраструктуры Yandex.Cloud.
cloud.yandex.ru/marketplace/products/f2ej469j8ajoafnr7pa5

Вебинары
Прошедшие вебинары, доступные в записи:
Как избежать ошибок на этапе пилота голосового робота
Вебинар о Managed Service for Apache Kafka
Архитектуры обработки больших данных
Обзор платформы Yandex.Cloud

Истории успеха
«Почта России» использует Yandex SpeechKit
«Почта России» запустила собственного голосового ассистента на базе технологии Yandex SpeechKit. Он обслуживает запросы клиентов по 9 тематикам и уже обрабатывает 30% обращений. rb.ru/news/pochta-rossii-golosovoy-pomoshnik/

ЦНИИ Эпидемиологии обрабатывает данные о COVID-19 в Yandex.Cloud
На базе Центрального НИИ эпидемиологии работает Центр молекулярной диагностики (CMD) — один из крупнейших лабораторно-диагностических центров в России. С помощью партнёра Yandex.Cloud облачного провайдера «Аплана Диджитал» CMD смогли провести миграцию своей высоконагруженной инфраструктуры в облако с простоем всего в две минуты. cloud.yandex.ru/cases/cmd-online

Мгновенный анализ снимков для диагностики коронавируса COVID–19
Компания RADLogics обрабатывает и анализирует рентген-снимки и снимки компьютерной томографии в Yandex.Cloud. cloud.yandex.ru/cases/radlogics

Развертывание рабочих мест Zextras/Zimbra в Yandex.Cloud
Zextras — расширения почтового сервера Zimbra, которые добавляют в него возможности совместной работы и коммуникаций, поддержку хранилищ и мобильных устройств. Один из самых удобных и выгодных вариантов работы в Zextras — аренда ресурсов в облаке, а для развертывания в России был выбран Yandex.Cloud. cloud.yandex.ru/cases/zextras

Popmechanic: как мы «проели» инвестиции, но через год смогли успешно перезапуститься
Основатель Popmechanic рассказал, почему не стоит сдаваться и как в новых победах ему помогает участие в программе Yandex Cloud Boost. vc.ru/life/167546-kak-my-proeli-investicii-no-cherez-god-smogli-uspeshno-perezapustits

Документация

Мы открыли сервис Yandex Managed Service for Apache Kafka для тестирования по заявкам ещё летом, а на конференции Yandex Scale в сентябре предоставили всем пользователям возможность пользоваться сервисом бесплатно в рамках Preview.

Со 2 ноября сервис переходит в общий доступ. Это значит, что для него теперь действуют соглашение об уровне обслуживания (SLA) и правила тарификации.

Apache Kafka — это распределенная система обмена сообщениями с возможностью горизонтального масштабирования. С помощью Managed Service for Apache Kafka и Data Proc (компонент Apache Spark) вы можете настроить потоковую обработку данных для своего приложения. Управляемые сервисы помогут сэкономить время на создание, обслуживание и управление кластерами, а настроенные в сервисах репликация и система автоматического восстановления будут поддерживать кластеры в рабочем состоянии. Об этом подробно рассказал руководитель разработки сервисов Data Proc и Managed Service for Apache Kafka Михаил Епихин в докладе про сервисы для построения аналитической платформы.


Также с помощью Apache Kafka можно поставлять данные напрямую в базу данных ClickHouse без дополнительной разработки. Подключив сервис Yandex Datalens, вы сможете настроить систему аналитики: ClickHouse отлично справляется с обработкой запросов к большим объёмам данных, а DataLens позволит эти данные визуализировать и построить отчёты. Подробнее об этом сценарии мы рассказали на вебинаре про архитектуру обработки больших данных.

Подробнее о том, как работает сервис, вы можете узнать из:

• документации;
• вебинара про Managed Service for Apache Kafka.

«Черная пятница» — одна из крупнейших распродаж. В России в этом году она пройдет с 27 по 29 ноября и, учитывая пандемию и легализацию онлайн-продажи ювелирных изделий и лекарств, практически целиком сосредоточится в интернете.

Для интернет-магазинов такое событие — это не только повод заработать, но и огромные нагрузки на все системы и серверы. В 2019 году объем онлайн-продаж во время «черной пятницы» в России увеличился примерно на 30% и превысил 22 миллиарда рублей. Из-за наплыва покупателей на сайты магазинов нагрузка на инфраструктуру увеличилась как минимум в два раза, а на пиках в четыре-шесть раз.



Переход в облака
При этом нагрузки испытывает не только внешняя инфраструктура — сайт и приложение, которыми пользуются тысячи и десятки тысяч людей сразу. Под удар попадают CRM и WMS системы, колл-центр и другие важные части инфраструктуры продавца. Падение любого сервиса обернется потерей клиентов, упущенной прибылью, репутационными рисками (пользователи ожидают 100%-й доступности) и даже нарушениями SLA и невыполнением требований регуляторов. Например, в 2018 году в «черную пятницу» была нарушена работа сайтов Walmart, Lululemon и Ulta. Один только бренд J.Crew за пять часов простоя потерял 775 тыс. долларов.

Выстраивать локальную инфраструктуру, которая выдержит пиковые нагрузки, сложно и очень дорого. Необходимо закупить и обслуживать оборудование, которое будет работать только несколько раз в году. И даже оно не гарантирует, что система не обрушится в самое неподходящее время.
Чтобы обеспечить полную отказоустойчивость инфраструктуры, ритейл переходит на облачные решения, которые автоматически масштабируются и равномерно распределяют нагрузку и запросы пользователей между разными дата-центрами. При этом резерв мощностей подключается и оплачивается только на время, необходимое, чтобы справиться с нагрузкой.

Давно известно, чем хороши облачные решения, однако ими пользуются далеко не все онлайн-ритейлеры. Перенести инфраструктуру в облако — это сложно, долго и дорого: провайдеры часто рассчитывают стоимость перехода как отдельную услугу. С этого и начинаются преимущества Yandex.Cloud: мы умеем переносить крупные инфраструктуры в облако за один день. У нас много сертифицированных партнеров, которые помогут вам с миграцией.

Что предлагает Yandex.Cloud
Yandex.Cloud предлагает три готовых и многократно опробованных решения, которые позволяют быстро развернуть инфраструктуру клиента в облаке и масштабировать ее при пиковых нагрузках.


Instance Groups и Load Balancer — масштабируемые группы виртуальных машин и балансировщик нагрузки: самое простое решение в списке с минимальным порогом вхождения.

Serverless-платформа, разворачивание Yandex Database в бессерверном режиме: для тех, кто хочет создать инфраструктуру с нуля или готов полностью обновить существующее решение.

Managed Service for Kubernetes — для тех, кто уже перешел на микросервисную архитектуру.

Первые два решения подразумевают перенос инфраструктуры в облако и настройку окружения. Все основные этапы миграции в Yandex.Cloud — создание виртуальных машин, подбор конфигураций, контроль переноса данных — полностью автоматизированы.

Миграция данных с помощью Yandex Data Transfer и Hystax Acura
Для миграции данных предусмотрено два варианта: через приложение Hystax Acura и новый сервис Yandex Data Transfer.

Hystax Acura позволяет перенести в Yandex.Cloud инфраструктуру с платформ любых мировых облачных провайдеров, платформ виртуализации VMware и OpenStack и собственного железа. Миграция происходит без простоев, бизнес-процессы не останавливаются, а данные гарантированно не теряются. Стоимость миграции известна заранее: одна виртуальная машина обойдется в 1500 рублей. Приложение можно запустить непосредственно из маркетплейса.

Также, на конференции Scale 2020 мы рассказали про Yandex Data Transfer — новый сервис для миграции баз данных из других облачных платформ или локальных баз данных в сервисы управляемых баз данных Yandex.Cloud. Data Transfer позволяет перенести данные с сохранением рабочего состояния источника и минимизировать время простоя приложений, использующих базу данных. При этом сервис при возникновении проблем сам перезапускает задачи репликации. Если продолжить с нужного момента не получится, сервис автоматически вернется к предыдущей стадии миграции. Data Transfer находится на стадии Preview и не тарифицируется.

Виртуальные машины — Instance Groups и Yandex Load Balancer
Первое решение — Instance Groups — компонент сервиса Compute Cloud, который позволяет создавать и управлять группами автоматически масштабируемых виртуальных машин без установки стороннего программного обеспечения. Если заранее указанная нагрузка увеличится, в группу добавятся новые машины, а Yandex Load Balancer (/services/load-balancer) автоматически распределит нагрузку между ними. Если нагрузка уменьшится, лишние виртуальные машины просто отключатся.

Instance Groups умеет автоматически обнаруживать и исправлять неработоспособные виртуальные машины в группе, а также поддерживать работу служб приложений в надежной среде с многозональными функциями вместо выделения ресурсов для каждой зоны. Все это полностью защищает инфраструктуру от сбоев.


Managed Service for Kubernetes
Если вы уже перешли на микросервисную архитектуру и используете Kubernetes® для управления контейнеризованными рабочими нагрузками и сервисами, то Yandex.Cloud может взять на себя большую часть работы по обслуживанию кластера. Второе решение — сервис Managed Service for Kubernetes — предоставляет окружение для удобного управления контейнеризованными приложениями. Вы получаете привычные инструменты для работы с кластерами, безопасную инфраструктуру (все взаимодействия между мастером и узлами кластера шифруются при помощи протокола TLS), легкое обслуживание и высокую доступность. При этом все ноды кластера находятся за балансировщиком нагрузки, а сам балансировщик защищен сервисом DDoS Protection.


Serverless-платформа
В serverless-подходе нет понятия единицы ресурсов: количества виртуальных машин, нод базы данных и т. д. Это и безразмерные хранилища данных, и горизонтально масштабируемые СУБД. Вы просто создаете новую инфраструктуру, которая будет способна справиться с любыми нагрузками, а платить нужно только за реально потребленные ресурсы.

В основе serverless-платформы Yandex.Cloud лежит множество сервисов, которые образуют решение, позволяющее справиться с непредсказуемыми нагрузками:

• Yandex Cloud Functions
• Yandex Database
• Yandex Message Queue
• Yandex Object Storage
• Yandex IoT Core

Для хранения данных используйте Yandex Database — горизонтально масштабируемую распределенную отказоустойчивую СУБД, которая проектировалась с учетом требований высокой производительности. Yandex Database может работать в двух режимах. Это:

Режим с выделенными инстансами (dedicated). Для базы выделяются виртуальные хосты с заданными ресурсами. Вы сами выбираете число хостов, их вычислительные ресурсы, параметры хранилища и настраиваете облачные сети.

Бессерверный (serverless) режим. Вы разворачиваете базу данных в обслуживаемой среде без создания хостов. Вам не нужно контролировать вычислительные ресурсы, сети и другие параметры. Все ресурсы для работы базы автоматически предоставляются сервисом и масштабируются в зависимости от нагрузки.

Для задач с неравномерной и плохо прогнозируемой нагрузкой подходит бессерверный режим. В нем вы платите за фактические операции с базой и за хранение данных и резервных копий.

В свою очередь, сервисы Cloud Functions и Message Queue помогают справиться с непредсказуемыми нагрузками:

• Cloud Functions позволяет разместить части приложений с непредсказуемой нагрузкой.=
• В managed-окружении, где за масштабирование отвечает платформа, вы платите за фактически потребленные ресурсы, поэтому можно сделать перенос в off peak сезон и начать экономить по сравнению с размещением в виртуальных машинах или в кластерах Kubernetes.
• Message Queue позволяет организовать асинхронную передачу данных между компонентами приложения и выступает слоем буферизации. Благодаря интеграции с Cloud Functions можно сэкономить на написании кода для интеграции сервисов между собой и просто подписать функцию на нужную очередь сообщений.

cloud.yandex.ru/services/functions
cloud.yandex.ru/services/message-queue

Вы всё успеете
До «черной пятницы» осталось мало времени, но вы точно успеете развернуть группы виртуальных машин, кластер и ноды Kubernetes в Yandex.Cloud (это займет от 15 минут), запустить код на Cloud Functions (время холодного старта при первом вызове <500 мс).

Для того, чтобы вам было проще решиться на миграцию, мы подготовили специальное предложение. Подробнее → cloud.yandex.ru/promo/black-friday/

5 ноября мы проведем вебинар, на котором подробно расскажем о преимуществах облачных решений, а также о том, как быстро перенести инфраструктуру в облако и обеспечить масштабирование при пиковых нагрузках. Присоединяйтесь → cloud.yandex.ru/events/276

В 2009 году Яндекс для мгновенного построения отчетов по неагрегированным логам в режиме реального времени разработал первый прототип своей аналитической системы управления базами данных — ClickHouse. Сейчас эта СУБД может применяться в различных сферах для задач, где требуется огромная скорость обработки постоянно поступающей информации.

Зачем понадобились колоночные (столбцовые) системы управления базами данных
Универсальные СУБД при достаточно большой нагрузке либо становятся очень медленными, либо начинают потреблять большое количество серверных мощностей. Например, классическая проблема любой традиционной реляционной базы данных, которая хранит все в строках, — это очень медленная работа сложных аналитических запросов, если количество записей достигает нескольких миллиардов строк. При создании отчетов таким СУБД приходится анализировать множество лишней связанной информации. На скорость построения выборок из такого количества записей не влияет даже оптимизация — правильно настроенные ключи и индексы.

Чтобы ускорить построение отчетов, были придуманы колоночные СУБД, которые, как можно догадаться, изначально хранят данные в колонках. Если один столбец содержит единственный набор значений, то становится гораздо проще строить отчеты по каким-либо показателям. Колоночные СУБД лучше всего подходят для OLAP сценариев работы — обработки аналитических запросов в режиме онлайн. Для таких задач характерны следующие факторы:

• подавляющее большинство запросов идет на чтение;
• данные добавляются и обновляются достаточно большими пачками (> 1000 строк), а не по одной строке, или не добавляются и не обновляются вообще;
• данные добавляются в базу данных, но не изменяются;
• при чтении используется достаточно большое количество строк из базы данных, но только небольшое подмножество столбцов.

Если вы попытаетесь использовать для аналитики классические СУБД, то получите очень низкую производительность по сравнению с OLAP-СУБД. Это проще продемонстрировать визуально:



ClickHouse
Колоночная СУБД ClickHouse разрабатывалась, чтобы можно было в интерактивном режиме строить отчеты по неагрегированным логам пользовательских действий. Но этим возможности системы не ограничиваются. Со временем к ClickHouse была написана подробная документация, и базу данных стали активно использовать в других продуктах Яндекса — Директе, Маркете, Почте, ADFOX, Вебмастере, в мониторинге и бизнес-аналитике. Например, сервис нагрузочного тестирования Яндекс.Танк использует ClickHouse для хранения данных телеметрии. СУБД позволяла решать задачи, для которых раньше не было подходящих инструментов, или же с ней получалось это делать намного эффективнее, чем с другими системами.

Вот лишь некоторые архитектурные особенности ClickHouse:

• столбцовое хранение данных — данные считываются только из нужных колонок, и однотипная информация эффективно сжимается;
• поддержка приближенных вычислений на части выборки — снижается число обращений к жесткому диску, что еще больше повышает скорость обработки данных;
• физическая сортировка данных по первичному ключу — можно быстро получить конкретные значения или диапазоны;
• векторные вычисления по кусочкам столбцов — снижаются издержки на диспетчеризацию, эффективно используется CPU;
• распараллеливание операций как в пределах одного сервера на несколько процессорных ядер, так и в рамках распределенных вычислений на кластере за счет механизма шардирования;
• линейная масштабируемость — есть возможность построить кластер очень большого размера;
• работа с жесткими дисками — ClickHouse достаточно эффективно работает, когда данные не попадают в кеш памяти целиком. Дополнительно это снижает стоимость эксплуатации системы, так как жесткие диски дешевле RAM;
• отказоустойчивость — система представляет собой кластер шардов, где каждый шард — это группа реплик.

ClickHouse поддерживает клиенты для подключения к базе данных: консольный клиент, HTTP API, ряд wrapper’ов на Python, PHP, Node.js, Perl, Ruby, R и многие другие. Также для ClickHouse есть JDBC- и Golang-драйверы.



Где можно применять ClickHouse
За рамки внутренних проектов ClickHouse вышла в 2013 году, когда ее начали применять для анализа метаданных о событиях эксперимента LHCb в CERN. Базу данных могли бы использовать более широко, но в то время мешал закрытый статус. Однако уже в июне 2016 года исходный код ClickHouse был выложен в open source под лицензией Apache 2.0. Это позволило взять ее на вооружение IT-департаментам множества отечественных и зарубежных компаний. В их числе Cloudflare, Bloomberg, ВКонтакте, «Тинькофф банк», Avito, онлайн-кинотеатр ivi.ru, интернет-порталы Mail.ru и Rambler. Например, социальная сеть VK использует нашу СУБД для хранения и чтения отладочных логов. Аналогично делают и другие компании, сгружая в базы данных логи микросервисов и приложений за большой период, а затем быстро возвращаясь к ним для анализа.

ClickHouse в 2020 году — это полноценная СУБД, которая обладает очень широкими возможностями. Создавайте таблицы и базы данных в runtime, загружайте из разных источников данные, анализируйте их и выполняйте запросы без переконфигурирования и перезапуска сервера. ClickHouse позволяет реализовать быстрый доступ к корпоративным хранилищам данных, поддерживает декларативный язык запросов на основе SQL, во многих случаях совпадающий с SQL стандартом. СУБД можно интегрировать с такими Big Data системами, как Apache Kafka и HDFS, а также с MySQL и прочими внешними источниками данных через ODBC или JDBC.

Возможности колоночных СУБД и преимущества конкретно ClickHouse позволяют очень эффективно использовать нашу разработку в самых разных сферах. Это могут быть:

• аналитика веб-проектов и мобильных приложений;
• рекламные сети и real-time bidding (торги в реальном времени);
• телекоммуникации;
• электронная коммерция и финансы;
• информационная безопасность;
• бизнес-аналитика;
• онлайн-игры;
• интернет вещей.

Но по-прежнему главное преимущество ClickHouse — невероятная скорость. Она позволяет решать очень важную общую задачу бизнеса в области аналитики поведения клиентов — очень быстро и легко генерировать аналитические отчеты по большим данным в режиме реального времени. Это актуально для ритейла, телекома, любой интернет-инфраструктуры, хранения данных и быстрого к ним доступа с устройств интернета вещей и т. д.

ClickHouse позволяет отслеживать бизнес-метрики для анализа поведения пользователей на сайте магазина или в онлайн-играх. Компании могут даже собирать и создавать витрины данных для своих клиентов, предоставляя им безопасный доступ только к той информации, которой можно делиться.

Что дальше?
Мир накапливает очень много больших неструктурированных данных, к которым нужно иметь доступ в режиме реального времени. И для этого необходимо развивать и совершенствовать такие системы управления базами данных, как ClickHouse.

Следующим шагом для бизнеса должен стать переход в облачные решения, чтобы иметь возможность быстро визуализировать данные без долгой покупки и настройки железа, мгновенно настраивать дашборды под свои задачи, а также в реальном времени анализировать события и бизнес-процессы.

Для этого уже есть сервис Yandex Managed Service for ClickHouse, который помогает разворачивать и поддерживать в инфраструктуре Yandex.Cloud кластеры баз данных на основе ClickHouse. Вы получаете все описанные преимущества колоночных СУБД, и при этом вам не нужно покупать и настраивать железо, разбираться со сложностями в обслуживании баз данных и решать проблемы с обновлением. Кроме того, Yandex Managed Service for ClickHouse значительно повышает безопасность работы и позволяет создавать хосты кластера в разных зонах доступности.

Создайте свой первый кластер ClickHouse
console.cloud.yandex.ru/link/managed-clickhouse/

2 октября Yandex.Cloud и Комитет по информатизации и связи Правительства Санкт-Петербурга подписали меморандум о сотрудничестве.

Главная цель сотрудничества — повысить эффективность государственного управления в Санкт-Петербурге, уровень автоматизации функций исполнительной власти, а также качество жизни в городе за счет внедрения современных информационных технологий.

«Санкт-Петербург традиционно стремится быть в авангарде инновационного развития, отвечая самым современным требованиям и запросам общества к качеству городской среды», — отметил председатель Комитета по информатизации и связи Станислав Казарин.

Меморандум был подписан в рамках всероссийского форума «IT Диалог — 2020». В этом году форум стал площадкой для совещания рабочей группы ИТ-руководителей регионов РФ. В нем приняли участие эксперты из 25 регионов России.

Появились новые сервисы:

• Yandex Data Transfer — инструмент для миграции баз данных. Подробнее в документации.
• Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch и Kibana в инфраструктуре Yandex.Cloud. Подробнее в документации.
• Yandex Managed Service for SQL Server — сервис для управления кластерами популярной реляционной СУБД SQL Server в инфраструктуре Yandex.Cloud. Подробнее в документации.
• Мобильное приложение Yandex.Cloud. Подробнее в документации.
• Реферальная программа — программа привлечения новых клиентов Yandex.Cloud с помощью распространения реферальных ссылок. Подробнее в документации.

Обновились документы:

• Биллинг
• Сценарии использования
• Yandex API Gateway
• Yandex Certificate Manager
• Yandex Cloud Functions
• Yandex Compute Cloud
• Yandex Container Solution
• Yandex Data Proc
• Yandex DataLens
• Yandex DataSphere
• Yandex Instance Groups
• Yandex Managed Service for Apache Kafka
• Yandex Managed Service for ClickHouse
• Yandex Managed Service for Kubernetes
• Yandex Managed Service for MongoDB
• Yandex Managed Service for MySQL
• Yandex Managed Service for PostgreSQL
• Yandex Managed Service for Redis
• Yandex Monitoring
• Yandex Object Storage
• Yandex Virtual Private Cloud
• Yandex Database

cloud.yandex.ru/blog/posts/2020/10/docs-digest

Yandex.Cloud растет и развивается. Сегодня в одном посте мы расскажем обо всех релизах Yandex Scale 2020, новых сервисах и возможностях облачной платформы.



Инфраструктура
Новые сервисы

• Certificate Manager перешел со стадии Preview в общий доступ. Теперь вы можете создавать TLS-сертификаты от Let’s Encrypt или импортировать пользовательские сертификаты для защиты своих сервисов.

Новые функциональности в сервисах

• Выделенные хосты в Compute Cloud — физически изолированные серверы, которые подойдут компаниям с высокими требованиями безопасности. С ними вы можете пользоваться сервисами Yandex.Cloud и устанавливать собственные лицензии Microsoft, Oracle и другие лицензии, требующие выделенных серверов.
• Нереплицируемые сетевые диски в Compute Cloud. Диски с повышенной производительностью за счет отказа от репликации данных. Такие диски вы можете использовать для баз данных с репликацией (MySQL®, PostgreSQL), в качестве зеркала для хранения данных в формате read-only, или для данных, которые можно вычислить заново (например, кэш).
• Нереплицируемые диски находятся в Preview, предоставляются по запросу и не тарифицируются.
• Технология NVIDIA® vGPU в Compute Cloud. Теперь в Yandex.Cloud вы можете использовать виртуальные графические ускорители (GPU).
• Доступна конфигурация ВМ с Intel Xeon Gold 6230R. С этой конфигурацией вы получите 80 vCPU и 640 ГБ RAM.
• 8 GPU в Compute Cloud. Теперь вы можете создавать высокопроизводительные виртуальные машины и устанавливать в них до 8 графических карт NVIDIA Tesla V100 с 32 ГБ памяти c высокой пропускной способностью.
• Рандомизация остановки прерываемых ВМ в группах Instance Groups. Это позволит вам поддерживать доступность группы одновременно созданных прерываемых ВМ.
• Instance Groups: деликатная стратегия остановки ВМ. При выборе такой стратегии сервис ожидает, когда ВМ остановятся самостоятельно или будут остановлены пользователем, и затем запускает обновление.
• Переменные в шаблонах виртуальных машин Instance Groups позволят вам из одного шаблона развернуть группу различных виртуальных машин.
• Версионирование в Object Storage. Теперь вы можете хранить историю объекта и восстанавливать нужную версию из списка. Это дополнительно защитит ваши данные как от непреднамеренных действий пользователя, так и от сбоев приложений.
• Политики доступа в бакеты Object Storage. С политиками доступа вы можете устанавливать права на действия с бакетами, объектами и группами объектов.
• Группы безопасности Yandex Virtual Private Cloud. С группами безопасности вы можете изолировать нежелательный трафик, сегментировать сетевую инфраструктуру и настраивать правила для приёма и передачи трафика.
• Сервисные роли для более гибкого управления ресурсами Virtual Private Cloud и Load Balancer.
• Увеличение размера томов в Managed Service for Kubernetes.

Serverless
Новые сервисы

• Сервис Yandex Database (YDB) вышел в общий доступ. YDB — геораспределённая отказоустойчивая база данных, которая обеспечивает высокую доступность, масштабируемость, и, в то же время, строгую консистентность и поддержку ACID-транзакций. Теперь вы можете выбрать режим работы с выделенными серверами или бессерверный режим.
• Yandex API Gateway, сервис для создания API-шлюзов, стал общедоступным. С API Gateway вы можете организовать доступ к статическим данным напрямую из хранилища Object Storage, обработать запрос с помощью сервиса Cloud Functions или отправить HTTP-запрос в произвольный веб-сервис.

Новые функциональности в сервисах

• На serverless-решения до октября 2021 года действуют специальные тарифы, которые позволят создавать и размещать небольшие сайты и сервисы бесплатно.
• Бессерверный режим в Yandex Database. При создании кластера вы можете выбрать режим бессерверных вычислений и платить только за запросы к базе данных. Режим позволяет создавать таблицы двух типов: совместимые c API Amazon DynamoDB и с собственным YDB API.
• Новые языки Cloud Functions. Теперь вам доступны 8 языков программирования, включая Java, R и C#.
• Домены для Yandex API Gateway. Вы можете подтвердить права на домен в сервисе Certificate Manager и использовать этот домен для обращения к API.

Платформа данных
Новые сервисы

• Yandex Managed Service for SQL Server — управляемый сервис для СУБД SQL Server. Включает в себя Enterprise лицензии SQL Server 2016 ServicePack 2 и позволяет не беспокоиться об обслуживании баз данных.
• Yandex Managed Service for Elasticsearch — сервис для управления кластерами Elasticsearch. Вы можете загружать текстовые документы в JSON-формате с помощью API, индексировать и хранить их. С его помощью вы можете настроить полнотекстовый поиск и анализ информации, содержащейся в этих документах.
• Yandex Data Transfer — удобный инструмент для миграции баз данных и консолидации нескольких баз данных в одну. На данный момент доступна миграция однородных баз данных MySQL® и PostgreSQL.
• Все сервисы находятся на стадии Preview и не тарифицируются.

Новые функциональности в сервисах

• Гибридное хранение в Managed Service for ClickHouse. Теперь вы можете комбинировать сетевые диски и объектное хранилище Object Storage для хранения данных в кластерах ClickHouse.
• Автоматическое масштабирование Data Proc. Data Proc использует группы виртуальных машин для автоматического масштабирования подкластеров Compute Cloud, чтобы наращивать или уменьшать вычислительные ресурсы.
• Декомиссия в Data Proc поможет уменьшить размеры подкластеров и вывести хосты, если необходимо освободить мощности в COMPUTENODE и DATANODE подкластерах.
• Автоматическое масштабирование и декомиссия поддерживаются для кластеров Data Proc версии 1.2 и выше.
• Data Proc UI Proxy обеспечит доступ к web-интерфейсам компонентов кластера и позволит настроить совместную работу в Zeppelin notebooks.
• Инструмент диагностики PostgreSQL сочетает удобный интерфейс и понятную визуализацию для контроля нагрузки на базу данных и мониторинга состояния кластера Managed Service for PostgreSQL.
• Версия MongoDB 4.4. Теперь в Managed Service for MongoDB поддерживаются версии MongoDB 3.6, 4.0, 4.2 и 4.4.
• Версии PostgreSQL 11 и 12 для 1C. Вы можете выбрать версию 11-1c при создании кластера Managed Service for PostgreSQL в консоли управления, через CLI или API. Версия 12-1c доступна по запросу в техподдержку.
• Point in Time Recovery в Yandex Managed Service for MongoDB. Механизм позволяет восстановить базу данных из любого состояния за последние 7 дней.
• Шардинг MongoDB теперь на 40% дешевле за счет объединения mongos и mongocfg на одних хостах.
• При создании кластера вы можете настроить время, когда с кластером будут проводиться работы, требующие нарушения доступности.
• Последняя версия Redis 6 теперь и в Managed Service for Redis.

ML & AI
Новые сервисы
Yandex DataSphere — сервис, который объединяет наиболее востребованные инструменты и динамически масштабируемые ресурсы, необходимые для анализа данных, разработки и эксплуатации моделей машинного обучения. Сервис помогает пройти полный цикл создания модели: от эксперимента и разработки до запуска готовой версии в эксплуатацию на вычислительных мощностях Yandex.Cloud.
Yandex DataSphere выйдет в общий доступ 1 октября 2020 года.

Новые функциональности в сервисах
Интеграция с Apache Spark. Теперь в DataSphere вы можете выполнять распределённые вычисления на кластере Apache Spark, запущенном в сервисе Yandex Data Proc.

Мобильное приложение
Мы сделали платформу облачных технологий ещё удобнее и запустили приложение Yandex.Cloud на мобильных устройствах.
Приложение уже доступно для скачивания в App Store и Google Play.

Новые возможности для партнёров

• Yandex Cloud Marketplace расширяется и включает работу с данными DataLens. Теперь любая компания, разрабатывающая свои приложения и сервисы, может пользоваться геослоями и датасетами.
• Открыта реферальная программа: делитесь ссылками с клиентами и получайте 10% от их расходов в Yandex.Cloud.
• Специализация SpeechKit Pro позволит партнёрам создавать и реализовывать свои технологические решения с использованием расширенных возможностей синтеза и распознавания речи SpeechKit.

Мы готовы помочь, если у вас возникли вопросы, — напишите нам. И мы также открыты для ваших предложений на странице Идеи.

cloud.yandex.ru

1 октября заработает реферальная программа для партнеров Yandex.Cloud.

Схема работы очень простая: вы подключаетесь к партнерской программе, делитесь ссылкой с теми, кому могут быть интересны и полезны наши облачные решения, и, если в результате этого в Yandex.Cloud появляется новый пользователь, вы получаете вознаграждение. Оно составит 10% от ежемесячного потребления в течение года, но не более 2 500 ₽ в месяц за одного клиента. Подробнее в документации.
cloud.yandex.ru/docs/partner/program/referral

О том, сколько зарабатывают наши партнеры и какие услуги оказывают, читайте на странице программы Yandex Cloud Professionals.
cloud.yandex.ru/partners/service

В маркетплейсе Yandex.Cloud появился раздел «Геослои», в котором собраны обезличенные геоинформационные данные от партнеров сервиса. Они могут размещать свой контент на безвозмездной или платной основе. Клиенты Yandex.Cloud будут получать доступ к необходимым данным в интерфейсе сервиса, анализировать их с помощью Yandex DataLens и использовать для бизнес-целей. Например, пользователи могут оценивать потенциальный спрос на продукты или перспективы открытия торговых точек, планировать расширение зон поставок или маркетинговые кампании.

В разделе уже доступен контент двух партнеров — «Центра пространственных исследований» на коммерческой основе и Росстата на безвозмездной, а также два примера геоаналитики от Яндекса — «Аудитория: интересы и соцдем» и «Организации: спрос и предложение». С помощью DataLens пользователи могут комбинировать и анализировать все пресеты данных для принятия бизнес-решений.

Мы стремимся дать партнерам не просто технологии, а инструменты для монетизации любого интеллектуального продукта, который может быть сделан или улучшен с помощью облака. Отдельно отмечу, что все весь контент раздела „Геослои“ — это исключительно агрегированные и обезличенные данные, по которым невозможно получить детализацию по конкретному устройству или пользователю

прокомментировал Олег Коверзнев, операционный директор Yandex.Cloud.

Соглашение о сотрудничестве с Росстатом предполагает совместную работу по подготовке пакетов различных открытых данных. Уже доступны показатели естественного движения населения, а также другая демографическая информация.

Росстат размещает в открытом доступе большие массивы данных, доступных любым пользователям. Благодаря сотрудничеству с Yandex.Cloud они приобретут дополнительную ценность для исследователей, аналитиков и бизнеса. Инструменты платформы позволяют объединять источники, делать быстрый анализ, строить наглядную визуализацию и в результате оперативно принимать стратегические решения

отметил Павел Смелов, заместитель руководителя Росстата.

«Центр пространственных исследований» предоставил геоинформационные данные по населению, домохозяйствам в новостройках, а также индексам бизнес-потенциала для различных сфер. Кроме того на бесплатной основе доступен дашборд по мониторингу сетевой торговли РФ, который ведется с 2015 года и содержит индекс развитости региона с точки зрения федеральных игроков ритейла.

Наши аналитические инструменты, индексы и экспертиза в сочетании с возможностями DataLens — своевременный ответ на запрос b2b- и b2c-рынков. Это и есть облачный вариант location intelligence, который в последнее время развивается за рубежом, а теперь и в России

прокомментировал Денис Струков, к. т. н., генеральный директор Центра пространственных исследований.


Общий доступ к маркетплпейсу Yandex.Cloud открыт в 2019 году. Это площадка, на которой клиенты могут напрямую получать от разработчиков и издателей доступ к бизнес-приложениями. Сегодня доступны 47 приложений и сервисов: от операционных систем до инструментов защиты информации генетического анализа.