Диски с мгновенным откликом и ClickHouse 20: декабрьский апдейт от MCS



Это выжимка новостей на платформе MCS за прошлый месяц. Новости можно получать в реальном времени в Телеграм-канале обновлений MCS.

Дисковые конфигурации с мгновенным откликом
Мы открыли ранний доступ к новому типу дисков Low-Latency NVME с гарантированным временем отклика дисковой подсистемы 0,5 мс с SLA 99,95%. Данный тип дисков многократно снижает задержку при совершении операций с дисковой подсистемой и решает задачи высоконагруженных систем, таких как сервера баз данных или ERP.

Low-Latency NVME можно подключить при выборе высокопроизводительных CPU (флейвор «Freq») на процессорах Intel Xeon Gold 6230R 3.4 ГГц и Gold 6238R 3.4 ГГц.
Для получения доступа к Low Latency NVME обратитесь в службу поддержки, указав количество CPU и RAM, которые планируете использовать с Low Latency NVME.
Обратиться через сайт, через Телеграм.

ClickHouse 20.8 в сервисе Mail.ru Cloud Databases
Наш DBaaS теперь поддерживает ClickHouse 20.8, как в single-, так и в кластерных конфигурациях. В новой версии вы сможете подключать внешние словари через SQL, настраивать с помощью SQL гранулярные права доступа, использовать SEMI/ANTI JOIN и работать с DateTime64 с точностью до наносекунд.
Создать базу ClickHouse

Настройка списка сервисов в меню слева
В личном кабинете слева есть меню со всеми сервисами MCS. Теперь для удобства вы можете скрыть в нём сервисы, которые не используете. Для этого внизу меню кликните больше сервисов.


Смена типа диска без остановки машины
Тип диска виртуальной машины теперь можно менять без её остановки. Например, поменять диск HDD на SSD. Документация о смене типа диска
mcs.mail.ru/help/ru_RU/vm-volumes/volume-convert

Ждем вас на вебинарах:
15 декабря мы совместно с Tarantool проведем вебинар «Деплоим приложение на Tarantool Cartridge в кластер Kubernetes MCS»
events.webinar.ru/mcs/Tarantool

17 декабря. Вебинар «Первые шаги при подключении к облаку или все что нужно знать о настройке сети»
Расскажем, как построить современную сетевую инфраструктуру: все этапы настройки виртуальной сети, обеспечение удаленного доступа, безопасности и отказоустойчивости на уровне инфраструктуры и необходимо сделать для правильного распределения нагрузки сети.
events.webinar.ru/mcs/7393355

22 декабря. Вебинар«MLOps без боли в облаке MCS #1: Разворачиваем Kubeflow. Простые масштабируемые воркфлоу для ML на Kubernetes»
Мы начнем серию вебинаров “MLOps без боли” с Kubeflow — он позволяет создавать индивидуальные окружения для тестирования: с гибкой настройкой, используя Docker и Kubernetes, — а также решить проблему воспроизводимости экспериментов.
events.webinar.ru/mcs/7395709

Посмотреть наши прошедшие вебинары:

Почитать:
5 новых прогнозов Forrester о цифровизации на 2021 год
State of DevOps Report 2020: как платформенный подход развивает культуру DevOps
Четверть IT-директоров крупных компаний практически станут исполнительными директорами к 2024 году

Ноябрьский апдейт от MCS



Это квитнэссенция всего нового, что произошло на платформе MCS за прошлый месяц. (Кстати, вы можете получать новости быстрее в Телеграм-канале обновлений MCS)

Всё о нашем Kubernetes aaS
в одной хабрастатье. Что в него входит, что поддерживает, с чем совместим, какие планы развития. habr.com/ru/company/mailru/blog/519366/

Поддержка облачного Kubernetes 1.17
Теперь в MCS можно развернуть кластеры Kubernetes версии 1.17 под управлением CentOS.

Поддержка УЗ-2 по требованиям ФЗ-152
Публичный MCS имеет аттестат ФСТЭК о соответствии систем защиты информации требованиям безопасности 2 уровня защищенности (УЗ) персданных.
Аттестат соответствия УЗ-2 app.mcs.st/___files/certificates/att_21.pdf

Управление CDN через личный кабинет
CDN — сервис для быстрой и надёжной доставки любого контента до клиентов и защиты сервисов от DDoS-атак. Раньше CDN нужно было подключать через форму заявки. Теперь подключение и управление происходит через личный кабинет.

Видеоинструкции в личном кабинете:
Мы встроили видеогайды в разделы Облачные вычисления и Виртуальные сети. Видео помогут быстро создать и настроить инфраструктуру в необходимой конфигурации через GUI.
К первому гайду про настройки виртуальных машин


Ждем вас на вебинарах:
19 ноября. Вебинар «Как управляться с данными: большими и не очень. Современные платформы в облаке»
Как с помощью платформенных решений современного облака построить правильную инфраструктурную основу для управления данными: от хранения до машинного обучения и предиктивной аналитики.
events.webinar.ru/mcs/bigdata1

24 ноября. Вебинар «Как выжать максимум из управляемого Kubernetes»
На примере сервиса Mail.ru Cloud Containers расскажем, как устроен продвинутый K8s как сервис и что он умеет. Что будет, если в кластер добавить 1000 нод, как работает балансировка трафика и как в MCS предотвращают аварии.
events.webinar.ru/mcs/kubernetes1

Почитать:

Новые кейсы:

Октябрьский апдейт от MCS



Это дайджест новостей платформы MCS за прошлый месяц.

Управление сервисами Big Data из личного кабинета. Раньше управлять ими приходилось из вспомогательной панели Horizon. Теперь управление — полностью из личного кабинета.


Подключение решений 1С на платформе MCS. Теперь через личный кабинет можно подключить приложения 1С в виде SaaS: 1С: Бухгалтерия, 1С: Зарплата и управление персоналом, 1С: Управление нашей фирмой.

Свой Terraform-провайдер MCS для Kubernetes. Terraform нужен, чтобы управлять инфраструктурой как кодом (IaС). Раньше Kubernetes на MCS можно было управлять только с помощью стандартного Terraform-провайдера OpenStack, который не был полностью совместим с API MCS. Теперь мы открываем собственный Terraform-провайдер MCS с полной поддержкой API.
mcs.mail.ru/help/howto-containers/ru-kubernetes-terraform

Отображение топологии сети. Теперь в разделе Виртуальные сети можно увидеть интерактивную схему вашей виртуальной сети. Её элемент можно кликать и смотреть их свойства.

Связывать плавающий IP с фиксированным теперь проще. Виртуальную машину можно привязать к плавающему адресу прямо при её создании или при добавлении подключения в её свойствах.
mcs.mail.ru/help/fip-control-mcs

Шаринг образов виртуальных машин между проектами. Раньше пользователь мог делиться образами между своими проектами только при создании образа. Теперь делиться образом можно в любой момент, через его свойства.

Посмотреть:
Вебинар про построение интернет-магазина в облаке: с 0 до Aliexpress
www.youtube.com/watch?v=Tqs13edLzZU

Вебинар о том, как упростить хранение данных с помощью S3
www.youtube.com/watch?v=rfNRlZQW9tk

Почитать:

Сентябрьский апдейт от MCS



В этом письме дайджест новостей продуктов MCS за прошлый месяц. А в реальном времени их можно получать в этом Телеграм-канале.

Актуальный статус сервисов MCS можно посмотреть на этом дашборде. Чтобы оставаться в курсе состояния систем и проводимых работах, подписывайтесь на обновления на странице дашборда.
status.mcs.mail.ru/

Все квоты на одной странице. Квоты — объём сервисов, который вы можете получить без обращения к провайдеру, через личный кабинет. Теперь на одной странице можно посмотреть все ваши квоты и их расход. В строке любого параметра можно кликнуть значок (i) и получить детали расходования.

Вертикальное масштабирование PostgreSQL — теперь и для кластера. Чтобы поменять мощность инстансов, на которых работает база данных, в списке инстансов найдите нужный и нажмите кнопку «три точки» справа от её названия.


Расширения для кластеров DBaaS. В Mail.ru Cloud Databases расширения (аддоны) теперь достуны и для кластерных конфигураций. Они включают prometheus (сбор метрик), postGIS (геоданные), pgcrypto (криптографические функции). Читать о добавлении расширений.
mcs.mail.ru/help/addons-db

Почитать:

Августовский апдейт от MCS: все сервисы как на ладони



Из главного — мы запустили Postgres Pro в облаке, собрали всю информацию о нашем CDN на одной странице и обновили меню наших сервисов, так что их стало удобнее искать и выбирать:
mcs.mail.ru/blog/mail-ru-cloud-solutions-zapuskayut-postgres-pro-cloud
mcs.mail.ru/cdn-new/

Меню всех сервисов — теперь на любой странице MCS.

Технические решения на MCS:
[Хабр] Автоматизация развертывания гибридного облака MCS←→AWS
[Хабр] Пример event-driven приложения на основе вебхуков в объектном S3-хранилище

Почитать:
[Хабр] Пример event-driven приложения на основе вебхуков в объектном S3-хранилище.
[VC] Кейс «Бессмертный полк»: как аутсорс помог сэкономить на IT и справиться с пиковой нагрузкой на инфраструктуру.
[MCS: Завтра облачно] Цифровизация по-спартански: со щитом или на щите. Как справляются с этой гонкой цифровизации в разных отраслях.

Прошлый дайджест за июль: гайды, кейсы и @Databases Meetup #2.
mcs.mail.ru/blog/chto-novenkogo-v-mail-ru-cloud-solutions-daydzhest-za-iyul

Июльский апдейт от MCS



Руководства
  • [Хабр] Практическое руководство, как настроить работу с объектным S3-хранилищем Mail.ru Cloud Solutions как с файловой системой. Чтобы совместить надёжность объектного хранилища и удобство «традиционной работы с папочками». habr.com/ru/company/mailru/blog/507470/
  • Настройка CORS для объектного хранилища MCS. CORS — технология безопасного встраивания в веб-страницы элементов, которые находятся на других доменах. Если источник таких элементов — объектное хранилище, нужно его настроить, и этот гайд вам поможет. mcs.mail.ru/help/storage-api/cors
  • Развёртывание виртуальных машин из образов в Магазине приложений. Гайд поможет вам подключить виртуальную машину с предустановленным образом. Сам образ бесплатный, оплачиваются только мощности виртуальных машин. mcs.mail.ru/help/connectandcontrol/connect_and_control

Дайджест кейсов: как компании решают проблемы надёжности и масштабируемости с помощью облачных сервисов
  • «СмотриMail.ru»: Как использовать объектное хранилище S3, чтобы быстро стартовать. «Смотри Mail.ru» – новый видео-рекомендательный сервис. Для быстрого старта проекту потребовалось надежное хранилище с возможностью гибкого масштабирования и оперативного наращивания мощностей. Для каких задач используется облачная платформа, рассказал технический директор «Смотри Mail.ru» Андрей Чупейкин. mcs.mail.ru/cloud-platform/success-story/smotri-mail/
  • Max Group: как мы «разогнали» Max Merch, сократив стоимость инфраструктуры на 20%. Max Group оказывает услуги торгового маркетинга. Мерчендайзеры и супервайзеры выполняют задачи через SaaS-решение: приложение Max Merch. Как переход на MCS помог повысить отказоустойчивость и быстродействие рабочей системы, рассказал IT-директор Max Group Игорь Сочнев. mcs.mail.ru/cloud-platform/success-story/max-group/
  • «Биорг»: как мы решили вопрос с облачной обработкой и хранением документов. Компания «Биорг» работает с оцифровкой персданных, объединяя распознавание сложных изображений на нейросетях и краудсорсинговый сервис с >55 000 операторов. Как выбрали провайдера и обеспечили безопасное хранение персданных, высокую скорость и масштабирование в облаке, рассказал директор по продажам и развитию “Биорг” Александр Коробов. mcs.mail.ru/cloud-platform/success-story/beorg/
  • «Бессмертный полк»: как мы обеспечили безотказный доступ к историям поколения ВОВ в период пандемии. В 2020 году в преддверии 9 мая из-за изоляции количество посетителей онлайн-ресурса «Бессмертный полк» выросло в три раза. Как удалось обеспечить безотказную работу под пиковой нагрузкой, рассказали сопредседатель движения “Бессмертный полк” Сергей Колотовкин и Генеральный директор Git in SKY Сергей Житинский. mcs.mail.ru/cloud-platform/success-story/bessmertnyj-polk/
  • [VC] Сборник кейсов про S3-хранилище: Как используют объектное хранилище, чтобы обыграть конкурентов vc.ru/services/134157-kak-ispolzuyut-obektnoe-hranilishche-chtoby-obygrat-konkurentov

Видео с @Databases Meetup #2
В конце июня мы совместно с Tarantool провели второй @Databases Meetup. Развёрнутая программа тут. А вот и сами доклады с видео:
  • Как собрать гибридное облако с помощью Kubernetes, которое может заменить DBaaS (Петр Зайцев, генеральный директор Percona). Обычно DBaaS создает вендор-лок. С Kubernetes можно собрать полностью опенсорсное гибридное облако, которое заменит DBaaS без привязки к вендору. Как в этом поможет фреймворк Kubernetes Operator?
  • Архитектура S3: 3 года эволюции Mail.ru Cloud Storage (Владимир Перепелица, архитектор платформы Mail.ru Cloud Solutions). Как произошёл рост проекта до кластера в 10-ки ТБ и какую роль в развитии S3 сыграло использование базы данных Tarantool.
  • JSON[b] в Postgres: Пора великого объединения (Олег Бартунов, генеральный директор, сооснователь Postgres Professional). История создания Json, реализации, планы по его развитию, включая соответствие SQL-стандарту.
  • Эволюция Postgres Pro за годы существования и стратегические планы по развитию (Иван Панченко, сооснователь и заместитель генерального директора Postgres Professional). Почему компания выпустила свой форк Postgres, отличия от PostgreSQL, планы по развитию продукта.

Это был второй митап целой серии, так что не теряйте нас с радаров.
corp.mail.ru/ru/press/events/databases-2/

Майский апдейт от MCS



Сделали шпаргалку по выбору облачного провайдера
Тут есть вещи, которые иногда забывают даже эксперты. Из главного:
  • Не оценивайте будущие расходы только по стоимости виртуальных машин аналогичной мощности. Провайдеры по-разному тарифицируют трафик, балансировку и многое другое, и это может менять стоимость в разы.
  • Постройте тестовую конфигурацию и проверьте облако в деле. Это поможет оценить будущие расходы.
  • Вот линк на шпаргалку целиком: как выбрать провайдера, даже если не разбираешься в ИТ
app.mcs.st/___files/white-paper_how-to-choose-your-iaas-provider.pdf

Компания «Биорг» перенесла сервис на MCS
Beorg Smart Vision — сервис по распознаванию сложных объектов и данных, включая рукописный текст. Переход на MCS обеспечил конфиденциальность, выполнение 152-ФЗ, скорость обработки и передачи информации и возможность быстрого масштабирования. «Биорг» использует облачное объектное S3-хранилище.
www.cnews.ru/news/line/2020-05-12_platforma_mailru_cloud_solutions_masshtabiruet

Почитать
Хабр: Безопасность и СУБД: о чём надо помнить, подбирая средства защиты
Завтра облачно: К 2023 году 70% международных компаний будут использовать хотя бы два контейнерных приложения
Узнавайте о новостях MCS в нашем Телеграм-канале. t.me/mcsnews

Объедините все данные в универсальном хранилище с S3-совместимом API



Объедините все данные вашего бизнеса и пользовательских приложений в одном надёжном и масштабируемом облачном хранилище. Поддержка S3-совместимого API позволит легко интегрировать хранилище с любыми приложениями и упростить процесс хранения, передачи и обработки объектов.

Удобство использования:
  • Хранение и передача любого объема тяжелых исходников в любом формате
  • Обработка тысячи запросов в секунду. Контроль в реальном времени
  • Автоматизация обработки и конвертирования файлов с web-hooks
  • Совместное использование ресурсов между разными источниками
  • Быстрый доступ к файлам любого числа пользователей в любой точке мира
  • Multipart Upload для стабилизации и ускорения загрузки файлов
  • Гибкая оплата в зависимости от ожидаемого объема скачивания
  • Хранение 1 ГБ — от 1,6 ₽ в месяц.

mcs.mail.ru/storage

Повышаем цены на продукты Microsoft



В начале 2019 года продукты Microsoft стали облагаться НДС, и стоимость лицензий на них выросла более чем на 20%.

Больше года мы оттягивали момент, когда это изменение коснётся наших клиентов. Мы всё надеялись, что налог отменят. Но… наступил тот самый момент, когда мы вынуждены сообщить о пусть и небольшом, но повышении цен на продукцию Microsoft.

С 1 июня для новых и текущих клиентов лицензии Microsoft в составе наших продуктов будут иметь следующую стоимость:
  • Microsoft Windows Server Std, 2 vCPU/месяц 290 → 315 ₽
  • Microsoft Rmt Dsktp (RDP), 1 шт/месяц 330 → 410 ₽
  • Microsoft SQL Server Std, 2 vCPU/месяц 9 500 → 10 300 ₽
  • Microsoft SQL Server Ent, 2 vCPU/месяц 36 000 → 39 500 ₽
  • Microsoft SQL Server Std, (1 user), шт/месяц 1 050 → 1 100 ₽

Нерабочий апрель и рабочие апдейты от MCS



Мы открыли Arenadata DB как сервис
Новый сервис управляемой облачной СУБД — Arenadata DB, мощная распределённая аналитическая база данных на основе Greenplum для больших данных в больших проектах. В списке сервисов новую СУБД можно найти в разделе Аналитические БД.

Запросите Trial и попробуйте Arenadata DB в тестовом периоде
mcs.mail.ru/databases/arenadata-db/?

Смотрите видео о внутреннем устройстве Greenplum с нашего @Databases Meetup:

Раздел «Виртуальные сети»
Разделы Настройки Firewall, Балансировщики нагрузки, Сети и VPN перенесены из раздела Облачные вычисления в новый раздел личного кабинета MCS: Виртуальные сети.

Документация по этим настройкам тоже объединена.
mcs.mail.ru/help/network

Резервное копирование кластера Kubernetes в MCS с помощью Velero
Velero — инструмент для резервного копирования объектов Kubernetes, включая копии Persistent Volumes, в объектное хранилище. Velero идеально подходит для плана аварийного восстановления и создания бекапов при подготовке кластера к обновлению. Теперь Velero совместим с кластерами Mail.ru Cloud Containers и нашим объектным хранилищем.
Как настроить взаимодействие Velero с кластером Kubernetes на MCS и его бекапирование в объектное S3-хранилище MCS
mcs.mail.ru/help/backup-k8/kubernetes-velero
mcs.mail.ru/help/backup-k8/kubernetes-velero

Доступны инстансы с ОС openSUSE
Теперь при создании инстанса можно выбрать ОС SUSE Linux Enterprise Server. Эта ОС рекомендована для запуска нагрузок SAP и проходит регулярную сертификацию ФСТЭК. Пользователи MCS получат доступ к русскоязычной технической поддержке компании SUSE.

Оповещения в личном кабинете
Теперь новости продуктов и другая важная информация отображаются в личном кабинете в виде уведомлений.


Почитать
Хабр: Базы данных в IIoT-платформе: как Mail.ru Cloud Solutions работают с петабайтами данных от множества устройств
VC: Тренды интернета вещей: ИИ отвечает на звонки, облака и 5G приручают big data, ЖКХ — лидер инноваций
Узнавайте о новостях MCS в нашем Телеграм-канале.