Сегодня мы хотим рассказать о такой полезной функции Яндекс.Облака как прерываемые виртуальные машины. Это специальная опция, которую вы можете выбрать при создании виртуальной машины, чтобы использовать вычислительные ресурсы по сниженной цене. Что же такого особенного в прерываемых виртуальных машинах, почему они стоят дешевле обычных и в каких случаях разумно их применять?



Мощности Яндекс.Облака, а точнее, инфраструктурного сервиса Yandex Compute Cloud, заметно больше тех, что задействуются пользователями. По умолчанию предполагается, что у пользователей должна быть возможность условно неограниченного масштабирования. Как минимум из этих соображений, без учета других аспектов, доступные ресурсы облачной платформы существенно превышают текущий спрос. Именно на этих свободных мощностях и создаются прерываемые виртуальные машины.

Основные ограничения
Коротко сущность прерываемых виртуальных машин можно описать так: сервис предлагает использовать свои свободные вычислительные ресурсы по меньшей цене при условии, что эти ресурсы могут быть отозваны в любой момент.

В целом прерываемые виртуальные машины работают как обычные виртуальные машины, но для них установлен ряд ограничений:

• На них не распространяется соглашение об уровне обслуживания (SLA).
• Не гарантируется возможность создания и запуска.
• Они могут быть принудительно остановлены в любой момент. Вероятность остановки невелика, однако не равна нулю, может меняться со временем и различаться в разных зонах доступности Яндекс.Облака.
• Прерываемую виртуальную машину нельзя сделать обычной, а обычную прерываемой. Соответствующий флаг устанавливается один раз и не меняется.
• Машина обязательно будет остановлена в срок, не превышающий 24 часа.

На практике в подавляющем большинстве случаев прерываемые виртуальные машины отрабатывают все 24 часа, предусмотренные условиями сервиса. Принудительная остановка, как правило, происходит только тогда, когда в конкретной зоне доступности за короткий период создается большое количество обычных виртуальных машин: появляется новый пользователь с серьезными потребностями или массово масштабируются текущие пользователи.

При этом остановленную виртуальную машину можно запустить снова: все данные на дисках сохраняются и при автоматическом и при ручном выключении.

Сценарии использования
Ограничения для прерываемых виртуальных машин вызывают логичный вопрос: как их применять, если ресурсы могут быть отозваны в любой момент? В качестве пояснения приведём несколько возможных сценариев использования.

Пакетная обработка данных
Пакетная обработка подразумевает параллельное исполнение большого количества ресурсоёмких заданий. Это может быть преобразование форматов файлов, обработка и распознавание изображений, ETL-операции. Суть в том, что при пакетной обработке существует очередь заданий и целый набор рабочих процессов (исполнителей), получающих задания из очереди. Если отдельный исполнитель, запущенный на прерываемой машине, остановится, задание будет просто передано следующему исполнителю. Другими словами, остановка одной или даже нескольких виртуальных машин не окажет существенного негативного влияния на процесс и результат обработки.


При пакетной обработке данных речь идет об использовании десятков виртуальных машин. Применение прерываемых машин даёт очень заметную экономию. Сейчас один из главных потребителей производительных прерываемых виртуальных машин с 32 ядрами — давний клиент Яндекс.Облака, компания «Сейсмотек». «Сейсмотек» занимается обработкой сейсмических данных, которые необходимы для разведки газовых и нефтяных месторождений. Сейсморазведка предполагает работу с большими объемами информации. Данные обрабатываются пакетным методом. Компания одновременно использует до 60 с лишним прерываемых машин: суммарно до 2000 vCPU и 4000 ГБ RAM.

Проекты на Hadoop
Hadoop используется для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч недорогих узлов. Предусмотренные в Hadoop механизмы репликации файлов и автоматического перезапуска задач, выполнявшихся на вышедших из строя узлах, обеспечивают устойчивость распределённой системы к отказам отдельных машин. Именно поэтому там, где применяется Hadoop, как минимум часть узлов спокойно может быть развёрнута на прерываемых виртуальных машинах. В случае их досрочной остановки задачи будут отправлены на другие узлы.

Отказоустойчивость веб-сервисов
Постоянную доступность веб-сервиса можно обеспечить с помощью кластера. Кластер состоит из двух и более серверов. Одна из его задач в приложении к веб-сервисам — обеспечить стабильную работу в момент пиковых нагрузок. Характерные примеры: сайты интернет-магазинов или спортивные сайты, где рост трафика привязан к определенным датам. Для магазинов это могут быть традиционные праздники или периоды скидок, а для сайтов спортивной тематики — дни событий, когда идут трансляции, публикуются обзоры и фотоотчёты. В такие моменты объем трафика может увеличиваться в разы.

Кластер должен справляться с наплывом посетителей, распределяя трафик по разным узлам. На период резкого, но непродолжительно роста нагрузки отказоустойчивость можно обеспечивать, добавляя серверы на прерываемых виртуальных машинах. Такой вариант обходится недорого и хорошо справляется со своей задачей. Важно соблюдать одно условие: подобный кластер обязательно должен быть гибридным, то есть включать в себя обычные виртуальные машины. В этом случае даже маловероятная остановка прерываемых машин не приведёт к отказу сервиса.

Проекты на Kubernetes
Kubernetes позволяет автоматизировать развёртывание, масштабирование и управление контейнеризированными приложениями на большом количестве узлов. Одна из основных сущностей, которую можно назвать строительным блоком Kubernetes, — под (pod). Под обеспечивает запуск одного или нескольких контейнеров на одном узле. Узел для каждого пода подбирается и назначается планировщиком Kubernetes. Если отдельный узел с запущенным подом выйдет из строя, планировщик автоматически перенесёт под на узел, работающий в штатном режиме. Такая схема поддержания работоспособности предполагает, что часть узлов можно размещать на прерываемых виртуальных машинах.

Тестирование в практике непрерывной интеграции
Практика непрерывной интеграции строится на частой сборке и тестировании проекта. При этом применяется в основном автоматизированное тестирование. Схематически это выглядит так: создаётся тестовое окружение на виртуальной машине, в него выгружается последний билд приложения, проводится автоматизированное тестирование, результаты тестирования выгружаются, виртуальная машина удаляется. Как правило, тестирование занимает несколько десятков минут, реже — несколько часов.

Традиционно слабыми местами непрерывной интеграции считаются значительные затраты на поддержку самого процесса интеграции и высокая потребность в вычислительных ресурсах. С этой точки зрения и с учетом временных рамок автоматизированных тестов прерываемые виртуальные машины выглядят более чем подходящим вариантом для непрерывной интеграции. Они намного дешевле, а вероятность остановки машины непосредственно в момент проведения тестирования исчезающе мала. Больше того, даже если машина всё-таки будет остановлена, ущерб с точки зрения бизнеса будет минимальным.

Использование совместно с другими сервисами Яндекс.Облака
Сервис Yandex Instance Groups позволяет в автоматическом режиме отслеживать состояние целой группы прерываемых виртуальных машин. Он может самостоятельно создавать виртуальные машины с заданными характеристиками, поддерживать нужное количество машин в группе и перезапускать прерываемые инстансы в случае их остановки. Неважно, произошла ли принудительная остановка или прошло 24 часа с момента запуска. Важно только одно: перезапуск произойдет, если есть доступные ресурсы. Yandex Instance Groups делает работу с прерываемыми виртуальными машинами удобнее, но не может гарантировать, что в конкретной зоне доступности обязательно будут свободные мощности.

Экономические показатели
Как мы упоминали, прерываемые виртуальные машины позволяют сокращать затраты на использование вычислительных ресурсов. Внутри Яндекса мы начали работать над реализацией подобной функции ещё несколько лет назад. Чтобы разделить вычислительные задачи на гарантированно исполняемые и прерываемые, потребовались немалые инвестиции. Но всё было не зря: в итоге мы повысили уровень полезной утилизации серверной инфраструктуры с 30-40% до 70-80%.


Теперь аналогичные возможности доступны всем пользователям Яндекс.Облака по нажатию одной кнопки. Простой пример: если вы переведёте половину используемых виртуальных машин со стопроцентной загрузкой ядра в формат прерываемых, то сможете сэкономить до 35-40% бюджета.

По сниженной стоимости доступны ресурсы CPU и RAM. Дисковое пространство и IP-адреса оплачиваются по обычным тарифам. Вот что показывает простой расчёт для платформы Cascade Lake.



При желании вы можете сами сравнить стоимость использования виртуальных машин в разных режимах с помощью калькулятора. cloud.yandex.ru/prices

Надеемся, мы смогли внести немного ясности и дать несколько полезных примеров, в каких случаях можно применять прерываемые виртуальные машины, чтобы сократить расходы на вычислительные ресурсы, не теряя в качестве выполнения задач.

Инструкции по созданию прерываемых виртуальных машин и информация о тарифах здесь:

• Документация;
• Тарифы.

Мы развернули новую архитектуру позвоночника на Франкфурте Equinix FR5, который является одним из наших крупнейших POP. Эта новая архитектура основана на CiscoFrance NCS5508 и дает нам новый взгляд на масштабируемость. Спасибо всем командам!

Мы удвоили пропускную способность с 500 Мбит/с до 1 Гбит/с для существующих клиентов и новых заказов


www.ovh.ie/dedicated_servers/advance/

Авторитетный домен .COM со скидкой 60%!
Домен в зоне .COM — это репутация, проверенная временем. На сайте REG.RU вы можете зарегистрировать адрес в этой зоне со скидкой 60%! Акция действует только на регистрацию новых доменов. С таким доменным именем вы покажете серьёзность ваших намерений и ярко заявите о своём интернет-проекте, а также всего за 542 рубля получите веб-адрес, который подойдёт для сайта любой тематики. Станьте обладателем серьёзного домена .COM с минимальными вложениями!
www.reg.ru/domain/new/COM/

Хеллоу, май диа френдс!

Лето в разгаре и подкидывает новых задач, так что скучать не приходится. Впрочем, как всегда. Самое интересное за месяц — в июньском дайджесте.


Провели плановые работы в дата-центре
Наверняка вы уже слышали, что с 1 по 4 июня мы проводили профилактические работы в ДЦ. Наши ребята проверили электропитание всех узлов и до каждой стойки. Везде, где требовалось, обновили и заменили элементы. Улучшили системы вентиляции. А чтобы лишний раз не перезагружать серверы, подгадали под это дело ещё и обновление программного обеспечения.

Искали (и нашли!) отличия между Scalable разных поколений
Выпуск очередной линейки — начало глобальных перемен в будущем. Это Intel так говорит. А мы решили разобраться, что такого особенного в свежих Scalable. Традиционные тесты и интересные факты — всё в статье «Найди пять отличий. Разница поколений Scalable и — новая порция тестов».

Объясняли, как проверить, доступен ли сервер
Если сайт не открывается, не факт, что проблема на стороне сервера. Быстро проверить связь с сервером и вычислить корень зла без трат времени на звонки и тикеты поможет наш чек-лист по проверке доступности сервера.
firstvds.ru/technology/checklist-proverki-dostupnosti-servera

Готовили новые инструкции для тех, кому консоль милее панели...
Призвали в помощь пакетный менеджер yum для установки FTP-сервера для Битрикс с нашим рецептом GT. Открывайте и настраивайте.
Как установить FTP-сервер на виртуальную машину с Bitrix GT
firstvds.ru/technology/kak-ustanovit-ftp-server-na-virtualnuyu-mashinu-s-bitrix-gt

… и для тех, кому не милее, но надо
Рассказали, зачем идти в консоль для смены версий PHP, когда есть ISPmanager, и как работает утилита update-alternatives. Читайте и пробуйте.
Как изменить версию PHP в консоли
firstvds.ru/technology/kak-izmenit-versiyu-php-v-konsoli

Написали скрипт для лечения Exim
Уязвимость в одном из самых распространенных почтовых серверов Exim привела к тому, что в начале июня многие пользователи подверглись атаке — злоумышленники смогли получить права root к чужим серверам и устанавливали на них вредоносное ПО. Подробности на oppenet.ru

Если эта новость прошла мимо вас, срочно проверьте, не взломан ли сервер. Как проверять и что делать — в лечилке от нашего сисадмина Кирилла Цветкова.
habr.com/ru/company/first/blog/455636/

Уязвимости месяца
Уязвимости в TCP-стеках Linux и FreeBSD — приводят к удалённому отказу в обслуживании. Инициируют крах ядра или вызывают чрезмерное потребление ресурсов при обработке специально оформленных TCP-пакетов. Справиться с этим поможет обновление ядра ОС. Подробности на opennet.ru.

Уязвимость в текстовых редакторах Vim и Neovim (CVE-2019-12735) — позволяет выполнить код при открытии специально оформленного файла. Устранена в выпусках Vim 8.1.1365 и Neovim 0.3.6. Просто обновите версии редакторов. Подробности на opennet.ru.

Уязвимости в движке для создания web-форумов MyBB — позволяют захватить контроль за форумом. Проблемы устранены в выпуске MyBB 1.8.21. Обновите движок и будет норм. Подробности на opennet.ru.

И обновления месяца
Подготовлен первый стабильный релиз новой ветки СУБД MariaDB 10.4. Поддерживать новую ветку планируют до июня 2024 года. Посмотрите 20 ключевых улучшений MariaDB 10.4.

И совет дня от наших бухгалтеров
Если у вас такое же насыщенное лето, как у нас, подключите Автоплатёж. Одной задачей меньше — уже неплохо.
Перехватила эстафету дайджеста и игралась словами Алена Морозова

Поддержка IPv6 на Хостинге
На сервисе «Джино.Хостинг» добавлена поддержка протокола IPv6. Теперь вы можете любой свой домен, привязанный к хостингу, сделать доступным по новому протоколу. Поддержка включается для каждого домена в отдельности в разделе «Управление доменами» контрольной панели «Джино».
hosting.jino.ru/about/news/articles/ipv6-hosting/


Перенос выделенных IP между виртуальными машинами OpenVZ
На тарифах OpenVZ сервиса «Джино.VPS» стал доступен перенос выделенного IP-адреса с одного VPS на другой. Благодаря этому появилась возможность перенести проект на новый сервер, сохраняя прежний IP. Это упрощает тестирование работы серверов и их обновление.
vps.jino.ru/about/news/articles/openvz-ip-transfer/


Загрузка файлов по URL в файловом менеджере
Загружать файлы на сайты, расположенные на «Джино», через контрольную панель стало проще: появилась возможность скачивать их по прямой ссылке с любых общедоступных источников.

Если раньше для загрузки файла с другого ресурса необходимо было сначала сохранить его на компьютере, а затем загрузить в нужную папку на сервере, то теперь этот процесс стал быстрее.
www.jino.ru/about/news/articles/url-download


Новая статья: общий или специализированный хостинг для сайта на CMS
Хотите сделать сайт на CMS? Какой хостинг выбрать: общий или специализированный? В новой статье на нашем сайте подробно описаны преимущества и недостатки каждого из них.
www.jino.ru/help/articles/hosting-for-cms/


Стал известен победитель июньского розыгрыша. Новый приз — Xiaomi Mi Air Purifier Pro
Завершен июньский розыгрыш от «Джино»: обладателем экшн-камеры Sony HDR-AS50 становится Борис Р. из Москвы. Поздравляем с победой!

Приз нашего следующего ежемесячного розыгрыша — очиститель воздуха Xiaomi, который эффективно нейтрализует неприятные запахи, устраняет загрязненность воздуха и обеспечивает атмосферу свежести в доме. Новая акция уже стартовала, присоединяйтесь!
www.jino.ru/about/news/all/articles/monthly-201907


Двойные плюсы за отзывы к приложениям и новые подарки за плюсы
Хорошая новость для участников программы «Джино.Плюсы», которые пока не оставляли отзывы о наших мобильных приложениях: до конца июля вы сможете получить в два раза больше плюсов за отзывы к приложениям «Джино», «Джино.Ключ» и «Джино.Облако» в App Store и Google Play.

А потратить заработанные плюсы теперь можно на два новых подарка: наушники Xiaomi Mi Sports и умную лампу Xiaomi Yeelight.

Объявляя GPU экземпляров коммерческого класса для Linode клиентов
Linode была основана на идее предоставления разработчикам больше возможностей, инструментов и ресурсов для выполнения своей работы. В 2003 году, это означало, что виртуализация услуги, чтобы сделать их более доступными в том, что теперь облако. Сегодня, это означает, что вождение инноваций сделать облачные вычисления простого, доступным и доступным для всех.
www.linode.com/gpus

Наши новые экземпляры Linode GPU являются последним примером нашей приверженности к ускорению инноваций. Каждый экземпляр GPU особенность коммерческого класса графической обработки с NVIDIA Quadro RTX 6000. Эти карты использовать мощь CUDA, тензорные и RT ядер для параллельной обработки, глубокого изучения и трассировки лучей рабочих нагрузок — все со скоростью и последовательностью Linode Dedicated экземпляры CPU.

С экземплярами GPU Linode, вы будете получать:

• Одна из лучших карт выполнения GPU, доступных — по требованию
• Передовое соотношение цены и производительности
• Ясно ценообразование, великодушные политики передачи сети, и не сюрприз излишков

Ваша обратная связь будет определять дальнейшие шаги, как мы надеемся вырастить Linode GPU предложение. Если вы хотите принять участие в этом пилоте, вы можете узнать больше о наших планах GPU здесь, или войти Менеджер Linode Cloud.
www.linode.com/pricing

Если вы хотите узнать больше о GPU Instances, проверить наши гиды:
Начало работы с экземплярами GPU Linode
Примеры использования для экземпляров GPU Linode

Самые интересные обновления на сайте REG.RU в июне!
Мы постоянно улучшаем наш сайт и сервисы, делая их быстрее, проще и функциональнее. В июне мы обновили дизайн Личного кабинета, добавили автоматическую активацию SSL-сертификата, обновили мастер заказа международных доменов. Также мы ускорили работу разделов «Помощь» и «Мои заявки», добавили автоустановку Готовых решений на «1С-Битрикс» и внедрили много других полезных улучшений и обновлений. Следите за нашими новостями — в следующем месяце ещё больше интересного!
www.reg.ru

Независимый разработчик видеоигр Crytek развернуты дополнительные 400 высокоэффективная выделенных серверов в Европе и США, для улучшения инфраструктуры Crytek в подготовке к ее запуску Hunt: Разборки на Xbox One весной этого года. Для того, чтобы обеспечить масштабируемость, что Crytek необходимо, мы быстро установили дополнительные серверы в местах с высокой концентрацией Crytek игроков, чтобы гарантировать безошибочную онлайн игровой опыт.

Для того, чтобы запустить игру, как Hunt: Showdown, серверной инфраструктуры, характеризующейся возможностью масштабирования по всему миру с одной точкой контакта, является жизненно важным. Физическая близость серверов, а также задержки в сети и скорость, определить качество онлайн игровой опыт. Важный показатель качества онлайн — игр является отставанием, поэтому, перед этим запуском, мы работали с Leaseweb, чтобы помочь нам гарантировать как мало лаг, как это возможно.

объяснил Фарук Йерли, генеральный директор Crytek.

Мы предоставляем индивидуальные выделенные серверы, в различных точках мира, чтобы Crytek с 2015 года, а также обеспечивает подключение к глобальной сети с Crytek через нашу сеть, которая включает в себя несколько Tier 1 IP-сетей.

Как динамический запуск социальных медиа сократили свои расходы на инфраструктуру на 50%
При переключении из основных проблем общественных облачной платформы для выделенных серверов LEASEWEB, в Jodel сократил свои расходы на инфраструктуру более чем на 50%. Jodel был обеспокоен не в состоянии поддерживать тот же уровень эластичности при переходе от Public Cloud на LEASEWEB Выделенных серверов. Узнайте, как мы успешно смоделированы эластичность облака для Jodel.
www.youtube.com/watch?v=tdBKFajooNM
www.leaseweb.com/customers/jodel

Польза от нашего продвижения Colocation открытия

С нашей расширенной Colocation службой по всему миру, мы не только предлагаем новые места для центров обработки данных для инфраструктуры, мы также добавили новые аппаратные и сетевые возможности для выбора. Чтобы отпраздновать это новое предложение, вы можете воспользоваться Colocation Promotion открытия, что дает нашим клиентам льготную цену на частных стойках в различных центрах обработки данных. www.leaseweb.com/colocation

Сеть на SaaStr Europa 2019 в Париже


LEASEWEB занял Париж с полной мощью на SaaStr Europa 2019 в июне этого года. У нас было два дня вдохновляющих бесед и большие беседы с учредителями, руководителями и специалистами из отрасли SaaS. Мы тогда состоялись мероприятие в ресторане La Bouteille d'Or, чтобы разговоры и содержательные связи происходят, все со стороной вкусного французского меню. Как вечер оказался большим успехом, мы решили, что мы будем повторять опыт в SaaStock в Дублине в октябре этого года. Оставайтесь в курсе!