Selectel дата-центры

В Linux есть большое количество инструментов для отладки ядра и приложений. Большинство из них негативно сказываются на производительности приложений и не могут быть использованы в продакшене.

Пару лет назад был разработан ещё один инструмент — eBPF. Он дает возможность трассировать ядро и пользовательские приложения с низким оверхедом и без необходимости пересборки программ и загрузки сторонних модулей в ядро.
lwn.net/Articles/740157/

Сейчас уже существует множество прикладных утилит, которые используют eBPF, и в этой статье мы рассмотрим, как написать собственную утилиту для профилирования на основе библиотеки PythonBCC. Статья основана на реальных событиях. Мы пройдем путь от появления проблемы и до её исправления, чтобы показать, как могут быть использованы уже существующие утилиты в конкретных ситуациях.

Ceph Is Slow
В кластер Ceph добавили новый хост. После миграции части данных на него, мы заметили, что скорость обработки запросов на запись им гораздо ниже, чем на других серверах.

В отличие от других платформ, на этом хосте использовался bcache и новое ядро linux 4.15. Хост такой конфигурации использовался здесь впервые. И на тот момент было ясно, что корнем проблемы теоретически могло быть что угодно.

Investigating the Host
Начнем с того, что посмотрим, что происходит внутри процесса ceph-osd. Для этого воспользуемся perf и flamescope (подробнее о которых можно прочитать здесь):

Картинка говорит нам о том, что функция fdatasync() потратила много времени при отправке запроса в функции generic_make_request(). Значит, что, скорее всего, причина проблем где-то вне самого демона osd. Это может быть либо ядро, либо диски. Вывод iostat показывал высокую задержку обработки запросов bcache-дисками.

При проверке хоста мы обнаружили, что демон systemd-udevd потребляет большое количество времени CPU — около 20% на нескольких ядрах. Это странное поведение, так что нужно выяснить его причину. Так как Systemd-udevd работает с uevent’ами, мы решили посмотреть на них через udevadm monitor. Оказывается, генерировалось большое количество change-событий для каждого блочного устройства в системе. Это довольно необычно, поэтому нужно будет посмотреть, что генерирует все эти ивенты.

Подробнее
blog.selectel.ru/from-high-ceph-latency-to-kernel-patch-with-ebpf-bcc/

В то время, как многие облачные провайдеры и дата-центры предпочитают использовать сторонние решения, Selectel делает ставку на свободное ПО и собственные мощности. Лучшим доказательством эффективности такой стратегии является уверенный рост компании. Об этом, а также о том, почему не оправдались надежды на блокчейн, как удерживать конкурентный уровень цен в непростых современных условиях и что ждет облака в будущем, рассказал Олег Любимов, генеральный директор Selectel.

CNews: Какие основные события 2018 года на ИТ-рынке России вы бы выделили?

Олег Любимов: Я остановлюсь на инфраструктурном сегменте ИТ-рынка, который нам наиболее близок — на облаках. Главные события здесь происходили в экономической и регуляторной сферах.

Меняется ландшафт российского облачного рынка. Раньше на нем играли преимущественно специализированные провайдеры, локальные и иностранные. В прошлом году на него вышли несколько крупных российских ИТ-компаний, специализирующихся в других областях, и операторов связи: «Яндекс», Mail.ru, МТС. Обновили свои предложения «Ростелеком» и «Сбербанк». Одновременно с этим начали локализовывать бизнес глобальные игроки. В условиях западных санкций это, прежде всего, китайские компании. В качестве примера можно привести Tencent и Huawei, которые развернули свою облачную платформу в нескольких московских дата-центрах.

На состоянии рынка сказываются вступление в силу «пакета Яровой» и противостояние Роскомнадзора с мессенджером Telegram. Последнее привело к массовым блокировкам IP-адресов западных облачных провайдеров и перебоям в работе российских и зарубежных интернет-сервисов. Пострадавшие компании осознали, насколько рискованно сегодня использовать решения только иностранных поставщиков. Многие начали переносить данные и ИТ-системы в Россию, выбирая для их размещения сервисы локальных провайдеров.

Кроме того, невозможность заблокировать Telegram на основании той законодательной базы и теми техническими методами, которыми регулятор располагал на тот момент, привела к ужесточению политики в области контроля за интернетом.

CNews: Каковы итоги развития Selectel в 2018 году? Насколько компания была успешной в плане финансовых показателей?

Олег Любимов: Основу нашего бизнеса составляют облачные сервисы, на них приходится 85% выручки компании. Здесь мы продолжаем расти быстрее рынка — по 40-50% ежегодно. По итогам прошлого года, аналитики признали Selectel самым быстрорастущим облачным провайдером в России. При этом мы сохраняем маржинальность, достаточную для поддержания высоких темпов развития и инвестиций в новые инфраструктурные проекты.

CNews: Можете отметить ключевые технологические тренды, которые вы видите сейчас на рынке? На какие технологии делается ставка и насколько это оправдано?

Олег Любимов: Мы внимательно изучаем тренды на Западе, следим за тем, какие технологии для новых проектов выбирают передовые зарубежные компании. На основании этих наблюдений и анализа мы строим собственную продуктовую стратегию.

Очевидно, что классический подход к облаку будет доминировать еще долгое время. Но в новых проектах, то есть основных точках будущего роста, уже преобладают технологии контейнеризации и средства их автоматизации (в первую очередь — Kubernetes) и технологии serverless. В дальнейшем их проникновение будет только расти, а сервисы на их базе станут мейнстримом на облачном рынке.

Пару лет назад весьма перспективным представлялось направление блокчейн-технологий, но пока большая их часть не была реализована. Дело в том, что ни в одном блокчейн-проекте, включая наиболее зрелые, не решена проблема масштабирования. Все они хорошо работают на уровне MVP (minimum viable product). Однако как только нагрузка переваливает за тысячи транзакций в секунду, распределенная система перестает с ней справляться.

CNews: Как изменился бизнес Selectel за прошлый год? Какие новые решения были выведены на рынок?

Олег Любимов: Исторически Selectel предоставлял услуги цифровому бизнесу: онлайн-ритейлерам, разработчикам софта и игр, интернет-медиа. В 2018 году мы сделали упор на работу с большим бизнесом из традиционных секторов экономики, не связанных напрямую с информационными технологиями. Такие заказчики вступают в этап внедрения облачных технологий и активно увеличивают расходы на ИТ. Им не выгодно создавать собственную ИТ-экспертизу, они ждут решений «под ключ» от профессиональных поставщиков.

Крупным компаниям мы предложили новое облако на базе VMware и ряд решений для создания и хранения бэкапов. Также мы начали оказывать услуги интеграции и администрирования, снимая с заказчиков риски внедрения и эксплуатации ИТ-систем.

Многое было сделано для обеспечения отказоустойчивости и информационной безопасности. Здесь, к слову, у Selectel особое положение. У нас шесть дата-центров в трех регионах России, объединенных единой оптоволоконной сетью. На их базе мы организуем для заказчиков географически распределенные отказоустойчивые кластеры любой конфигурации и сложности.

CNews: Расскажите подробнее о запуске облака на базе VMware и итогах первого полноценного года работы Selectel Lab.

Олег Любимов: Облако на базе VMware мы запустили в апреле 2018 года, а через год профессионалы рынка признали его «Облаком года» в рамках отраслевой премии. Оно имеет гиперконвергентную архитектуру, в нем применяется новейшее оборудование от Intel, Brocade, Juniper, HGST. Развернуто облако в дата-центрах Selectel в Москве, Санкт-Петербурге и Ленинградской области с использованием технологии VMware Stretched vSAN.

За год сервис стал коммерчески успешен. Он интересен заказчикам тем, что позволяет быстро масштабировать их ИТ-инфраструктуру за пределами собственных дата-центров без капитальных и организационных затрат. Немаловажным фактором успеха является тарификация по модели «pay as you go».

Проект Selectel Lab развивается также динамично. Практически все новые сервисы Selectel теперь начинают с него, проходя публичное бета-тестирование. Укрепляется и доверие вендоров. Так, например, Intel и AMD выбрали Selectel Lab для продвижения новых поколений своих устройств.

CNews: Компания в прошедшем году, помимо прочего, продолжала расширяться. Расскажите о новом московском дата-центре: об особенностях проекта, проблемах и новаторских решениях.

Олег Любимов: Мы фокусируем усилия на опережающем росте в Москве. В течение прошлого года сформировали там полноценное представительство компании и запустили вторую очередь дата-центра «Берзарина» на 350 серверных стоек.

Московский дата-центр Selectel располагается в отдельно стоящем здании с подведенными 10МВт мощности, в районе с развитой транспортной инфраструктурой. Вторая очередь проектировалась под облачные сервисы и имеет ряд технологических особенностей. Главная — использование системы охлаждения внешним воздухом (прямой фрикулинг) с адиабатическим доохлаждением. По сравнению с традиционными решениями, такая схема потребляет до 80% меньше электроэнергии. Она позволяет поддерживать PUE дата-центра на максимально эффективном уровне — 1,1-1,15. В типичных для российского рынка дата-центрах с фреоновыми кондиционерами этот показатель колеблется в пределах 1,5-1,6.

Отказ от кондиционеров и использование фрикулинга с адиабатикой позволило нам не только уменьшить инвестиции в проект. За счет меньшего потребления энергии на охлаждение дата-центра, мы можем при той же мощности разместить в нем существенно больше ИТ-оборудования. Поэтому на новой площадке используются увеличенные стойки открытого типа емкостью в 52 юнита.

CNews: Расскажите подробнее о стратегии Selectel: в чем ее особенности, преимущества перед конкурентами?

Олег Любимов: Три главных преимущества Selectel — это фокус и экспертиза, собственная инфраструктура и разработка, а также широкая линейка продуктов.

Сегодня для крупных российских игроков облачные сервисы и услуги дата-центров — лишь одно из многих направлений деятельности. А для некоторых — и вовсе экспериментальное. Для Selectel же это основной бизнес, которым мы занимаемся более 10 лет. Мы были первыми участниками глобальной программы Intel Cloud Technology из России, встав в один ряд с Amazon Web Services, Rackspace, OVH. Рыночный фокус и уникальная экспертиза позволяют нам уверенно чувствовать себя по отношению к коллегам по рынку.

При использовании проприоритарных решений до половины выручки провайдера может уходить на лицензионные отчисления вендору. Мы в Selectel в большинстве случаев сами разрабатываем сервисы на базе opensource технологий, а затем разворачиваем и масштабируем их в собственных дата-центрах. Поэтому поддерживаем конкурентные цены — даже в условиях ослабления рубля, растущих энерготарифов и налоговой нагрузки.

У Selectel очень широкая продуктовая линейка: услуги дата-центров, аренда выделенных серверов, публичные облака, частные облака, услуги по интеграции и администрированию и так далее. Это открывает широкие возможности для всех типов клиентов. Крупные заказчики могут создавать в «одном окне» гибридные решения разного уровня сложности. Стартапы могут развиваться в экосистеме одного провайдера, начиная с простых и доступных сервисов, дополняя их более сложными по мере роста.

CNews: Как будет развиваться рынок дата-центров и облачных решений? И как на это будет реагировать Selectel?

Олег Любимов: Наиболее очевидный тренд — выбор компаниями все более высокоуровневых услуг. От on-premise решений, через колокейшн в коммерческих дата-центрах и аренду у провайдеров физического оборудования, бизнес пришел к стратегии cloud first. Следующий шаг — широкое использование микросервисов и serverless-решений. Мы готовы к такому движению рынка и до конца года представим в упомянутых категориях собственные продукты на уровне MVP.

Продолжается консолидация российского облачного рынка, растет число крупных M&A сделок. На этом фоне Selectel остается самостоятельным сфокусированным игроком и продолжает быстрый органический рост. Но мы всегда открыты к совместным проектам и иным видам кооперации с другими игроками рынка.

Сегодня API широко развертываются и используются в интернете, что делает их основными целями атак злоумышленников. В Selectel появилась первая в России услуга, решающая проблему поиска и устранения уязвимостей программного интерфейса приложений — «Модуль защиты API». Сервис использует искусственный интеллект для непрерывного мониторинга данных, проходящих через публичные API, чтобы обнаружить и предотвратить атаки.

Воспользуйтесь преимуществами сервиса

• Полная видимость всех данных и действий, которые проходят через ваше API.
• Автоматическая приостановка источника атак на API в реальном времени.
• Предоставление приоритетных конкретных рекомендаций об исправлении уязвимостей.
• Соответствие общему регламенту по защите данных GDPR — система автоматически помечает персональные данные, которые проходят через ваше API.

selectel.ru/services/is/api-security/

Цена на услугу рассчитывается индивидуально. Контракт на непрерывный тест заключается минимум на год. Подробности на сайте.
Остались вопросы? Напишите их на sales@selectel.ru или задайте по телефону +7 800 555 06 75, и мы оперативно ответим на них.
С уважением, Команда Selectel
+7 800 555 06 75

При реализации пользовательского интерфейса балансировщика нагрузки для виртуального приватного облака мне пришлось столкнуться с существенными трудностями. Это привело меня к размышлениям о роли фронтенда, чем хочу поделиться в первую очередь.

А далее обосновать свои размышления, на примере конкретной задачи. Решение задачи получилось, по моему мнению, достаточно творческим и искать его пришлось в сильно ограниченных рамках, поэтому думаю, что оно может быть интересным.

Подробнее
blog.selectel.ru/realizaciya-polzovatelskogo-interfejsa-openstack-lbaas/

Это рассылка Selectel — делимся новостями мая. Сегодняшний выпуск посвящен обновлениям в «Облаке на базе VMware» и партнерству с Microsoft. В конце — мероприятия, в которых мы приняли участие, интересные статьи в блоге и актуальные вакансии.


Новости компании
Партнерство с Microsoft по программе SAM
Selectel стал официальным партнером Microsoft по программе Software Asset Management (SAM). Теперь мы можем получать финансирование от Microsoft для проведения инвентаризации развернутого у вас программного и аппаратного обеспечения. Оптимизируйте стоимость владения инфраструктурой с Selectel, за подробностями — на sales@selectel.ru

Новости услуг
Настройка пользовательского доступа к vDC
Теперь в «Облаке на базе VMware» вы можете настроить каждому пользователю права доступа к vDC.


Обновление позволит разделять доступ к ресурсам в разных проектах и ограничивать работу в продуктовых или тестовых средах. Партнеры смогут предоставить своим клиентам прямой доступ к vDC их проектов.
Чтобы указать параметры — перейдите в раздел управления пользователями и для каждого существующего пользователя укажите, с какими vDC ему можно работать.

«Балансировщик нагрузки» доступен в VPC
Теперь вы можете подключить «Балансировщик нагрузки» в «Виртуальном приватном облаке» (VPC). Он поможет равномерно распределить нагрузку, горизонтально масштабировать вычислительные мощности, увеличивая количество серверов, и повысить доступность ваших сервисов. Стоимость — 2,19 руб./час (1 599 руб./меcяц).
Создать «Балансировщик нагрузки» вы можете внутри проекта «Виртуального приватного облака».
my.selectel.ru/vpc/lbaas/

Мероприятия
РИТ++
27-28 мая прошел ежегодный фестиваль интернет-технологий РИТ++ в «Сколково». Это отраслевая выставка и ряд профильных конференций про системное администрирование, высоконагруженные системы, серверное программирование и разработку. Мы по традиции тоже там были: рассказывали про продукты и решения, разыгрывали Тирексов.

Если вы не смогли побывать на РИТ++ в этом году, читайте наш итоговый отчет о мероприятии на Habr и смотрите записи лучших докладов на Youtube.
www.youtube.com/channel/UC7hjrpB81FSipI1oqtOaZqQ
habr.com/ru/company/selectel/blog/454086/

Конгресс «Белые ночи»
30 мая прошло одно из значимых IT-событий этого лета — конгресс IT-директоров «Белые ночи». Панельная дискуссия, 6 тематических блоков по разным направлениям IT, секция мастер-классов и больше 30 спикеров, которые делились кейсами разработок и внедрения новых решений.
Наш коллега Влад Кирпинский выступал на секции «Практики сорсинга. Успешные и не очень» с докладом «Цена доступности катастрофоустойчивых решений». Он говорил о важных показателях RTO и RPO, сравнивал разные сценарии катастрофоустойчивости и привел пример миграции в «Облако на базе VMware».
Интересен доклад? Вы можете запросить презентацию — kirpinskiy@selectel.ru.
congress.spbcioclub.ru/

VeeamOn Forum
О том, как управлять данными, реализовывать IT-проекты в области цифровой трансформации и обеспечивать сохранность данных, обсудили на VeeamOn Forum. Selectel поехал на мероприятие небольшой делегацией: часть коллег представляла компанию на стенде, другая — общалась с аудиторией. Директор по развитию услуг Александр Тугов участвовал в дискуссии «Все как сервис», где с другими спикерами рассуждал на тему облачных сервисов и способах резервирования инфраструктуры. Было так интересно, что даже Тирекс заехать послушать!

В Selectel мы поможем обеспечить непрерывную работу бизнеса без потери данных благодаря продуктам Veeam.

• Серверы HPE в Selectel
• Serverless по стоечкам

Работа в Selectel
Присоединяйтесь к нашей команде! У нас есть открытые вакансии в Санкт-Петербурге и Москве, посмотреть полный перечень можно здесь.
selectel.ru/careers/all/

В «Виртуальном приватном облаке» Selectel появился сервис «Балансировщик нагрузки». Теперь функционал, которым вы пользовались ранее, стал еще шире. Техническая реализация была успешно проверена на бета-тестировании.
Возможности сервиса

• Настройка правил перенаправления HTTP, HTTPs, TCP и UDP-трафика.
• Несколько алгоритмов балансировки на выбор.
• Гибкие проверки доступности серверов за балансировщиком.
• Загрузка собственных сертификатов для SSL-терминирования.

Стоимость балансировщика нагрузки — 2,19 руб. в час (1 599 руб. в месяц). Подробнее о его возможностях можно узнать на сайте и в базе знаний.
selectel.ru/services/cloud/load-balancer/
kb.selectel.ru/47683265.html

Если у вас остались вопросы по работе сервиса — напишите на sales@selectel.ru или позвоните по телефону +7 800 555 06 75, и мы обязательно ответим на них.
С уважением
Команда Selectel
+7 800 555 06 75

Организация единого дискового пространства — задача, легко решаемая с помощью аппаратного RAID-контроллера. Однако следует вначале ознакомиться с особенностями использования и управления таким контроллером. Об этом сегодня расскажем в нашей статье.

Надежность и скорость работы дисковых накопителей — вопрос, волнующий каждого системного администратора. Несмотря на заверения производителей о качестве собственных устройств — HDD и SSD продолжают выходить из строя в самое неподходящее время, теряя драгоценные данные. Технология S.M.A.R.T. в большинстве случаев дает возможность оценить «здоровье» накопителя, но это не гарантирует того, что диск будет продолжать беспроблемно работать.

Предсказать выход диска из строя со 100%-ой точностью невозможно, поэтому следует предусмотреть вариант, при котором это не станет проблемой или причиной остановки сервисов. Использование RAID-массивов решает эту задачу. Рассмотрим три основных подхода, применяющихся для этой задачи:

• Программный RAID — наименее затратный вариант, но и наименее производительный. Массив создается средствами операционной системы, вся нагрузка по обработке данных «ложится на плечи» центрального процессора.
• Интегрированный аппаратный RAID (еще его часто называют Fake-RAID) — микрочип, установленный на материнскую плату, который берет на себя часть функционала аппаратного RAID-контроллера, работая в паре с центральным процессором. Этот подход работает чуть быстрее, чем программный RAID, но надежность у такого массива оставляет желать лучшего.
• Аппаратный RAID — это отдельный контроллер с собственным процессором и кэширующей памятью, полностью забирающий на себя выполнение всех дисковых операций. Наиболее затратный, однако, самый производительный и надежный вариант для использования.

Давайте рассмотрим аппаратный RAID детально.
Подробнее
blog.selectel.ru/hw-raid/

Интервью с управляющим директором Selectel Максимом Семенихиным на РИФ+КИБ 2019.

Сегодня в блоге Selectel гостевой пост — о своем опыте использования услуг Selectel расскажет Алексей Павлов, технический консультант компании Hewlett Packard Enterprise (HPE). Дадим ему слово.

Лучший способ проверить качество услуги — самому ей воспользоваться. Наши заказчики все чаще рассматривают вариант размещения части своих ресурсов в ЦОД у провайдера. Понятно возникающее желание у заказчика иметь дело с знакомыми и проверенными платформами, но в более удобном формате портала самообслуживания.

Недавно компания Selectel запустила новую услугу по предоставлению серверов HPE для своих заказчиков. И тут возникает вопрос: какой сервер доступнее? Который стоит в своем офисе/ЦОДе или у провайдера?

Вспомним вопросы, которые решают заказчики, сравнивая традиционный подход и модель аренды оборудования у провайдера.

• Как быстро вам согласуют бюджет и вы сможете заказать конфигурацию оборудования для пилотного запуска своего детища?
• Где найти место под оборудование. Не ставить же сервер себе под стол?
• Растет сложность аппаратного стека. Где найти лишние часы в сутках, чтобы со всем разобраться?

Ответ на такие и подобные вопросы уже давно есть: обратиться за помощью к сервис-провайдеру. Ранее мне не доводилось заказывать услуги по аренде оборудования у Selectel, но вот тут даже удалось протестировать и подробно все описать:

Все заявки заводятся через портал, где можно выбрать интересующую услугу.


Можно выбирать готовые конфигурации серверов, вариантов достаточно много. Ранее такие модели назывались «фиксированными» конфигурациями. Их выбирают, когда точно известно, что именно нужно, и в процессе эксплуатации не требуется менять конфигурацию. Сервер уже собран и смонтирован в ЦОД заранее.


Искать удобно по локации, линейке или по заранее заданным тегам. Если готовых конфигураций недостаточно – можно собрать интересующую модель.

Каждый сервер произвольной конфигурации собирается индивидуально под заказ. На сайте реализован конфигуратор, который помогает собрать сервер со всеми совместимыми комплектующими. Есть простор для творчества! По договору серверы произвольной конфигурации сдаются клиентам до 5 рабочих дней.
selectel.ru/services/dedicated/configurator/

В моем случае заказ был сделан в пятницу вечером, в субботу в 8:00 я получил доступ к консоли сервера.


Многие заказчики привыкли работать с серверами линейки HPE в силу различных причин, например, широкого выбора доступных сертифицированных вариантов под SAP HANA, MS SQL, Oracle и другое промышленное ПО. Теперь такие серверы появились в портфеле Selectel:


Для эффективного развертывания таких приложений у компании должен быть достаточный объем ресурсов. При обращении заказчика мы проектируем решение целиком, а не по отдельности ПО и сервер. Вместе с нашими заказчиками мы обсуждаем эталонные архитектуры и конфигурации, разработанные производителями программного и аппаратного обеспечения, составляем полную конфигурацию, масштабы и размеры, все спецификации и сведения о развертывании.

Компания HPE разрабатывает эти эталонные решения в рамках программы, охватывающей множество различных конфигурацией, которые любой сервис-провайдер может использовать как готовый протестированный шаблон для дальнейшего развертывания под проект заказчика.

Бенчмарки
Одно из преимуществ подхода выбора серверов HPE – тестирование их на различные бенчмарки. Так можно выбрать конфигурацию под заранее известную нагрузку: объемы баз, количество пользователей, производительность.

У серверов HPE DL380 Gen10 аж 4 рекорда TPC-H (Transaction Processing Council Ad-hoc/decision support benchmark) среди всех серверов.


Сертификат Data Warehouse Fast Track Results


Такие сертификаты позволяют оценить производительность системы в заданной конфигурации в рамках проведенного теста и примерно сопоставить ее с ожидаемыми характеристиками в намечающемся проекте.

Из интересного: продукт Microsoft SQL Server, начиная с версии 2016, разрабатывался как облачный продукт, его тестировали в сервисе Azure на более чем 20 площадках с миллиардами запросов в день, это еще одна причина, почему такие системы следует запускать в ЦОДах провайдера.

It is also perhaps the world’s only relational database to be “born cloud-first,” with the majority of features first deployed and tested in Azure, across 22 global datacenters and billions of requests per day. It is customer tested and battle ready.

Joseph Sirosh, Microsoft

В портфеле компании HPE есть специальные серверные решения, протестированные под различные промышленные платформы. Например, серверы HPE DL380 Gen10, которые можно использовать как «строительный фундамент» в инфраструктуре. Они показали отличные результаты в тестах на SQL 2017, с самой низкой стоимостью за QphH (Query-per-Hour Performance) на сентябрь 2018г: 0.46 USD per QphH@3000GB.

Работа с базами данных
Какие же интересные особенности есть у сервера DL380 Gen10 для работы с SQL?

HPE DL380 Gen10 поддерживает технологию Persistent Memory, обеспечивающую побитовый доступ к памяти, что сокращает задержки и увеличивает число транзакций до 41%. Результаты тестирования подобных конфигураций есть в открытом доступе.

Технология NVDIMM позволяет работать с огромным количеством очередей I/O — 64k, в отличие от SAS и SATA с 254 очередями. Еще одно важное преимущество — низкие задержки — в 3-8 раз ниже, чем у SSD.

Похожие результаты тестов есть для систем Oracle и Microsoft Exchange.


Помимо технологии NVDIMM, в арсенале средств по ускорению работы баз данных активно применяются устройства Intel Optane, которые можно протестировать в Selectel на оборудовании HPE. Предварительные результаты тестов были опубликованы в блоге Selectel.
blog.selectel.ru/intel-optane-ssd

Особенности и технологии
У сервера HPE Proliant Gen10 есть несколько уникальных технологий, которые позволяют ему выделяться среди других серверов.

Прежде всего — безопасность. HPE представила Run-Time Firmware Verification, технологию, позволяющую серверу проверять сигнатуру прошивки, на предмет ее происхождения перед установкой на сервер, это позволяет избежать ее подмены или установки root-kit (вредоносное ПО).

Типы процессоров
HPE ProLiant Gen10 доступен с пятью категориями CPU:

• Platinum (8100, 8200 series) для ERP, аналитики в памяти, OLAP, виртуализации, контейнеров;
• Gold (6100/5100, 6200/5200 series) для OLTP, аналитики, AI, Hadoop/SPARK, Java, VDI, HPC, виртуализации и контейнеров;
• Silver (4100, 4200 series) для нагрузок SMB, web front-end, приложений для сети и хранения;
• Bronze (3100, 3200 series) для нагрузок SMB.

Для всех заказчиков помимо этого есть целый ряд нововведений в серверах Gen10:


Workload Matching — автоматическая подстройка всех параметров сервера на определенный тип нагрузки, например, SQL. Замеренные результаты показывают разницу в производительности в сравнении с обычными настройками до 9%, что вполне неплохо для заказчиков, которые хотят выжать максимум из своего сервера.
Jitter Smoothing — сохранение заданной частоты процессора без паразитических пиков после включения Turbo Boost, идеально для заказчиков, которым требуется работа на повышенных частотах с минимальными задержками.
Core Boosting — позволяет получать увеличение частоты процессора, сокращая накладные расходы. Идеально для заказчиков, использующих ПО, лицензируемое по количеству ядер, например, Oracle. Технология позволяет задействовать меньше ядер, но с более высокой частотой.

Работа с памятью

• Advanced ECC/SDDC: проверка ошибок в памяти и их корректировка (ECC), совмещенная с single device data correction (SDDC), обеспечивает продолжение работы приложения в случае выхода из строя DRAM. Прошивка сервера убирает вышедший из строя DRAM карты всей памяти и восстанавливает данные в новом адресном пространстве.
• Demand scrubbing: перезапись исправленных данных в память после восстановления корректируемой ошибки.
• Patrol scrubbing: проактивный поиск и исправление корректируемых ошибок в памяти. Patrol и demand scrubbing работают вместе для предотвращения накапливания корректируемых ошибок и сокращения возможности незапланированного простоя.
• Изоляция вышедшего из строя DIMM: идентификация неисправного DIMM позволяет пользователю заменить только вышедший из строя DIMM.

Узнать подробнее об используемых технологиях можно на сайте HPE.
h20195.www2.hpe.com/v2/Getdocument.aspx?docname=4aa5-4487enw&skiphtml=1

Панель управления Selectel
Удалось поработать с панелью заказа Selectel — очень приятное ощущение, навигация простая, понятно где, что находится.

Есть возможность контролировать весь трафик от сервера, назначить IP адрес:


Для установки доступны различные ОС, установка начинается автоматически:


После установки заходим на KVM консоль и продолжаем работать в привычном режиме, как будто находимся прямо около сервера:


По данным аналитиков более половины всего малого и среднего бизнеса переводят как минимум часть инфраструктуры к сервис-провайдерам. У больших заказчиков есть целые отделы, отвечающие за работу с сервис-провайдерами.

С Selectel решать проблемы бизнеса проще, и на то есть несколько причин:

• Решаются проблемы со сложностями финансирования (на покупку оборудования и построения собственной инфраструктуры).
• Инфраструктура уже готова, ускоряется вывод продукта на рынок.
• Всегда под рукой помощь квалифицированных специалистов.
• Легко масштабировать инфраструктуру, начинать с простых конфигураций и дальше гибко адаптировать системы под потребности бизнеса.
• Доступны для тестирования современные технологии с заранее протестированными конфигурациями под любое приложение и любую нагрузку.
• Доступны протестированные и хорошо себя зарекомендовавшие решения уровня Enterprise от HPE, в самых разных конфигурациях.

Список литературы:
Технологии Persistent Memory в HPE
www.hpe.com/ru/ru/servers/persistent-memory.html
Intel Optane в системах хранения
tinyurl.com/y4ezxmf8

Serverless ― это не про физическое отсутствие серверов. Это не «убийца» контейнеров и не мимолетный тренд. Это новый подход к построению систем в облаке. В сегодняшней статье коснемся архитектуры Serverless-приложений, посмотрим, какую роль играет провайдер Serverless-услуги и open-source проекты. В конце поговорим о вопросах применения Serverless.

Я хочу написать серверную часть приложения (да хоть интернет-магазина). Это может быть и чат, и сервис для публикации контента, и балансировщик нагрузки. В любом случае головной боли будет немало: придется подготовить инфраструктуру, определить зависимости приложения, задуматься насчет операционной системы хоста. Потом понадобится обновить небольшие компоненты, которые не затрагивают работу остального монолита. Ну и про масштабирование под нагрузкой не будем забывать.

А что если взять эфемерные контейнеры, в которых требуемые зависимости уже предустановлены, а сами контейнеры изолированы друг от друга и от ОС хоста? Монолит разобьем на микросервисы, каждый из которых можно обновлять и масштабировать независимо от других. Поместив код в такой контейнер, я смогу запускать его на любой инфраструктуре. Уже лучше.

А если не хочется настраивать контейнеры? Не хочется думать про масштабирование приложения. Не хочется платить за простой запущенных контейнеров, когда нагрузка на сервис минимальна. Хочется писать код. Сосредоточиться на бизнес-логике и выпускать продукты на рынок со скоростью света.

Такие мысли привели меня к бессерверным вычислениям. Serverless в данном случае означает не физическое отсутствие серверов, а отсутствие головной боли по управлению инфраструктурой.

Идея в том, что логика приложения разбивается на независимые функции. Они имеют событийную структуру. Каждая из функций выполняет одну «микрозадачу». Все, что требуется от разработчика ― загрузить функции в предоставленную облачным провайдером консоль и соотнести их с источниками событий. Код будет исполняться по запросу в автоматически подготовленном контейнере, а я заплачу только за время исполнения.

Давайте разберемся, как теперь будет выглядеть процесс разработки приложения.

Со стороны разработчика
Ранее мы начали говорить про приложение для интернет-магазина. В традиционном подходе основную логику системы выполняет монолитное приложение. И сервер с приложением запущен постоянно, даже если нагрузки нет.

Чтобы перейти к Serverless, разбиваем приложение на микрозадачи. Под каждую из них пишем свою функцию. Функции независимы друг от друга и не хранят информацию о состоянии (stateless). Они даже могут быть написаны на разных языках. Если одна из них «упадет», приложение целиком не остановится. Архитектура приложения будет выглядеть вот так:


Деление на функции в Serverless похоже на работу с микросервисами. Но микросервис может выполнять несколько задач, а функция в идеале должна выполнять одну. Представим, что стоит задача собирать статистику и выводить по запросу пользователя. В микросервисном подходе задачу выполняет один сервис с двумя точками входа: на запись и на чтение. В бессерверных вычислениях это будут две разные функции, несвязанные между собой. Разработчик экономит вычислительные ресурсы, если, например, статистика обновляется чаще, чем выгружается.

Serverless-функции должны выполняться за короткий промежуток времени (timeout), который определяет провайдер услуги. Например, для AWS timeout составляет 15 минут. Значит, долгоживущие функции (long-lived) придется изменить под требования ― этим Serverless отличается от других популярных сегодня технологий (контейнеров и Platform as a Service).

Каждой функции назначаем событие. Событие ― это триггер для действия:


Событиями могут выступать HTTP-запросы, потоковые данные, очереди сообщений и так далее. Источники событий ― это изменение или появление данных. Кроме того, функции можно запускать по таймеру.

Архитектуру проработали, и приложение почти стало Serverless. Дальше идем к провайдеру услуги.

Со стороны провайдера
Обычно бессерверные вычисления предлагают провайдеры облачных услуг. Называют по-разному: Azure Functions, AWS Lambda, Google Cloud Functions, IBM Cloud Functions.

Пользоваться услугой будем через консоль или личный кабинет провайдера. Код функций можно загрузить одним из способов:

• написать код во встроенных редакторах через веб-консоль,
• загрузить архив с кодом,
• работать с публичными или приватными git-репозиториями.

Здесь же настраиваем события, которые вызывают функцию. У разных провайдеров наборы событий могут отличаться.


Провайдер на своей инфраструктуре построил и автоматизировал систему Function as a Service (FaaS):

• Код функций попадает в хранилище на стороне провайдера.
• Когда появляется событие, на сервере автоматически разворачиваются контейнеры с подготовленным окружением. Каждому экземпляру функции ― свой изолированный контейнер.
• Из хранилища функция отправляется в контейнер, вычисляется, отдает результат.
• Число параллельных событий растет ― растет количество контейнеров. Система автоматически масштабируется. Если пользователи не обращаются к функции, она будет неактивна.
• Провайдер задает время простоя контейнеров ― если в течение этого времени функции не появляются в контейнере, он уничтожается.

Таким образом мы получаем Serverless «из коробки». Платить за услугу будем по модели pay-as-you-go и только за те функции, которые используются, и только за то время, когда они использовались.

Чтобы познакомить разработчиков с услугой, провайдеры предлагают до 12 месяцев бесплатного тестирования, но ограничивают общее время вычислений, количество запросов в месяц, денежные средства или потребляемые мощности.

Основное преимущество работы с провайдером ― возможность не беспокоиться об инфраструктуре (серверах, виртуальных машинах, контейнерах). Со своей стороны провайдер может реализовать FaaS как на собственных разработках, так и с помощью open-source инструментов. О них и поговорим дальше.

Со стороны open source
Последние пару лет сообщество open-source активно работает над инструментами Serverless. В том числе вклад в развитие бессерверных платформ вносят крупнейшие игроки рынка:

• Google предлагает разработчикам свой open-source инструмент ― Knative. В его разработке участвовали IBM, RedHat, Pivotal и SAP;
• IBM работали над Serverless-платформой OpenWhisk, которая затем стала проектом Apache Foundation;
• Microsoft частично открыли код платформы Azure Functions.

Разработки ведутся и в направлении serverless-фреймворков. Kubeless и Fission разворачиваются внутри заранее подготовленных Kubernetes-кластеров, OpenFaaS работает как с Kubernetes, так и с Docker Swarm. Фреймворк выступает в роли своеобразного контроллера ― по запросу готовит внутри кластера среду выполнения, потом запускает там функцию.

Фреймворки оставляют простор для конфигурации инструмента под свои нужды. Так, в Kubeless разработчик может настроить timeout выполнения функции (дефолтное значение ― 180 секунд). Fission в попытке решить проблему холодного старта предлагает часть контейнеров держать все время запущенными (хоть это и влечет затраты на простой ресурсов). А OpenFaaS предлагает набор триггеров на любой вкус и цвет: HTTP, Kafka, Redis, MQTT, Cron, AWS SQS, NATs и другие.

Инструкции к началу работы можно найти в официальной документации фреймворков. Работа с ними подразумевает наличие чуть большего количества навыков, чем при работе с провайдером ― это как минимум умение запустить Kubernetes-кластер через CLI. Максимум, включить в работу другие open-source инструменты (допустим, менеджер очередей Kafka).

Вне зависимости от того, каким способом мы будем работать с Serverless ― через провайдера или с помощью open-source, мы получим ряд преимуществ и недостатков Serverless-подхода.
Последние пару лет сообщество open-source активно работает над инструментами Serverless. В том числе вклад в развитие бессерверных платформ вносят крупнейшие игроки рынка:

Google предлагает разработчикам свой open-source инструмент ― Knative. В его разработке участвовали IBM, RedHat, Pivotal и SAP;
IBM работали над Serverless-платформой OpenWhisk, которая затем стала проектом Apache Foundation;
Microsoft частично открыли код платформы Azure Functions.
Разработки ведутся и в направлении serverless-фреймворков. Kubeless и Fission разворачиваются внутри заранее подготовленных Kubernetes-кластеров, OpenFaaS работает как с Kubernetes, так и с Docker Swarm. Фреймворк выступает в роли своеобразного контроллера ― по запросу готовит внутри кластера среду выполнения, потом запускает там функцию.

Фреймворки оставляют простор для конфигурации инструмента под свои нужды. Так, в Kubeless разработчик может настроить timeout выполнения функции (дефолтное значение ― 180 секунд). Fission в попытке решить проблему холодного старта предлагает часть контейнеров держать все время запущенными (хоть это и влечет затраты на простой ресурсов). А OpenFaaS предлагает набор триггеров на любой вкус и цвет: HTTP, Kafka, Redis, MQTT, Cron, AWS SQS, NATs и другие.

Инструкции к началу работы можно найти в официальной документации фреймворков. Работа с ними подразумевает наличие чуть большего количества навыков, чем при работе с провайдером ― это как минимум умение запустить Kubernetes-кластер через CLI. Максимум, включить в работу другие open-source инструменты (допустим, менеджер очередей Kafka).

Вне зависимости от того, каким способом мы будем работать с Serverless ― через провайдера или с помощью open-source, мы получим ряд преимуществ и недостатков Serverless-подхода.

С позиции преимуществ и недостатков
Serverless развивает идеи контейнерной инфраструктуры и микросервисного подхода, при которых команды могут работать в мультиязычном режиме, не привязываясь к одной платформе. Построение системы упрощается, а исправлять ошибки становится легче. Микросервисная архитектура позволяет добавлять в систему новый функционал значительно быстрее, чем в случае с монолитным приложением.

• Serverless сокращает время разработки еще больше, позволяя разработчику сосредоточиться исключительно на бизнес-логике приложения и написании кода. Как следствие, время выхода разработок на рынок сокращается.
• Бонусом мы получаем автоматическое масштабирование под нагрузку, а платим только за используемые ресурсы и только в то время, когда они используются.

Как и любая технология, Serverless имеет недостатки.

• Например, таким недостатком может быть время холодного старта (в среднем до 1 секунды для таких языков как JavaScript, Python, Go, Java, Ruby).

С одной стороны, на деле время холодного старта зависит от многих переменных: язык, на котором написана функция, количество библиотек, объем кода, общение с дополнительными ресурсами (те же базы данных или серверы аутентификации). Поскольку разработчик управляет этими переменными, он может сократить время старта. Но с другой стороны, разработчик не может управлять временем запуска контейнера ― здесь все зависит от провайдера.

Холодный старт может превратиться в теплый, когда функция переиспользует запущенный предыдущим ивентом контейнер. Такая ситуация возникнет в трех случаях:

• если клиенты часто используют сервис и растет количество обращений к функции;
• если провайдер, платформа или фреймворк позволяют держать часть контейнеров запущенными все время;
• если разработчик запускает функции по таймеру (скажем, каждые 3 минуты).

Для многих приложений холодный старт ― не проблема. Здесь нужно отталкиваться от типа и задач сервиса. Задержка старта на секунду не всегда критична для бизнес-приложения, но может стать критичной для медицинских служб. Вероятно, в этом случае бессерверный подход уже не подойдет.

• Следующим недостатком Serverless называют короткое время жизни функции (timeout, за который функция должна выполниться).

Но, если предстоит работать с долгоживущими задачами, можно использовать гибридную архитектуру ― скомбинировать Serverless с другой технологией.

• Не все системы смогут работать по Serverless-схеме.

Некоторые приложения по-прежнему будут хранить данные и состояние во время выполнения. Некоторые архитектуры останутся монолитными, а некоторые функции будут долгоживущими. Однако (как когда-то облачные технологии, а затем и контейнеры), Serverless ― технология с большим будущим.

В этом ключе мне бы хотелось плавно перейти к вопросу применения Serverless-подхода.

Со стороны применения
За 2018 год процент использования Serverless вырос в полтора раза. Среди компаний, которые уже внедрили технологию в свои сервисы, такие гиганты рынка как Twitter, PayPal, Netflix, T-Mobile, Coca-Cola. При этом нужно понимать, что Serverless ― не панацея, а инструмент для решения определенного круга задач:

• Сократить простой ресурсов. Не надо постоянно держать виртуальную машину под сервисы, к которым мало обращений.
• «На лету» обработать данные. Сжимать картинки, вырезать фон, менять кодировку видео, работать с датчиками IoT, выполнять математические операции.
• «Склеить» между собой другие сервисы. Git-репозиторий с внутренними программами, чат-бот в Slack с Jira и с календарем.
• Балансировать нагрузку. Здесь остановимся подробнее.

Допустим, есть сервис, на который приходит 50 человек. Под него стоит виртуальная машина со слабым железом. Периодически нагрузка на сервис возрастает в разы. Тогда слабое железо не справляется.

Можно включить в систему балансировщик, который будет распределять нагрузку, скажем, на три виртуальные машины. На данном этапе мы не можем точно спрогнозировать нагрузку, поэтому какое-то количество ресурсов держим запущенными «про запас». И переплачиваем за простой.

В такой ситуации мы можем оптимизировать систему через гибридный подход: за балансировщиком нагрузки оставляем одну виртуальную машину и ставим ссылку на Serverless Endpoint с функциями. Если нагрузка превышает порог ― балансировщик запускает экземпляры функций, которые берут на себя часть обработки запросов.


Таким образом, Serverless можно использовать там, где приходится не слишком часто, но интенсивно обрабатывать большое количество запросов. В этом случае запускать несколько функций на 15 минут выгоднее, чем все время держать виртуальную машину или сервер.

При всех преимуществах бессерверных вычислений, перед внедрением в первую очередь стоит оценить логику приложения и понять, какие задачи сможет решить Serverless в конкретном случае.

Serverless и Selectel
В Selectel мы уже упростили работу с Kubernetes через нашу панель управления. Теперь мы строим собственную FaaS-платформу. Мы хотим, чтобы разработчики могли решать свои задачи с помощью Serverless через удобный, гибкий интерфейс.

Если у вас есть идеи, какой должна быть идеальная FaaS-платформа и как вы хотите использовать Serverless в своих проектах, поделитесь ими в комментариях. Мы учтем ваши пожелания при разработке платформы.