Cистемы охлаждения в дата-центрах Selectel



Конкурентные цены на услуги всегда были «королем аргументов» для клиентов при выборе дата-центра. А из чего складываются эти цены? Первыми на ум приходят расходы на IT-оборудование и электричество, но значительную долю в структуре цен составляют расходы на охлаждение серверов, систем хранения (СХД) и сетевых устройств. К примеру, сервер с несколькими процессорами выделяет до 600 Вт и более тепловой энергии, которую надо эффективно удалить, а на вход вентиляционных отверстий сервера подать холодный воздух.

Сейчас мы познакомим вас с технологиями климатических систем в дата-центрах Selectel и расскажем, каким образом новинки в этой сфере снижают операционные расходы дата-центров, а косвенно — и суммы в счетах наших клиентов.

3 рынка услуг — 3 требования к охлаждению
На рынке услуг ЦОД, — если оценивать грубо, — присутствуют три основных сегмента. Это во-первых, колокейшн, далее инфраструктура IaaS — выделенные серверы плюс облачное хранилище, и третий сегмент — облачные серверы (VPC, VPS, VMware Cloud), включая публичные, приватные и гибридные облака.


Каким бы удивительным это ни казалось, но клиенты каждого из сегментов предъявляют разные требования к климатическим системам. Наиболее требовательны клиенты, размещающие в дата-центре свое собственное оборудование (колокейшн). Среди них много IT-руководителей с многолетней практикой и консервативным представлением о том, какая температура должна быть в серверных залах. Еще 10-15 лет назад требование обеспечить +18°C в холодном коридоре было действительно критически важным. Но современные серверы и СХД стабильно работают до температуры +27°C.

К слову, конкретный диапазон температуры воздуха для серверных помещений ЦОД довольно строго регламентирован рекомендациями ASHRAE (Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха), которыми руководствуются во всем мире, включая Россию. Рекомендованный диапазон температур со временем меняется, где-то в начале 2000-х годов это, действительно, было 16-20°C, затем 18-22°C, а сегодня рекомендованная температура воздуха для охлаждения серверов уже 20-27°C.
Selectel в своих дата-центрах стремится поддерживать температуру воздуха у нижней границы рекомендованного диапазона по ASHRAE, в среднем порядка 23°C
отметил для статьи Кирилл Малеванов, технический директор Selectel

Какой из этого можно сделать вывод для бизнеса дата-центра? Использовать дорогостоящее охлаждение с помощью кондиционеров следует преимущественно для серверных залов, выделенных под услугу колокейшн. Соответственно, для серверных залов под услуги IaaS и тем более для облачных серверов можно применять оборудование, которое максимально эффективно использует охлаждение за счет окружающей среды — вплоть до простого обдува серверов забортным воздухом.

При этом, поскольку Selectel владеет несколькими дата-центрами, причем в разных регионах, появляется свобода маневра. Иными словами, можно еще на стадии проектирования, строительства ЦОД и выбора климатического оборудования учитывать требования к охлаждению в выбранном сегменте услуг. И позже в процессе эксплуатации проводить модернизацию климатических систем с учетом снижения ТСО при предоставлении именно этих услуг.

Что такое PUE
Основным показателем эффективности ЦОД является коэффициент эффективности использования энергии (Power usage effectiveness, PUE), используемый в индустрии ЦОД с 2007 года. Что же из себя представляет этот коэффициент:

Иными словами, чем ближе PUE к 1, тем более совершенным является дата-центр. Однако, значения 1.0 достичь в принципе невозможно, поскольку это соответствует уровню энергоэффективности вечного двигателя. К слову, с полным определением термина PUE можно ознакомиться в документе PUE, A Comprehensive Examination of the Metric (PDF).

На практике превосходными считаются значения PUE, лежащие на уровне 1.10 – 1.15. К примеру, согласно публикациям, для дата-центров Google значение PUE, усредненное по всем ЦОД в разных регионах и в разное время года, составляет 1.12.

Далее, познакомимся подробнее с системами охлаждения в отдельных дата-центрах Selectel.

«Цветочная 1» — фреон
Первый дата-центр «Цветочная 1» был запущен в эксплуатацию в 2008 году, когда услуга колокейшн была доминирующей на рынке. Кроме того, это центр Петербурга — со свободными площадями ситуация тогда была несколько стесненная. Соответственно, в дата-центре «Цветочная 1» были установлены классические промышленные кондиционеры для ЦОД на фреоне, которые работают до настоящего времени.

Принцип работы такого кондиционера основан на переходе фреона в различные агрегатные состояния. Холодный воздух под фальшполом подается в так называемые «холодные коридоры» с вычислительным оборудованием, а нагретый воздух уходит в серверный зал (в «горячие коридоры»), откуда опять засасывается в теплообменник кондиционера, охлаждается и вновь подается к серверам и СХД.


КПД классического кондиционера оставляет желать лучшего, и поэтому коэффициент эффективности использования энергии для дата-центра «Цветочная 1» по современным меркам довольно высок, PUE=1.7. Но учитывая, что здесь предоставляются услуги колокейшн, с таким положением вполне можно смириться до момента кардинальной модернизации всего ЦОД.


«Дубровка 1», «Берзарина 1», «Цветочная 2» — чиллеры
Следующую технологию охлаждения в Selectel опробовали в 2010 году, когда построили ЦОД «Дубровка 1» в поселке Дубровка Ленинградской области. В нем впервые в практике компании была применена чиллерная система охлаждения.

Отличие чиллерной системы от фреоновых кондиционеров состоит в том, что в трубопроводах между внутренними и внешними блоками циркулирует незамерзающий гликолевый раствор, который остается все время жидким и в газообразное состояние не переходит. Раствор прогоняется насосом через кондиционер в серверном зале, где нагревается от горячего радиатора кондиционера и откуда выкачивается в выносной наружный теплообменник, называемый чиллером.

В чиллере гликолевый раствор охлаждается с помощью наружного воздуха и дополнительного компрессорно-конденсаторного блока. Затем уже охлажденный гликолевый раствор вновь подается в кондиционер внутри серверного помещения дата-центра. При этом охлаждение вычислительного оборудования происходит по традиционной схеме — холодный воздух подается снизу через фальшпол в «холодные коридоры», а горячий — уходит в общий зал и далее в теплообменник.


Схема с холодными и горячими коридорами дает до 5% экономии электроэнергии, поэтому так важно провести изоляцию холодного и горячего воздушных бассейнов (коридоров и накопителей воздуха).

Энергоэффективность чиллерной схемы выше в сравнении с кондиционерами, и это объясняется тем, что внешний компрессорно-конденсаторный блок чиллера включается в работу лишь при температурах окружающей среды выше +12°C, причем вентиляторы внешнего блока включаются постепенно, по мере роста температуры гликолевого теплоносителя. Это очень похоже на то, как работает система охлаждения двигателя обычного автомобиля.

По чиллерной схеме в Selectel построено охлаждение трех дата-центров — «Дубровка 1» (2010 год), «Берзарина 1» (2011 год) и «Цветочная 2» (2015 год). В случае с ЦОД «Цветочная 2» был учтен опыт эксплуатации, накопленный за 5 лет работы ЦОД «Дубровка 1» в части многочисленных нюансов обслуживания. Как оказалось, несмотря на внешнюю простоту принципа действия, численная система довольно капризна в работе и требует внимательного обслуживания и соблюдения регламентов. Более подробно о работе чиллерной системы в дата-центре «Берзарина 1» читайте в нашей предыдущей статье.


«Дубровка 3», «Берзарина 2» — фрикулинг
Следующий шаг в повышении энергоэффективности систем охлаждения был сделан в Selectel при переходе к схеме прямого фрикулинга. Принцип действия классического прямого фрикулинга заключается в отказе от теплообменников, и охлаждение вычислительного оборудования происходит за счет обдува с помощью забортного воздуха.

Забортный воздух проходит через фильтры, где очищается от пыли, и далее поступает в машинный зал. В зимнее время по мере необходимости холодный воздух предварительно «разбавляется» теплым воздухом от серверов в камере смешения для поддержания постоянной температуры обдува оборудования.


Как уже говорилось выше, современные серверы и СХД надежно работают при температурах в холодных коридорах до +27°C. Учитывая климат Ленинградской области, где многолетняя среднесуточная температура даже в июле находится у отметки +20°C, такое решение казалось вполне работоспособным. Однако, учитывая температурный рекорд +37.8°C, зафиксированный в Ленинградской области в 2010 году, полагаться только на милость природы было нельзя. Кстати, «горячее лето 2018 года» подтвердило правоту этих расчетов.

Соответственно, в дата-центре «Дубровка 3», введенном в эксплуатацию в 2013 году, используется прямой фрикулинг с блоком дополнительного охлаждения (АБХМ, абсорбционная холодильная машина) на случай летней жары. Забортный воздух проходит через фильтры и далее проходит через теплообменник АБХМ. В холодные коридоры серверного зала воздух подается под фальшполом.



Как показал опыт эксплуатации, такое решение работает без включения АБХМ до температуры окружающей среды +21°C, что практически означает, что АБХМ функционирует только в летние месяцы. Таким образом, это достаточно энергоэффективное решение с PUE ~1.25.

Важным преимуществом АБХМ является экологическая безопасность, так как она работает на обычной воде без использования фреона. Среди недостатков АБХМ — гигантские внешние теплообменники, но учитывая размещение дата-центра «Дубровка 3» практически в чистом поле, это не играет особой роли с точки зрения размера площадей под оборудование АБХМ.

С 2013 года схема прямого фрикулинга с доохлаждением показала свою высокую эффективность и будет вновь реализована в строящемся дата-центре «Берзарина 2» в Москве. Однако ввиду ограниченного пространства, блок доохлаждения будет реализован с помощью адиабатической системы.

Пара слов о резервировании
Традиционно, системы охлаждения в дата-центрах уровня Tier III резервируются по схеме не ниже N+1. Это значит, что в запасе всегда должна быть как минимум одна установка охлаждения, которая вводится в действие при аварии или ремонте (плановом обслуживании) одной из задействованных систем. Так, в дата-центре «Дубровка 1» используется 4 вентиляционных машины для фрикулинга при потребности в 3-х, а в ЦОД «Дубровка 3» — три машины АБХМ, из которых одна машина выключена и находится в резерве, подготовленная к запуску.

К слову, Selectel в своих дата-центрах стремится по возможности ужесточить требование резервирования N+1, и иметь в запасе не одну, а две резервных системы охлаждения. К примеру, в ЦОД «Цветочная 1» и «Цветочная 2» имеется по 2 резервных кондиционера и чиллера, соответственно.


«Берзарина 2» — вскоре в строю
В ноябре 2018 года в эксплуатацию вводится новый дата-центр «Берзарина 2» в Москве, где впервые в практике компании будет применена схема фрикулинга с доохлаждением с помощью адиабатической системы. Если забортный воздух слишком теплый, — а температура в Москве в летнее время часто превышает 23°C, — то включается система адиабатического охлаждения.


Технология адиабатического охлаждения построена на распылении воды в виде мельчайших капель на пути воздушного потока, что позволяет охлаждать воздух за счет испарения воды. При использовании увлажнителей воздуха распылительного типа затраты электроэнергии на сам процесс охлаждения невелики, сравнительно с другими системами охлаждения. Сложная ячеистая структура смачиваемой преграды на пути подаваемого воздуха не позволяет микрокаплям воды попадать дальше в воздуховоды ЦОД. При этом уровень влажности остается в пределах допустимых значений для IT-оборудования.


В мире много интересных решений по системам охлаждения, которые позволяют экономить электроэнергию. Однако все новинки попробовать невозможно — требуется получить финансирование, провести проектирование, затем выполнить закупку оборудования, подготовку и ввод техники в эксплуатацию. Стадии поставки, монтажа, настройки и обкатки — это все очень продолжительные процедуры. Поэтому климатические системы после запуска работают минимум десятилетие и редко кардинально модернизируются в процессе эксплуатации уже построенного ЦОД. А интересные новинки приходят уже в новый ЦОД, в котором они прослужат свои 10-15 лет
подвел итог Кирилл Малеванов, технический директор Selectel.

На MONT Security Day Selectel получил награду



Selectel получил награду «Лучший партнер по внедрению решений облачной безопасности Microsoft». Узнайте и вы про комплекс услуг и решений для обеспечения информационной безопасности корпоративных систем: selectel.ru/services/is/

Делимся историей успеха нашего клиента getblogger



Директор по маркетингу Михаил Карпушин рассказал, какие нестандартные запросы поступают от рекламодателей, и какие задачи решают наши серверы.



Еще один интересный проект на серверах Selectel — онлайн-платформа по размещению рекламы у блогеров GetBlogger. Мы поговорили с директором по маркетингу Михаилом Карпушиным: узнали, чем платформа отличается от агентства, какие нестандартные запросы поступают от рекламодателей, и какие задачи решают наши серверы.

Михаил, расскажите о проекте
GetBlogger — площадка, которая соединяет рекламодателей и блогеров для продвижения продуктов и услуг в Instagram и Youtube. Платформу запустили основатели сервиса по доставке еды Delivery Club Анна Шкирина и Левон Оганесян. Так как опыт создания маркетплейсов у них уже был, команда знала, куда двигаться. Хотелось сделать рынок структурированным и занять его значительную часть.

Он не был таким?
Когда мы запускались, рынок только формировался. Не было четких правил игры, как в контекстной или таргетированной рекламе, где пользователь знает, за что и сколько он платит. Полтора-два года назад реклама у блогера была черным ящиком. Стоимость поста складывалась так: сегодня он стоит 10 тысяч рублей, завтра 20 тысяч, а для Coca-Cola 50 тысяч рублей.

А зачем развивать направление, где результат сложно прогнозировать?
Так было только в России. За рубежом маркетологи давно научились считать выгоду от рекламы блогеров. Мы подумали, что тоже сможем. Если где-то есть трафик, значит его можно монетизировать. Рано или поздно туда придут рекламодатели.

Смогли?
Да, мы не просто монетизировали, но и привели рекламу у блогеров к формату с оплатой за охват. Рекламодатель платит только за качественную аудиторию блогера.

Но ведь есть агентства, которые работают с блогерами? Почему рекламодатели не идут к ним?
Выбирают нас, потому что за короткий промежуток времени рекламодатель может провести масштабную рекламную кампанию. Например, кампания «Агуши» насчитывала 1 000 блогеров. Если бы агентство работало руками, у них это заняло бы месяцы. За счет автоматизации внутри команды и внутри платформы, экономим не только мы, но и рекламодатель. Бывает так, что крупные компании взаимодействуют и с нами, и с агентствами. GetBlogger — это умный софт. Блогер при регистрации подвязывает свои профили Instagram и/или Youtube к нашей платформе. Мы получаем данные из его аккаунтов напрямую от соцсетей, анализируем их и в удобном виде выводим эту статистику рекламодателю. В агентствах и биржах в принципе нет такого функционала.

На что именно смотрите в аккаунтах у блогера?
Платформа автоматически анализирует вовлеченность, качество аудитории, объем накруток, охват, половозрастной срез, географию аудитории и множество других параметров. Число блогеров постоянно растет, данных для анализа становится больше. Для того, чтобы их обработать, нам нужны серьезные вычислительные мощности, которые и предоставляет Selectel. На основе проанализированных данных выставляем блогерам цену за размещение у них рекламы. Рекламодатель платит не за 10 тысяч подписчиков, а за 5 тысяч тех, кто увидит рекламу, живет в России и не является ботом.

А в чем польза блогеру?
Мы не берем комиссию, как это делают агентства, и предоставляем заказы от качественных рекламодателей в очень большом объеме. При этом, мы гарантируем что условия сделки будут соблюдены обеими сторонами.

Как GetBlogger справляется с нестандартными запросами? Например, мне среди блогеров нужны ИТ-специалисты. Я смогу найти, то что хочу?
GetBlogger — агрегатор с человеческим лицом. У нас есть отдел, который работает с рекламодателями. За счет того, что налажена тесная коммуникация с блогерами, с помощью менеджера им можно отправлять нестандартные запросы.

А бывает так, что не вы ищете блогеров, а к вам уже приходят со списком?
Чаще всего крупные бренды и средний бизнес приходят со списком блогеров, с которыми они работают. Нередко случалось так, из этого списка до 50% накручивали подписчиков, просмотры, лайки и комментарии, и тогда рекламодатель от них отказывался.

А почему они сами не смогли оценить качество аудитории?
Руками проверить, использует блогер накрутку или нет, невозможно. Совсем явную накрутку видно глазами, но большая часть блогеров равномерно накручивает лайки с накруткой подписчиков, запускает таргетированную рекламу, чтобы собирать лайки от живых людей с дешевых гео, например из Пакистана, Индии, Малайзии.

Михаил, большое спасибо за интересные подробности работы вашей площадки, у меня остались вопросы по технической части. Почему выбрали Selectel?
Мы запустили платформу в 2017 году, с вами с самого начала. Выбрали Selectel, потому что знали, что вы надежный провайдер, ваше имя было на слуху.

Какую услугу используете?
Выделенный сервер произвольной конфигурации. Если есть возможность взять конфигурацию под проект, странно ею не воспользоваться. Произвольная конфигурация позволяет нам не брать сервер впритык и при этом не переплачивать за излишний запас вычислительных мощностей.

Для каких задач выбирали?
Задач было несколько, но результат важен был один: хорошо работающая платформа.
  • Первая задача была связана с разработкой платформы, она у нас 24/7. Каждую неделю мы выпускаем новые и новые обновления. Например, вносим изменения в личный кабинет или меняем фильтры для поиска блогеров. Важно было, чтобы сервер работал без зависаний.
  • Вторая задача: нам требовались серьезные мощности, чтобы обрабатывать большое количество статистики онлайн. Каждый день на платформе регистрируются сотни блогеров, мы анализируем информацию по каждому из них. Сейчас блогеров около 60 тысяч, отображается чуть больше 16 тысяч. У нас очень жесткий порог отсева. Блогер, даже пройдя модерацию, далеко не факт, что получит предложение от рекламодателя. Мы, в первую очередь, оцениваем качество аудитории с помощью целого ряда алгоритмов, а для их работы требуются соответствующие мощности.
  • Третья: сервер должен был выдерживать нагрузку на сам фронт. Например, нужен быстрый рост числа рекламодателей из Санкт-Петербурга. Мы запускаем таргет или рекламу в СМИ, и на сайт начинает идти трафик рекламодателей. Помимо главной страницы, нам нужно им быстро показывать страницы с самим фильтром/поиском блогеров. Все должно грузиться быстро. Умная платформа, которая грузится 5 секунд, такого мы себе позволить не можем. С «Выделенными серверами» Selectel сайт загружается за 0,9 секунды.

Решили задачи?
Да, на сервере лежит продакшн версия проекта (сайт и все сервисы по сбору и обработке статистических данных).

А почему выбрали не облако?
Исторически сложилось, что еще в Delivery Club всегда использовали железо.

Что нравится у нас?
Мне как маркетологу понравился спецпроект с VC, где вы простым языком рассказываете о том, какие услуги предоставляете. Еще у вас очень понятный сайт. Знаю точно, что нашему техническому директору нравится оперативная и квалифицированная техническая поддержка, удобный личный кабинет. Вопрос стабильности не хочет затрагивать из суеверности.

Мы обновили наши планы выделенного сервера


Мы, наконец, представляем восемь основных процессоров Intel E5 для нашей тяжелой линии. Все планы поставляются с 4TB приводами. Получите индивидуальное решение с помощью нашего нового специализированного конфигуратора серверов.
veesp.com/en/products/dedicated-servers

БЕСПЛАТНЫЙ перенос сайта + месяц хостинга в подарок

БЕСПЛАТНО перенесем ваш сайт от друго-го хостинг провайдера к нам, а так-же дадим месяц хостинга в подарок по любому тарифному плану.

Чем мы лучше других?
— Триальный период на хостинг 14 дней
— Бесплатный конструктор сайтов
— Лечение сайтов от вирусов в автоматическом режиме
— Продвинутая ДДоС защита на хостинге
— Бесплатный домен 3-го уровня
— Отзывчивая служба поодержки
И много других преимуществ.
Для переноса сайта, обращайтесь в нашу службу поддержки.

Доверенная Сеть



Доверенная Сеть — компания основана в 2016 году и успешно работает на рынке хостинг-услуг.

Мы предлагаем:
  • Виртуальных хостинг (от размещения простого сайта, до размещения корпоративных и бизнес ресурсов);
  • Виртуальные серверы (собственная облачная инфраструктура на основе OpenStack+CEPH);
  • Выделенные серверы (мы предлагаем надежные серверы на платформе Supermicro);
  • Регистрация доменных имен (в самых популярных доменных зонах .ru .com .net .org .info .biz и многие другие);
  • IT-менеджмент (сопровождение и обслуживание корпоративны и бизнес решений).

Нам доверяют
Доверие наших клиентов обусловлено компетентной и профессиональной технической поддержкой, надежностью и высоким сервисом обслуживания. Мы продолжаем работать над качеством наших услуг и не перестаем радовать наших клиентов надежностью и качеством.

Комфорт и надежность
При работе с нашей кампанией Вы не просто размещаете ваш сайт или пользуетесь нашими услугами, Вы приобретаете надежного партнера и основу для Вашего бизнеса и личных интернет-проектов.

Удобство оплаты
Многообразие способов оплаты, моментальная регистрация и функциональность нашей панели управления сделает работу максимально комфортной.

Быть основной для вашего бизнеса — наш приоритет!



RU,MSK — Telehouse Caravan
EU, NL — Serverius,Evoswitch
US, IL — Equinix
AS202696

Пропускная способность выделенных серверов: мы делаем x2

Пропускная способность выделенных серверов: мы делаем x2, без существующего роста цен клиентов и новых. Если у вас есть 500Mbps, у вас есть 1Gbps! Весело :)

Это займет QQ недель, чтобы увидеть CONF применяются ко всему парку (356к физических серверов). Конечно, в слове ограничение ;)скорости порта Ethernet