Selectel дата-центры

Всем привет! Меня зовут Егор, и я системный инженер дата-центра компании Selectel. Сегодня я расскажу немного о себе и о том, как проходит мой день.

С IT-сферой я познакомился достаточно давно, еще до обучения в университете. Большую роль для меня сыграло прохождение курсов в академии Cisco, а также активное участие в мероприятиях Cisco Connect в качестве помощника организатора. Тогда мы отвечали за установку, настройку и подключение инфраструктуры стендов и проведение лабораторных работ для гостей. Там я и познакомился с Кириллом Малевановым, техническим директором Selectel и настоящим профессионалом в своей области.

В процессе общения я узнал об открытой вакансии стажера в московском дата-центре компании Selectel. Еще с детских лет мне была интересна профессия инженера, а интернет казался невероятной «магией». Желание узнать, как именно устроены сети, стало ключевым в выборе будущей профессии. Так что попробовать себя в роли стажера показалось мне хорошим способом набраться опыта и получить необходимые знания.



Процесс обучения нельзя было назвать простым. Приходилось в очень сжатые сроки впитывать большое количество информации, стараясь не мешать дежурным инженерам выполнять свои обязанности. Первое время было сложно общаться с клиентами как вживую, так и в тикетах, поскольку нельзя было допустить ни единой ошибки или неточности.



Спустя 3.5 месяца интенсивного обучения и прохождения экзамена я получил Job Offer на позицию системного инженера. С этого и начался новый интересный этап в моей жизни.

Пробуждение
Утро начинается не с кофе. Оно начинается в 5:40 со звука первого из десятка будильников, установленных в телефоне с 5-ти минутным интервалом. Увы, проснуться с первого сигнала для меня практически нереально. Ближе к 6 утра удается встать, быстро собраться и отправиться на работу.


Сборы на работу
Взять с собой сэндвичи на завтрак, ноутбук и зарядку для мобильного — вот, практически, и все сборы. Все остальное уже есть на работе.


Поездка до дата-центра
Начало рабочего дня только в 8 утра, однако медлить не стоит — московские пробки начинают собираться уже с 7 часов. К тому же, приехав на работу на час раньше, можно спокойно принять душ и позавтракать. Опаздывать у нас не принято — этим не только портишь свои показатели, но и «подставляешь» коллегу, который всю ночь дежурил. Именно последний факт является наиболее мотивирующим, поскольку в команде все давно уже сдружились.


Прием смены
В сменах работает четыре инженера, тем самым, у нас есть чередующиеся дневные и ночные смены. В процессе работы каждое действие фиксируется в системе учета, однако самые важные события за смену передаются сменщику лично. Разумеется, хочется услышать с утра, что никаких проблем за прошедшую смену не возникло.


Обработка обращений


Главным способом общения с заказчиками у нас является тикет-система. Через нее все обращения принимаются в работу. Как и во многих других компаниях, у нас реализована многоступенчатая система поддержки. На общие вопросы отвечают сотрудники «первой линии», но если потребовались какие-либо реальные действия на оборудовании, заявки попадают к нам, в инженерно-технический отдел.


Наиболее частыми запросами являются просьбы о перезагрузке зависшего оборудования и временного подключения IP-KVM. При поступлении такой заявки мы определяем нужный сервер по уникальному идентификатору, находим его «координаты» и выполняем требуемые действия в серверном помещении.


Помимо этого мы занимаемся установкой операционных систем на заказанные клиентами серверы, а также их базовой настройкой. Отдельно можно отметить запросы на замену вышедших из строя компонентов, например, дисковых накопителей. Наша задача в этом случае максимально оперативно идентифицировать и заменить компонент, минимизируя возможный простой сервера.

Обходы


Бесперебойную работу дата-центра обеспечивает множество инженерных систем, в частности, холодильные установки, системы бесперебойного электропитания и установки пожаротушения. Если интересны подробности, рекомендую прочитать статью в нашем блоге. Несмотря на то, что вся информация с них постоянно поступает в помещение, где сидят инженеры, непосредственные обходы помещений очень важны.


Каждые 4 часа системный инженер обязан обойти все помещения и заполнить соответствующий отчет. Постоянно находиться в инженерном помещении нет необходимости, поскольку все сообщения мониторинга приходят на дежурный смартфон, что дает возможность оперативно на них реагировать.


Обед
Как любил говорить Пончик, из старого советского мультфильма «Незнайка на Луне», — «Режим питания нарушать нельзя». Отправляюсь на бесплатный обед к нам в столовую, пока коллеги продолжают трудиться.


Задание на смену
Помимо непосредственного приема обращений, в мои обязанности входит еще очень большое количество различных операций. Компания постоянно вводит новые серверные мощности в эксплуатацию, но перед тем как заказчики смогут заказать выделенные серверы, оборудование необходимо полностью подготовить к работе.

Новые серверы маркируются, монтируются в стойки, настраиваются и заносятся в систему автоматического управления. К ним сразу подключаются все необходимые кабели: питание, интернет, локальная сеть. Именно этим я сейчас и займусь. Днем присутствует несколько инженеров, поэтому задача обработки обращений пока что передается в их руки.


Кроме того, в Москве уже входит в привычку видеть рядом практикантов или стажеров нашего отдела. Кто, если не мы, будет им помогать развиваться и раскрывать свой потенциал?

Прием сервера
Ближе к окончанию рабочего дня поступила заявка от нового клиента на размещение оборудования. Через тикет-систему я прислал ему схему проезда, выписал пропуск и через некоторое время встречаю его на проходной. Пока клиент пьет кофе:

• Осматриваю сервер, убеждаюсь в том, что заявленная конфигурация соответствует реальной
• Сверяю серийные номера
• Делаю замер энергопотребления
• Маркирую уникальным идентификатором с двух сторон
• Готовлю акты приема оборудования

Теперь клиент может спокойно ехать по своим делам, а сервер в течение пары часов будет установлен в стойку и станет доступен удаленно.


Часто возникает ситуация, когда заказчик находится в другом городе или даже в другой стране. Привезти оборудование на размещение лично не представляется возможным. В этом случае его можно доставить курьерскими службами при условии предварительной договоренности через тикет-систему.

Монтаж
Непосредственно перед выполнением монтажа определяю стойку, куда нужно установить оборудование. Здесь играет большую роль количество блоков питания и наличие свободных портов в коммутаторе доступа. Через скрипт запрашиваю эти данные, проверяю наличие свободных портов и убеждаюсь в наличии свободных розеток.


Также смотрю показания стоечного мультиметра или АВР (автомат ввода резерва), чтобы фактическая потребляемая мощность стойки не вышла за максимально возможный предел с учетом нового оборудования.


После того как все это проверено, можно смело идти и монтировать. Поскольку мы принимаем на размещение только оборудование форм-фактора Rackmount для установки в стойку 19” — чаще всего с размещением нет никаких проблем.


Сдача смены
Рабочий день подошел к концу. Рассказываю сменщику обо всех событиях, произошедших за последние 12 часов. Торжественно передаю ему «символы власти» — ключи от помещений и дежурный мобильный телефон.


Время прогулки
Перед тем, как ехать домой, у меня есть время полюбоваться видами вечерней Москвы.


Отход ко сну
Машина припаркована, ужин съеден, пора и ложиться спать. Завтра будет новый отличный день.

Если вы интересуетесь информационной безопасностью и мультиоблачной средой, приходите 29 ноября на SelectelTechDay в Москве. Это крупное мероприятие, организованное Selectel, где обсуждают главные тренды IT и обмениваются опытом. Участие бесплатное.
Что вас ждет

• 12 докладов от лидеров IT-индустрии: Intel, Qrator, VMware, Selectel. Рассказ о главных трендах отрасли и демонстрация работы сервисов
• 150+ гостей. Общение с представителями компаний и участниками конференции

Подробнее с темами докладов вы можете ознакомиться на странице мероприятия. Чтобы не пропустить событие, добавьте его к себе в календарь.
selectel.ru/techday/

selectel.ru/promo/amd/

Цифровизация бизнеса идет настолько стремительно, что даже небольшие фирмы уже имеют свой сайт или интернет-магазин. Когда нужный ресурс создан, встает следующая проблема — где найти опытный персонал, который обеспечил бы стопроцентно надежную работу ресурса.

Это запрос рынка? — У нас есть ответ! В этой статье мы хотим рассказать об услуге «Администрирование сервисов» в Selectel, которая решает подобные проблемы клиентов, снижая затраты на персонал и обслуживание инфраструктуры.

Впервые сталкиваясь с «кухней» обеспечения стабильной работы сайтов, веб- и мобильных приложений, владельцы бизнеса оказываются в растерянности от новых терминов и непонятных действий, которые им надо произвести «чтобы все работало как часы».

Соответственно, у владельцев и менеджеров компаний возникает здравое желание делегировать эти задачи опытному системному администратору, который бы следил за исправной работой их «детища», а они могли сосредоточиться на развитии бизнеса.

Очертим зоны ответственности администраторов
Для начала опишем, что это, собственно, за услуга. Команда системных администраторов Selectel, включая также инженеров, системных архитекторов и специалистов DevOps, решает задачи по установке, миграции, настройке, обновлению и обслуживанию серверов и программных приложений, которые развернуты или будут развернуты на инфраструктуре Selectel. В последнем случае приложение (сайт, СУБД, иная информационная система) будет перенесено с сервера клиента или от другого хостера — на сервер в дата-центре Selectel. Это важно понимать, чтобы ожидать от работы специалистов Selectel именно те результаты, за которые они отвечают.


Иными словами, если клиенту надо разместить приложение в облаке или подготовить выделенный сервер и поставить туда базу данных — пожалуйста, а вот проложить оптику от офиса клиента в дата-центр Selectel, — это уже не к ним, а к команде нашего технического департамента.

Услуги на все случаи


Взглянем на диаграмму, услуги администрирования бывают разовые, проектные и постоянные (ежемесячные), — в зависимости от существа задачи, которую поставит клиент. Администраторы несут ответственность за функционирование сервера, ОС и серверного ПО, выполняют запросы на изменения и установку дополнительного ПО. Компетенция специалистов Selectel позволяет создать и поддерживать как небольшие, так и сложные распределенные системы на базе Linux и Windows.

Кроме того, стоит отметить, что администраторы оказывают услуги, связанные только с определенными продуктами дата-центра:

• «Выделенные серверы»
• «Виртуальное приватное облако»
• «Облако на базе VMware»
• «Мультиоблачная среда»

Начнем с аудита
Прежде чем управлять или переносить IT-ресурсы заказчика в Selectel, администраторам требуется оценить объем и сложность задачи. Поэтому на первом этапе проводится аудит, во время которого изучается существующая IT-инфраструктура у клиента. Аудит проводится как при составлении коммерческого предложения по администрированию сервисов, так и как отдельная услуга по заказу клиента, например, в связи с нестабильной работой ресурса. В первом случае проводится определение используемых компонент, конфигураций, нагрузки и сопоставление этих данных с техническими требованиями клиента для составления коммерческого предложения по стабилизации работы ресурсов.

При заказном аудите клиент получает подробное описание используемой конфигурации ПО, рекомендации по изменению настроек и управлению безопасностью, анализ причин инцидентов и результат других исследований в соответствии с ТЗ на аудит.

Недовольны хостером? — мигрируйте
В случае, если клиент недоволен, как работает ресурс на домашней площадке или у текущего хостера, предлагается перенести сайт или приложение на инфраструктуру Selectel. Иными словами, провести миграцию ресурса. В этом случае производится перенос системы, настройка приложений, резервного копирования и мониторинга. Миграция «боевых» машин не повлияет на бизнес-процессы клиента, и система будет работать в привычном ритме. Скорость процесса миграции зависит от объема данных.

Администрирование 24/7 — залог бесперебойной работы
Ресурс, размещенный на инфраструктуре Selectel, впоследствии может обслуживаться нашими администраторами на постоянной основе. Посмотрим, что включено в эту работу специалистов:

• Обновление ПО
• Мониторинг инфраструктуры и сервисов, контроль лимитов ресурсов, производительности и работоспособности служб
• Резервное копирование инфраструктуры с возможностью полного или частичного восстановления. Правило «3-2-1» в действии
• Устранение ошибок в работе и настройке сервисов
• Контроль доступа и настроек безопасности, регулярная проверка на уязвимости
• Установка обновлений безопасности

Кроме перечисленных задач для клиентов выполняется целый ряд работ в рамках дополнительных услуг:

• Установка защиты от DDoS (L3-L7) с целью снижения риска недоступности ресурсов
• Настройка CDN для быстрой загрузки контента на устройствах пользователей. Помощь в создании инфраструктуры для процессов DevOps, что актуально для компаний-разработчиков ПО
• Чтобы клиент был уверен, что его ресурсы обслуживаются качественно, команда администраторов Selectel проходит регулярное обучение и повышает свою экспертность. Подтверждением компетенции являются сертификаты от ведущих IT-компаний: AWS, Microsoft Azure, Cisco, VMware, Red Hat. По завершении работ Selectel предоставляет клиенту 7-дневный тестовый период, чтобы убедиться в исправной работе ресурса. Затем ежемесячно направляются счета и отчеты о проделанной работе.

Если очень срочно
Администраторы работают в режиме 24/7/365, при этом плановые задачи выполняются по будням в рабочее время с 10 до 19. В случае возникновения срочной или разовой задачи, клиент может заказать услугу администрирования через тикет-систему в панели управления с почасовой оплатой. К примеру, к наиболее распространенным заявкам на администрирование относятся выпуск и установка SSL-сертификата, настройка и проверка резервных копий, синхронизация дисков в RAID-массиве.

На срочные задачи действует повышенный тариф — от 6 000 руб./час. Сроки выполнения работ согласовываются с клиентом до начала работ, поэтому общий размер оплаты будет известен заранее. Администратор приступит к выполнению задачи после оплаты услуг.

А мне, пожалуйста, за бугром
К задачам, которые выполняют администраторы Selectel, также относится реализация проектов на облаках AWS, Microsoft Azure, Google Cloud Platform. Здесь может быть создана и настроена среда разработки, созданы резервные площадки, выполнены бэкап-процессы.

В таких случаях мы говорим о построении гибридной вычислительной платформы, объединяющей on-premises инфраструктуру с облачными решениями Selectel и сервисами глобальных провайдеров. К примеру, это онлайн-магазин на AWS, большие данные, аналитика и визуализация на Google Cloud Platform.

Для облака Microsoft Azure выполняются миграция управления идентификации пользователей и корпоративной почты, построение катастрофоустойчивого сценария и интеграция с объектным хранилищем в облаке. На AWS может быть создана среда разработки, которая в свою очередь интегрирована с IT-инфраструктурой клиента с учетом политик доступа и требований к доступности сервисов. Работы на облаках AWS, Microsoft Azure, Google Cloud Platform относятся к проектным решениям, стоимость которых рассчитывается индивидуально.

Индивидуальные проекты
Высший пилотаж — это разработка индивидуального проекта, включающего администрирование сервисов в соответствии с бизнес-требованиями клиента и реализация их «под ключ» с учетом требований бюджета и сроков ввода в эксплуатацию.

При необходимости менеджер департамента интеграции соберет команду инженеров и архитекторов Selectel, привлечет технических специалистов от производителя (AWS, Microsoft, Mont, Oracle) и организует управление проектом. Для проекта будет обеспечено сопровождение на всех этапах: от планирования перехода в облако до реализации решения с дальнейшей технической поддержкой.

Иными словами, дальше действовать будут администраторы. Все, что останется руководству компании-клиента — это сфокусироваться на своем бизнесе.

selectel.ru/services/additional/administrative-services/

Selectel, провайдер ИТ-инфраструктурных решений для бизнеса, занял вторую строчку рейтинга «ТОП-10 самых зрелых провайдеров облачных услуг», подготовленного аналитическим центром TAdviser. Эксперты оценивали такие параметры облачных сервисов, как управляемость, безопасность и доступность.

Павел Алимов, генеральный директор Selectel:

Компании Selectel уже 10 лет, и рейтинг TAdviser подтверждает наше лидерство на облачном рынке. Клиенты доверяют нам критические элементы своей ИТ-инфраструктуры и предъявляют самые высокие требования к надежности. Поэтому мы много внимания уделяем повышению отказоустойчивости сервисов, ежегодно инвестируем десятки миллионов долларов в их развитие

Рейтинг «ТОП-10 самых зрелых облачных провайдеров» был составлен по уникальной методике. Эксперты TAdviser выделили ряд критериев для сравнения: автоматизация, гарантия сервиса, производительность, безопасность. В рамках названных критериев оценивались параметры SLA, сертификация площадок, используемые технологические решения, автоматизация управления услугами и пр. Сводный балл участника складывался из оценок по всем изучаемым параметрам. Selectel занял вторую строчку рейтинга с 18,7 балла, отрыв от первого места составил менее одного балла.

В TAdviser отмечают, что спрос на облачные сервисы в сегменте IaaS в России растет более чем на 35-40% в год. Заказчики расширяют их использование с целью увеличить скорость вывода продуктов и услуг на рынок, снизить стоимость владения ИТ-инфраструктурой, повысить ее катастрофо- и отказоустойчивость.

В исследовании говорится, что при выборе поставщика облачных услуг российские заказчики сравнивают технические параметры площадок, на базе которых разворачивается облако, оценивают возможности самостоятельного управления услугами, обращают внимание на соответствие требованиям 152-ФЗ и 242-ФЗ.

Selectel, российский провайдер ИТ-инфраструктурных решений для бизнеса, развернул гибридную вычислительную платформу для компании «Мегаплан», разработчика одноименной CRM-системы.

«Мегаплан» разрабатывает облачные системы управления бизнесом, в том числе решения для автоматизации финансовых и операционных процессов, сервисы для хранения документов, организации совместной работы и коммуникации сотрудников. Среди клиентов «Мегаплана» ведущие российские компании — «Альфа-Банк», «Ростелеком», сеть спортивных клубов Fitness House и другие. В ответ на изменения в регулировании интернет-отрасли, в том числе в области работы с персональными данными, «Мегаплан» определил локального инфраструктурного партнера.

Михаил Пирогов, руководитель отдела эксплуатации и администрирования «Мегаплан»:

Мы присматривались к дюжине российских провайдеров. Анализировали технологическую составляющую и проверяли, насколько они соответствуют нормам отечественного законодательства в области хранения персональных данных. Безопасность для нас не просто красивое слово, а реальная забота и дело чести. Поэтому мы выбрали наиболее сильного, на наш взгляд, провайдера и не экономим на качестве

Selectel предоставил «Мегаплану» гибридное ИТ-инфраструктурное решение на базе выделенных серверов и облачного хранилища.

Петр Щеглов, директор по продуктам Selectel:

Когда речь заходит об аренде серверов в российских дата-центрах, то первый приходящий на ум поставщик — это Selectel. Почти десять лет мы совершенствуем эту услугу и достигли образцового уровня надежности и автоматизации. Сегодня мы видим интерес заказчиков к гибридным решениям и развиваем проекты по интеграции физической инфраструктуры с облачной платформой Selectel

Бизнес-данные не теряются одни — вместе с ними организация теряет деньги и время. Обеспечить сохранность данных поможет соблюдение простого правила «3-2-1»:

• Создать 3 резервные копии данных
• Сохранить бэкапы в 2 разных физических форматах
• Передать 1 копию на удаленное хранение

Тем, кто использует продукты Veeam® для резервного копирования, предлагаем решить последнюю задачу списка с помощью Selectel — храните бэкапы в удаленном «Облачном репозитории Veeam Cloud Connect». Настройка — прямо в вашей консоли Veeam.


Преимущества облачного репозитория

• Выгодно
• Готовый облачный репозиторий без ограничений по объему, 3 руб./мес. за ГБ.
• Доступно
• Бэкапы хранятся в дата-центре уровня Tier III с дублированием сетевых компонентов.
• Удобно
• Встроенная WAN-акселерация, резервное копирование и восстановление из консоли Veeam®.
• Безопасно

Данные синхронно реплицируются и хранятся в 3-х копиях на разных серверах, возможно шифрование при передаче и хранении, VPN не требуется.
Selectel — надежный провайдер IT-инфраструктуры в России. За 10 лет Selectel заслужил доверие более 15 тысяч клиентов — от индивидуальных предпринимателей до крупных международных корпораций.
Узнать об услуге подробнее и заказать бесплатное тестирование можно на нашем сайте.
selectel.ru/services/additional/veeam-cloud-connect/

Тем, кто не использует решения Veeam, предлагаем изучить возможности «Облачного хранилища» от Selectel: тройная репликация данных, приватные контейнеры, возможность настроить автоудаление — и другие возможности для хранения резервных копий. Подробно об «Облачном хранилище» — в базе знаний.

Представьте, что успех сделки зависит от коммерческого предложения, над которым вы работали неделю. Но накануне встречи оно не сохранилось, и сделка сорвалась. Неприятно, правда? Чтобы подобные ситуации не возникали, мы запустили услугу «Облачные офисные приложения». Это популярные пакеты в облачном исполнении: приложения Microsoft и G Suite от Google.


Расширенный набор приложений Microsoft Office с доступом через браузер, облачным хранилищем и мощным почтовым клиентом Outlook, который поддерживает 10 отраслевых стандартов обеспечения конфиденциальности. Кроме традиционных офисных программ, доступны облачные сервисы Azure Active Directory, Skype для бизнеса, Exchange Online, Visio Online.
my.selectel.ru/licences/microsoft/order/


Корпоративная электронная почта, офисные приложения, видеоконференции, облачное хранилище и совместный доступ к файлам — более 10 приложений в одном пакете. Можно выбрать гибкий тариф с оплатой раз в месяц или годовую подписку.
my.selectel.ru/licences/google/order

Эффективная командная работа онлайн

• Совместная работа над документами с любых устройств
• Доступность в любой точке мира
• Последние версии программ благодаря своевременному обновлению
• Заказ через единую панель Selectel
• Наши цены такие же, как у провайдеров, и уже включают необходимые налоги
• Оформление документов по правилам учета РФ
• Помощь в миграции и настройке сервисов

Сделайте вашу работу с документами удобнее — воспользуйтесь облачными приложениями Microsoft и Google G Suite.
selectel.ru/services/cloud-apps/

Хотите заняться развитием бизнеса, не тратя время на углубление в технические детали, снизив затраты на администраторов и обслуживание IT-инфраструктуры? Подключите услугу «Администрирование сервисов» в Selectel.
selectel.ru/services/additional/administrative-services/
От аудита и непрерывного сопровождения до разовых задач

• Проверим существующую IT-инфраструктуру: проанализируем затраты и нагрузки, выявим проблемные места и предложим подходящее решение
• Учтем требования по производительности, масштабированию и отказоустойчивости, избавив вас от лишних согласований документации
• Настроим сервисы, будем следить за доступностью ресурсов и параметрами резервного копирования
• Установим, обновим и настроим ПО, оптимизируем работу баз данных
• Поможем реализовать проекты в «Мультиоблачной среде»
• Оперативно решим типовые задачи: выпустим и установим SSL-сертификат, синхронизируем диски в RAID-массиве

Услуга «Администрирование сервисов» совместима с «Выделенными серверами», «Виртуальным приватным облаком», «Облаком на базе VMware» и «Мультиоблачной средой». Если ваша IT-инфраструктура находится у другого провайдера, осуществим миграцию и перенесем данные с серверов к нам.

С Selectel надежно и безопасно

• Настраиваем сканеры и проверяем сервисы на уязвимости, чтобы обезопасить бизнес от простоя
• Следим за сохранностью данных: у администраторов нет прямого доступа к вашим серверам и паролям, — мы используем аутентификационный сервер
• Сами взаимодействуем со смежными службами дата-центра
• Квалификация наших администраторов подтверждена сертификатами
• Ежемесячно отправляем отчеты о проделанной работе
• Исключаем риски потери данных благодаря автоматизации, мониторингу, созданию бэкапов, сбору и анализу логов

Обеспечьте бесперебойную работу IT-систем силами администраторов Selectel. Ваша IT-инфраструктура будет в надежных руках.
selectel.ru/services/additional/administrative-services/

Конкурентные цены на услуги всегда были «королем аргументов» для клиентов при выборе дата-центра. А из чего складываются эти цены? Первыми на ум приходят расходы на IT-оборудование и электричество, но значительную долю в структуре цен составляют расходы на охлаждение серверов, систем хранения (СХД) и сетевых устройств. К примеру, сервер с несколькими процессорами выделяет до 600 Вт и более тепловой энергии, которую надо эффективно удалить, а на вход вентиляционных отверстий сервера подать холодный воздух.

Сейчас мы познакомим вас с технологиями климатических систем в дата-центрах Selectel и расскажем, каким образом новинки в этой сфере снижают операционные расходы дата-центров, а косвенно — и суммы в счетах наших клиентов.

3 рынка услуг — 3 требования к охлаждению
На рынке услуг ЦОД, — если оценивать грубо, — присутствуют три основных сегмента. Это во-первых, колокейшн, далее инфраструктура IaaS — выделенные серверы плюс облачное хранилище, и третий сегмент — облачные серверы (VPC, VPS, VMware Cloud), включая публичные, приватные и гибридные облака.


Каким бы удивительным это ни казалось, но клиенты каждого из сегментов предъявляют разные требования к климатическим системам. Наиболее требовательны клиенты, размещающие в дата-центре свое собственное оборудование (колокейшн). Среди них много IT-руководителей с многолетней практикой и консервативным представлением о том, какая температура должна быть в серверных залах. Еще 10-15 лет назад требование обеспечить +18°C в холодном коридоре было действительно критически важным. Но современные серверы и СХД стабильно работают до температуры +27°C.

К слову, конкретный диапазон температуры воздуха для серверных помещений ЦОД довольно строго регламентирован рекомендациями ASHRAE (Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха), которыми руководствуются во всем мире, включая Россию. Рекомендованный диапазон температур со временем меняется, где-то в начале 2000-х годов это, действительно, было 16-20°C, затем 18-22°C, а сегодня рекомендованная температура воздуха для охлаждения серверов уже 20-27°C.

Selectel в своих дата-центрах стремится поддерживать температуру воздуха у нижней границы рекомендованного диапазона по ASHRAE, в среднем порядка 23°C

отметил для статьи Кирилл Малеванов, технический директор Selectel

Какой из этого можно сделать вывод для бизнеса дата-центра? Использовать дорогостоящее охлаждение с помощью кондиционеров следует преимущественно для серверных залов, выделенных под услугу колокейшн. Соответственно, для серверных залов под услуги IaaS и тем более для облачных серверов можно применять оборудование, которое максимально эффективно использует охлаждение за счет окружающей среды — вплоть до простого обдува серверов забортным воздухом.

При этом, поскольку Selectel владеет несколькими дата-центрами, причем в разных регионах, появляется свобода маневра. Иными словами, можно еще на стадии проектирования, строительства ЦОД и выбора климатического оборудования учитывать требования к охлаждению в выбранном сегменте услуг. И позже в процессе эксплуатации проводить модернизацию климатических систем с учетом снижения ТСО при предоставлении именно этих услуг.

Что такое PUE
Основным показателем эффективности ЦОД является коэффициент эффективности использования энергии (Power usage effectiveness, PUE), используемый в индустрии ЦОД с 2007 года. Что же из себя представляет этот коэффициент:

Иными словами, чем ближе PUE к 1, тем более совершенным является дата-центр. Однако, значения 1.0 достичь в принципе невозможно, поскольку это соответствует уровню энергоэффективности вечного двигателя. К слову, с полным определением термина PUE можно ознакомиться в документе PUE, A Comprehensive Examination of the Metric (PDF).

На практике превосходными считаются значения PUE, лежащие на уровне 1.10 – 1.15. К примеру, согласно публикациям, для дата-центров Google значение PUE, усредненное по всем ЦОД в разных регионах и в разное время года, составляет 1.12.

Далее, познакомимся подробнее с системами охлаждения в отдельных дата-центрах Selectel.

«Цветочная 1» — фреон
Первый дата-центр «Цветочная 1» был запущен в эксплуатацию в 2008 году, когда услуга колокейшн была доминирующей на рынке. Кроме того, это центр Петербурга — со свободными площадями ситуация тогда была несколько стесненная. Соответственно, в дата-центре «Цветочная 1» были установлены классические промышленные кондиционеры для ЦОД на фреоне, которые работают до настоящего времени.

Принцип работы такого кондиционера основан на переходе фреона в различные агрегатные состояния. Холодный воздух под фальшполом подается в так называемые «холодные коридоры» с вычислительным оборудованием, а нагретый воздух уходит в серверный зал (в «горячие коридоры»), откуда опять засасывается в теплообменник кондиционера, охлаждается и вновь подается к серверам и СХД.


КПД классического кондиционера оставляет желать лучшего, и поэтому коэффициент эффективности использования энергии для дата-центра «Цветочная 1» по современным меркам довольно высок, PUE=1.7. Но учитывая, что здесь предоставляются услуги колокейшн, с таким положением вполне можно смириться до момента кардинальной модернизации всего ЦОД.


«Дубровка 1», «Берзарина 1», «Цветочная 2» — чиллеры
Следующую технологию охлаждения в Selectel опробовали в 2010 году, когда построили ЦОД «Дубровка 1» в поселке Дубровка Ленинградской области. В нем впервые в практике компании была применена чиллерная система охлаждения.

Отличие чиллерной системы от фреоновых кондиционеров состоит в том, что в трубопроводах между внутренними и внешними блоками циркулирует незамерзающий гликолевый раствор, который остается все время жидким и в газообразное состояние не переходит. Раствор прогоняется насосом через кондиционер в серверном зале, где нагревается от горячего радиатора кондиционера и откуда выкачивается в выносной наружный теплообменник, называемый чиллером.

В чиллере гликолевый раствор охлаждается с помощью наружного воздуха и дополнительного компрессорно-конденсаторного блока. Затем уже охлажденный гликолевый раствор вновь подается в кондиционер внутри серверного помещения дата-центра. При этом охлаждение вычислительного оборудования происходит по традиционной схеме — холодный воздух подается снизу через фальшпол в «холодные коридоры», а горячий — уходит в общий зал и далее в теплообменник.


Схема с холодными и горячими коридорами дает до 5% экономии электроэнергии, поэтому так важно провести изоляцию холодного и горячего воздушных бассейнов (коридоров и накопителей воздуха).

Энергоэффективность чиллерной схемы выше в сравнении с кондиционерами, и это объясняется тем, что внешний компрессорно-конденсаторный блок чиллера включается в работу лишь при температурах окружающей среды выше +12°C, причем вентиляторы внешнего блока включаются постепенно, по мере роста температуры гликолевого теплоносителя. Это очень похоже на то, как работает система охлаждения двигателя обычного автомобиля.

По чиллерной схеме в Selectel построено охлаждение трех дата-центров — «Дубровка 1» (2010 год), «Берзарина 1» (2011 год) и «Цветочная 2» (2015 год). В случае с ЦОД «Цветочная 2» был учтен опыт эксплуатации, накопленный за 5 лет работы ЦОД «Дубровка 1» в части многочисленных нюансов обслуживания. Как оказалось, несмотря на внешнюю простоту принципа действия, численная система довольно капризна в работе и требует внимательного обслуживания и соблюдения регламентов. Более подробно о работе чиллерной системы в дата-центре «Берзарина 1» читайте в нашей предыдущей статье.


«Дубровка 3», «Берзарина 2» — фрикулинг
Следующий шаг в повышении энергоэффективности систем охлаждения был сделан в Selectel при переходе к схеме прямого фрикулинга. Принцип действия классического прямого фрикулинга заключается в отказе от теплообменников, и охлаждение вычислительного оборудования происходит за счет обдува с помощью забортного воздуха.

Забортный воздух проходит через фильтры, где очищается от пыли, и далее поступает в машинный зал. В зимнее время по мере необходимости холодный воздух предварительно «разбавляется» теплым воздухом от серверов в камере смешения для поддержания постоянной температуры обдува оборудования.


Как уже говорилось выше, современные серверы и СХД надежно работают при температурах в холодных коридорах до +27°C. Учитывая климат Ленинградской области, где многолетняя среднесуточная температура даже в июле находится у отметки +20°C, такое решение казалось вполне работоспособным. Однако, учитывая температурный рекорд +37.8°C, зафиксированный в Ленинградской области в 2010 году, полагаться только на милость природы было нельзя. Кстати, «горячее лето 2018 года» подтвердило правоту этих расчетов.

Соответственно, в дата-центре «Дубровка 3», введенном в эксплуатацию в 2013 году, используется прямой фрикулинг с блоком дополнительного охлаждения (АБХМ, абсорбционная холодильная машина) на случай летней жары. Забортный воздух проходит через фильтры и далее проходит через теплообменник АБХМ. В холодные коридоры серверного зала воздух подается под фальшполом.



Как показал опыт эксплуатации, такое решение работает без включения АБХМ до температуры окружающей среды +21°C, что практически означает, что АБХМ функционирует только в летние месяцы. Таким образом, это достаточно энергоэффективное решение с PUE ~1.25.

Важным преимуществом АБХМ является экологическая безопасность, так как она работает на обычной воде без использования фреона. Среди недостатков АБХМ — гигантские внешние теплообменники, но учитывая размещение дата-центра «Дубровка 3» практически в чистом поле, это не играет особой роли с точки зрения размера площадей под оборудование АБХМ.

С 2013 года схема прямого фрикулинга с доохлаждением показала свою высокую эффективность и будет вновь реализована в строящемся дата-центре «Берзарина 2» в Москве. Однако ввиду ограниченного пространства, блок доохлаждения будет реализован с помощью адиабатической системы.

Пара слов о резервировании
Традиционно, системы охлаждения в дата-центрах уровня Tier III резервируются по схеме не ниже N+1. Это значит, что в запасе всегда должна быть как минимум одна установка охлаждения, которая вводится в действие при аварии или ремонте (плановом обслуживании) одной из задействованных систем. Так, в дата-центре «Дубровка 1» используется 4 вентиляционных машины для фрикулинга при потребности в 3-х, а в ЦОД «Дубровка 3» — три машины АБХМ, из которых одна машина выключена и находится в резерве, подготовленная к запуску.

К слову, Selectel в своих дата-центрах стремится по возможности ужесточить требование резервирования N+1, и иметь в запасе не одну, а две резервных системы охлаждения. К примеру, в ЦОД «Цветочная 1» и «Цветочная 2» имеется по 2 резервных кондиционера и чиллера, соответственно.


«Берзарина 2» — вскоре в строю
В ноябре 2018 года в эксплуатацию вводится новый дата-центр «Берзарина 2» в Москве, где впервые в практике компании будет применена схема фрикулинга с доохлаждением с помощью адиабатической системы. Если забортный воздух слишком теплый, — а температура в Москве в летнее время часто превышает 23°C, — то включается система адиабатического охлаждения.


Технология адиабатического охлаждения построена на распылении воды в виде мельчайших капель на пути воздушного потока, что позволяет охлаждать воздух за счет испарения воды. При использовании увлажнителей воздуха распылительного типа затраты электроэнергии на сам процесс охлаждения невелики, сравнительно с другими системами охлаждения. Сложная ячеистая структура смачиваемой преграды на пути подаваемого воздуха не позволяет микрокаплям воды попадать дальше в воздуховоды ЦОД. При этом уровень влажности остается в пределах допустимых значений для IT-оборудования.

В мире много интересных решений по системам охлаждения, которые позволяют экономить электроэнергию. Однако все новинки попробовать невозможно — требуется получить финансирование, провести проектирование, затем выполнить закупку оборудования, подготовку и ввод техники в эксплуатацию. Стадии поставки, монтажа, настройки и обкатки — это все очень продолжительные процедуры. Поэтому климатические системы после запуска работают минимум десятилетие и редко кардинально модернизируются в процессе эксплуатации уже построенного ЦОД. А интересные новинки приходят уже в новый ЦОД, в котором они прослужат свои 10-15 лет

подвел итог Кирилл Малеванов, технический директор Selectel.