Selectel дата-центры

Вы живете в Петербурге и работаете в ИТ-компании федерального уровня
Selectel — один из крупнейших провайдеров ИТ-инфраструктуры в России. У компании более 15 тысяч клиентов — разработчиков, предпринимателей и крупных международных корпораций по всей стране.

При этом Selectel — одна из трех ИТ-компаний федерального уровня, штаб-квартира которой находится не в Москве, а в Санкт-Петербурге. Сотрудники Selectel могут работать над крупными проектами без столичной суеты и в самом красивом городе России.

Общаетесь с клиентами со всего мира
Среди клиентов Selectel много популярных проектов — например, «ВКонтакте», iVideon, «Комитет». Среди партнеров — Intel, Microsoft. Команда Selectel не только понимает специфику бизнеса таких компаний, но и помогает сервисам развиваться.

Например, компания может предоставить ресурсы для всей инфраструктуры клиента — облачное хранилище, серверы, сеть доставки контента. В таких проектах нужно думать не только о создании грамотного инфраструктурного решения для бизнеса, но и его потенциальном развитии и оптимизации.

Приезжаете на работу на велосипеде
Новое здание штаб-квартиры Selectel построено специально для ИТ-людей: перед входом установлены велопарковки, есть бесплатные места для автомобилей на охраняемой парковке.

Работаете в современном офисе
В новый офис компания переехала в 2016 году.










Сами решаете, когда начинать рабочий день
В Selectel гибкое начало рабочего дня — до 12:00. Каждый сотрудник сам выбирает время, в которое ему удобно приступить к работе.



Занимаетесь интересными проектами
Selectel не только продает хостинг для сайтов, но и создает и развивает инфраструктуру для своих клиентов.

Облачные сервисы, решения для высоконагруженных проектов, нейронных сетей и алгоритмов машинного обучения — вот малый список направлений, в которых можно развиваться в Selectel.

Постоянно следите за новыми технологиями
Философия Selectel — создание масштабных продуктов, отвечающих запросам рынка. Поэтому компания следит за новыми технологиями и запускает экспериментальные проекты.

Например, в своей лаборатории Selectel тестирует самые быстрые в мире твердотельные накопители Intel Optane, масштабируемые процессоры для обработки больших объемов данных Intel Xeon, процессоры Intel Xeon Phi для векторизации ресурсоёмких высокопроизводительных вычислительных приложений и другие технологии.


Летаете на конференции по всему миру
Selectel поддерживает интерес команды к изучению новых технологий и обмен опытом с коллегами из других стран. Поэтому сотрудники компании летают на технологические конференции по всему миру — в США, Сингапур, Европу, Китай.


Учитесь бесплатно
У всех сотрудников Selectel есть бесплатный доступ к онлайн-библиотеке издательства «Манн, Иванов и Фербер». В офисе каждую неделю проходят бесплатные занятия по английскому языку.

Если сотрудник захочет записаться на дополнительные курсы для повышения своей квалификации — Selectel оплатит их тоже.

Ведете здоровый образ жизни и получаете за это бонусы
Selectel регулярно устраивает тимбилдинги и выездные соревнования для своих сотрудников: игры в баскетбол и пляжный волейбол, катания на сноуборде, поездки в веревочные парки, квесты, картинг.

В офисе проводятся занятия йогой, а некурящие сотрудники получают каждый месяц бонус к заработной плате.
Осталось только выбрать подходящую вакансию

• Разработчик PHP/Python
• Архитектор облачных решений
• Ведущий аналитик
• Руководитель сетевого отдела
• Инженер проектов по развитию дата-центров
• Менеджер по развитию бизнеса
• Специалист по платной рекламе
• ИТ-рекрутер
• Менеджер отдела закупки оборудования
• Strategy Department Analyst
• SEO-специалист

Что происходит, когда наш клиент заказывает сервер произвольной конфигурации? Насколько надежны серверы, собранные по индивидуальному заказу? Эти и другие вопросы мы сегодня подробно обсудим в новой статье.

Заказ сервера
Несмотря на то, что в разделе доступных для заказа серверов присутствует несколько десятков различных конфигураций, некоторым клиентам требуются серверы специальной конфигурации. Чаще всего такое необходимо для создания сервера с очень высокой производительностью либо с большим количеством дисковых накопителей.

Чтобы удовлетворить такую потребность, была предусмотрена услуга «Выделенный сервер произвольной конфигурации». Конфигуратор на сайте позволяет за пару минут самостоятельно создать сервер любой сложности и арендовать его. Однако мало кто задумывается, как именно собираются эти серверы.

После того как клиент определился с нужной конфигурацией, сделал заказ и оплатил его, система автоматически создает тикет в панели управления. Такой тикет поступает в отдел сборки, и специалисты приступают к проверке заказа и, собственно, самой сборке сервера.

Процесс сборки
Проверка заказа
Конфигуратор на сайте чаще всего выбирает «правильный» вариант комплектующих, но в некоторых случаях клиенты могут выбрать не самый оптимальный вариант сочетания аппаратных компонентов. Например, RAID-контроллер, который не сможет выдать максимальную производительность в такой конфигурации, или нечетное количество планок оперативной памяти в многопроцессорных системах. Поэтому инженеры вначале проверяют заказ и в случае выявления потенциальных проблем обязательно предупреждают клиента в тикете.

В случае, если клиент согласен, что конфигурация не оптимальна, можно без проблем аннулировать заказ и создать новый. Денежные средства при аннулировании возвращаются на баланс панели управления в полном объеме. После того, как заказ проверен, мы приступаем к подготовке комплектующих и сборке сервера.

Комплектующие
Каждый сервер состоит из следующих комплектующих:

• корпус (идет сразу с блоком питания);
• материнская плата;
• оперативная память;
• процессоры;
• накопители;
• дисковые контроллеры (если есть в заказе);
• видеокарты (если есть в заказе).

Ответственный за сборку инженер готовит все комплектующие и фиксирует их в системе учета, используя серийные номера в качестве идентификаторов. Теперь расскажем обо всех этапах, которые проходит каждый сервер произвольной конфигурации.

Подготовка корпуса
Мы обычно используем корпусы Supermicrо, которые следует подготовить к установке материнской платы с помощью идущих в комплекте метизов. В разных моделях материнских плат разные точки крепления, поэтому следует определить количество метизов и болтов для каждой конкретной сборки.

Пока количество заказов было небольшим, мы просто брали предназначенный для корпуса комплект крепежа, а неиспользованный крепеж откладывали. В определенный момент стало ясно, что тратится очень большое время на поиск нужного болта и мы решили расфасовать весь крепеж, имеющийся на складе.


После того как последний пакет с крепежом был расфасован, стало ясно, что мы не зря проделали эту работу. Теперь каждый болт и каждый метиз лежит в строго отведенном для этого месте и это экономит огромное количество времени.

Для того, чтобы контакты материнской платы не соприкасались с металлическим корпусом и не произошло короткого замыкания, используется специальная пластиковая прослойка. Без нее сборка запрещена. Помимо этого, необходимо аккуратно выломать (да-да, это предусмотрено производителем) отверстия для портов в заглушке с задней части сервера. Выполняется элементарно с помощью плоской отвертки.

После этого на корпус наносятся наклейки с идентификатором заказа, а также серийный номер будущего сервера. Для удобства работы помимо буквенно-числового идентификатора на наклейках содержатся штрих-коды, позволяющие оперативно считать информацию с помощью сканера.

Установка материнской платы
Непосредственно перед установкой материнской платы инженеры выполняют некоторые подготовительные действия:

• надевают тонкие перчатки;
• надевают заземляющий браслет.

Прежде всего это нужно, чтобы не повредить руки. Наиболее частая травма при этом — порезы. Заземляющий браслет не позволит произойти случайному повреждению электронных компонентов платы из-за статического электричества.

После того как материнскую плату поставили на место, закручиваются крепежные болты. При этом следует помнить, что текстолит достаточно хрупок, и не прилагать излишних усилий. Для экономии времени инженеры используют аккумуляторные отвертки.

Теперь к материнской плате подключаются кабели питания, а также вентиляторы системы охлаждения. Здесь важно то, что порой длина кабелей больше, чем необходимо, поэтому их аккуратно стягивают при помощи тонких нейлоновых стяжек. При отсутствии возможности закрепить стяжки к корпусу, производитель поставляет удобные крепежные площадки на двустороннем скотче. Концы аккуратно откусывают бокорезами.

Затем выполняется подключение лицевой панели и бэкплейна с помощью соответствующих кабелей. Теперь можно приступать к установке процессоров и прочих элементов.

Установка процессоров
Эта операция, пожалуй, самая тонкая и требующая внимательности. Еще 10 лет назад процессоры имели удобные «ножки», а сокеты представляли собой пластиковую матрицу с отверстиями. Благодаря этому достаточно было всего лишь аккуратно вставить процессор в сокет и закрыть защелку. Начиная с сокета LGA 775 процессоры лишились «ножек», остались только ровные контактные площадки. Сокеты, наоборот, теперь имеют контакты, однако они настолько маленькие и хрупкие, что любая операция с установкой процессора должна быть максимально точной.
Современный сокет FCLGA3647

Процессор линейки Intel Xeon Scalable


После того, как процессоры установлены на свои места приходит черед установки радиаторов охлаждения. Как правило, используются пассивные радиаторы, однако перед этим наносится термопаста — слой теплопроводящего материала, разделяющий процессор и радиатор. Чаще всего для этого используют кремнийорганическую пасту, такую как КПТ-8.

Здесь следует помнить, что основная задача термопасты — закрыть микроскопические дефекты как на поверхности процессора, так и на поверхности радиатора, обеспечивая максимально большую площадь соприкосновения. Поэтому ее наносят очень тонким и ровным слоем. Для этого используют либо специальную лопаточку, либо по старинке ненужную пластиковую карточку. Излишки убираются с помощью ватных палочек.

Установка оперативной памяти
Каждый производитель материнских плат самостоятельно определяет верный порядок установки модулей оперативной памяти, в зависимости от ее типа и скорости. Для Supermicro этот порядок установки прописан в инструкциях к каждой модели материнской платы. Тем не менее есть несколько достаточно универсальных правил, которые работают в большинстве случаев:

• нежелательно использовать нечетное количество планок (актуально для процессоров Intel® Xeon® линейки E5);
• следует поканально распределять память, чтобы система могла задействовать все возможные режимы механизмов управления;
• в одном сервере желательно использовать память с одинаковым значением задержки (latency), напряжения и частоты, в диапазоне, который поддерживает материнская плата.

Перед установкой инженеры проверяют, чтобы в слотах не было никаких посторонних частиц пыли или бумаги. При необходимости используется сжатый воздух для очистки.

Установка накопителей
Тут все просто. Дисковые накопители закрепляются в штатных салазках, после чего вставляются в сервер. Если были заказаны дисковые контроллеры или дополнительные сетевые карты, то они устанавливаются в соответствующие PCI-E слоты и закрепляются винтами. После того, как все установлено на свои места, инженер отдела сборки еще раз проверяет соответствие всех комплектующих заказу и отправляет сервер на стенд для прошивки и тестирования.

Укладка кабелей
Коснемся такой темы, как укладка кабелей внутри сервера. Тут тоже есть свои нюансы, главным из которых является ограниченность пространства. Большинство серверов спроектированы таким образом, чтобы занимать минимум места в стойке. Высота одного монтажного юнита составляет 43,7 мм. Из-за этого места для кабелей после установки материнской платы и прочей периферии остается достаточно мало.

Забавный факт: один монтажный юнит по высоте в точности равен одному вершку (древнерусская единица длины).

Всегда следует учитывать, что сквозь сервер воздух должен проходить беспрепятственно для эффективного охлаждения компонентов. Любые препятствия на его пути будут ухудшать отвод тепла, а следовательно, увеличивать расход электроэнергии из-за увеличенной нагрузки на систему охлаждения. Это особенно важно для серверов с несколькими GPU, температура которых под нагрузкой доходит до 80 градусов.

Воздушный поток разделяется поровну между всеми GPU


Поэтому все кабели укладываются таким образом, чтобы не перекрывать путь прохождения воздуха. Излишки при помощи стяжек закрепляются к штатным проушинам, а в случае их отсутствия к пластиковым площадкам с двусторонним скотчем.

Так выглядит сервер с аккуратно уложенными кабелями, которые не мешают прохождению воздушного потока


Прошивка комплектующих
Для начала ответим на достаточно часто задаваемый вопрос — зачем же это нужно? Ответ прост — эта процедура необходима для того, чтобы все компоненты сервера работали без ошибок, а также, чтобы повысить уровень безопасности.

Большинство компонентов сервера построены с расчетом на то, чтобы их можно было перепрограммировать. После выхода с конвеера в процессе тестирования и эксплуатации в большинстве случаев обнаруживаются ошибки и уязвимости программного обеспечения. Если бы возможности перепрограммирования компонентов не было предусмотрено, то для ликвидации этих программных проблем пришлось бы отзывать всю продукцию. Гораздо дешевле было создать возможность замены микропрограммы.

Перепрошивка IPMI
Модуль удаленного управления (IPMI / iLO / iDrac) — один из важнейших элементов сервера. Он представляет из себя независимый микрокомпьютер, работающий всегда, когда на материнской плате присутствует рабочее напряжение.

Даже когда в сервере нет комплектующих, этот микрокомпьютер работает, выполняя задачу интерпретации и корректировки данных с датчиков сервера. Модуль тесно связан со всеми подсистемами управления питанием и позволяет выполнять практически любые операции удаленно. Поэтому вопрос безопасности при доступе к такому устройству стоит очень остро. Своевременное обновление прошивки позволяет уберечь модуль от взлома.

Установка прошивки обычно производится непосредственно из веб-интерфейса, однако в некоторых случаях ее можно произвести по сети, отправив на модуль прошивку с соответствующим программным обеспечением.

Перепрошивка BIOS
Базовая система ввода-вывода помимо уже перечисленной причины безопасности требует обновления еще для одного важного момента. В прошивке BIOS имеются микрокоды процессоров, поддерживаемых материнской платой, а также микрокоды сетевых интерфейсов и чипсетов. Когда выходит новая версия процессора, производители материнских плат выпускают новые версии прошивок, которые содержат требуемый микрокод. Без этого новый процессор просто не сможет запуститься. Вместе с прошивкой BIOS зачастую обновляются и связанные модули, например, Intel® ME (Management Engine).

Помимо этого, выпуск новых прошивок предотвращает конфликты, возникающие при взаимодействии различных комплектующих (как встроенных в материнскую плату, так и сторонних устройств).

Дабы не быть голословными, приведем пример. Возьмем материнские платы Supermicro X10SRi/X10DRi/X10DRW, которые поддерживают процессоры Intel® Xeon® E5-XXXXv3. Если поставить туда процессор следующей версии E5-XXXXv4 плата стартует, однако будет выдавать странные ошибки сбоя оперативной памяти «Failing DIMM» в разных слотах. И проблема тут вовсе не в памяти, а в том, что контроллер памяти находится в процессоре. Следовательно, неверное опознавание процессора материнской платой ведет к тому, что возникают подобные проблемы. Перепрошивка с помощью поддерживаемого процессора полностью решает эту ситуацию.

В некоторых случаях производители оборудования искусственно прекращают поддержку новыми моделями материнских плат более старого оборудования. Ярким примером может служить материнская плата Supermicro X11DPi, которая с любой версией прошивки BIOS не будет работать с HBA-контроллерами Adaptec 7-ой серии. Дисковый контроллер просто не инициализируется, вызывая полное зависание сервера. И на данный момент эта проблема не имеет решения.

Перепрошивка дисковых контроллеров
Ошибки в программном обеспечении таких важных устройств, как дисковые контроллеры могут не просто доставить неприятности, но и стать источником очень крупных проблем. В большинстве случаев процесс очень простой, перепрошивка происходит с помощью родной утилиты, встроенной непосредственно в сам контроллер.

Следует помнить, что старая прошивка дискового контроллера может не только исправлять ошибки, но и кардинально менять способ хранения метаданных. Чтобы избежать неприятных ситуаций и сохранить данные в целости, перед выполнением перепрошивки следует обязательно прочитать список внесенных изменений в функционал. Эта информация всегда присутствует на сайте производителя оборудования и чаще всего дублируется в архиве с самой прошивкой.

Перепрошивка сетевых карт
Не менее серьезные проблемы, крайне сложные в диагностике, могут доставить сетевые карты с ошибками на уровне встроенного программного обеспечения. Помимо устранения ошибок, программное обеспечение сетевых карт напрямую может влиять на производительность. Так что это еще один обязательный пункт для инженеров, выполняющих сборку серверов.

Важно
Хотелось бы отдельно отметить, что все операции по перепрошивке компонентов потенциально опасны для оборудования, поэтому их допустимо производить только квалифицированным специалистам. Если вы уже являетесь нашим клиентом и обнаружили необходимость перепрошить какой-либо компонент сервера, то ни в коем случае не пытайтесь это делать самостоятельно. Просто напишите нам в тикете, какой компонент следует перепрошить, и это будет выполнено со всеми мерами предосторожности.

Тестирование
Покончив с обновлением программного обеспечения, инженер сборки приступает к нагрузочному тестированию собранного сервера. Такое тестирование позволяет выявить большинство проблем еще до того, как сервер будет сдан клиенту.

Тест оперативной памяти
Для того, чтобы проверить работоспособность всех установленных в сервер модулей оперативной памяти, запускается весьма популярный инструмент под названием memtester. Непосредственно перед выполнением тестирования, инженер сборки проверяет, чтобы все установленные в сервер модули памяти корректно отображались в BIOS.

При запуске тестирования происходит процесс чтения и записи данных в оперативную память, используя разную последовательность данных и порядок заполнения ячеек. Скорость выполнения всех тестов напрямую зависит от объема. Наши минимальные требования — это один полный цикл проверки.

Если в процессе тестирования выявлены ошибки, то мы ищем сбойный модуль оперативной памяти и исключаем его из конфигурации, заменяя на аналогичный. Затем процесс тестирования повторяется целиком. Только когда все итерации тестов будут пройдены без ошибок, сервер отправляется на стресс-тестирование.

Тест процессора и дисков
Нагрузочный тест имитирует максимальную нагрузку на сервер в течение минимум 6 часов для сервера с магнитными накопителями. В случае с твердотельными накопителями столь длительное тестирование может резко увеличить износ накопителя, поэтому для них проводится аналогичное тестирование с меньшим временем исполнения.

Нагрузочное тестирование для процессоров Intel проводится с помощью оригинальной утилиты Intel IPDT (Processor Diagnostic Tool). Этот процесс вызывает повышение температуры процессора до максимально допустимой эксплуатационной температуры, и система охлаждения должна эффективно отводить все это тепло. Инженеры сборочной постоянно следят за тем, чтобы сервер прошел это испытание, и температура всех компонентов не превышала заявленных эксплуатационных пределов.

После завершения тестирования проверяются параметры S.M.A.R.T. всех установленных дисков. Если хотя бы один параметр, заявленный производителем как повод для замены накопителя, имеет ненулевое значение, диск заменяется на другой и также тестируется для исключения вероятности возникновения проблем в «боевом режиме».

Заключение
Каждый сервер произвольной конфигурации, сдаваемый нами в аренду, множество раз проверяется и тестируется, поэтому их можно смело использовать для любых проектов сразу, не тратя время на повторные тестирования и проверки. На каждом заказанном сервере будет самая актуальная версия микропрограммного обеспечения каждого компонента, что дает хорошую защиту от существующих уязвимостей и ошибок.

Текущий 2018 год интересен тем, что чуть ли не каждый месяц появляется информация о новых аппаратных уязвимостях: Spectre и Meltdown. Совсем недавно — 2 недели назад! — были опубликованы громкие новости об уязвимостях Foreshadow и L1Terminal Fault, которые, как сообщается, могут обойти даже механизм SGX (Sofware Guard Extensions), которые ранее считался практически невзламываемым. Насколько опасны эти уязвимости? Можно ли от них защититься и если можно, то как? Обо всём этом мы поговорим ниже.

Краткая справка
Foreshadow, или L1TF — это целая группа уязвимостей, в которую входят:

• CVE-2018-3615 — для обхода SGX;
• CVE-2018-3620 — для атаки на ядро операционной системы, а также на режим SMM (System Management Mode);
• CVE-2018-3646 — для атаки на виртуальные машины.

Авторы многих публикаций высказывают особую тревогу в связи с возможностью обхода защиты SGX: этого не умели Spectre и Metldown, и это делает беззащитными любые конфиденциальные данные. Чтобы понять, насколько эта тревога обоснована, разберём принципы работы механизма SGX.

Что такое SGX и как его можно обойти
Аббревиатура SGX означает Software Guard Extensions. Так называется набор инструкций процессоров Intel, используемых для выделения приватных областей кода и данных. В 2015 году один из создателей SGX Мэттью Хойкстра (Matthew Hoeskstra) опубликовал статью (см. также русский перевод), в которой выделил следующие цели создания этой технологии:

• дать разработчикам приложений возможность защитить критически важные данные от несанкционированного доступа или изменения со стороны зловредного ПО, запущенного с более высокими привилегиями;
• позволить приложениям обеспечивать целостность и конфиденциальность чувствительных данных и кода, не вмешиваясь в работу системы привилегий и не мешая ей планировать и контролировать ресурсы платформы;
• сделать так, чтобы платформа измеряла доверенный код и производила с помощью приложения подписанный аттестат и прочие сертификаты, удостоверяющие, что код был корректно инициализирован в доверенной среде;
• дать пользователям возможность держать над приложениями контроль, не ограничивая в то же время свободы устанавливать и удалять приложения и сервисы;
• позволить разработчикам создавать доверенные приложения с использованием известных им средств и процессов;
• обеспечить рост производительности доверенных приложений;
• позволить приложениям определять доверенные области кода и данных даже в случае, когда злоумышленник физически контролирует платформу и может осуществлять прямые атаки на память (см. один пример здесь).

В процитированной статье маркетинга гораздо больше, чем технических подробностей. В ней рассказано в общих чертах о том, ЧТО позволяет делать технология SGX, но нет ни слова о том, КАК это делается. Об этом мы подробно расскажем ниже. В своём изложении мы будем в первую очередь опираться на подробную статью, опубликованную Международной организацией исследований в области криптологии (IACR, International Association for Cryptologic Research).

SGX создаёт в памяти защищённый регион — PRM (Processor Reserved Memory), который также называют анклавом. Процессор защищает анклав от любых попыток доступа, в том числе и со стороны ядра, гипервизора и SMM (System Management Mode), а также от попыток доступа со стороны периферийных устройств.

У PRM есть специальный кэш, так называемый EPC (Enclave Page Cache), который состоит из четырёхкилобайтных страниц, хранящих код анклава и данные. При вызове доверенной функции приложение «видит» только данные анклава; любой внешний доступ, в том числе и со стороны ОС, запрещён.

При любой попытке доступа к анклаву происходит процедура так называемой аттестации. Анклав запрашивает аппаратно подписанный отчёт, содержащий в том числе и сведения о его ценности. Этот отчёт отправляется на сервер аттестации. Анклаву высылается открытая часть ключа приложения; далее генерируется приватный ключ, зависящий от анклава и платформы. Ключ шифруется подписывающим ключом и сохраняется для дальнейшего использования.

Как отмечено в официальных публикациях Intel, SGX может защищать от разного рода атак на данные и код: как со стороны системного и пользовательского ПО, так и со стороны загрузчика. А вот от так называемых side-channel-атак SGX защитить не может. Обойти SGX не могут и пресловутые Spectre и Meltdown.

Однако в последнее время появились атаки (собственно, ещё до Foreshadow — см., например, здесь), которые позволяют обходить защиту SGX. Причём Foreshadow — это всего лишь самая громкая и нашумевшая из них.

В документации к SGX отмечено, что «из анклавов невозможно читать и в них невозможно ничего записывать вне зависимости от наличия привилегий любого уровня». Однако на самом деле всё обстоит далеко не так.

Ещё весной этого года появилась информация об атаке под названием SGX Spectre, с помощью которой можно извлекать данные из анклавов. Как показали исследователи из университета штата Огайо (см., например, здесь), это возможно благодаря «дырам» в SDK, с помощью которых разработчики могут интегрировать поддержку SGX в свои приложения. В числе затронутых SDK оказались Intel SGX SDK, Rust-SGX и Graphene-SGX. С детальным разбором этой атаки можно ознакомиться в этой статье; на Youtube также было опубликовано видео с наглядной демонстрацией примера.

Видео, конечно, неубедительное: сам факт проникновения в анклав не означает, что важные данные могут быть украдены. Тем не менее, нужно констатировать: целостность и конфиденциальность механизма SGX нарушены.

Foreshadow нарушает изоляцию, используя так называемую атаку по стороннему каналу (side-channel attack).

Как и в пресловутых Spectre и Meltdown, уязвимость использует механизм спекулятивного исполнения команд. В её основе лежит следующий момент: при доступе к памяти по виртуальному адресу, приводящему к исключению (terminal page fault) из-за отсутствия флага Present в таблице PTE (Page Table Entries), процессоры Intel® спекулятивно рассчитывают физический адрес и загружают данные, если они имеются в L1-кэше. Спекулятивные расчёты осуществляются до проверки наличия данных в физической памяти и до проверки доступности этих данных для чтения. Если флага Present в PTE нет, то операция отбрасывается; но данные при этом «оседают» в кэше и могут быть из него извлечены. Данные могут быть извлечены абсолютно по любому физическому адресу; это открывает обширные возможности для злоумышленников и позволяет, например, извлечь данные на хосте из гостевой машины. Видео с демонстрациями уже появились:

Впрочем, видео выглядит, прямо скажем, не очень убедительно и напоминает многочисленные демонстрации работы уязвимостей Spectre и Meltdown, что гуляли по Интернету в начале этого года: вроде бы и удалось преодолеть защиту — но что дальше? Конечно, обход SGX — прецедент явно не очень хороший

Чего бояться?
В отличие от нашумевших Spectre и Meltdown, Foreshadow угрожает только процессорам Intel. В описаниях отмечается, что с помощью этой атаки можно извлечь из анклава не просто конфиденциальные данные, но и приватный ключ аттестации, что подрывает доверие ко всей SGX-экосистеме.

Различные вариации Foreshadow угрожают так называемому System Management Mode (SMM), ядру операционной системы гипервизоров. Некоторые эксперты отмечают, что с помощью Foreshadow можно воровать данные из виртуальных машин в стороннем облаке. Есть публикации, где отмечается, что новая атака даже позволяет обойти патчи, вычисленные ранее для защиты от атак Spectre и Meltdown.

Однако — как и в случае со Spectre и Meltdown — ко всем громким заявлениям следует относиться крайне осторожно. Ни одного случая кражи значимых и конфиденциальных данных с помощью нашумевших атак пока что зафиксировано не было. Опубликованные прототипы эксплойтов (как и предупреждают сами их авторы) представляют собой не более чем экспериментальные образцы, оторванные от реальной практики, и будут работать далеко не всегда и не у всех, особенно если речь идёт о виртуальных машинах. Поэтому паниковать пока что рано: чтобы не просто проникнуть в пределы анклава, а извлечь из него действительно важную информацию, нужно очень и очень постараться.

На текущий момент действительно серьёзных атак зафиксировано не было.

Патчи и производительность
Тема патчей, защищающих от аппаратных уязвимостей (а если не защищающих, то нивелирующих их последствия), тоже очень актуальна. Вспомним недавнюю историю со Spectre и Meltdown: многие меры были приняты в пожарном порядке, что привело к не самым лучшим последствиям: внезапные перезагрузки системы, резкое падение производительности и т.п. Компании Microsoft пришлось даже выпустить обновления, отключающие патчи Intel. За первые три месяца текущего года только против Intel было подано 32 судебных иска.

На публикацию информации об уязвимости Foreshadow крупные компании отреагировали оперативно: с соответствующими заявлениями выступили Intel, Red Hat, SUSE, VMware, Oracle. Не менее оперативно были выпущены обновления для продукции Cisco и для ядра Linux.

Не обошлось и без казусов: компания Intel быстро выпустила обновления микрокода, но при этом без странных казусов: неожиданно был провозглашен запрет на публикацию результатов тестирования производительности до и после обновления (потом, правда, запрет был отменён). Что это было — сказать сложно. А тема влияния патчей на производительность несомненно заслуживает отдельного исследования и отдельной статьи. И не исключено, что такую статью мы в ближайшем будущем опубликуем.

Заключение
В этой статье мы привели краткий обзор уязвимостей класса Foreshadow. Естественно, в рамках одной статьи рассказать обо всех аспектах уязвимостей группы Foreshadow невозможно. Поэтому приводим подборку полезных ссылок для желающих узнать больше:

• разъяснение устройства приложений с использованием SGX (см. также русский перевод);
• разбор особеннностей механизма SGX (в том числе и его слабых мест);
• специальный сайт, посвящённый уязвимостям из группы Foreshadow;
• обзор техник атаки на SGX.

Группа компаний Assist — ведущий российский разработчик и интегратор платежных решений. Уже 20 лет компания сотрудничает с мировыми и российскими платежными системами, имеет необходимые сертификаты безопасности. Клиенты группы компаний Assist — тысячи компаний и сотни тысяч конечных пользователей, которые работают в разных часовых поясах, поэтому все информационные системы функционируют в режиме 24/7/365. Сегодня мы расскажем о том, как перенести CRM-систему в облако.

Предыстория
Деятельность платежного шлюза жестко регламентирована политиками стандарта безопасности данных индустрии платежных карт PCI DSS, и не каждый IaaS-провайдер может предложить решение, которое отвечает всем необходимым требованиям.

Группа компаний Assist является давним клиентом Selectel и размещает стойки с собственным оборудованием в дата-центре на Цветочной улице. На серверах размещаются информационные системы, которые непосредственно связаны с обработкой платежных транзакций. Стойки размещены в соответствии со стандартами PCI DSS и ежегодно проходят внешний аудит соблюдения безопасности.

В условиях современного рынка одним из инструментов, позволяющих увеличить скорость и качество работы с клиентами и учесть все нюансы процесса продаж, является эффективно функционирующая CRM-система. Все данные, обрабатываемые компанией в процессе продаж, не регулируются стандартами PCI DSS, поэтому группа компаний Assist решила рассмотреть проект миграции CRM-системы в облачную инфраструктуру Selectel.

Оптимизация расходов и снижение рисков
Любая компания, чей бизнес зависит от непрерывности функционирования IT-инфраструктуры, вынуждена отвлекаться на непрофильную деятельность. Постоянную заботу о состоянии вычислительного оборудования и вспомогательных инженерных систем: кондиционеров, источников бесперебойного питания, систем пожаротушения. Все это не ограничивается необходимостью содержать в штате администраторов и инженерный персонал, закупать расходные материалы, проводить ремонтные работы. Любой сервер имеет срок службы, после которого он устареет и требует замены. Это новые капитальные затраты на приобретение оборудования и необходимость закладывать средства в бюджете компании. В случае поломки оборудования его восстановление может занять существенное время, а критически важная информационная система не должна прекращать работу и на несколько часов.

Именно поэтому директор по эксплуатации, Кирилл Иванов, сделал ставку на оптимизацию эксплуатационных расходов и снижение рисков. Он решил проработать проект переезда одной из информационных систем к облачному провайдеру, осуществив перенос ответственности за инженерное и вычислительное оборудование на компанию-провайдера. «CRM-система, работающая в режиме 24/7/365, очень важна для нас, мы поставили себе задачу изучить возможность повышения отказоустойчивости и масштабируемости путем миграции в облако», — вспоминает Кирилл Иванов.

Почему Selectel
Группа компаний Assist сформировала набор требований, которым должен был удовлетворять IaaS-провайдер:

• российская компания;
• надежный поставщик;
• территориально распределенное облако;
• легкая масштабируемость инфраструктуры;
• инфраструктура как код (IaC);
• наличие сертификатов и лицензии ФСБ и ФСТЭК;
• возможность получить аттестацию для соответствия 152-ФЗ.

«В соответствии с законом 152-ФЗ о персональных данных — информация о клиентах и партнерах должна быть размещена на территории РФ в дата-центрах, имеющих необходимые лицензии и сертификаты. Заниматься этим самим — дорого и долго», — говорит Кирилл Иванов.

Желание использовать облачные сервисы Selectel было продиктовано стратегией консолидации набора сервисов у одного поставщика:

• удобство администрирования всех ресурсов;
• единый способ оплаты услуг;
• общая круглосуточная техническая поддержка всех сервисов.

Архитектура решения
Разрабатывая концепцию облачного переезда, инженеры решили создать отказоустойчивую инсталляцию (кластер) в виде нескольких разнесенных инстансов серверов приложений и СУБД MySQL. Хранение всех вложений CRM-системы: файлов коммерческих предложений, реквизитов компаний, текстов и копий договоров, счетов, актов — было решено вынести во внешнее облачное хранилище.


Тонкости подключения
Облачные ресурсы Selectel, на которых развернуто решение Битрикс CRM группы компаний Assist, находятся в одном из шести дата-центров компании Selectel — в поселке Дубровка, Ленинградской области. Причем для реализации отказоустойчивости используются два разных независимых пула «Виртуального приватного облака» с трехкратным резервированием на разных серверах и подключением к разному сетевому оборудованию, разным СХД, в разных стойках.

Так как основное серверное оборудование группы компаний Assist находится в Санкт-Петербурге, возник вопрос создания дополнительного защищенного канала до дата-центра в Дубровке для безопасного доступа к CRM-системе. С точки зрения заказчика, это дополнительные расходы на оплату канала связи и его защиту. Сотрудники Selectel предложили альтернативный вариант с VLAN-VPAN подключением облачных ресурсов к имеющемуся оборудованию группы компаний Assist с учетом трехкратного резервирования канала связи. Предложенная альтернатива существенно снизила расходы на организацию защищенного канала к CRM-системе и повысила надежность подключения.

Сроки проекта
Высокие технические компетенции инженеров группы компаний Assist вместе с активной помощью и консультациями специалистов Selectel по нюансам работы API «Виртуального приватного облака», реализованного на семействе продуктов OpenStack, позволили согласовать архитектуру будущего решения в рекордные 2 месяца.

Еще 2 месяца ушло на создание пилотных инсталляций, развертывание сервисов и тестирование. После успешно пройденных нагрузочного тестирования и стресс-тестов, имитирующих отказ части инстансов, был согласован срок переноса CRM-системы группы компаний Assist в облачную инфраструктуру Selectel и запуск в эксплуатацию. В общей сложности от возникновения идеи «А не переехать ли нам в облако?» до запуска прошло всего 6 месяцев.

Гибридная IT-инфраструктура
Несмотря на то, что группа компаний Assist перенесла одну из своих систем в облако, компания реализовывает гибридный вариант использования услуг IaaS-провайдеров.

• Для собственного оборудования, на котором установлены системы, обрабатывающие платежные транзакции, компания выбрала услугу
• «Размещение серверов».
• CRM-систему компания перенесла в облачную инфраструктуру Selectel, выбрав «Виртуальное приватное облако».
• Файловое хранилище группа компаний Assist вынесла в отказоустойчивое «Облачное хранилище» с резервированием на стороне AWS.

«За счет переезда в облако мы осуществили консолидацию ресурсов и поставщиков, поскольку уже используем Selectel в других проектах. Теперь все наши сервисы мы получаем у одного поставщика. Мы имеем возможность легкого, быстрого и практически неограниченного масштабирования по ресурсам», — добавляет Кирилл Иванов.

В качестве итога
После переноса в облако CRM-система безостановочно работает уже третий месяц. «Финансовый результат от привлечения новых клиентов или увеличения объемов продаж старым клиентам в таком кратком периоде оценить, конечно же, сложно. Прямой экономический эффект от миграции — снижение эксплуатационных расходов минимум на 30%, — комментирует Кирилл Иванов, — Одна из основных причин, которая побудила нас к переезду — нежелание поддерживать старое и покупать новое железо. Всю инфраструктурную часть проекта мы отдали облачному провайдеру».

Роман Фирсов, старший системный администратор Unix-систем, рассказал о том, как развивался интернет-магазин компании. Из истории вы узнаете о формуле успеха «Петровича», и почему компания перенесла интернет-магазин на «железо».

«Петрович» — клиент Selectel c 2015 года. Компания прошла долгий путь поиска надежного решения, подходящего под требования развивающегося интернет-магазина. О том, какими сервисами пользуется «Петрович», мы расскажем ниже.



О компании
Строительный Торговый Дом «Петрович» — крупнейшая российская компания на рынке строительных и отделочных материалов. Компании принадлежит сеть из строительных торговых центров, металлобаза и производственные площадки.


«Петрович» уверенно занимает 92% рынка строительных материалов в СЗФО

Компания позиционирует себя как омниканальный ритейлер — потребитель может выбрать любой удобный способ покупки и оплаты товара. Онлайн-продажи составляют 40% от выручки компании, поэтому интернет-магазин играет важную роль в цепочке продаж. «Петрович» занимает 15 место в рейтинге крупнейших интернет-магазинов России.

История интернет-магазина
Компания запустила интернет-магазин в 2011 году. Было решено, что IT-инфраструктура будет размещена в облачной среде хостинг-провайдера. В этот период вся инфраструктура состояла из одного сервера с предустановленным Bitrix. Вскоре была переписана часть кода Bitrix, и компания решила арендовать виртуальный сервер. Однако, рост нагрузок на интернет-магазин отрицательно отразился на производительности арендованных серверов. Участились случаи, когда сайт не работал. «Все держалось на технической поддержке хостинг-провайдера, у нас не было возможности управлять IT-инфраструктурой. Из-за проблем со стабильностью, нам пришлось искать нового провайдера», — говорит Роман Фирсов.

IT-отдел компании «Петрович» занимает 450 кв.м. в головном офисе в Санкт-Петербурге

Переезд на сторону нового провайдера совпал с двойным ростом нагрузок на интернет-магазин. Стали возникать сетевые задержки и проблемы с системами хранения данных. Скорость работы сайта упала до такой степени, что посетители уже не хотели дожидаться загрузки страницы и уходили. Сезонность спроса и неготовность IT-инфраструктуры к пиковым нагрузкам послужили причинами, из-за которых вновь было принято решение искать другого провайдера.

Почему Selectel
Третьего провайдера искали долго. После двух запусков интернет-магазина руководство поставило цель — найти надежного провайдера IT-инфраструктуры. А также выдвинуло требования к новому IaaS-провайдеру:

• российская компания,
• высокий SLA,
• оперативность.

Выбор ограничился тремя российскими компаниями, среди которых был Selectel. Для тестирования IT-команда взяла виртуальные машины от каждого из провайдеров. Выбор пал на одного из провайдеров, планировалось, что серверы Selectel будет использованы для некритичных приложений.

В итоге получилось наоборот. IT-специалисты развернули облако основного провайдера в бета-режиме, но тестирование показало, что гипервизоры потребляют большой процент серверного времени. Аналогичное тестирование серверов Selectel проблем не выявило. Руководство приняло решение о том, что «Виртуальное приватное облако» Selectel станет основой инфраструктуры интернет-магазина.


В центральном офисе «Петровича» работает 400 сотрудников, из них 55 работают в IT-отделе

Через полгода нагрузки на интернет-магазин возросли вдвое, и было принято решение о переходе на «железо». Основным требованием стала стабильность интернет-магазина. Штат сотрудников вырос и появилась возможность самостоятельно администрировать IT-инфраструктуру. Для этого компания выбрала другую услугу Selectel — «Выделенный сервер».

Сегодня интернет-магазин готов к сезонным нагрузкам:


По оценкам Романа Фирсова, интернет-магазин сможет выдержать 2-х кратный прирост нагрузок

Особенности реализации
«Наша формула успеха проста — у нас работают отличные профессионалы, и мы не рискуем, используем только проверенные решения», — говорит Роман Фирсов. Специалисты IT-отдела заранее рассчитывают необходимый объем мощностей интернет-магазина на несколько лет вперед. Такой подход помогает избежать серверных простоев, а запасные мощности используются для тестирования новых функциональностей.

IT-инфраструктура интернет-магазина состоит из 3-х физических серверов, на которых работают 60 виртуальных машин. Серверы разнесены географически и находятся в разных дата-центрах Selectel:

• 2 сервера используются для размещения production-окружения: Load balancing и High availability;
• 1 сервер служит для около-production сервисов.

Недавно было запущено «Облачное хранилище», которое используется для хранения статических данных интернет-магазина. Подключены дополнительные услуги: сеть доставки контента (CDN) и защита от DDoS-атак. Такая конфигурация интернет-магазина позволила повысить внутренний SLA и сократить время простоев.

Результаты

• «Петрович» входит в топ-3 ритейлеров и топ-30 быстрорастущих компаний России. Компания с уверенностью смотрит в будущее и планирует дальнейшее расширение бизнеса. Интернет-магазин «Петровича» показывает стабильный рост оборота продаж.

Будем рады видеть вас на конференции SelectelTechDay 27 сентября в Санкт-Петербурге.
Главные темы конференции

• информационная безопасность,
• мультиоблачная среда — стратегия и реализация,
• развитие облачных сервисов Selectel.

Ознакомиться с программой конференции можно на странице мероприятия.

• Посещение конференции бесплатно.
• Количество участников ограничено.
• Каждый участник может записаться на экскурсию по дата-центру.
• Для тех, кто не сможет прийти, организуем онлайн-трансляцию.

Вы можете посмотреть видео-отчет о последнем SelectelTechDay.
selectel.ru/techday/

Это рассылка Selectel — рассказываем о важных новостях августа. В сегодняшнем выпуске: новый комплекс услуг «Мультиоблачная среда», статистика потребления в «Виртуальном приватном облаке», «Выделенные серверы» на процессорах AMD и не только.


Решения на базе Selectel, AWS, Azure, GCP, Alibaba Cloud
Рады сообщить о запуске комплекса услуг «Мультиоблачная среда» (Multi-Cloud). Теперь вы можете использовать наиболее подходящие для ваших бизнес-задач технологии и продукты на базе не только сервисов Selectel, но и Amazon Web Services, Microsoft Azure, Google Cloud Platform и Alibaba Cloud.
Команда сертифицированных специалистов Selectel реализует облачную стратегию, разработает оптимальное решение и обеспечит сопровождение на всех этапах проекта: от планирования перехода в облако до реализации решения с дальнейшей технической поддержкой. Напишите нам на sales@selectel.ru, мы подберем решение под ваши бизнес-задачи.

Выделенные серверы» на процессорах AMD
В произвольных конфигурациях «Выделенных серверов» появились процессоры AMD EPYC™, которые предназначены для требовательных к ресурсам приложений.
AMD EPYC 7351P

• максимальное количество процессоров в сервере: 1,
• количество ядер: 16,
• базовая частота: 2,4 GHz,
• стоимость за процессор в сервере: 3900 ₽/мес.

AMD EPYC 7401

• максимальное количество процессоров в сервере: 2,
• количество ядер: 24,
• базовая частота: 2 GHz,
• стоимость за процессор в сервере: 9500 ₽/мес.

Соберите нужную вам конфигурацию сервера на базе новых процессоров AMD EPYC в нашем конфигураторе или напишите нам на sales@selectel.ru для тестирования готовых конфигураций.

Статистика потребления «Виртуального приватного облака»
В панели управления стала доступна статистика потребления ресурсов вашими проектами VPC.
my.selectel.ru/vpc/consumption
Благодаря ей проще:

• контролировать расходы, — вы всегда будете в курсе сколько и за что вы платите;
• планировать бюджет, зная расходы на ресурсы во время пиковых нагрузок или работы в штатном режиме.

Статистика показывает информацию по проектам, регионам, зонам и ресурсам. В ней также отражены исторические данные: вам будут доступны сведения о потреблении ресурсов с начала года.

Мы делаем все для того, чтобы пользоваться статистикой было полезно и удобно, поэтому если у вас есть пожелания по улучшению визуализации или вы хотите дополнить ее данными, напишите нам через тикет-систему в панели управления.

Администрируем «1С-Битрикс»
Для всех пользователей «1С-Битрикс» у нас хорошие новости. В рамках услуги «Администрирование сервисов» мы можем провести аудит системы, найти ее слабые места и оптимизировать. Для тех, кому важно всегда поддерживать «1С-Битрикс» в максимальной работоспособности, возьмемся за ее постоянное обслуживание. Для заказа свяжитесь с нами любым удобным способом: позвоните по телефону +7 (800) 555-06-750, напишите на sales@selectel.ru или обратитесь в техподдержку.

Контекстная справка по Office 365 и G SuiteВ нашей панели в разделе «Облачных приложений» появились ответы на часто задаваемые вопросы по Office 365 и G Suite. Нажимайте на знак вопроса внизу страницы справа, чтобы узнать подробнее о том, как начать работу с подпиской, тарифах, сублицензиях и не только.

Если вы не нашли ответ на интересующий вопрос, задайте его нам в тикете.

Электронные документы вместо бумажных
Мы поможем подключить вашу компанию к системе электронного документооборота (ЭДО) «Диадок», которую сами используем. Получение унифицированных документов (счетов-фактур, УПД, УКД) и произвольных через «Диадок» — бесплатно.

• Документы будут доставлены вам через несколько минут после формирования.
• Электронные копии станут всегда доступны. Вы можете не переживать, что какой-то файл потеряется.

Если вы никогда не работали с ЭДО, но хотите упростить процесс передачи документов, или если вы уже работаете с другим оператором ЭДО и вам нужно настроить роуминг с «Диадок» — обратитесь к нам через тикет-систему в панели управления или через онлайн-консультанта. Уже 350 наших клиентов используют в работе с нами электронный документооборот!

Сделать заказ сервера стало еще проще
Изменилась процедура заказа «Выделенных серверов» готовых и произвольных конфигураций и сетевого оборудования на сайте и в панели управления.

Раньше их можно было заказать только по отдельности. И если услуг в заказе было несколько, каждый раз нужно было проходить процедуру оформления заново. Теперь вы можете добавить в заказ сразу несколько услуг. Вы можете дополнить заказ или удалить его составляющие до оплаты, в любой момент скачать готовое коммерческое предложение для согласования с руководством или выставить себе счет.

Мероприятия

Лидеры IT-индустрии по традиции соберутся в нашем конференц-зале в Санкт-Петербурге, чтобы обсудить тренды отрасли. Приходите 27 сентября на SelectelTechDay, если хотите больше узнать об информационной безопасности, мультиоблачной среде и сервисах Selectel. Участие в конференции бесплатное, регистрация обязательна.


Вместе с компанией МОНТ, нашим партнером по построению решений на платформе AWS, запускаем серию из 3-х бесплатных вебинаров по работе с AWS и приглашаем вас принять в ней участие. Первый вебинар состоится 6 сентября в 16:00. Зарегистрироваться и ознакомиться с расписанием вебинаров, а также подробной программой вы можете на сайте.
Бесплатные мероприятия по AWS на русском языке проходят редко. Регистрируйтесь, даже если не сможете участвовать онлайн. После каждого вебинара мы будем отправлять вам на почту, указанную при регистрации, письма с ссылками на видеозаписи. Если у вас есть вопросы, пишите: team@selectel.ru.

Новости компании
Обновление меню сайта
В майском выпуске рассылки мы просили вас заполнить анкету с вопросами о сайте, чтобы сделать его полезнее и удобнее. Спасибо всем, кто участвовал. Встречайте новое меню. Мы упростили навигацию, и теперь услуги сгруппированы в 5 разделов: «Выделенные серверы», «Облако», «Услуги дата-центров», «Интеграция» и «Дополнительные услуги». Наш блог переместился в нижнее меню.

Совсем скоро мы обновим сайт полностью. Если у вас есть пожелания и вы не успели их озвучить в прошлый раз, пишите на marketing@selectel.ru.

Приглашаем вас принять участие в серии из 3-х бесплатных вебинаров по работе с Amazon Web Services (AWS), которую мы подготовили вместе с компанией МОНТ, нашим партнером по построению решений на платформе AWS.
selectel.timepad.ru/event/784151/



AWS ― публичная облачная платформа, обладающая широким портфелем решений и сервисов: от построения отказоустойчивых инфраструктур и платформ для разработки до сервисов машинного обучения, интернета вещей и аналитики больших данных.

Кому будет интересно

• Специалистам IT-сферы, которые заинтересованы в изучении возможностей AWS.
• Сотрудникам IT-подразделений, перед которыми стоят задачи по организации непрерывности бизнеса.
• Руководителям и сотрудникам отделов разработки ПО, заинтересованным в ускорении подготовки и выпуска релизов.

О чем вы узнаете на вебинарах

• Как осуществить резервное копирование в AWS S3 и настроить полный цикл хранения данных с учетом различных классов.
• О вариантах организации бесперебойных систем. Мы покажем работу простого и экономичного способа создания такой системы ㅡ Pilot Light.
• Какие DevOps-инструменты помогают быстро и легко настраивать полный цикл выпуска релиза ПО. Посмотрите на создание решения по доставке обновлений в приложение с помощью AWS CodePipeline.

Мы проведем не только полезный обзор с демонстрацией возможностей продуктов, но и расскажем о формировании стоимости по каждому инструменту.

Бесплатные мероприятия по AWS на русском языке проходят редко. Не упустите такую возможность, запишитесь, даже если не сможете участвовать онлайн. После каждого вебинара мы будем отправлять вам на почту, указанную при регистрации, письма с ссылками на видеозапись вебинара. Если у вас есть вопросы, пишите: team@selectel.ru.

Если вы хотите больше узнать об информационной безопасности, мультиоблачной среде и сервисах Selectel, приходите 27 сентября на традиционную конференцию SelectelTechDay. Участие в конференции бесплатное.


Информационная безопасность
Эксперты расскажут, как правильно хранить и защищать данные в новой реальности.

Мультиоблачная среда — стратегия и реализация
Не обязательно выбирать одну облачную платформу для бизнеса — вы можете взять лучшее от каждой и сформировать собственное решение.

Развитие облачных сервисов Selectel
Последние новости услуг, которые обеспечат высокую доступность ваших сервисов и помогут контролировать данные.

• Посещение конференции бесплатно.
• Количество участников ограничено.
• Каждый участник может записаться на экскурсию по дата-центру.
• Для тех, кто не сможет прийти, организуем онлайн-трансляцию.

selectel.ru/techday/

Вы можете посмотреть видео-отчет о последнем SelectelTechDay.


Мероприятие будет интересно

• IT-директорам,
• специалистам по информационной безопасности,
• архитекторам облачных решений,
• нынешним и будущим партнерам Selectel.

Надежность инфраструктуры современного дата-центра зависит от ряда входящих в него инженерных систем. Какой бы надежной ни была инфраструктура, всегда есть вероятность возникновения нештатных ситуаций, способных негативно повлиять на работу компании в целом.

Риск возникновения пожара в ЦОД зависит от множества факторов, приведем некоторые из них:

• качество проектирования помещений;
• квалификация лиц, ответственных за пожарную безопасность и работу с электрикой;
• организация мониторинга инфраструктуры;
• своевременное обслуживание инженерных систем.

Одним из способов диверсификации риска возникновения пожара является установка системы автоматического пожаротушения, которая либо сможет предотвратить возможность возникновения возгорания, либо ликвидировать уже возникший пожар. Сегодня мы подробно рассмотрим те методы и средства, которые активно используются для обеспечения пожарной безопасности в ЦОД.

Методы и средства
Диапазон вариантов подавления пожаров в ЦОД в настоящее время предусматривает пять основных подходов ликвидации возгораний:

• гипоксический метод (постоянное снижение содержания кислорода в помещении до уровня ниже 14% путем введения азота);
• изоляция (ввод инертного газа в помещение при возникновении возгорания, чтобы снизить уровень кислорода ниже 14%) с помощью азота, аргона, аргонита или инергена;
• ингибирование (впрыскивание в помещение галогенированного газа, снижающего содержание кислорода и препятствующего процессу горения);
• охлаждение (распыление мелкодисперсного водяного тумана на область горения, что приводит к снижению уровня кислорода на местном уровне и охлаждает зону возникновения огня);
• порошок/аэрозоль (выброс порошковой химии и распыление продуктов горения аэрозоля).

Выбор средств пожаротушения (далее СПТ) серверного помещения зависит от многих факторов. Помимо главной функции (тушения пожара), СПТ имеет целый ряд параметров:

• стоимость;
• эффективность;
• воздействие на оборудование;
• воздействие на человека и экологию.

На данный момент нет такого средства тушения серверной, которое бы удовлетворяло всем четырем вышеперечисленных аспектам. Рассмотрим комплексные решения СПТ, присутствующие на современном рынке, в порядке возрастания их стоимости.

Аэрозоли и порошки
Аэрозольные средства пожаротушения представляют собой установки пожаротушения, в которых в качестве огнетушащего вещества используется аэрозоль, получаемый при горении специальных огнетушащих составов. Огнетушащие порошки представляют собой мелкоизмельченные минеральные соли с различными добавками, вытесняемые при срабатывании генератора низкотемпературного газа.

И порошок, и аэрозоль на поверхности раскаленных горящих предметов образуют пленку, предотвращающую проникновение кислорода, что снижает вероятность повторного возгорания. В условиях серверного помещения это является проблемой, так как указанные средства проникают внутрь любого оборудования и оседают на внутренних компонентах, никак не защищенных от контакта с агрессивными веществами. К таким веществам относятся оксиды щелочных металлов.

После попадания на электропроводящую поверхность, оксиды вступают в реакцию с водой, содержащейся в воздухе, что приводит к образованию щелочи и окислению металла. Образующиеся окислы невозможно удалить ни при помощи компрессора, ни с использованием прочих средств без повреждения оборудования. Таким образом, в результате использования аэрозоля или порошковой химии в качестве СПТ, оборудование станет постепенно выходить из строя в результате коррозии и возникновения коротких замыканий в электрических цепях.

Вывод: использование аэрозоля и порошков представляет собой доступное средство для борьбы с пожаром и способом соблюдения норм МЧС, но при практическом применении вызывает повреждение дорогостоящего оборудования.


Газовое пожаротушение
Газовое пожаротушение является самым распространенным и зарекомендовавшим себя средством тушения технологических помещений дата-центров. Это связано с тем, что газ не имеет негативного воздействия на электрооборудование и прекрасно работает даже в труднодоступных помещениях.

Рассмотрим газовое пожаротушение на примере самых распространенных решений, использующих вещества: Хладон 125, Хладон 227 и Novec 1230. Перечисленные огнетушащие составы одобрены для использования агентством по охране окружающей среды США (EPA) и национальной ассоциацией противопожарной защиты (NFPA). Хладоны являются очень похожими газами как по составу, так и по эффективности тушения и их огнетушащая масса (далее ОТМ) примерно равна.

ОТМ у Novec 1230 больше, чем у хладонов, и при этом сам газ имеет значительно более высокую стоимость одного кг вещества, за счет заявляемой полной безвредности для человека и диэлектрических свойств. Как заявляют производители — не длительное присутствие в помещении с хладоном — «не смертельно», а с Novec — «не страшно».

Так оно и есть, но производители практически не упоминают о том, что при вступлении и Novec, и хладонов в реакцию с продуктами горения могут образовываться токсичные соединения, в том числе фтороводорода (при взаимодействии с парами воды), трифторуксусной кислоты, угарного и углекислого газов, и присутствие людей в помещении во время тушения — недопустимо.

Вывод: Novec 1230 достаточно дорогое и эффективное средство, безвредное для оборудования и окружающей среды, но требующее от персонала использования изолирующих дыхательных аппаратов и обязательной эвакуации людей. И хладоны, и Novec имеют примерно одинаковую огнетушащую способность.

Так как Хладон 125 и Хладон 227 по классу соединений относятся к фторуглеводородам (HFC), то они, как и Novec, являются озонобезопасными веществами. Но при всем этом, Novec приблизительно на 30% дороже хладонов, что обосновано гораздо меньшим вредом для человека (в чистом состоянии), а также большими затратами дистрибьюторов на ведение рекламных компаний.



Пожаротушение тонкораспыленной водой высокого давления
Тонкораспыленная вода высокого давления (ТРВ ВД) является одним из самых молодых способов тушения серверных помещений, получивших широкое распространение в Европе, в таких дата-центрах как TCN Eemsdelta и Telecity IV в Нидерландах, научно-технологическом полигоне CX2 Cyberjaya в Малайзии и многих других.

В России же данный метод пока не получил широкого распространения среди дата-центров. Это можно объяснить высокой стоимостью установки системы и недоверием к воде (даже дистиллированной) как к огнетушащему веществу для электрооборудования. Так, мелкодисперсная вода начнет конденсироваться в капли, поэтому в месте возгорания так или иначе будет сыро, что недопустимо в серверном помещении.

Установки ТРВ ВД обеспечивают тушение пожара и локализацию очага возгорания на объектах за счет подачи струй тонкораспыленной мелкодисперсной воды, также называемую «водяным туманом». В качестве воды используется дистиллированная вода, которой разрешено тушить электрооборудования мощностью до 10 Кв.

Данный метод использует на 90% меньше воды, чем спринклерные системы, исключает протекание трубопровода в повседневном режиме и очень дешев при перезаправке системы. Но такие хорошие показатели обуславливаются высокой стоимостью системы, так как она содержит от одной до нескольких насосных станций, поддерживающих постоянное давление в трубопроводе, к которому также предъявляются серьезные технические требования.

Трубопровод изготавливается из высококачественной нержавеющей стали и диаметр труб меньше по сравнению с обычными спринклерными системами – от 12 до 60 мм. Такие трубы выдерживают колоссальное давление в 100-120 бар (101-121 атм.), что более чем в 17 раз превышает давление обычной спринклерной системы.

Гипоксический метод тушения
Суть данного метода заключается в борьбе с возгоранием путем создания и поддержания атмосферы, в которой пожар не может возникнуть.

Метод работает за счет выработки азота из атмосферного воздуха специальным генератором и его подачу в защищенное помещение. Это позволяет снизить концентрацию кислорода до заданного уровня (~ с 20% до 14%). В такой атмосфере возникновение пожара исключается, так как кислорода недостаточно, чтобы огонь мог возникнуть и распространиться. Одновременно с этим, такой уровень кислорода благоприятен для работы в серверном помещении, если не совершать серьезных физических нагрузок.

Гипоксический метод выигрывает у предыдущих способов пожаротушения по всем параметрам, кроме одного — стоимости. Далеко не каждая компания пойдет на то, чтобы потратить такую сумму денег на борьбу с пожаром. Для наглядного сравнения вышеперечисленных средств пожаротушения можно ознакомиться с таблицей, представленной ниже:

* зависит от гарантии производителя и напряжении на оборудовании;
** герметичность, контроль состояния дверей, удаленность станции ПТ, дополнительные клапаны, затворы, особые требования к вентиляции и т.д.

Как это работает в Selectel
Для защиты серверных и технологических помещений в своих дата-центрах мы используем самые проверенные средства пожарной защиты, не экономя на надежности инфраструктуры и качества ОТВ. Высокий уровень защиты достигается за счет использования автономных центральных станций газового пожаротушения с веществом Хладон 125.

В состав таких станций входят модули газового пожаротушения с разрывным затвором (пиропатроном). Модули активируются специальными запорно-пусковыми устройствами. При срабатывании пиротехнического пускового устройства, представляющего собой миниатюрный газогенератор, разрывной элемент под действием высокого давления образующихся газов разрушается по конструктивно рассчитанному сечению, открывая проход огнетушащего газа в трубопровод автоматической системы газового пожаротушения.


Данные запорно-пусковые устройства с мембраной являются самыми надежным за счет высокой вероятности срабатывания ввиду отсутствия приводных механизмов и применения высоконадежного пиротехнического пускателя (Р(t)=0,999 за 17 лет), герметичности и стойкости к механическим воздействиям.

Огнетушащий газ содержится в баллонах, изготовленных из высокопрочной легированной стали высокой однородности, благодаря чему они имеют повышенную (в 2–3 раза) коррозионную стойкость и выдерживают давление в 150 бар.

Все СПТ дата-центров Selectel систематически обслуживаются профильной организацией, обладающей соответствующей лицензией МЧС на обслуживание.


Заключение
В статье мы рассмотрели системы пожаротушения серверного помещения дата-центра. Реализация пожарной защиты зависит от особенностей здания, состояния технических условий помещения, ценности оборудования и множества других факторов.

Но какой бы надежной СПТ не была, она не гарантирует стопроцентной ликвидации очага возгорания. Только в совокупности со знанием и соблюдением правил пожарной безопасности рабочего персонала дата-центра возможно устранить и, что главное, предотвратить возгорание и сохранить самое ценное — человеческую жизнь.

Если вы сталкивались с выбором средств пожаротушения и вам есть о чем рассказать — добро пожаловать в комментарии!