При сборке сервера одним из важнейших вопросов, с которыми вам придется столкнуться, является выбор правильного решения для хранения данных. Выбранное вами хранилище может существенно повлиять на производительность, надежность и общую стоимость сервера, поэтому к его выбору нужно отнестись со всей ответственностью.
На данный момент существуют три самых распространенных варианта: HDD (жесткий диск), SSD (твердотельный накопитель) и NVMe (энергонезависимая память Express).
В этой статье мы кратко разберёмся с каждой технологией, выявим её плюсы и минусы и рассмотрим на примерах, когда лучше использовать тот или иной тип хранилища.

HDD (Hard Disk Drive или жесткий диск)
Жесткие диски — это традиционные устройства хранения данных, существующие уже несколько десятилетий. Они используют вращающиеся магнитные диски для чтения и записи данных. Жесткие диски бывают разных размеров и емкостей, что делает их пригодными для широкого спектра применений.

Преимущества жестких дисков:

• Экономичность — жесткие диски, как правило, более доступны по цене за гигабайт по сравнению с твердотельными накопителями и дисками NVMe, что делает их экономически эффективным вариантом для задач, требующих больших объемов хранения данных.
• Высокая емкость — доступны жесткие диски большей емкости, что делает их идеальными для хранения огромных объемов данных, таких как резервные копии и архивы.
• Надежность — жесткие диски прочны и относительно хорошо выдерживают физические удары и вибрации (в выключенном состоянии).

Недостатки жестких дисков:

• Низкая скорость — жесткие диски медленнее, чем твердотельные накопители и диски NVMe, что может привести к увеличению времени загрузки и замедлению доступа к данным.
• Более высокое энергопотребление — жесткие диски потребляют больше энергии, чем их твердотельные аналоги, что приводит к более высоким эксплуатационным расходам.
• Ограниченный срок службы — Из-за механических компонентов жесткие диски имеют ограниченный срок службы и со временем более склонны к выходу из строя.

Сфера применения:
Жесткие диски обычно используются в файловых серверах, где емкость хранилища имеет приоритет над скоростью. Они также подходят для серверов резервного копирования и систем архивирования данных, где допустим нечастый доступ к данным.

SSD (Solid State Drive или твердотельные накопители)
SSD — более современная технология хранения данных, получившая широкое распространение благодаря своей скорости и надежности. Они используют флэш-память NAND для хранения данных и не имеют движущихся частей, что делает их более быстрыми и долговечными, чем жесткие диски.

Преимущества твердотельных дисков:

• Высокая скорость — твердотельные накопители значительно быстрее жестких дисков, что приводит к более быстрой загрузке, более быстрому запуску приложений и сокращению времени передачи данных.
• Энергоэффективность — твердотельные накопители потребляют меньше энергии, чем жесткие диски, что приводит к снижению затрат на электроэнергию и уменьшению выделения тепла.
• Надежность — поскольку в твердотельных накопителях отсутствуют механические компоненты, они менее подвержены сбоям, что делает их более надежными для критически важных приложений.

Недостатки твердотельных дисков:

• Стоимость — твердотельные накопители обычно дороже за гигабайт по сравнению с жесткими дисками, что может быть важным фактором при больших требованиях к хранению данных.
• Ограниченный срок службы — Хотя твердотельные накопители более надежны, чем жесткие диски, они все же имеют ограниченное количество циклов записи, что может повлиять на срок их службы, особенно в сценариях с интенсивным объемом записи.
• Емкость — хотя емкость твердотельных накопителей постоянно увеличивается, ее все еще может быть недостаточно для некоторых потребностей в хранилищах высокой емкости.

Сфера применения:
SSD-накопители обычно используются на серверах веб-хостинга, в том числе они используются для наших Виртуальных Серверов, базах данных и средах виртуализации, где решающее значение имеют быстрый доступ к данным и низкая задержка. Они также подходят для персональных компьютеров и ноутбуков, обеспечивая значительный прирост скорости.

NVMe (Non-Volatile Memory Express или энергонезависимая память)
NVMe — это передовая технология хранения данных, обеспечивающая максимальную производительность и низкую задержку. Он использует флэш-память NAND, как и твердотельные накопители, но взаимодействует с системой через интерфейс PCIe (Peripheral Component Interconnect Express), обеспечивая молниеносный доступ к данным.

Преимущества NVMe:

• Экстремальная скорость — накопители NVMe обеспечивают беспрецедентную скорость, сокращая время доступа к данным до минимума и обеспечивая высочайший уровень производительности для приложений с высокими требованиями к вводу-выводу.
• Низкая задержка — низкая задержка NVMe особенно полезна для приложений реального времени, таких как игры и высокочастотный трейдинг.
• Энергоэффективность — несмотря на высокую скорость, накопители NVMe энергоэффективны и потребляют меньше энергии, чем жесткие диски и даже некоторые твердотельные накопители.

Недостатки NVMe:

• Стоимость — диски NVMe являются самым дорогим вариантом среди трех, что делает их менее рентабельными для развертывания крупномасштабных систем хранения данных.
• Совместимость — старые системы могут не поддерживать диски NVMe, поэтому совместимость может стать проблемой при обновлении инфраструктуры.

Сфера применения:
Диски NVMe обычно используются в кластерах высокопроизводительных вычислений (HPC), серверах анализа данных и приложениях, где скорость и низкая задержка имеют решающее значение, например, рабочие станции для редактирования видео в реальном времени.
Выбор правильного решения для хранения данных для вашего сервера зависит от ваших конкретных потребностей и бюджета. Жесткие диски подходят для экономичного хранения данных большой емкости, а твердотельные накопители предлагают сбалансированное решение с более высокой скоростью и большей надежностью. С другой стороны, накопители NVMe являются лучшим выбором для приложений, требующих экстремальной скорости и низкой задержки.

Принимая решение, учитывайте характер ваших рабочих нагрузок, схемы доступа к данным и бюджетные ограничения. Также стоит отметить, что многие организации выбирают комбинацию этих технологий хранения данных, чтобы сбалансировать производительность и экономичность. В конечном счете, выбор между жестким диском, твердотельным накопителем и NVMe должен соответствовать назначению вашего сервера и требованиям к производительности.

3v-host.com

Информационный бюллетень HETZNER
Мы рады сообщить вам о наших новых продуктах и ​​новостях компании.
Наслаждайся чтением!

НОВЫЙ ВЫДЕЛЕННЫЙ СЕРВЕР EX130 ДЛЯ СОВРЕМЕННЫХ РАБОЧИХ НАГРУЗОК
Компания Hetzner расширила свой выбор серверов, выпустив мощный выделенный сервер EX130, который поставляется в двух версиях. В основе обеих конфигураций лежит новый 24-ядерный процессор Intel Xeon Gold 5412U, который является частью семейства масштабируемых процессоров Intel Xeon 4-го поколения. Его два десятка ядер и 48 потоков способны справляться с интенсивными и растущими рабочими нагрузками, включая искусственный интеллект, аналитику и высокопроизводительные вычисления. Технология Hyper-Threading повышает общую производительность, а технология виртуализации Intel упрощает тяжелую работу, необходимую для виртуализации.

EX130-R в базовой конфигурации из 2 твердотельных накопителей Datacenter Edition NVMe емкостью 1,92 ТБ и 256 ГБ памяти DDR5 ECC reg. Оперативная память быстрая и отказоустойчивая. Он обладает высокой вычислительной мощностью и молниеносной скоростью памяти данных. EX130-S с двумя твердотельными накопителями Datacenter Edition NVMe емкостью 3,84 ТБ и 128 ГБ DDR5 ECC регистр. Оперативная память является стекированной и может справляться с резкими скачками требований к хранению, например, при анализе больших данных.

Несмотря на то, что эти соперники мускулистые, они также гибкие. Пользователи могут выбрать поддержку регистра DDR5 ECC. Оперативная память блоками, до 512 ГБ. Конфигурации также могут накапливаться в хранилище. Пользователи могут добавить до 6 дополнительных твердотельных накопителей NVMe Datacenter Edition или 2 дополнительных жестких дисков SATA Enterprise различных размеров.

Сервер, который доступен как в Хельсинки, Финляндия, так и в Фалькенштайне, Германия, имеет адрес IPv4 и стоит от 134,00 евро плюс плата за установку всего 79,00 евро.
www.hetzner.com/dedicated-rootserver/matrix-ex

НОВЫЕ ЛОКАЦИИ ДЛЯ ARM64-ОБЛАЧНЫХ СЕРВЕРОВ
Вы просили, и мы выполнили — наши общие облачные серверы vCPU CAX недавно стали доступны в наших парках центров обработки данных в Нюрнберге (NBG1) и Хельсинки (HEL1) в дополнение к Фалькенштайну (FSN1).

Почему бы не начать проект сегодня, используя один из новых облачных серверов Hetzner Cloud, основанных на инновационной технологии Arm64? Вы можете запустить до 16 виртуальных ЦП процессорной мощности Ampere Altra. Облачные серверы CAX бывают разных размеров, поэтому вы легко найдете тот, который соответствует вашему сценарию использования и бюджету.
www.hetzner.com/cloud#pricing;c=ampere

ОВЫЕ ОБРАЗЫ ДЛЯ ВЫДЕЛЕННЫХ СЕРВЕРОВ
Недавно мы сделали Debian 12 доступным для установки на выделенные серверы. Версия «Книжный червь» основана на ядре Linux 6.1 и будет поддерживаться в течение следующих пяти лет. Помимо обновленных наборов инструментов, Bookworm обновляет обычное серверное программное обеспечение и многие утилиты до их текущих версий. Подробную информацию вы можете найти на веб-сайте Debian.
Кроме того, недавно мы обновили нашу коллекцию стандартных образов, включив в нее новейшие версии для Rocky Linux (8.8 и 9.2) и для Alma Linux (8.8 и 9.2).

ОБЩАЯ ВНЕШНЯЯ ПРОПУСКНАЯ ПРОПУСКНОСТЬ УВЕЛИЧИЛАСЬ ДО 27,73 ТБИТ/С
Мы постоянно увеличиваем нашу общую внешнюю пропускную способность для вас. Следующие восходящие потоки недавно увеличились или вступили в эксплуатацию:
Частные пиринги:
800 Гбит/с CDN77 (FRA)
Cloudflare 800 Гбит/с (FRA)
400 Гбит/с ДельтаТелеком (FRA)
Dropbox 400 Гбит/с (FRA)
CDN77 100 Гбит/с (STO)
100 Гбит/с Этисалат (FRA)
100 Гбит/с Нитрадо (FRA)
Путь 100 Гбит/с (FRA)
SkyLink 100 Гбит/с (AMS)
100 Гбит/с STC (FRA)
40 Гбит/с Белтелеком (FRA)
10 Гбит/с OmanTel (FRA)
ТерраТранзит 10 Гбит/с (NUE)
Транзит:
200 Гбит/с Cogent (HEL)
Точки пиринга:
400 Гбит/с NL-IX (FRA)
400 Гбит/с PEERINGCZ (Франция)
200 Гбит/с Data-IX/Global-IX (HEL)
200 Гбит/с DECIX-Мадрид (FRA)
Frys-IX (AMS) 100 Гбит/с

ОБУЧЕНИЕ: ПОДКЛЮЧЕНИЕ К СЕРВЕРУ ЧЕРЕЗ ЧАСТНУЮ СЕТЬ С ДОСТУПОМ К CLUDFLARE
В этом руководстве объясняется, как установить безопасное соединение с серверами и в то же время упростить доступ к нему. В этом руководстве вы шаг за шагом проведете процесс использования Cloudflare Access для установления соединения с сервером через частную сеть.
community.hetzner.com/tutorials/connect-over-pvt-net-with-cloudflare-access

УЖЕ ЭТО ВИДЕЛИ? — HETZNER TKKTALK О НОВЫХ ОБЛАЧНЫХ СЕРВЕРАХ ARM64
В этом выпуске Hetzner TkkTalk Маркус Шаде, руководитель группы облачных платформ Hetzner, беседует с Деннисом Шрёдером из YouTube «Raspberry Pi Cloud» о новых облачных серверах Arm64. Посмотреть видео можно с английскими субтитрами.
www.youtube.com/watch?v=QZ-85rhM1_Y

Компания Hetzner расширила свой выбор серверов, выпустив мощный выделенный сервер EX130, который поставляется в двух версиях. В основе обеих конфигураций лежит новый 24-ядерный процессор Intel Xeon Gold 5412U, который является частью семейства масштабируемых процессоров Intel Xeon 4-го поколения. Его два десятка ядер и 48 потоков способны справляться с интенсивными и растущими рабочими нагрузками, включая искусственный интеллект, аналитику и высокопроизводительные вычисления. Технология Hyper-Threading повышает общую производительность, а технология виртуализации Intel упрощает тяжелую работу, необходимую для виртуализации.

EX130-R в базовой конфигурации из 2 твердотельных накопителей Datacenter Edition NVMe емкостью 1,92 ТБ и 256 ГБ памяти DDR5 ECC reg. Оперативная память быстрая и отказоустойчивая. Он обладает высокой вычислительной мощностью и молниеносной скоростью памяти данных. EX130-S с двумя твердотельными накопителями Datacenter Edition NVMe емкостью 3,84 ТБ и 128 ГБ DDR5 ECC регистр. Оперативная память является стекированной и может справляться с резкими скачками требований к хранению, например, при анализе больших данных.

Несмотря на то, что эти соперники мускулистые, они также гибкие. Пользователи могут выбрать поддержку регистра DDR5 ECC. Оперативная память блоками, до 512 ГБ. Конфигурации также могут накапливаться в хранилище. Пользователи могут добавить до 6 дополнительных твердотельных накопителей NVMe Datacenter Edition или 2 дополнительных жестких дисков SATA Enterprise различных размеров.

Сервер, который доступен как в Хельсинки, Финляндия, так и в Фалькенштайне, Германия, имеет адрес IPv4 и стоит от 134,00 евро плюс единовременная плата за установку в размере всего 79,00 евро.

www.hetzner.com/dedicated-rootserver/matrix-ex
www.hetzner.com/dedicated-rootserver/ex130-r/configurator
www.hetzner.com/dedicated-rootserver/ex130-s/configurator

OVH объявляет об обороте в 897 миллионов евро в 2023 году, что на 13,4% больше, чем в 2022 году, на сопоставимой основе. Оборот в четвертом квартале составил 230 миллионов евро, что соответствует кварталу с самым высоким ростом года, +14,5%, на сопоставимой основе и который извлекает выгоду из полного эффекта повышения цен.

Группа отмечает сильный рост выручки в сегменте общедоступных облаков (+21%) и частного облака (+15,1%) в течение 2023 года. Скорректированная EBITDA составляет 325 миллионов евро, т.е. 2023 год с улучшением на 1,7 пункта рентабельности EBITDA между вторым и первым полугодием, которая достигла 37,1% благодаря контролю затрат и повышению производительности.

Руководство особо отмечает получение во второй половине 2023 года свободного денежного потока в размере 25 миллионов евро. Реализация стратегического плана по всем продуктам, географическим регионам и клиентским сегментам

• Доступно около 40 новых PaaS-решений для ИИ, данных, хранения и безопасности., «контейнерные» технологии и даже виртуализация;
• Продолжение международной экспансии с открытием четырех новых центров обработки данных, включая открытие новой страны с Индией;
• Продолжение коммерческих и маркетинговых инвестиций с подтвержденным и устойчивым коммерческим динамизмом в Европе, и особенно в Центральной Европе.

Дальнейшее улучшение прибыльности и генерирования денежных средств в 2024 году

• Цель — органический рост оборота на уровне от +11% до +13%;
• Целевая рентабельность по скорректированной EBITDA выше 37%;
• Регулярные и растущие капитальные затраты, около 16% и 24% от оборота;
• Создание свободного денежного потока без заемных средств со второй половины 2024 года и создание свободного денежного потока без заемных средств в 2025 году.

Презентация стратегии и перспектив OVHcloud во время Дня инвестора запланирована в Лондоне 17 января 2024 года.

Аукцион пополнился новыми лотами — это отличный повод попробовать найти подходящее решение под ваши задачи по выгодной цене. Представлены конфигурации на базе Intel Xeon E5, E3 и Core i7 стоимостью от 2 945 рублей в месяц и от 31 815 рублей в год. Не упустите момент: время лотов ограничено, а ещё их могут купить раньше вас.

Intel Xeon E3 1230v2
3.3 — 3.7 ГГц 4 ядра
8 Гб RAM
1000 Гб HDD
1000 Гб HDD
2 945 ₽
 
Intel Core i7 8700
3.2 — 4.6 ГГц 6 ядер
32 Гб RAM
480 Гб SSD
480 Гб SSD
3 690 ₽

Сниженная цена будет действовать на весь срок заказа, а также на дальнейшее продление сервера (при отсутствии просрочек). При заказе от 3-х месяцев добавляется ещё и скидка за период.
1dedic.ru/auction-2020

Информируем, что с 7 ноября 2023 года вносятся изменения в Пользовательское Соглашение. Добавлены следующие пункты:
п. 7.9 -> Стороны в рамках исполнения Соглашения обязуются соблюдать требования применимого антикоррупционного законодательства, не предпринимать никаких действий, которые могут нарушить нормы антикоррупционного законодательства или стать причиной такого нарушения другой Стороной. В том числе не требовать, не получать, не предлагать, не санкционировать, не обещать и не совершать незаконные платежи напрямую, через третьих лиц или в качестве посредника, включая (но не ограничиваясь) взятки в денежной или любой иной форме, каким-либо физическим или юридическим лицам, включая (но не ограничиваясь) коммерческим организациям, органам власти и самоуправления, государственным служащим, частным компаниям и их представителям.

п. 7.10 -> В случае нарушения одной из Сторон указанных обязательств, другая Сторона вправе в одностороннем порядке приостановить исполнение своих обязательств по Соглашению до устранения нарушения или отказаться от исполнения Соглашения, направив об этом письменное уведомление.

Данное уведомление носит информационный характер и не требует каких-либо действий.

Актуальная версия документа доступна на сайте: selectel.ru/about/documents/

Изменения вступают в силу с 7 ноября 2023 года.

Сделано много работы, коротко:

• Поставили и перенесли сервисы на новый мощный роутер (последние тех работы об этом)
• в Спб расширены входящие каналы, съели практически всю емкость, которую можно забрать с Цветочки, на неделе еще подключим пару сотен гбит емкости, а остальное заберем с Москвы. Запущены фильтры, которые чистят атаку.
• в Мск развернули точку присутствия, роутер, свои каналы, будем принимать там большой трафик и чистить, включаем фильтрацию в течение недели, отдаем чистый трафик в СПб и Казахастан
• в Казахстане поставили новый роутер, проложили канал Мск-Алматы (5000 км), не зависим от местных аплинков, которые не выдерживают атаку и снимают анонсы.
• в Европе запустили две точки присутствия в Нидерландах и Франкфурте со своими каналами и роутерами, тянем каналы до локаций в Нидерландах и Польше, настраиваем фильтрацию как в Спб и Мск.

С каждым шагом сеть крепчает, а атаки становятся менее заметными. Что-то прилетает и влияет на сеть, задача свести влияние к минимуму. Сильно проинвестировали в развитие сети, скоро будем по сетевой мощности как телеком оператор. Спасибо ддосерам, за счет такого буста по сети мы сможем в дальнейшем давать сервисы локальной сети между ДЦ и защищенные каналы и другие сетевые плюшки между всеми локациями.

timeweb.cloud

Примите участие в акции!

• Участвуйте в нашей эксклюзивной акции и получите шанс выиграть совершенно новый iPhone 14
• За каждые 15 000 рублей пополнения баланса лицевого счета вы получаете дополнительный шанс на победу. Пополните на 30 000 рублей и удвойте свои шансы на этот невероятный приз!
• Акция действует с 20 по 22 октября 2023 (включительно), так что поспешите!
• Победитель будет выбран случайным образом с помощью рандомайзера. Пожалуйста, обратите внимание, что каждые последующие 15 000 рублей пополнения увеличивают ваши шансы на победу.

Не упустите этот уникальный шанс обзавестись горячим новым гаджетом! Примите участие сегодня!
webhost1.ru/

unit7.cloud/
unit7.cloud/accounts/register/

MVP дата-центра
История началась осенью 2021 года с посадочной страницы (разумеется, на jquery, яжбэкендер). На ней предлагалось «собрать» компьютер с GPU, чтобы затем взять его в аренду. Я выводил различные комплектующие (GPU, CPU, RAM, SSD), доступные в ритейле, кое-как высчитывал цену аренды и далее вёл потенциальных клиентов в Телеграм для обсуждения деталей. К началу 2022 года была проверена масса различных гипотез о том, какие комплектующие «ок», какие нет.


Сборка на AMD Threadripper 3970X
Например, был клиент, запросивший 32-ядерный AMD Threadripper 3970X, мы договорились о сборке в течение месяца, я закупил комплектующих на 250К₽, комп был собран, поставлена Windows Server 2019, адаптированы некоторые драйверы, которые поддерживали Windows 10, не 2019 и так далее… А клиент перестал выходить на связь. Конечно, стало понятно, что аренда таких конфигураций слишком дорогое удовольствие и под конкретные задачи их обычно просто покупают. Примерно через 4 месяца после этого мне удалось продать эту сборку на авито по себестоимости человеку, который приехал специально за ней из Минска с пачкой наличности. И уже затем картинка того, какие конфигурации действительно берут в аренду стала вырисовываться. Теперь уже без предоплаты мы не предоставляем серверы в аренду и даже не начинаем закупать комплектующие, если сборка какая-то особенная.

Стали появляться первые реальные клиенты, поэтому была сделана интеграция с банком, онлайн-кассой и ОФД (по одному API от банка), посадочная переписана на ReactJS, на нём же с теми компонентами написан зачаток личного кабинета клиента с пополнением баланса и выводом его клиенту, плюс некий список арендуемых компьютеров.

В качестве помещения была выбрана пустующая ипотечная квартира с ремонтом от застройщика (стены, ламинат и ванная комната — это всё, что там было). Был собран стеллаж, в который я поместил первые пару компьютеров. Интернет куплен у местного провайдера на физлицо под названием «800 Мбит/с».




Бизнес-идея была такая: десктопное железо (а-ля Kimsufi) + дискретные GPU = экономия клиента в 3-4 раза по сравнению с серверными аналогами. Все машины были спрятаны за роутером с 1 статическим IP и port forwarding'ом до конкретного компьютера. Да, всё верно, задачи клиентов не лежали в области хостинга веб-сайтов или даже работы 1C. В основном это были дата-сатанистыdata scientists, обучающие свои нейронки. Именно поэтому им не подходили решения от Селектела и прочих, где видеокарта с ОЗУ не меньше 24 Гб стоила от 80К₽, а в случае падения или недоступности я компенсировал 100% простоя округлённого до суток (т.е. обычно это было 2400% компенсации) для компенсации не-такой-высокой-отказоустойчивости. На втором месте по численности были рабочие места (VDI, только не виртуальные, а на физических компьютерах) под Photoshop, DaVinci Resolve, hashcat, GTA 6 и т.п.

По мере заселения новостройки, в течении полугода обслуживания нескольких клиентов, от интернета в «800 Мбит/с» осталась только вторая часть «Мбит/с», клиенты скидывали speedtest'ы, где мог быть 4 Мбит/с и потери пакетов в 8-10%. Меня такой расклад не устраивал и клиентов тоже.

Поэтому до подключения заготовленных тушек (платформ) дело не дошло — нужно было поработать над качеством самой локации, переходить от MVP и проверки гипотез спроса и ценности к созданию чего-то более качественного. Как минимум, с т.з. интернет-канала. Плюс, иногда отключали электричество, самый длинный отрезок составил 40 минут. У каждого компьютера была своя UPS, что спасло ситуацию в целом. Однако, интернет отключался вместе с э/э во всём доме, поэтому для многих клиентов это было равнозначно отключению э/э (хотя даже это для некоторых было не критично). Решено было собрать принципиально новую схему работы, сменив локацию. В том числе с целью увеличить кол-во киловатт (в квартире было 13 кВт), так как расчётное макс.потребление 1 компьютера было от 450 до 750 Вт, то кол-во компьютеров было в районе 15-17, чтобы можно было ещё и свет включить с чайником без риска вылететь.

Новая локация
Помещение было найдено на территории завода с двумя вводами (2 независимые подстанции) и пока арендодатель расчищал завалы, мы приступили к проектированию.

Были арендованы 2 помещения общей площадью ~50 кв. м, одно ~22 кв.м под сборочную, второе ~28 кв.м под серверную, оборудовано металлической дверью и 50 кВт э/э.

Размеры выбранных стеллажей были 2000 мм в высоту и ширину, 600 мм в глубину. Поэтому по проекту влезало 9 таких стеллажей по 12-14 серверов и 3 UPS'ки у стены. Итого максимальная ёмкость, которую можно было достичь была 126 компьютеров формата Mid Tower (плюс, предусмотрели, чтобы в каждом стеллаже была полка под Full Tower, т.е. 4 Full Tower на 1 стеллаж), что было избыточно, учитывая кол-во киловатт. тем не менее, мы договорились с арендодателем, что при желании (и за доп. деньги) они смогу подвести ещё 50 кВт в будущем в течении полугода. Что я посчитал приемлемым.


Разведение электропроводки от байпасов до стеллажей
Сразу же было заложено 3 UPS'ки по 40 kVA каждая (~36 кВт). На территорию завода 2 независимых ввода, при этом весь корпус переключается между ними вручную в случае плановых работ или аварий арендодателем. Поэтому 1 UPS'ка подключается к 1 электрощиту, плюс 1 UPS резервная. Через систему байпасов и автоматов электрощитках, мы с командой заложили возможность выводить из эксплуатацию любую UPS, переключая нагрузку на UPS №1, она физически подключена ко всем электрощиткам и всем нагрузкам, на байпасах прописано какой вентиль за что отвечает, в электрощитках приклеены схемы подключений.



Как только грязные работы были проведены, мы начали перевозить компьютеры по мере возможности и подключать их через времянки в один из электрощитков, защищая теми же индивидуальными UPS'ами, что в предыдущей локации. Это спасало от перепадов напряжения (производство всё таки), которые пришли на смену отключениям э/э.

Мы переезжали с февраля по март 2023. До этого мне казалось, что если сотрудник чего-то не может, то это сделаю я. Однако, в процессе я научился нанимать фрилансеров на разовые работы — этот урок стоил мне сорванной спины (стал нанимать грузчиков) и расплавившегося в руках болтачуть не стоил жизни во время подключения аккумуляторов в одну из UPS (стал нанимать электриков). Теперь перед действиями я советуюсь с релевантными специалистами: с меня эскиз задачи, с них возражения, корректировки и конечное решение, когда задача детализирована и экономически целесообразна. Так получилось мини-КБ, в котором стали появляться различные решения, например, стойки для десктопного железа.

Линейка выделенных серверов (без дискретной GPU)
Появился клиент, которой симпатизировал моему подходу в создании и развитии дата-центра, и ему было интересно работать только на своём железе и в своём ЦОДе. Подход, о котором я пишу, можно охарактеризовать как проверка гипотез и переизобретение тех вещей, которые можно сделать дешевле без существенной потери в отказоустойчивости. Так появилась идея продать мой дата-центр и себя в рабствотоп-менеджеры с KPI привязанными к успешности проекта на рынке. Мы договорились об испытательном сроке, цели запустить 100+ серверов, продаже бизнеса через 3 месяца и ударили по рукам.

Проект заключается в том, чтобы запустить сервера на десктопном железе, поэтому можно было забыть про дискретные видеокарты. Плюс, помахать рукой уходящим в закат Hetzner и другим европейским дата-центрам с выделенными серверами на AMD Ryzen и Intel Core. Если убрать из уравнения дискретные видеокарты, то минимальный занимаемый компьютером объём можно резко сократить без потери в эффективности охлаждения. Поэтому я достал свои старые эскизы стойки для десктопного железа — проект не пошедший в работу из-за экономической нецелесообразности, для GPU-серверов дешевле было найти б/у корпус на авито, чем делать металлический каркас самостоятельно.

У моего клиента-покупателя-бизнеса были в аренде и требовали миграции из Европы в РФ десятки серверов с конкретными характеристиками и имелись хотелки по их изменению в лучшую сторону. Поэтому мы выбрали Ryzen'ы последнего поколения (Zen 4) с DDR5 и сформировали конфигурации под стать AX-52 и AX-102 от Hetzner. А чтобы разметить 100+ серверов в нашем небольшом помещении максимально бюджетно, спроектировали стойки под десктопное железо.

Стойки для десктопного железа
Напомню, что габариты стеллажей для GPU-серверов (читай «произвольной конфигурации») 2000х2000х600 мм. Поэтому высота стоек для нормального функционирования холодной комнаты должна была быть 2000 мм, а глубина позволяет быть до 600 мм. Следующим шагом был расчёт минимальной высоты для 1 компьютера. Оптимистичные 4 см превратились в 5, затем в 7.5, в итоге, после обнаружения достойных CPU кулеров, оказалось, что высота полки должна быть 10 см.

Нужно поддерживать размеры материнских плат от microATX до E-ATX, плюс корпусный вентилятор для охлаждения, плюс возможные диски 2.5", плюс допуски по бокам, итого 400х400 мм под полочку для сервера, плюс выносная планка для кабель менеджмента (например, разводки витой пары) на 20 см (тесты показали, что удобен именно такой размер). Чтобы сэкономить на блоках питания, решено было поставить 1 мощный блок (на ~3 кВт) на всю стойку и сделать разводку 12 В до каждой полки. Позже я узнал, что бигтехи в OpenComputeProject пришли примерно к такому же решению многими годами раньше меня. Далее скучные расчёты сечения проводов, создание специальных переходников на EPS8 + PCIE на PicoPSU для каждой материнки и так далее. Затем изготовление полочек из старых компьютерных корпусов с помощью смекалки, болгарки и молотка. А так же тестирование результата на каждом этапе. Например, фото ниже показывает одно из первых тестирований. Из него мы узнали как страшно крепить материнку близко к краю и что сборка каркаса гайками вовнутрь при выдвижении полки без салазок подстраховывает администратора от падения полки.


В итоге было сформировано понимание того, что удобно, а что может быть опасным (у нас же нет слазок, например). Методом проверки различных гипотез мы пришли к определённому формату металлического каркаса, пластин в полки с защитой от провисания, креплениями для материнской платы и отверстиями для кабелей и крепления 2.5" дисков. И затем заказали производство полок по своему эскизу в компании, занимающейся металлопрокатом, с лазерной резкой и ЧПУ.



Ограниченность пространства в нашей локации внесла свои коррективы — холодная комната оказалась необитаемойнепроходимой, поэтому стойки сделаны так, чтобы полки доставались из горячей комнаты, а кабели не сильно мешали этому процессу. Однако, новые стойки делаются по-другому. Их конструкция даёт возможность доставать пластину с сервером с обеих сторон стойки. На фото слева вы можете видеть первую MVP стойку, запущенную в эксплуатацию. Большинство решений тестируются на ней, поэтому она такая страшная в том числе, IP KVM и 2U кулеры под сокет AM5 (фото ниже) для охлаждения CPU с TDP до 150 Вт (если поварпроизводитель нам не врёт) вместо 125 Вт у классических кулеров…





Следующее поколение стоек
Практика показала, что у подхода собственных стоек для десктопного железа большая экономия средств и места в сравнении с использованием стеллажей и корпусов. Однако, имеются недостатки:

Для корпоративного клиента, управлять питанием на уровне стоек, вместо управления питанием на уровне сервера — это «ок», но нужен аналог PDU с удаленным управлением (такие стоят от 120К₽). У нас уже есть решение, которое интегрируется прямо в стойки нашего формата, сейчас оно проходит тестирование в бою для нескольких полок. За основу взяты девайсы умного дома, перепрошиты, подключены к нашему серверу и управляются по API из личного кабинета. В зависимости от требований к стойкам, это может быть как управление power button, так и управление электропитанием полки с физической кнопкой в стойке.


В десктопном железе отсутствует IPMI. Поэтому прямо сейчас мы проектируем решение в своём духе бюджетно и с достаточной отказоустойчивостью. Оно претендует скорее на звание IP KVM (аналоги стоят в районе 400К₽), так как IPMI PCIe-платы должны стоить так же как материнская плата ATX. В принципе, для клиента это может быть «ок» ставить IPMI плату ценой в 1/3 от управляемого железа. Но ещё неизвестно, есть ли программная совместимость между, например, ASPEED AST 2500 BMC и мат.платой от MSI на чипсете AMD B650 или <любое другое сочетание IPMI чипа и мат платы с сокетом AM5>. Мы же решили пойти путём удалённого KVM, совмещённого с управлением питанием полки и power button сервера. А задачи мониторинга остальных параметров системы (которые есть в IPMI) решить программным путём, пусть и не так круто, как это сделано в распаянных в материнской плате IPMI, главное, чтобы оказалось достаточно круто для наших клиентов.

unit7.cloud/
unit7.cloud/accounts/register/