CloudGS.ru Хостинг

Как построена техническая инфраструктура сейчас.

Серверы находятся в дата-центрах Новосибирска. Арендуются места размещения в стойках. Серверная выглядит вот так

Все надежно, закрытая циркуляция воздуха, оптимальные температура и влажность. Дизельный генератор, размером с автомобиль. Система пожаротушения.

Серверы используются одноюнитовые (1U — это высота сервера, 4,445 см), их выгоднее размещать, чем более высокие. Выглядят вот так в ближайшем цоде

В этом дата-центре выделено 3 канала по 250 мбит. Это стабильные, честные мегабиты. На предложение, увеличить канал до 1Гб за 70.000 р/мес пока отказываюсь c легким чувством офигевания. Для юр.лиц в цодах расценки негуманные. Управляют каналами межсетевые экраны серии D-Link DFL. Показали себя надежными и стабильными.

Почему в Новосибирске хороший пинг со всего СНГ. Потому что, все магистральные международные линии проходят через Новосибирск. Часто такое бывает, что у клиента в Москве из одного офиса пинг к серверу в Новосибирске меньше, чем к серверу в другом офисе Москвы. Еще и ЦОД находится на международном распределительном хабе.

Сами серверы за 12 лет сменили несколько поколений. Первые были с 32 ГБ оперативной памяти, затем поколение Xeon E3 c 64-128 ГБ. Сейчас остались Xeon V3/V4 (2667/2697) c 384-512 ГБ, и новые двухпроцессорные на Xeon Golg 5217, 6346 по 1 — 2 Тб. оперативки. В резерве пара серверов готовых лежит на V4, помимо размещенных в цодах.

Диски используются, в основном, Intel P4600\4610 Nvme. Есть SATA S3700\S3600\S4510. И целая находка в свое время IO Drive2 Fusion 2.4 ТБ. За приемлемую цену великолепную производительность и ресурс MLC памяти. И самые впечатляющие — это optane 4801 в формате M2 и лучшие Optane P5800X — монстры производительности. Еще пара 905-х осталась.

Когда приходили диски Fusion, лет 5 назад, в комплекте не было кабеля доп. питания. А там совсем нестандартный разъем. Пришлось паять, вытачивать разъёмы самостоятельно. Оно того стоило. Накопители потрясающие. До сих пор все в работе, реальная производительность на уровне P4600 NVME.

Были попытки использовать несерверные диски. Samsung 970\980 Pro. Сами по себе диски хорошие, быстрые, а ка. Даже тянули виртуальную машину с 20 пользователями в 1С. Но при заметной нагрузке на базу данных, они начинали подвисать, их производительность резко падала. Эксперименты завершили, все несерверные диски убрали.

Под бесконечные резервы HDD Enterprise сегмента от 6 до 18 ТБ. В каждом сервере и на отдельном хранилище.

Серверы разной конфигурации. Под запрос заказчика. Например, под видеонаблюдение стоит многоядерный AMD EPYC c 64 ядрами, 128 гб. памяти и одним диском без виртуализации. Аналогичный под видеотрансляции — основная нагрузка на процессор.

В основном арендуют виртуальные машины различной мощности под работу в 1С. Высокочастотные процессоры и много оперативки. Либо, терминальный доступ, либо IIS Мощностей выделяется, сколько нужно для комфортной работы.

Еще один сегмент серверов — с видеокартами. Используем Nvidia Grid. Заказчика — проектные компании. Проектировщики со всего СНГ подключаются к терминальному серверу с *cad и там работают. На рендер и ИИ пока заказов не было, конфигураций появятся в будущем.

В хостинг пока не вхожу. Для него тоже уже куплены управляемые свичи HP. Ждем нормальной цены от провайдера на IP-адреса и каналы, торгуемся.

В серверной прохладно и дует.


cloudgs.ru

Исторически сложилось, что инструментом реализации стал Windows Server. Начиная с первого бизнеса – предоставления интернета для здания с арендаторами. Раздавал интернет «сервер» на Pentium II 433 c установленным Windows 2000. Программой мониторинга и аутентификации.

Затем, оказывая услуги сисадмина небольшим компаниям, почти не было альтернативы по выбору ПО. Windows XP на компьютерах, Windows server 2008 на сервер, потому что 1С работала только системе Windows. Особенно интересно продавалась тогда 1С – большая коробка с дискетами.

Сейчас, не меняя традиций, на серверах стоит более новый Windows Server 2022 Datacenter. Выглядит, как Windows 10,11, только функционал больше. Все лицензионное, по SPLA лицензии, оплачиваются только задействованные машины.

Виртуализация, соответственно, на Hyper-V. На одном физическом сервере работают несколько виртуальных. До 10 штук. Вот так выглядит панель управления виртуальными серверами, видно сколько процессора и памяти занимает каждый сервер

Система отлично работает. Все удобно. Потрясающая вещь – «живая миграция». Прям, работающий виртуальный сервер можно перенести на другой диск или хранилище, даже на другой физический сервер!

В работающий виртуальный сервер можно добавлять диски, оперативную память не выключая виртуалку. Как это вижу я, открыл настройки одной виртуальной машины

На виртуальной машине может стоять любая ОС. Зачастую, стоит тоже Windows Server Standart в режиме сервера терминалов. Как на скрине выше. Либо публикуют 1С по IIS.

Кто не в курсе, сервер терминалов — это когда на одном сервера работают несколько человек, при подключении к серверу у каждого свой рабочий стол.

Являюсь лет 15 официальным партнером Касперского, поэтому, защищают хостовые машины (сервер, на котором работают виртуальные сервера) Касперский для серверов. И некоторые виртуалки, где есть риск поймать вирус, работают с почтой или в браузере. Это Касперский для сервера, стоит в несколько раз дороже, чем для обычного компа.

И самое важное в работе серверов – БЭКАПЫ! Что бы не случалось с виртуальными машинами – сломалась операционка, вирус, шифровальщик, сбой программ, удалили базу, и пр. (а случалось это все и многое другое). Должен делаться бэкап всего. У нас настроен бэкап всех виртуальных машин каждую ночь, можно чаще, хоть каждый час. На этот же сервер, на архивные диски. Вторая копия уходит на резервный сервер. Глубина архива – не менее 14 дней. Последние годы с этой задачей отлично справляется программа Veeam. Она позволяет делать инкрементные архивы. Т.е. архивируется каждый раз не весь сервер целиком, а только измененные данные. Если вся виртуальная машина заархивированная, например, 100 ГБ, то следующий архив может быть всего 10 ГБ. Это очень экономит место. Потому что раньше резервировала программа-скрипт HVBackup, пока места было много, резервировалось все целиком. И сейчас на старых серверах она параллельно работает с Veeam. Это бэкапы одной виртуальной машины, с любого дня можно восстановить в эту же виртуальную машину, или создать новую, или только конкретный файл вытащить:

За все время работы, данные ни разу не были потеряны. Бэкапы отрабатывают великолепно. Время восстановления из резервной копии от 15 мин, зависит от размера виртуальной машины.

Это основное про программы.

Пара слов про безопасность подключения к серверу. В идеале, сделать VPN между офисным роутером клиента и нашим. Можно дать несколько логинов и паролей для подключения к серверу с домашних компов. Плюс\или есть фильтрация по IP адресам. И условное требование к админам — создавать пароли для пользователей от 12 символов. Вкупе это дает отличную защиту сервера. К хостовым машинам извне доступа нет, а резервные серверы еще и отделены от рабочих сетей.

Уже была картинка паролей. Важное инфо, продублирую.


cloudgs.ru/#getserver

На вид обычный SSD 2.5 дюйма, как в ноутбуках стоят, даже можно в обычный комп поставить и будет работать. Только ценник — в 50 раз дороже. И используют его в серверах. Вот так он выглядит. Это Optane P5800X на 1.6 тб. Самый быстрый SSD в мире.

Сразу, после покупки доехал до дата-центра, вставил в сервер. Вот в этот, в нем есть поддержка pci-e 4, и современное соединение OCuLink, вместо SATA.

Ниже картинка с тестом скорости. Но она совершенно не передает мое впечатление о скорости его работы. Вот представьте, вы всю жизнь ездите на машине 80 км\ч, иногда разгоняетесь до 120, очень редко выжимая 150. А тут в базовой комплектации штатная скорость 600 км\ч.

Слева тоже отличный диск P4610, быстрый NVME для серверных задач, справа Optane.


Перенес на новый сервер с отличным процессором Xeon Gold 6346 виртуальную машину одной компании, где тормозила 1С. Прям, всю виртуалку на Optane. О, это был восторг. Операции, где 1С зависала на 40 сек, здесь выполнялась за 2 сек. И где была проблема с формированием в выставлении скидки, зависание было 2 мин, стало 20 сек. По-прежнему, неприемлемо. Программисты 1С, что жаловались на сервер, за день нашли проблему, когда дальше апгрейдить почти невозможно, это лучшее «доступное» железо на данный момент. Нашли проблему и с 2мин упало до 5-х секунд, а на новом сервере моментально. Клиент решил остаться на этом железе, к хорошему привыкаешь быстро)

Диски отличные, докупил еще несколько на другой сервер и резервный. В руках появился инструмент для теста производительности, проверки теорий, что не хватает мощностей.