Как мы создавали хостинг-провайдер с собственным ЦОД

Думаю, что моё повествование будет интересным и полезным тем, кто хочет заняться хостингом. Или тем, кто сомневается, стоит ли начинать своё дело, не имея большого стартового капитала. Раскрыть и показать проблемы, с которыми можно столкнуться и которым изначально не придаёшь значения, вследствие того, что не сталкивался с тем или иным.

История достаточно длинная. Хочу делиться ею поэтапно, начиная с предыстории, заканчивая тем, что мы имеем на сегодняшний день. Будем очень рады открытому общению, вы можете задавать любые вопросы и ни один из них не останется без внимания. Планируется еженедельная публикация, по одной главе, а между публикациями я буду отвечать на ваши вопросы. Возможно будут какие-либо предложения, пожелания, их мы будем обязательно учитывать и дополнительно подробнее раскрывать вне графика интересующие вас темы. По поводу того, как планирует публиковаться материал мы разобрались, теперь перейдём к хостингу.

Итак, что же такое хостинг в двух словах? Хостинг-это услуга по предоставлению ресурсов для размещения информации на сервере, постоянно находящемся в сети. Информация может быть разная, это и сайты, и почта, и базы данных, какие-то индивидуальные проекты. Для их корректной работы их размещают на своих серверах, либо обращаются к услугам хостинг-провайдеров, где за работоспособностью оборудования, в нашем случае круглосуточно, следят специалисты. Теперь перейдём непосредственно к истории.

Наш хостинг-провайдер существует с 2011 года по сей день и продолжает развиваться. Начинал я абсолютно один, но потом по мере развития одному становилось всё сложнее и сложнее — я понимал, что не смогу больше справляться и организовал службу круглосуточной технической поддержки.

Немного предыстории: Началось всё ещё давно, в начале 90-х, когда у меня, ученика 6-го класса, появился первый компьютер, благодаря моим родителям. Я очень долго мечтал о нём, и тут моя мечта сбылась. Для того времени это была невиданная роскошь. Как сейчас помню, что он стоил 1000 долларов и был на базе intel 486. Тогда я понял, что моя жизнь будет несомненно связана с компьютерами и интернет технологиями. Я очень увлечённо начал учиться создавать различные простенькие программки, потом посложнее. Пользовался различной литературой. В общем, был самоучкой. Ближе к 10 классу я решил создать свою локальную сеть, мою идею поддержали ребята из соседних домов, мы по крышам проводили кабель, один конец привязывался к палке, и палка перекидывалась на соседнюю крышу и так далее. Таким образом мы объединили несколько компьютеров, что позволило нам обмениваться файлами, общаться в своём чате и многое другое. Это сейчас никого не удивишь локальной сетью, а тогда, в середине девяностых это было ноу хау. В нашем достаточно большом городе в то время таких сетей было раз-два и обчёлся. Мою идею стали поддерживать многие и присоединялись к нам. Но рано или поздно всё заканчивается. Появились другие заботы, учёба в университете. За время учёбы мною было создано несколько проектов, но подробно на них останавливаться не будем.

Идея создания собственного дата-центра пришла ко мне еще задолго до того, как я начал делать первые шаги к его созданию. Я прекрасно понимал, что это очень затратное дело. Тогда в 2006 году рынок ещё не был перенасыщен подобными проектами. Мы сами пользовались услугами хостинга, так как развивали один IT-проект, услуги которого были доступны каждому и стоили недорого. И конечно же сталкивались с различного рода проблемами. Не хочу никого обидеть, но хотелось большего от технической поддержки. Никто особо не вникал в твои проблемы, а мы очень хотели, чтобы нам могли оперативно и качественно помочь. Сотрудничали с разными провайдерами. Но то что я хотел бы видеть, не встретил к сожалению. Вот и появилась мысль создать собственный хостинг и сделать одним из приоритетов качественную, оперативную, круглосуточную техподдержку, которая бы тщательно вникала в проблемы обратившихся и также тщательно и быстро помогала разрешить сложившиеся ситуации. Но это было только пока в мыслях. Прекрасно понимая, что, имея те ресурсы, которыми я обладал, я не смогу сразу предоставить качественные услуги, но это не повод отступать. Как и в любом деле всё проявится в процессе работы.

От нашего проекта, который мы продали, осталось около 20 серверов на базе INTEL, с совершенно разными возможностями и источник бесперебойного питания. Вот с них я и решил начать. Чтобы минимизировать затраты, я попросил своего знакомого, у которого было свободное место в офисе, разместиться на время у него. Всё моё оборудование занимало всего один квадратный метр. Я приступил к созданию простенького сайта, делал всё самостоятельно. Около двух недель я работал над сайтом, конечно же за это время я сделал лишь всё необходимое для того чтобы начать. Впоследствии сайт дорабатывался и добавлялся дополнительный функционал. Тогда собственного дата центра у меня не было, и я мог оперировать только двумя услугами. Разместил информацию на нескольких площадках, первые клиенты не заставили себя долго ждать. Кстати, многие из них и по сей день работают с нами, что не может не радовать. Мы им очень благодарны за это. Уже на второй месяц работы я стал окупать свои ежемесячные затраты. Нужно было двигаться дальше, ведь ничто не стоит на месте. Появилась возможность заказывать по 3-4 сервера ежемесячно. Но появились и первые проблемы. Так как кол-во серверов увеличивалось, температура повышалась и уровень шума тоже, всё это доставляло определённые неудобства моему приятелю и его сотрудникам. Я принял решение подобрать отдельное помещение и переехать. В этом же здании бизнес-центра мне предложили помещение площадью 8 кв. метров, и я согласился. Провёл туда электричество толстым кабелем. И нужно было постепенно заниматься повышением надёжности.

Изначально у меня стояла одна стойка и бытового кондиционера мощностью 2,5 кВт было достаточно. Но как я уже писал количество серверов увеличивалось и появилась необходимость приобрести специализированный промышленный кондиционер. При выборе руководствовался ценой, так как больших оборотных средств у меня не было. Остановился я на агрегате мощностью 14 кВт. Реально конечно он столько не вытягивал, но со своими обязанностями справлялся неплохо. На некоторое время о проблемах с перегревом можно было забыть. Потратил на охлаждение на этом этапе 80000 тыс. руб. сам кондиционер, 24000-установка и 3600-спецтехника. Теперь мне нужно было выбрать генератор, потому что бывают сбои с подачей электроэнергии, либо в самом бизнес центре происходят аварийные отключения и необходимо было место под его размещение. С местом мы определились быстро. В подвале бизнес-центра было множество различных помещений, они предложили мне поменять им общую дверь в подвал, а за это предоставят мне отдельное помещение под генератор. А вот с выбором генератора пришлось посложнее. Опять же выбирал основываясь на стоимость и мною не было учтено множества разных вещей, которые по моему представлению должны быть по умолчанию. Я коснусь этой темы подробнее, может кому пригодится. Лучше конечно пользоваться услугами хорошей проверенной компании, как сейчас мы и делаем, но тогда я не придал этому большого значения, а зря. Всё равно пришлось тратить немало дополнительных средств и времени.

Выбор свой я остановил на китайском генераторе за 180000 рублей мощностью до 20 кВт. Вернее, сам двигатель был немецкий, а навесное китайское. Это конечно что-то с чем-то. Организация, которая продавала, никакого сервиса по установке не предлагала. Как потом выяснилось инструкции по установке не было, не на русском, не на каких-либо других языках, масла нет, антифриза нет и так далее. Приходилось разбираться со всем самостоятельно и дорабатывать. Даже дорабатывались и исправлялись детали, которые входили в комплект. Плюс к тому, менеджер сказал, что вес его 250 кг, поэтому я пригласил 6 человек для разгрузки и транспортировки его в подвальное помещение. На самом деле оказалось, что вес его 750 кг. А грузчики берут только до 650. В общем транспортировка в подвальное помещение доставила уйму хлопот и причиной тому была простая неподготовленность к процессу. Опять же и отсутствие опыта данного рода мероприятий. Ещё плюс узкий длинный проход и несколько так называемых карманов на пути добавили сложности. В общем это я к тому, что обращайте внимание на любые мелочи при покупке оборудования. Через 4 часа генератор был на своём месте.
Это тот самый первый генератор.


А в целях противопожарной безопасности к нему прилагался модуль порошкового пожаротушения отечественного производства. Такие модули широко используются во многих сферах деятельности, благодаря удобному расположению, так как он монтируется на потолок, эстетичному внешнему виду, а также возможностью запуска как принудительного, так и самостоятельного в режиме срабатывания во время пожара. Нам к великому счастью применить его не удалось. Опять же никаких инструкций не прилагалось, разбирались сами, но там достаточно всё просто. Монтируется по типу люстры, срабатывает от повышения температуры. Ну а для принудительного приведение в действие от него идут контакты, на которые необходимо подать напряжение в 12 В. Вот его фото.



Для введения в работу генератора был необходим Автоматический Ввод Резерва, в дальнейшем АВР, который был приобретён. Итак, что же такое АВР? Автоматический Ввод Резерва-это способ обеспечения резервным электроснабжением нагрузок, подключённых к системе электроснабжения, имеющей не менее двух питающих вводов и направленный на повышение надёжности системы электроснабжения. Заключается в автоматическом подключении к нагрузкам резервных источников питания в случае потери основного. Как всегда, руководствовались ценой.

В поисковике нашли организацию, это не составило большого труда, выбрали первую попавшуюся, сейчас объясню почему. Написал я нескольким сразу, но мне очень нравится и для меня важно, когда быстро отвечают и называют цену. Поэтому тот, кто первый ответил и разложил всё по полочкам, с тем мы и начали работать. АВР мы выбрали трёхфазный, по 100 Ампер на каждую фазу, сразу с запасом на будущее, так как цена его была приемлема -17000 рублей плюс доставка в наш город, около 1000 рублей. Если покупать с меньшими характеристиками, то по деньгам выходит почти тоже самое. Размер шкафа тот же, доставка такая же. Можно было установить его самим, но решили прибегнуть к помощи знакомого электрика и установить его.

Заплатили за монтаж мы очень недорого, я не помню сколько, но символически. Эксплуатируется он и по сей день. Минус в том, что организации, занимающиеся реализацией подобного оборудования, не были обременены инструкциями по эксплуатации и это конечно принесло определённые проблемы, но мы учились на своих ошибках и самостоятельно изучали все возникающие вопросы.

АВР анализирует несколько параметров электроснабжения. Так, например, при возникающих перепадах напряжения выше или ниже минимума АВР отключал электричество, а особенность мониторинга у ДГУ это не учитывало, так мониторинг был подключен до АВР. Также был случай, когда изменилось чередование фаз.

Для исключения подобных неудобств, был установлен мониторинг напряжения, мониторинг состоянии ИБП, что позволяло при нестандартных проблемах отреагировать вручную.

Потом я раскрою подробности в изменении схемы подключения, когда дойдёт очередь. И ещё немного о недостатках. У данного АВР есть неудобство для нас, мы его не учли. На фото видно, что нет защитных колодок на клеммах, а так как дата центр постоянно видоизменяется, увеличивается количество стоек, хотелось бы подключать новые стойки не отключая электричество. Это потом было исправлено и об этом в дальнейших публикациях, когда дойдём хронологически до покупки ещё одного АВР.


Теперь об подробнее об Источнике Бесперебойного Питания, в дальнейшем ИБП, англоязычная форма UPS (Uninterruptible Power Supply) — источник электропитания, который необходим при кратковременном отключении основного электропитания и защиты от перепадов напряжения. Его задача в непрерывности подачи электричества. Он включается при аварийных отключениях электроэнергии до введения в работу запасного источника питания, в нашем случае ДГУ, либо устранения недостатков аварийного отключения основного источника. Выбранный нами иностранного производства, бывший в употреблении у одного из отечественных дата центров и у них же приобретённый, мощностью 18 кВт. Входное напряжение 380 В, искажения входного тока примерно 5%, частота входного напряжения 45-65 Гц. Выходное напряжение- 380 В, КПД- 92 %, рабочая температура 0 — 45°С. Стоимость его была 120000 рублей плюс доставка до нашего города 5000 и 5000 от транспортной компании по городу. Вес его около 400 кг с батареями. Установка и настройка была также самостоятельно произведена, так как наш электрик сказал, что не сталкивался с таким оборудованием.

На тот момент наш маленький ЦОД размещался в бизнес-центре на площади 8 кв. м. и располагались в нём четыре стойки и порядка сорока серверов. Теперь коснёмся заданного мне вопроса по форме собственности. Это было Общество с ограниченной ответственностью, помещение в аренде, стоимость аренды 5000 руб., оплата электроэнергии по счётчику, примерно 15000-20000 рублей ежемесячно. Учёт услуг был рукописным и основывался на собственное мнение и дорабатывался в процессе развития. Что касается бухгалтерии не знаю, что можно написать, бухгалтерия само собой была. Была получена лицензия на телематические услуги. Эта очень простая в получении лицензия, доступная любому желающему. Здесь нет никаких подводных камней.

Мы переехали в помещение площадью 8 кв.м.

Уже ощущался некий рост, увеличивалось кол-во клиентов. Причём для этого мы как-то по началу ничего и не делали. Разместились на одном из специализированных сайтов и поучаствовали в обсуждении на каком-то форуме. Вот и всё. Информация расходилась за счёт сарафанного радио. Наши клиенты делились со своими друзьями и партнёрами. Сыграло большую роль, как мне кажется, внимательное и отзывчивое отношение и быстрая реакция на входящие обращения любого характера.

С момента запуска проекта до переезда в помещение 8 кв.м. прошло два месяца. В этом помещении мы проработали ровно год. Закупалось серверное оборудование, за этот год финансовый оборот вырос в четыре раза. Напомню, что уже в первый месяц доходы начали преобладать над расходами. За этот год никаких существенных перебоев в работе не было, разве что с кондиционером. Была утечка фреона, забегая вперёд, скажу, что устранить её так и не удалось. Очень дорогостоящая процедура монтажа-демонтажа и доставки до сервисного центра. Это ложилось на наши плечи и в услуги по гарантии не входило. Необходимо было привлечение спецтехники. Всё же неоднократно мы возили его в организацию, которая нам его продала, на ремонт, к сожалению, безуспешно. А новые размещать было негде, так как эти 8 квадратов и так были напичканы оборудованием. Так и жили, периодически (примерно раз в месяц) заправляя фреон.

По-хорошему конечно всё делается совсем по-другому, но для этого нужен огромный бюджет. А я таковым не располагал. Поэтому всё делалось по ходу. В связи с увеличением объёмов продаж наших услуг нам были необходимы дополнительные мощности. Места уже практически не было, все стойки были переполнены, охлаждать становилось всё сложнее.

И электроснабжение здания оставляло желать лучшего, частые отключения, трансформаторные подстанции были очень старые. Я начал задумываться о подборе отдельного здания для ЦОД большей площади. Вообще по нашему опыту за весь период работы, больше всего проблем и отключений было связано с энергоснабжением. В дальнейшем мы не экономили уже в этом направлении. Нужно было помещение с большей мощностью по электроэнергии, большей площадью и достаточно удалённое от жилых и офисных помещений, дабы никому не мешать когда заводится генератор. Обзванивали объявления по сдаче в аренду подходящих помещений. Больше всего интересовали площади с мощностями на заводах. Где-то две недели я потратил на подбор места для нашего уже более крупного ЦОДа. Нашёл помещение 70 кв.м. на территории одного из бывших заводов-гигантов советской эпохи и мощностью 100 кВт. Самое интересное, что цена аренды была всего 6000 рублей за всю площадь. Для сравнения напоминаю, что за 8 кв.м. я платил 5000 рублей. Помещение, конечно, требовало конкретного ремонта. Оно располагалось так, что, что вход был с территории завода, нужно было проходить и проезжать через проходную, а часть здания с окнами выходила за территорию. Когда мы завозили стройматериалы и прочее имущество, необходимо было подать заявку на ввоз- вывоз, что очень затрудняло и занимало время. Заявку эту нужно было подавать заранее, чтобы обязательно стояла подпись начальника охраны, которого очень трудно было застать на рабочем месте. Когда делаешь ремонт и мотаешься туда-сюда, то одно привезёшь, то другое, то вывезти мусор нужно, на всё это составлялись заявки. Промучавшись так некоторое время, я предложил арендодателю вариант из окна, которое выходит за пределы завода, сделать дверь и тогда уже не нужно было никаких заявок. Окно это выходило на закрытую парковку машин эдак на 50-60. Очень удобный подъезд, можно и материал подвозить и оборудование. Вполне комфортно мог подъехать длинномер. Само здание было буквой Г, с третьей стороны примыкал высокий забор вплотную и через проезд четвёртой гранью было ещё одно сооружение. Получился такой надёжный, закрытый со всех сторон подъезд и плюс удобная парковка. У нас, да наверное как и везде сейчас, проблема с парковками. Но у нас эта проблема особенно остро стоит, так как город очень большой. Предстояло распланировать помещение и сделать ремонт, почти капитальный.



На эту площадку покупалось уже всё новое. ИБП (источник бесперебойного питания) держал теперь не 20 минут, как предыдущий, а полтора часа, обошёлся он нам в 550000 рублей вместе с установкой. Кондиционер, о котором я писал выше, починили временно, его хватило на год работы всего. В итоге купили у одного из самых известных банков два б/у кондиционера. Такие новые стоили по 500000 каждый, а нам они достались за 120000 рублей два, плюс 100000 потратили на новые внутренние блоки, которых не хватало и 150000 установка. Энергопотребление по 15 кВт. Максимальная мощность каждого 36 кВт. Было приобретено ещё шесть стоек, в каждой из которых размещалось примерно 30 машин. Всего уже было 10 стоек, в четырёх из них 120 машин. Ещё были сделаны четыре стеллажа, на каждом из которых располагались по 20 десктопных серверов. Теперь нужно было приобрести второй генератор. В нашем, одном из крупнейших городов России, существовала и существует по сей день организация, занимающаяся сборкой ДГУ ( дизель генераторная установка) Туда обращаться мы не стали, так как воспользовавшись поисковиком, нашли вдвое дешевле, правда в 2000 км от нас, это ещё с доставкой.

Точно не помню, по-моему обошлось всё это дело нам в 840000 рублей. Кстати, сразу уточнил, есть ли инструкция на русском языке, так как мы уже сталкивались с подобной проблемой. Сам дизель был отечественный.


А генератор и контроллер французского производства.

В комплект ещё входил контейнер, типа «север» утеплённый.


Доставка была до места, что не могло не радовать, а монтаж мы производили самостоятельно. Тосол и масло было в комплекте. Особенно запомнилось, как я возил 20 л канистрой дизельное топливо, чтобы наполнить бак в 400 л.

Коснёмся планировки нового ЦОД, настройки сети и серверов, каналов связи и их организации на территории завода, а также изменения, которые мы внесли в конструкцию ДГУ.


На наведение порядка, вывоз мусора, ремонт своими силами, ушло где-то три месяца. Вначале я делал один из серверных залов, чтобы перенести часть оборудования туда и так как имел ограниченный бюджет, делал всё сам, одновременно работая с клиентами. Всё это конечно наложило определённый след на сроки переезда. Уже после, сделав один из залов, я перевёз туда оборудование, настроил его и приступал постепенно к дальнейшему ремонту. Вот так, в течении трёх месяцев, я привёл всё в порядок.
Итак, из каких помещений состоял наш новый ЦОД? Распланировать наше помещение мы решили следующим образом: на 70 кв. м. располагались два серверных зала 20 и 25 кв. м. В одном из залов находились стойки с оборудованием, в другом размещалась техподдержка. Также отвели помещение для одного из наших генераторов, менее мощного. Кондиционеры и второй генератор находились за пределами ЦОД, но на нашей территории. Вот в принципе и всё, что мы могли себе позволить разместить на 70 кв. м. В последствии, благодаря договорённостям мы добавили ещё 15 кв. м., освободили вторую серверную и техподдержка переехала именно в эту комнату 15 кв. м., освободив место для расширения. Так через некоторое время второй зал был занят оборудованием. Мы не всё фотографировали, потому что в тот момент ещё не было мыслей что-то рассказывать о нас, даже не представлял, что это можно вот так сделать. Но вот выложу что есть, чтобы примерно имелось представление как было до и становилось после.




Как я уже писал, на новую площадку закупали всё новое. Со средствами пожаротушения мудрить ничего не стали, решили пока остановиться на противопожарных модулях, о которых было написано в прошлых публикациях. Это потом, впоследствии, мы уже стали использовать другую противопожарную систему, об этом позже и вы поймёте почему очень скоро. Про ИБП, ДГУ и кондиционеры я писал тоже в прошлой публикации, а вот про АВР ни слова. Учитывая ошибки прошлых лет, к этому вопросу мы подошли более серьёзно. На этот раз воспользовались услугами компании из нашего города и нам собрали АВР по нашему проекту. Потрачено было около 40000 рублей. Вот его фото.


Также мы добавили аварийное освещение. Не смотря на гарантированное энергоснабжение, мы решили приобрести светильники аварийного освещения. Мало ли что… Такой светильник является автономным, в случае прекращения подачи электроэнергии светильник переходит на работу от встроенного аккумулятора. Так не разу не пришлось воспользоваться ни аварийным освещением, ни противопожарной системой.
Для переезда на новую площадку нам было необходимо приобрести другой маршрутизатор, достаточно профессиональный. Опять же в целях экономии купили бывший в употреблении, потратив около 100000 рублей. Новый такой стоил порядка 1000000 рублей. Чувствуется разница, правда?

Нужно было его настроить, с этим пришлось повозиться. Необходимо было сбросить старый пароль. Двое специалистов пытались это сделать, но ничего не вышло. Я так и не понял почему, видимо не работали с подобным железом. Пришлось разбираться самому. Оказалось, ничего сложного, поработал с поисковиком, нашёл решение и сбросил пароль. А вот для дальнейшей настройки пришлось пригласить посвященного человека, так как я объективно смотрел на вещи и не надеялся на свои возможности в данном случае. Он-то всё и сделал. Для того чтобы начать перенос виртуальных серверов мы между площадками проложили волокно, точнее взяли в аренду на время. Нужно было чтобы они взаимодействовали. Я такое не разу не делал, забегая вперед скажу, что с какими-либо трудностями столкнуться не пришлось. Работали два маршрутизатора, виртуальные сервера мы перенесли по сети, и клиенты даже не заметили этого. А физические приходилось отключать и перевозить. С каждым клиентом индивидуально договаривались, учитывая, когда ему будет удобно отключиться. Иногда получалось объединять в один временной промежуток по 10 серверов. Перевозил на своём легковом автомобиле. В среднем время отключения на каждого клиента занимало около двух часов, благо площадки, в рамках нашего города, находились недалеко друг от друга, на расстоянии 5 км. Переезжали где-то около месяца, так как повторюсь, учитывали время и возможности клиентов. В основном всё это происходило ночью. По настройке серверов сказать особо нечего. Так как оборудование б/у, если чего не знали, смотрели в интернете рекомендации и делали самостоятельно. Теперь что касаемо интернета… По интернет- провайдерам, завод предлагал своих операторов по совсем уж заоблачным ценам. Мы обращались к конкурсному управляющему, который отвечал за эти вопросы. Аудиенцию у него очень было сложно получить, в итоге мы с ним так и не встретились. IT-отдел отказывался, чтобы мы подключали своего оператора. В конце концов наше упорство было поощрено, и мы воспользовались услугами оператора с предыдущей серверной и завод взял лишь деньги за крепление кабеля к объектам.
Теперь по генератору. В ДГУ нам пришлось внести незначительные изменения в конструкции, для удобства обслуживания и работы, сейчас расскажу почему и что было сделано. При включении аварийного энергоснабжения и запуске ДГУ двигатель не заводился самостоятельно. По всей вероятности, причиной этого было попадание воздуха в систему. Приходилось вручную подкачивать топливо, а помпа ручной подкачки находилась в очень неудобном месте, плюс шаг был ну очень маленьким, всего 1 см. Не понятно, почему так неудобно было всё сделано. Это нас не устраивало, да и ненадёжно как-то. Пообщались с людьми, который сталкиваются по роду своей работы с дизелями и пришли к выводу, что нужно поменять помпу ручной подкачки, а также перенести её в другое, более удобное место.На фото как раз видно где располагается старая, фабричная помпа

Мы решили не экономить и приобрели помпу иностранного производства, а также заменили топливные шланги на прозрачные, чтобы можно было наблюдать наличие топлива. На фото как раз видно новую помпу и общий вид, где располагалась старая и где теперь новая.

Стрелочками как раз указано-вверху расположение фабричной помпы, внизу новая.

Ну и конечно решили увеличить время запуска зажигания до 15 секунд. Это оказалось очень удобным решением. С проблемой мы справились, ДГУ заводится с пол оборота и по сей день, при необходимости. Но эта необходимость возникает крайне-крайне редко.