Интервью из мира хостинга: Сергей из ua-hosting.company
Всем привет! Меня зовут Леонид, я — владелец сервиса Поиск VPS. Сегодня я представляю вашему вниманию интервью с Сергеем — руководителем ua-hosting.company. В прошлом году состоялось открытие площадки компании в американском ЦОД Iron Mountain в Нью-Джерси. Недавно для меня провели экскурсию по дата-центру, а после мы обсудили нынешние особенности работы хостинга среднего размера и некоторые отличия европейской площадки от американской.
Касательно появления площадки в США у нас есть довольно подробная статья на Хабре.
Мы предоставляли услуги в США с 2012 года, когда Ричард пригласил нас в US, чтобы мы продали там хоть что-то, в то время как активно росли в Нидерландах, ведь связность с бывшими странами СНГ региона лучше была именно из NL. Случайно мы наконец-то сделали идентичное нидерландскому кастомное решение, обеспечив клиентам полную свободу, и не где-либо, а фактически в Нью-Йорке, ведь Эдисон всего лишь в 20 минутах езды от Манхэттена.
Опять же в статье написано, этот дата-центр был в LeaseWeb не заполнен, в отличие от WDC-01 в Вашингтоне, им было выгоднее предложить его нам. Плюс нам это тоже подходило, так как связность с Европой из Нью-Йорка немного лучше и также хороша с Латинской Америкой.
Мы рассматриваем возможность привлечения клиентов также из финансового сектора, для них пинг и близость к биржам играет значение. Не исключаю, что где-то дешевле, но, на удивление, пока для нас дешевле в Нью-Йорке, как это ни странно. Тем не менее, у нас пока мало клиентов из финтеха, потому ориентировались не на них, а на то, где нужно продать ресурсы партнеру.
Потому что это фактически Нью-Йорк, до Манхэттена на авто 18 минут, если нет пробок, никто не знает, что такое Эдисон, но все знают, что такое Манхэттен. Если же говорить о городах-спутниках рядом с Нью-Йорком, то Вы уверены, что биржи размещаются не там?? Кто-то размещается и там.
Мы начали общаться 2-го июня, 23-го подписали контракт на 3 года (± в эти даты), а 2-го июля, неожиданно для меня, мы были уже в Нью-Йорке и ждали оборудование, которое приехало не так быстро, как ожидалось, и не всегда работало (3 свитча, которые прислали из Калифорнии, просто не включились, все 3, никогда такого не видел), замену экстренно купили благодаря знакомому турку, к моменту отлета (12-го июля нам было нужно лететь уже в Калифорнию, затем на Гавайи и в Австралию, что исключало возможность возврата в Нью-Йорк в ближайшие месяцы) нам даже удалось установить 5 или 6 серверов.
Но не все проходило так гладко: LeaseWeb попросил время, чтобы протянуть витую пару между основной стойкой с Fortigate и новыми, и процесс подключения новых стоек витой парой и оптикой занял почти месяц… Надо было решить на уровне бюрократии даже после того как сказали, что «можно».
А затем возникла техническая проблема, что кабели не очень-то можно уложить в cable runner, и вопрос решался какое-то время. Но нам не горело, так что могли ждать этот месяц. В принципе, была и резервная схема, чтоб включить KVM-сеть и по оптике, на случай, если что-то пойдет не так.
В сравнении с Европой для нас есть огромное отличие, там нет наших надежных технических партнеров — Мурата и Эрсина, которые вдвоем заменяют команду из 20 среднестатистических инженеров, они сумели переместить все наши серверы в Нидерландах из одного ЦОДа в другой в течение нескольких недель, при этом не убив данные клиентам. Никто не пострадал, все переехали, причем было организовано темное волокно между дата-центрами, что свело даунтайм к минимуму. IP адреса можно было одновременно использовать как в стойках нового ЦОДа, так и старого. Это наша особенность, за которую нас очень благодарят клиенты. Где бы ни находился ваш сервер, если он упадет, IP адрес может быть поднят с любого другого сервера у нас в пределах одного дата-центра.
Что касается Нью-Йорка, то даже у такой большой компании как LeaseWeb нет своего постоянного инженера в дата-центре, все пользуются удаленными руками, часто это контракторы, которых Мурат называет ласково «hands without brain», почему это так — описано в статье на Хабре. Бюрократия ужасная, она убила нам возможность сотрудничать с LeaseWeb в Нидерландах, но тут в США более отзывчивые люди — Richard (сейчас он уже CEO LeaseWeb US), Andrew и Peter (2 лучших их менеджера и технических специалиста) постоянно с нами на связи в скайпе (да, да, олдскульные люди типа нас до сих пор используют почему-то скайп для подобного общения), и проблемы решаются. Мы — не очень крупный клиент, всего лишь 4 стойки сейчас, но ребята нас знают с 2012 года, пусть мы и не очень успешно росли ранее, но сейчас, благодаря тому, что они лучше и мы лучше, у нас всех есть шанс, они это понимают и рады помочь, как и мы им.
Да что говорить, на весь Iron Mountain (эта компания обслуживает ЦОД в Нью-Йорке) не факт, что есть дежурный инженер, скорее всего большая часть — контракторы и также приезжают в ЦОД только в случае необходимости, так как недоступность сервера или даже системы, которая задублирована, порой многократно, не является критичным событием для дата-центра. С одной стороны такой подход здравый, и учит тому, что случись что — надейся в первую очередь на свои резервные ресурсы, а не на людей. С другой — заставляет прямо все дублировать до мелочей, что увеличивает стоимость услуг, однако, учитывая размер оплаты труда, это все равно получается дешевле.
А еще 3 часах от Нью-Йорка у нас живет наш вменяемый коллега — Алексей, который однажды приехал поработать 12 часов, о чем написано в статье про запуск площадки в Нью-Йорке.
Не слышал о таковых.
Я бы не сказал, что хуже. LeaseWeb NL получал от нас в лучшие месяцы нашего сотрудничества свыше 110 тысяч евро ежемесячных оплат, и до этого момента они были довольно клиентоориентированными, мы и они росли за счет того, что можно было найти решение быстро, но и клиенты не были еще такими требовательными, со временем тренды и задачи начали меняться, я знал куда они идут. Четыре года я говорил, что будет плохо, если не предпринять то-то, мы не можем так работать, потому что клиенты не могут ждать по 2 года решений, которые должны быть уже сейчас… В итоге результат? Мы начали закупать серверы и ставить их в другом дата-центре, хотя это было адски дорого, и нам куда проще и меньше головной боли был долгосрочный лизинг с LeaseWeb NL, которые кстати, не факт, что покупали серверы, а скорее всего брали в долгосрочную аренду у таких поставщиков, как Dell, чтобы не попадать на VAT, аренда была выгоднее в плане налогов для всех… Но не сложилось. Лизинга в новом ЦОДе не было (там был лимит до миллиона евро, что довольно немного, и распространялось не только на нас, но и на всех клиентов ЦОДа), и мы покупали и имели головную боль с железом. Клиентоориентированными были Мурат и Эрсин, потому, что они делали свою работу на совесть. Потому мы и росли.
В США в LeaseWeb US были клиентоориентированными всегда. Но у них была другая проблема — низкая квалификация инженеров, и порой косячили часто, проекту с визами у нас регулярно отключали раз в пол года Cisco ASA и не знали как её поднять, могли бы записать инструкцию и запомнить… Но нет, всем было пофигу. Все потому, что как не клиентоориентируйся, а найти надежных людей с мозгами довольно сложно. В этом проблема Штатов. Большинство людей делают свою работу исключительно из-за денег, капитализм, в то время как по настоящему преданных делу людей довольно мало. Нечестные методы конкуренции приводят к тому, что люди бегают из одной компании в другую, что не всегда положительно сказывается на качестве, да и общем развитии. В общем, довольно сложный вопрос.
Важно просто понимать, что везде есть «эти люди» (как ласково называл идиотов мой инструктор по техническому дайвингу), и стараться себя ограничить от их влияния, насколько это возможно. А клиентоориентированность можно найти везде: и в Европе, и в США.
В LeaseWeb NL опять вернулась из Сингапура волшебная Юлия Гортинская, настоящий профи своего дела, возможно она наладит там дела, не знаю, а быть может в будущем мы начнем и colo делать у них, кто знает. Пока очень непонятно, что будет с Нидерландами, ввиду того, что цены на электричество просто неадекватные.
Мы и Нидерланды сейчас уже не рассматриваем, электричество в Европе дорогое. Если в Украине закончатся боевые действия, будут недорогие мощности с Запорожской АЭС, как это было до 2022 года (в то время хотели строить самый большой в Европе дата-центр), и если будет принят закон, легализующий контент для взрослых, а также будут предоставлены гарантии для бизнеса — мы готовы будем вернуться с размещением серверов. В Нидерландах «зеленые» творят дичь, новые энергоресурсы не выделяются в дата-центры в Амстердаме. На этом фоне размещение в Украине могло бы стать одним из лучших решений для клиентов из европейского региона. И для клиентов из РФ, кстати, тоже.
Сейчас мы даже больше рассматриваем Нью-Йорк, чтобы сместить акцент с европейских клиентов на клиентов из Латинской Америки.
Ну, до 10-20 стоек, думаю, там будет возможно дорасти (а может и больше, если будет дополнительный зал, мы же не знаем планов LeaseWeb), это — не самоцель. План быть более отказоустойчивым, и, в перспективе, разместиться еще в Майами, в Калифорнии и в каких-то штатах посередине. Можно сделать более отказоустойчивый географически распределенный кластер.
Серверы, свитчи, устройства управления и распределения питания? Еще есть небольшие шкафы для хранения по 4 юнита, так как иногда стойка потребляет слишком много питания, и серверы уже нет возможности размещать.
Ядро сети состоит из двух роутеров QFX, в каждый заведена оптика из двух независимых маршрутизаторов LeaseWeb, пока что это 2х10 Гбит/с, что более чем достаточно для 1000-2000 серверов. В Нидерландах у нас статистика такая по использованию премиум-сети: на каждые 100 серверов в среднем потребляется 2 Гбит/с полосы. Те, кто потребляет очень много трафика, и всякие онлайн стриминг-проекты — у нас на отдельном включении Cogent, там 30 серверов генерирует порядка 150 Гбит/с. В США, если будет спрос на трафик мы, возможно, сделаем подобное решение, а может и нет, если LeaseWeb согласится нам продать коннективность по той же цене, как если брать в Cogent. Из ядра нашей сети идет распределение по стоечным свитчам, ну и каждый из серверов получает минимум гигабит коннективности.
Шаред у нас живет в нашем облаке, которое сейчас очень модифицировано, так как хостинг — это базовый продукт, с которого клиенты быстро растут до собственных виртуальных и выделенных серверов. Благодаря появлению 15TB NVMe и даже 30TB накопителей плотность хранения данных стала еще выше, и мы сделали облако в Нью-Йорке на нодах с 2x Xeon Gold 6154 3.0GHz 18-Core и 768GB RAM и платформах Dell R740xd. Так как ноды довольно производительны, пока нам хватает 2 сервера для всех наших виртуальных облачных серверов, включая shared-хостинг, ведь в каждый мы ставим 2х15TB NVMe (больше не имеет смысла, так как быстрее утилизируется RAM и процессор, иначе можно было бы нарастить хранилище до 18 накопителей такого типа без проблем).
Помимо этого есть виртуальные серверы с выделенными накопителями, они живут на платформах: Dell R730xd 2x E5-2696v4 2.2GHz 22-Core / 256GB DDR4 / 24х 960GB SSD.
Таких нод у нас много, больше 10, так как услуга пользуется популярностью, ведь всего лишь за 19 долларов в месяц можно получить: VPS (KVM) — E5-2696v4 (6 Core) / 10 GB DDR4 / 960GB SSD / 1 Gbps 10 TB.
Есть точно такие же ноды, но с 3.84TB SSD, тогда мы выделяем виртуалки с 3.84TB SSD по цене от 29 долларов в месяц.
Все наши ноды объединены в 10 Гбит/с локальную сеть по оптике, за счет чего мы можем мигрировать клиентов с одной услуги и ноды на другую на лету, практически без даунайтма и за минимальное время.
Есть проекты клиентов, обработки виз, анализа big data, некоторые из клиентов используют серверы с видеокартами: 2x Xeon E5-2696v4 2.20 GHz 22-Core / 256GB DDR4 / 4x 960GB SSD / 2х Dell Nvidia Tesla P100 16GB PCIe HBM2 GPU Graphics Accelerator Card / SATA DOM 64GB / 10Gbps LAN / 1Gbps 100TB.
Очень скоро, мы предложим еще больше новых конфигураций в Нью-Йорке, так, например, мы начали предлагать Dell R630 — 2x Intel Xeon E5-2683v4 2.1GHz 16-Core / 64 GB DDR4 / 2х 960GB SSD / 1 Gbps 100TB — всего лишь от 149 долларов, что более, чем в 2 раза дешевле, чем в среднем по США стоит подобная конфигурация в дата-центре такого класса. А очень скоро мы сможем предложить решения с 1.92TB SSD ненамного дороже, возможно даже увеличим количество накопителей для базовой цены.
В общем, наша цель — обеспечить лучшую цену для наших клиентов и при этом сохранить максимальное качество, с чем мы успешно более 15 лет справляемся.
Без понятия, какие там генераторы, если честно. Генераторы в нормальных дата-центрах, где поставщики электроэнергии дублированы и зарезервированы, мало нужны. Это в Нидерландах такая проблема, там монополия на электричество, потому они спасали, когда были отключения. Но в Нью-Йорке генераторов достаточно, не думаю, что это что-то особенное. Все везде по стандарту. В Нидерландах лучше DDoS-защита на уровне NTT транзитного провайдера.
Оснащение дата-центров примерно одинаковое, есть стандарты, мы размещаемся в ЦОДах Tier III+. Условия по трафику везде идентичны, все транзитные провайдеры присутствуют на площадке — GTT, Telia, Cogent. В Нью-Йорке, правда, NTT нет, так как они являются конкурентами GTT. Сеть пока мы взяли от LeaseWeb, чтобы был микс провайдеров, они хорошо с этим справляются и оптимально распределяют трафик, если только не забывают подключить анонс правильно во все сети, чтобы все аплинки работали? Если появится надобность отдельно дешевого Cogent, и если LeaseWeb не сможет предложить аналогичную цену, будем ставить дополнительный маршрутизатор/роутер для этой сети.
У нас всегда в стойках есть серверы, доступные к выдаче, недавно в Нидерландах было свыше 20 платформ (фактически стойка) Dell R730xd, осталось 2 сервера, продались за 2 месяца, хотя мы рекламы особо не даем, и отказов было много: бизнесы терпят убытки из-за конфликта на Украине. К примеру, клиент, который арендовал серверы под торговые центры, уменьшил их количество, так как ТЦ в Мариуполе и еще где-то на юге Украины у него не стало.
Новые серверы могут быть доставлены в течение 5 рабочих дней в Нью-Йорке. Если что-то специфическое — до 14 рабочих дней и более. В Нидерландах сроки поставок также могут различаться, был период, когда Samsung поставлял SSD в Нидерланды со сроком поставки 59 дней и имел наглость собирать предзаказы. И брали. Ибо альтернатив не было.
Сложно сказать, это разные клиенты, некоторые используют серверы и в Нидерландах, и в США, некоторые виртуальные серверы или даже хостинг. Некоторые только в США. Мы никого насильно не переводим, хотя нам было бы выгоднее, если бы клиенты арендовали серверы в Нью-Йорке. Стараемся расти в новом месте, не прибегая к тому, чтобы переносить клиентов. Ведь это им будет создавать головную боль… Переносить можно только тогда, когда для клиента это неоспоримые преимущества. А какая разница в случае виртуального сервера? Ну, больше у клиента будет SSD, вместо 480GB, 960GB за те же деньги, но не всем это важно. А для кого-то просто плата за сервер не важна, ведь это 7% его инфраструктурных затрат. Им все равно, сколько платить, и они ни в коем случае не переедут из-за цены. У нас была проблема со старыми серверами в Нидерландах: кто-то арендовал их с 2012 года и не хотел расставаться со старым железом даже после того, как из-за низкой энергоэффективности цена на сервер возросла в 2 раза. Что говорить, у нас до сих пор есть клиент в Нидерландах в LeaseWeb, который все еще платит 100 долларов в месяц за сервер Intel Dual-Core G850 2.9 GHz / 4GB DDR2 / 2x250GB SATA2, и да, это не SSD?..
Он просто не знает, как переехать, и не может… Даже с помощью администраторов. Ну, кто эти люди?? VPS за 19 долларов, которая предлагается сейчас, мощнее его сервера. Но он предпочитает платить больше.
Всего у нас не очень много клиентов — в районе 1000. Но это очень разные клиенты, кто-то арендует хостинг, а кто-то 30+ выделенных серверов. В США, наверное, из этой 1000 пользуется услугами 100+ человек, сложно сказать точно сколько и кто, так как надо делать анализ по всем продуктам и услугам, а это можно застрелиться, учитывая возможности WHCMS.
Вот, уже даже не 1000, раньше колебалось около 980-990 значение. Особенность WHMCS еще в том, что оно делает часто активных клиентов неактивными, по каким-то непонятным причинам. Так что мы наверняка и не знаем, сколько клиентов.
ЦОД никак не реагирует на DDoS-атаки, ЦОД предоставляет помещение и электричество. За сеть у нас отвечают Мурат и Эрсин, в Нидерландах они могут отфильтровать до 1 Тбит/с, но и стоимость фильтрации 20-30 евро за минуту, причем не важно какой интенсивности будет атака. Кажется, дорого, но на самом деле — нет. Большинство атакующих после того, как видят, что положить не удалось — сдаются. Так что не нужно считать, что защита стоит 30x24x60 = 43 200 евро в день. Защита тарифицируется только в момент атаки. За пару часов сдаются, ну, заплатите 3600 евро, это недорого. Зато нет никаких проблем?..
В Нью-Йорке такую защиту пока не реализовали, так как нет оператора NTT, это их технология, а только консультация по внедрению этой технологии на другом аплинке будет стоить свыше 150 тысяч евро. Поэтому в Нью-Йорке пока старая схема, слишком мощная атака — null-route, чтобы не мешать другим клиентам.
Вообще нет, а кому атаковать и зачем?
Бывают небольшие, раз в несколько месяцев, но я несколько гигабит не считаю атакой? Плюс клиенты, подвергающиеся атакам, могут включать внешнюю защиту от Cloudflare, например, это тоже помогает и работает. В Нидерландах бывало часто, но в них были виноваты сами клиенты, так как их сервер взламывали, рассылали спам, а затем те, кто не любит спам — атаковали в отместку? Как правило DDoS-атак не бывает. Этот метод уже устарел и не является эффективным.
Если клиент не хочет, чтоб ему фильтровали, мы просто нуллроутим его IP, большинство клиентов жадные — не хотят платить, полежат часок, потом их уже и не атакуют. Но для кого-то дешевле 3600 евро заплатить, чем час лежать, вопрос цены. Я бы из принципа не экономил.
У нас примерно одинаковая маржа по всем продуктам, период окупаемости 3.4-5.6 лет. С учетом роста стоимости электричества в Нидерландах этот период упал по некоторым продуктам до 10+ лет… Если мы 10+ лет не будем обновлять серверы — ничего хорошего с этого не будет. И тут речь не только о том, чтоб заменить оборудование на новое, надо же как-то и развиваться. Именно потому мы сейчас это положение будем исправлять ростом в США, где, к счастью, электричество гораздо дешевле, и подорожало только на 10% за всё время.
Насчет того, что выгоднее всего продавать. Выгоднее всего продавать счастье клиентам, мы делаем наших клиентов счастливыми, так как предлагаем то, что им нужно, даже если они не знают, что им нужно. В этом наша миссия.
Мы их не берем, они нас сами находят. Когда-то я активно лично общался на форумах, просто консультировал людей, затем мы завели блог на Хабре. Когда Хабр был торт, то в 2013 году, я мог через Хабр продать свыше 10 выделенных серверов за день. Сейчас такого там нет и не будет. Так что об этом можно забыть, если кто-то хочет так продвигать свои услуги. Только консультации на форумах, можно англоязычных, испаноязычных. Хотя последних очень мало в сети, как ни удивительно, хотя на испанском говорит почти миллиард человек.
В планах сейчас не тратить время на глупости, а сделать собственные некоммерческие проекты, посвященные популяризации науки, дайвингу и туризму. Возможно, с этой аудитории мы найдем и клиентов. Ведь SIA UA-Hosting будет выступать спонсором. Но у нас нет в планах дорасти до 100 000 клиентов, ведь это ничего не меняет, возможно мы сможем делать еще лучше решения, если клиентов будет больше, но нужно понимать задачи, для чего. Ведь наша основная миссия — индивидуальный подход, порой я лично консультирую по телефону новичка в хостинге за 1 доллар в месяц, а если мы станем Амазоном — это будет не то. Много головной боли и мало результата?..
Сложный вопрос, на который сложно ответить. Если учитывать администраторов из Винницы — больше десятка, сколько точно мне неизвестно, так как администраторами ведает Мирослав (управляющий техническим отделом), и кого там пускают в тикетницу — не моя головная боль, а еще часть ребят забрали в армию ;( Это новые реалии, в которых приходится администраторам жить и администрировать серверы порой без электричества и с доступом через Starlink. Сказать, что качество не пострадало — нельзя, ведь не всегда человек может адекватно мыслить когда рядом с ним прилетает. Если же не учитывать тех. отдел, то четверо, включая меня. В 2017 году нас было очень много, только в Лос-Анджелес мы прилетели командой из 8 человек на конференцию, последний HostingCon, когда стали спонсором. Ведь у нас был принцип, что не важно сколько стоит поездка, а поехать должны все, если есть на то возможность. Но, как это бывает, часть людей нужно было отпустить на волю, об этом рассказано в статье «Исповедь босса: как работать путешествуя, уволить половину отдела в LA и зачем спонсировать МексЭтноЭксп Тёмы Лебедева».
Нет, детей нет (если не считать некоторых клиентов?), хотя я встречал во Французской Полинезии множество семей на яхтах. Проблем путешествовать семьями с детьми я не вижу. Важно знать и понимать как. Я путешествую не часто, а постоянно, в особенности с 2017, когда уехал из Украины и отказался от идеи того, чтобы жить в одной локации или даже в неё возвращаться. Это накладывает ряд ограничений: вся жизнь должна помещаться в чемодан, а учитывая то, что я дайвер, иногда все же был рост до двух чемоданов.
В принципе о том, как работать путешествуя, я рассказал тут. Но там нет информации о маршрутах, последние годы — это просто последовательность, удобная в плане цены перелетов и локаций. К примеру, если из Европы летишь в Южную Америку, скажем Колумбию, есть смысл оттуда уже в США, ведь по США недорогие перелеты, вплоть до Гавайев (около 500 долларов из Колумбии, а было время, когда можно было из Киева до Гавайев за 500 слетать), а из Гавайев можно и в Австралию за 300 долларов долететь Джетстаром. Ну и дальше в сторону Азии, и наоборот. Конечно, постоянные переезды за 7 лет утомили, и пришло осознание того, что нужен катамаран, учитывая, что Starlink за 5 тысяч долларов в месяц работает и посреди океана, за исключением южного Тихого океана, то это уже почти реально. Но хостинг — дело не очень прибыльное, и просто взять и заплатить от 700 тысяч евро сразу (а есть неплохие варианты и за 2-3 миллиона), за какой-то более-менее вменяемый по размеру Fontain Pajot / Lagoon и т.п. — проблематично, особенно сейчас, когда полная нестабильность, и неизвестно каким нашим клиентам может понадобится помощь и поддержка. Так что пока путешествовать приходиться на самолетах, дайверских яхтах и круизных лайнерах.
Где больше всего понравилось? Сложный вопрос… Все зависит от того, что именно нравится, а мне нравится все и везде. Очень впечатлила Колумбия, возвращался туда много лет на несколько месяцев, и объехал всю на машине (есть все: горы, вулканы, реки, океаны, острова в Карибском море напротив Никарагуа и возле Картахены). Французская Полинезия — волшебная, после просмотра фильма Coral Reef Adventure, всегда хотел попасть и побывал там уже раз 5, понимаю, что на небольшое время можно возвращаться, но по настоящему исследовать — нужен катамаран, еще одна степень свободы. Гавайи тоже прекрасны, удалось подайвить даже у запрещенного острова, а так посетил все острова за 2 месяца, но дорого… Дороже чем на Гавайях, наверное, не было нигде. Нужно смело закладывать бюджет в 60-100 тысяч долларов на поездку в скромном варианте, если задаться целью прямо посмотреть все Гавайи. Ведь там уборка Airbnb стоит часто 250 долларов! Австралия — в первую поездку за чуть больше, чем месяц — 18 тысяч км на машине, если хотите выучить испанский за рулем — Вам туда? Но в целом волшебная страна. Много уникальных мест, о которых не рассказывают путеводители. Например Mataranka Hot Springs, погуглите. Проведя неделю на Барьерном рифе в удаленных областях (кстати, похож очень на Красное море, только сафари в 10 раз дороже, минимум на порядок) и 27 часов под водой, понял, что все заявления экологов — неправда, риф довольно живой и развивается.
Но жизнь вносит свои коррективы, заявления из Украины, что не будут перевыпускать паспорта за границей, заставили задуматься о втором гражданстве, по-видимому для этого придется провести какое-то время где-то, лет 5-6, и еще какую-то страну назвать домом, но даже в этом случае я не перестану путешествовать полностью, так как это позволяет переключиться, узнать что-то новое, повстречать новых людей и осознать, что в принципе везде люди примерно одинаковы. Так что нет такой страны, которая была бы идеальной для жизни, и в которой не было бы минусов. Если выбирать из всего для эмиграции, я бы выбрал либо Австралию, либо Португалию, так как из всей Европы в Португалии самый хороший климат. США не рассматривал бы в принципе, так как есть продукты, которые не портятся по 2 недели, а от этого толстеть не хочется. Хотя, возможно, года 2 можно было бы поездить по всем национальным паркам, разным штатам и городам — там это красиво и стоит того. Как-то так…
Стараюсь вписываться в 23 кг лимит, и ручная кладь 15 кг (обычно всегда больше, чем разрешено, почти везде прокатывает, кроме некоторых локаций), если дайверское снаряжение — 32 кг (больше грузчики не грузят, и нужно в карго), либо 2 чемодана по 23 кг. Хотя, один раз я в Вашингтоне купил дрон DJI S1000 в огромном pelican-case размером с кубометр, так как думал снимать фильмы. Мне удалось сдать ящик весом 45 кг и огромных размеров в багаж, правда, после того, как руководство безопасности аэропорта JFK пришло поговорить со мной, почему я такой больной на голову. Благо, дроны уменьшились, и больше нет надобности в таком багаже? Но иногда просто бывают проблемы. Подводные боксы, дроны, снаряжение для дайвинга — все это очень интересно службам безопасности.
Если есть возможность взять за адекватные деньги бизнес — я, конечно, беру бизнес, к примеру, из Египта перелет Шарм-Эль-Шейх-Стамбул-Богота стоит бизнесом 1800 евро в одну сторону, в то время как из Стамбула до Боготы, тот же рейс — 3000 евро? Разумеется, выгодно полететь каким нибудь Пегасусом в Египет, побыть там и улететь в Боготу в 2 раза дешевле и в бизнесе. И таких лайфхаков много. Нужно смотреть маршруты. А, еще есть же и мили, и апгрейды за них? По Европе бизнес не имеет большого смысла, так как европейские авиакомпании просто не занимают кресло по середине, вот и весь бизнес… А если нормальная авиакомпания — там все хорошо, и можно пробовать. Когда-то удавалось брать Avianca бизнесом перелеты летом по Колумбии на 3 евро дороже эконома, причем это был реальный бизнес. Просто продавали по хорошей цене летом для иностранцев. А потом резко испортились, и больше такого нет, даже карту не всегда для оплаты нормально принять могут сейчас.
Очень часто, если летишь один, можно подойти к стойке и получить апгрейд на бизнес бесплатно, можно сделать ставку и получить апгрейд по цене в 2 раза дешевле, а можно использовать мили. Все методы работают, и про них можно почитать в Интернете. Если же цена на бизнес неадекватно дорогая (в 5 и более раз дороже эконома), то мой бизнес заключается в бутылке вина на борту, после которой волшебно спишь даже в неудобном скорченном положении?..
Самые длинные перелеты экономом, это наверное Киев-Париж-Лос-Анджелес-Папеэте-Бора-Бора: 37 часов и масса пересадок? Но тогда вариантов не было, причем эконом в 2 стороны стоил 3300 евро, в то время, как Париж-Папеэте (также через Лос-Анджелес) — 1200 евро. Оказывается, бывают разные цены и на экономы. Потому вполне разумно было долететь до Парижа, остановиться там на время, а потом полететь уже оттуда. Но об этом я узнал только на третий раз, что они для французов специально снижают цены, чтобы люди могли себе позволить летать в свою Полинезию, а полинезийцы — во Францию. Сейчас появились лоукостеры через Лос-Анджелес и Сан-Франциско, ну, и в Киев самолеты, увы, больше не летают. В целом французская Полинезия стала доступнее для туристов, в том числе за счет появления Airbnb.
Что касается того, где останавливаюсь — hotels.com, если заказывать с европейского аккаунта, делает каждую десятую ночь бесплатной, помимо скидки, которая бывает больше, чем на booking.com, с 2017 года c моим темпом путешествий я получил 68 ночей, много это или мало — решать Вам? Ну, и Airbnb тоже использую. Иногда на agoda.com было выгодно взять отель по карте Visa Infinite, чтобы получить скидку практически сразу в те же 10%, а не в виде бесплатной ночи. А бывает так, что нигде не останавливаюсь и сплю в машине, так как отелей нет. Например, если едешь по Австралии, может быть все разбучено в некоторых городках, а до следующих — 500+ км.
Все будет развиваться, это несомненно, но цены будут расти, так как тотальный демпинг, который произошел и происходит — это не здорово. Хочется верить в то, что продажи будут не у тех, у кого дешевле, а у тех, у кого лучше. Считаю, что только так можно и нужно работать. Учитывая технологиии, насколько они стали совершеннее, некачественных услуг не должно быть.
Хотелось бы попросить коллег по цеху не экономить на спичках и работать в первую очередь для клиентов, которым важно качество. И чтобы каждый говорил: «а кто ищет дешево — не наш клиент, мы это понимаем и об этом не сожалеем». Услуга может быть недорогой, но она не должна стоить дешевле чашки кофе, иначе это уже перебор. Разумеется, хостинг может быть убыточным, и базовые тарифы на виртуальные серверы — тоже. У нормальных провайдеров они служат для новичков, чтобы дать им шанс вырасти в будущем. Тем не менее, за 15 лет многое изменилось, и говорить о том, что сейчас нет возможности взять нормальный VPS (который довольно мощный, как и базовый сервер), наверное, странно… Когда я очень хотел сделать что-то в начале пути меня не остановила цена даже в 80 долларов в месяц за виртуальный сервер, хотя моя стипендия составляла всего лишь 5-10 долларов. Важно делать проекты для людей, и тогда все получится. Ну, а кто будет работать исключительно ради денег — скорее всего потерпит неудачу, об этом я рассказал в своей статье «„ua‑hosting.company“ или как стать хостинг‑провайдером с нуля и сгенерировать трафика больше, чем вся Беларусь».
Что нас всех ждёт в будущем на рынке хостинг-услуг? Еще большая их виртуализация, больше функций, больше гибкости. В конце концов хостинг-провайдеры должны уметь обеспечивать идеальные рабочие среды для новых Интернет-проектов. Подешевеет и трафик. Думаю, с ростом трафика, а он растет с каждым годом, появится возможность предоставлять премиум-сеть по цене Cogent, и необходимость в разделении сетей у нас отпадет. Так что впереди только положительные моменты, скучно точно не будет, будет интересно. Главное, чтобы вебмастера, разработчики приложений и прочего придумывали новые проекты, а мы, хостинг-провайдеры, будем находить лучшие инфраструктурные решения для них и помогать их размещать в сети Интернет.
ua-hosting.company
Расскажите, когда появилась идея открыть площадку в США, и как происходил выбор локации.
Касательно появления площадки в США у нас есть довольно подробная статья на Хабре.
Мы предоставляли услуги в США с 2012 года, когда Ричард пригласил нас в US, чтобы мы продали там хоть что-то, в то время как активно росли в Нидерландах, ведь связность с бывшими странами СНГ региона лучше была именно из NL. Случайно мы наконец-то сделали идентичное нидерландскому кастомное решение, обеспечив клиентам полную свободу, и не где-либо, а фактически в Нью-Йорке, ведь Эдисон всего лишь в 20 минутах езды от Манхэттена.
Почему был выбран именно этот дата-центр? У него есть другие преимущества кроме удобного расположения?В настоящее время одним из важных преимуществ является цена на электроэнергию, так как в Нидерландах после событий февраля 2022 года тарифы начали стремиться в космос: в 2022 году мы стали оплачивать только за питание на каждые 10 стоек вместо 15 тысяч евро почти 20 тысяч евро (на 30%), в конце 2023 года их повысили еще на 70%, и теперь питание 10 стоек в Нидерландах обходится свыше 32 тысяч евро, что привело к себестоимости размещения 2-юнитового сервера в границы 150-170 евро только за электричество. Так что случайное открытие локации в США нас сейчас спасает очень. К слову, несмотря на больший пинг, многим работающим с 1С Нью-Йорк нравится больше, удаленный стол почему-то у них работает быстрее, как и приложения. Возможно, причина не столько в каналах, сколько в более новом железе, а быть может наши клиенты из Украины используют Starlink, тогда связность с США будет лучше, чем с Амстердамом.
Опять же в статье написано, этот дата-центр был в LeaseWeb не заполнен, в отличие от WDC-01 в Вашингтоне, им было выгоднее предложить его нам. Плюс нам это тоже подходило, так как связность с Европой из Нью-Йорка немного лучше и также хороша с Латинской Америкой.
Если расстояние настолько неважно, и большой пинг не играет роли, то почему была выбрана близость к Нью-Йорку? Просто маркетинг или есть какие-то преимущества? В условном Канзасе не будет дешевле или лучше?
Мы рассматриваем возможность привлечения клиентов также из финансового сектора, для них пинг и близость к биржам играет значение. Не исключаю, что где-то дешевле, но, на удивление, пока для нас дешевле в Нью-Йорке, как это ни странно. Тем не менее, у нас пока мало клиентов из финтеха, потому ориентировались не на них, а на то, где нужно продать ресурсы партнеру.
Тем не менее, хоть дата-центр находится в Нью-Джерси, Вы (и еще многие хостеры с локациями рядом с Нью-Йорком) «продаете» его за счет близости к Нью-Йорку? Имею в виду, что многие хостеры (например, Vultr) используют «бренд» Нью-Йорка, хотя дата-центр расположен в Нью-Джерси.
Потому что это фактически Нью-Йорк, до Манхэттена на авто 18 минут, если нет пробок, никто не знает, что такое Эдисон, но все знают, что такое Манхэттен. Если же говорить о городах-спутниках рядом с Нью-Йорком, то Вы уверены, что биржи размещаются не там?? Кто-то размещается и там.
Много ли времени ли занял процесс от начала переговоров о сотрудничестве до установки оборудования?
Мы начали общаться 2-го июня, 23-го подписали контракт на 3 года (± в эти даты), а 2-го июля, неожиданно для меня, мы были уже в Нью-Йорке и ждали оборудование, которое приехало не так быстро, как ожидалось, и не всегда работало (3 свитча, которые прислали из Калифорнии, просто не включились, все 3, никогда такого не видел), замену экстренно купили благодаря знакомому турку, к моменту отлета (12-го июля нам было нужно лететь уже в Калифорнию, затем на Гавайи и в Австралию, что исключало возможность возврата в Нью-Йорк в ближайшие месяцы) нам даже удалось установить 5 или 6 серверов.
Но не все проходило так гладко: LeaseWeb попросил время, чтобы протянуть витую пару между основной стойкой с Fortigate и новыми, и процесс подключения новых стоек витой парой и оптикой занял почти месяц… Надо было решить на уровне бюрократии даже после того как сказали, что «можно».
А затем возникла техническая проблема, что кабели не очень-то можно уложить в cable runner, и вопрос решался какое-то время. Но нам не горело, так что могли ждать этот месяц. В принципе, была и резервная схема, чтоб включить KVM-сеть и по оптике, на случай, если что-то пойдет не так.
Есть ли какие-то отличия в дата-центре в США по сравнению с Европой? Например, больший уровень безопасности, ленивый персонал или бюрократия?
В сравнении с Европой для нас есть огромное отличие, там нет наших надежных технических партнеров — Мурата и Эрсина, которые вдвоем заменяют команду из 20 среднестатистических инженеров, они сумели переместить все наши серверы в Нидерландах из одного ЦОДа в другой в течение нескольких недель, при этом не убив данные клиентам. Никто не пострадал, все переехали, причем было организовано темное волокно между дата-центрами, что свело даунтайм к минимуму. IP адреса можно было одновременно использовать как в стойках нового ЦОДа, так и старого. Это наша особенность, за которую нас очень благодарят клиенты. Где бы ни находился ваш сервер, если он упадет, IP адрес может быть поднят с любого другого сервера у нас в пределах одного дата-центра.
Что касается Нью-Йорка, то даже у такой большой компании как LeaseWeb нет своего постоянного инженера в дата-центре, все пользуются удаленными руками, часто это контракторы, которых Мурат называет ласково «hands without brain», почему это так — описано в статье на Хабре. Бюрократия ужасная, она убила нам возможность сотрудничать с LeaseWeb в Нидерландах, но тут в США более отзывчивые люди — Richard (сейчас он уже CEO LeaseWeb US), Andrew и Peter (2 лучших их менеджера и технических специалиста) постоянно с нами на связи в скайпе (да, да, олдскульные люди типа нас до сих пор используют почему-то скайп для подобного общения), и проблемы решаются. Мы — не очень крупный клиент, всего лишь 4 стойки сейчас, но ребята нас знают с 2012 года, пусть мы и не очень успешно росли ранее, но сейчас, благодаря тому, что они лучше и мы лучше, у нас всех есть шанс, они это понимают и рады помочь, как и мы им.
Да что говорить, на весь Iron Mountain (эта компания обслуживает ЦОД в Нью-Йорке) не факт, что есть дежурный инженер, скорее всего большая часть — контракторы и также приезжают в ЦОД только в случае необходимости, так как недоступность сервера или даже системы, которая задублирована, порой многократно, не является критичным событием для дата-центра. С одной стороны такой подход здравый, и учит тому, что случись что — надейся в первую очередь на свои резервные ресурсы, а не на людей. С другой — заставляет прямо все дублировать до мелочей, что увеличивает стоимость услуг, однако, учитывая размер оплаты труда, это все равно получается дешевле.
А еще 3 часах от Нью-Йорка у нас живет наш вменяемый коллега — Алексей, который однажды приехал поработать 12 часов, о чем написано в статье про запуск площадки в Нью-Йорке.
Были ли какие-то серьезные инциденты в новом ДЦ?
Не слышал о таковых.
Как думаете, почему в США в плане клиентоориентированности хуже, чем в Европе?
Я бы не сказал, что хуже. LeaseWeb NL получал от нас в лучшие месяцы нашего сотрудничества свыше 110 тысяч евро ежемесячных оплат, и до этого момента они были довольно клиентоориентированными, мы и они росли за счет того, что можно было найти решение быстро, но и клиенты не были еще такими требовательными, со временем тренды и задачи начали меняться, я знал куда они идут. Четыре года я говорил, что будет плохо, если не предпринять то-то, мы не можем так работать, потому что клиенты не могут ждать по 2 года решений, которые должны быть уже сейчас… В итоге результат? Мы начали закупать серверы и ставить их в другом дата-центре, хотя это было адски дорого, и нам куда проще и меньше головной боли был долгосрочный лизинг с LeaseWeb NL, которые кстати, не факт, что покупали серверы, а скорее всего брали в долгосрочную аренду у таких поставщиков, как Dell, чтобы не попадать на VAT, аренда была выгоднее в плане налогов для всех… Но не сложилось. Лизинга в новом ЦОДе не было (там был лимит до миллиона евро, что довольно немного, и распространялось не только на нас, но и на всех клиентов ЦОДа), и мы покупали и имели головную боль с железом. Клиентоориентированными были Мурат и Эрсин, потому, что они делали свою работу на совесть. Потому мы и росли.
В США в LeaseWeb US были клиентоориентированными всегда. Но у них была другая проблема — низкая квалификация инженеров, и порой косячили часто, проекту с визами у нас регулярно отключали раз в пол года Cisco ASA и не знали как её поднять, могли бы записать инструкцию и запомнить… Но нет, всем было пофигу. Все потому, что как не клиентоориентируйся, а найти надежных людей с мозгами довольно сложно. В этом проблема Штатов. Большинство людей делают свою работу исключительно из-за денег, капитализм, в то время как по настоящему преданных делу людей довольно мало. Нечестные методы конкуренции приводят к тому, что люди бегают из одной компании в другую, что не всегда положительно сказывается на качестве, да и общем развитии. В общем, довольно сложный вопрос.
Важно просто понимать, что везде есть «эти люди» (как ласково называл идиотов мой инструктор по техническому дайвингу), и стараться себя ограничить от их влияния, насколько это возможно. А клиентоориентированность можно найти везде: и в Европе, и в США.
В LeaseWeb NL опять вернулась из Сингапура волшебная Юлия Гортинская, настоящий профи своего дела, возможно она наладит там дела, не знаю, а быть может в будущем мы начнем и colo делать у них, кто знает. Пока очень непонятно, что будет с Нидерландами, ввиду того, что цены на электричество просто неадекватные.
Кроме Нидерландов рассматриваете еще какие-то европейские страны?
Мы и Нидерланды сейчас уже не рассматриваем, электричество в Европе дорогое. Если в Украине закончатся боевые действия, будут недорогие мощности с Запорожской АЭС, как это было до 2022 года (в то время хотели строить самый большой в Европе дата-центр), и если будет принят закон, легализующий контент для взрослых, а также будут предоставлены гарантии для бизнеса — мы готовы будем вернуться с размещением серверов. В Нидерландах «зеленые» творят дичь, новые энергоресурсы не выделяются в дата-центры в Амстердаме. На этом фоне размещение в Украине могло бы стать одним из лучших решений для клиентов из европейского региона. И для клиентов из РФ, кстати, тоже.
Сейчас мы даже больше рассматриваем Нью-Йорк, чтобы сместить акцент с европейских клиентов на клиентов из Латинской Америки.
Какие планы по расширению в этой локации? В дата-центре достаточно свободных стоек?
Ну, до 10-20 стоек, думаю, там будет возможно дорасти (а может и больше, если будет дополнительный зал, мы же не знаем планов LeaseWeb), это — не самоцель. План быть более отказоустойчивым, и, в перспективе, разместиться еще в Майами, в Калифорнии и в каких-то штатах посередине. Можно сделать более отказоустойчивый географически распределенный кластер.
У вас сейчас 4 стойки. Что в них? Расскажите подробнее про оборудование.
Серверы, свитчи, устройства управления и распределения питания? Еще есть небольшие шкафы для хранения по 4 юнита, так как иногда стойка потребляет слишком много питания, и серверы уже нет возможности размещать.
Ядро сети состоит из двух роутеров QFX, в каждый заведена оптика из двух независимых маршрутизаторов LeaseWeb, пока что это 2х10 Гбит/с, что более чем достаточно для 1000-2000 серверов. В Нидерландах у нас статистика такая по использованию премиум-сети: на каждые 100 серверов в среднем потребляется 2 Гбит/с полосы. Те, кто потребляет очень много трафика, и всякие онлайн стриминг-проекты — у нас на отдельном включении Cogent, там 30 серверов генерирует порядка 150 Гбит/с. В США, если будет спрос на трафик мы, возможно, сделаем подобное решение, а может и нет, если LeaseWeb согласится нам продать коннективность по той же цене, как если брать в Cogent. Из ядра нашей сети идет распределение по стоечным свитчам, ну и каждый из серверов получает минимум гигабит коннективности.
Шаред у нас живет в нашем облаке, которое сейчас очень модифицировано, так как хостинг — это базовый продукт, с которого клиенты быстро растут до собственных виртуальных и выделенных серверов. Благодаря появлению 15TB NVMe и даже 30TB накопителей плотность хранения данных стала еще выше, и мы сделали облако в Нью-Йорке на нодах с 2x Xeon Gold 6154 3.0GHz 18-Core и 768GB RAM и платформах Dell R740xd. Так как ноды довольно производительны, пока нам хватает 2 сервера для всех наших виртуальных облачных серверов, включая shared-хостинг, ведь в каждый мы ставим 2х15TB NVMe (больше не имеет смысла, так как быстрее утилизируется RAM и процессор, иначе можно было бы нарастить хранилище до 18 накопителей такого типа без проблем).
Помимо этого есть виртуальные серверы с выделенными накопителями, они живут на платформах: Dell R730xd 2x E5-2696v4 2.2GHz 22-Core / 256GB DDR4 / 24х 960GB SSD.
Таких нод у нас много, больше 10, так как услуга пользуется популярностью, ведь всего лишь за 19 долларов в месяц можно получить: VPS (KVM) — E5-2696v4 (6 Core) / 10 GB DDR4 / 960GB SSD / 1 Gbps 10 TB.
Есть точно такие же ноды, но с 3.84TB SSD, тогда мы выделяем виртуалки с 3.84TB SSD по цене от 29 долларов в месяц.
Все наши ноды объединены в 10 Гбит/с локальную сеть по оптике, за счет чего мы можем мигрировать клиентов с одной услуги и ноды на другую на лету, практически без даунайтма и за минимальное время.
Есть проекты клиентов, обработки виз, анализа big data, некоторые из клиентов используют серверы с видеокартами: 2x Xeon E5-2696v4 2.20 GHz 22-Core / 256GB DDR4 / 4x 960GB SSD / 2х Dell Nvidia Tesla P100 16GB PCIe HBM2 GPU Graphics Accelerator Card / SATA DOM 64GB / 10Gbps LAN / 1Gbps 100TB.
Очень скоро, мы предложим еще больше новых конфигураций в Нью-Йорке, так, например, мы начали предлагать Dell R630 — 2x Intel Xeon E5-2683v4 2.1GHz 16-Core / 64 GB DDR4 / 2х 960GB SSD / 1 Gbps 100TB — всего лишь от 149 долларов, что более, чем в 2 раза дешевле, чем в среднем по США стоит подобная конфигурация в дата-центре такого класса. А очень скоро мы сможем предложить решения с 1.92TB SSD ненамного дороже, возможно даже увеличим количество накопителей для базовой цены.
В общем, наша цель — обеспечить лучшую цену для наших клиентов и при этом сохранить максимальное качество, с чем мы успешно более 15 лет справляемся.
С технической точки зрения дата-центр в США лучше Нидерландов? Например, более хорошие дизель-генераторы или что-то еще. Условия по трафику и провайдерам отличаются от Европы? Сколько там провайдеров, какой объем каналов? Что с резервированием?
Без понятия, какие там генераторы, если честно. Генераторы в нормальных дата-центрах, где поставщики электроэнергии дублированы и зарезервированы, мало нужны. Это в Нидерландах такая проблема, там монополия на электричество, потому они спасали, когда были отключения. Но в Нью-Йорке генераторов достаточно, не думаю, что это что-то особенное. Все везде по стандарту. В Нидерландах лучше DDoS-защита на уровне NTT транзитного провайдера.
Оснащение дата-центров примерно одинаковое, есть стандарты, мы размещаемся в ЦОДах Tier III+. Условия по трафику везде идентичны, все транзитные провайдеры присутствуют на площадке — GTT, Telia, Cogent. В Нью-Йорке, правда, NTT нет, так как они являются конкурентами GTT. Сеть пока мы взяли от LeaseWeb, чтобы был микс провайдеров, они хорошо с этим справляются и оптимально распределяют трафик, если только не забывают подключить анонс правильно во все сети, чтобы все аплинки работали? Если появится надобность отдельно дешевого Cogent, и если LeaseWeb не сможет предложить аналогичную цену, будем ставить дополнительный маршрутизатор/роутер для этой сети.
Какой запас оборудования держите на расширение? Как часто завозите новое?
У нас всегда в стойках есть серверы, доступные к выдаче, недавно в Нидерландах было свыше 20 платформ (фактически стойка) Dell R730xd, осталось 2 сервера, продались за 2 месяца, хотя мы рекламы особо не даем, и отказов было много: бизнесы терпят убытки из-за конфликта на Украине. К примеру, клиент, который арендовал серверы под торговые центры, уменьшил их количество, так как ТЦ в Мариуполе и еще где-то на юге Украины у него не стало.
Новые серверы могут быть доставлены в течение 5 рабочих дней в Нью-Йорке. Если что-то специфическое — до 14 рабочих дней и более. В Нидерландах сроки поставок также могут различаться, был период, когда Samsung поставлял SSD в Нидерланды со сроком поставки 59 дней и имел наглость собирать предзаказы. И брали. Ибо альтернатив не было.
Сколько сейчас клиентов в США? Много ли переехало из Нидерландов?
Сложно сказать, это разные клиенты, некоторые используют серверы и в Нидерландах, и в США, некоторые виртуальные серверы или даже хостинг. Некоторые только в США. Мы никого насильно не переводим, хотя нам было бы выгоднее, если бы клиенты арендовали серверы в Нью-Йорке. Стараемся расти в новом месте, не прибегая к тому, чтобы переносить клиентов. Ведь это им будет создавать головную боль… Переносить можно только тогда, когда для клиента это неоспоримые преимущества. А какая разница в случае виртуального сервера? Ну, больше у клиента будет SSD, вместо 480GB, 960GB за те же деньги, но не всем это важно. А для кого-то просто плата за сервер не важна, ведь это 7% его инфраструктурных затрат. Им все равно, сколько платить, и они ни в коем случае не переедут из-за цены. У нас была проблема со старыми серверами в Нидерландах: кто-то арендовал их с 2012 года и не хотел расставаться со старым железом даже после того, как из-за низкой энергоэффективности цена на сервер возросла в 2 раза. Что говорить, у нас до сих пор есть клиент в Нидерландах в LeaseWeb, который все еще платит 100 долларов в месяц за сервер Intel Dual-Core G850 2.9 GHz / 4GB DDR2 / 2x250GB SATA2, и да, это не SSD?..
Он просто не знает, как переехать, и не может… Даже с помощью администраторов. Ну, кто эти люди?? VPS за 19 долларов, которая предлагается сейчас, мощнее его сервера. Но он предпочитает платить больше.
Всего у нас не очень много клиентов — в районе 1000. Но это очень разные клиенты, кто-то арендует хостинг, а кто-то 30+ выделенных серверов. В США, наверное, из этой 1000 пользуется услугами 100+ человек, сложно сказать точно сколько и кто, так как надо делать анализ по всем продуктам и услугам, а это можно застрелиться, учитывая возможности WHCMS.
Вот, уже даже не 1000, раньше колебалось около 980-990 значение. Особенность WHMCS еще в том, что оно делает часто активных клиентов неактивными, по каким-то непонятным причинам. Так что мы наверняка и не знаем, сколько клиентов.
Что с DDoS-атаками? Как ДЦ реагирует?
ЦОД никак не реагирует на DDoS-атаки, ЦОД предоставляет помещение и электричество. За сеть у нас отвечают Мурат и Эрсин, в Нидерландах они могут отфильтровать до 1 Тбит/с, но и стоимость фильтрации 20-30 евро за минуту, причем не важно какой интенсивности будет атака. Кажется, дорого, но на самом деле — нет. Большинство атакующих после того, как видят, что положить не удалось — сдаются. Так что не нужно считать, что защита стоит 30x24x60 = 43 200 евро в день. Защита тарифицируется только в момент атаки. За пару часов сдаются, ну, заплатите 3600 евро, это недорого. Зато нет никаких проблем?..
В Нью-Йорке такую защиту пока не реализовали, так как нет оператора NTT, это их технология, а только консультация по внедрению этой технологии на другом аплинке будет стоить свыше 150 тысяч евро. Поэтому в Нью-Йорке пока старая схема, слишком мощная атака — null-route, чтобы не мешать другим клиентам.
Атаки часто бывают?
Вообще нет, а кому атаковать и зачем?
Нет ни одного клиента в США, на кого свалилась бы атака?
Бывают небольшие, раз в несколько месяцев, но я несколько гигабит не считаю атакой? Плюс клиенты, подвергающиеся атакам, могут включать внешнюю защиту от Cloudflare, например, это тоже помогает и работает. В Нидерландах бывало часто, но в них были виноваты сами клиенты, так как их сервер взламывали, рассылали спам, а затем те, кто не любит спам — атаковали в отместку? Как правило DDoS-атак не бывает. Этот метод уже устарел и не является эффективным.
А в Нидерландах счет за атаку вы выставляете клиенту или это ваши расходы?
Если клиент не хочет, чтоб ему фильтровали, мы просто нуллроутим его IP, большинство клиентов жадные — не хотят платить, полежат часок, потом их уже и не атакуют. Но для кого-то дешевле 3600 евро заплатить, чем час лежать, вопрос цены. Я бы из принципа не экономил.
Какая маржа в среднем на ваши услуги? Что выгоднее всего продавать?
У нас примерно одинаковая маржа по всем продуктам, период окупаемости 3.4-5.6 лет. С учетом роста стоимости электричества в Нидерландах этот период упал по некоторым продуктам до 10+ лет… Если мы 10+ лет не будем обновлять серверы — ничего хорошего с этого не будет. И тут речь не только о том, чтоб заменить оборудование на новое, надо же как-то и развиваться. Именно потому мы сейчас это положение будем исправлять ростом в США, где, к счастью, электричество гораздо дешевле, и подорожало только на 10% за всё время.
Насчет того, что выгоднее всего продавать. Выгоднее всего продавать счастье клиентам, мы делаем наших клиентов счастливыми, так как предлагаем то, что им нужно, даже если они не знают, что им нужно. В этом наша миссия.
Где берете клиентов?
Мы их не берем, они нас сами находят. Когда-то я активно лично общался на форумах, просто консультировал людей, затем мы завели блог на Хабре. Когда Хабр был торт, то в 2013 году, я мог через Хабр продать свыше 10 выделенных серверов за день. Сейчас такого там нет и не будет. Так что об этом можно забыть, если кто-то хочет так продвигать свои услуги. Только консультации на форумах, можно англоязычных, испаноязычных. Хотя последних очень мало в сети, как ни удивительно, хотя на испанском говорит почти миллиард человек.
В планах сейчас не тратить время на глупости, а сделать собственные некоммерческие проекты, посвященные популяризации науки, дайвингу и туризму. Возможно, с этой аудитории мы найдем и клиентов. Ведь SIA UA-Hosting будет выступать спонсором. Но у нас нет в планах дорасти до 100 000 клиентов, ведь это ничего не меняет, возможно мы сможем делать еще лучше решения, если клиентов будет больше, но нужно понимать задачи, для чего. Ведь наша основная миссия — индивидуальный подход, порой я лично консультирую по телефону новичка в хостинге за 1 доллар в месяц, а если мы станем Амазоном — это будет не то. Много головной боли и мало результата?..
Сколько человек у вас в команде?
Сложный вопрос, на который сложно ответить. Если учитывать администраторов из Винницы — больше десятка, сколько точно мне неизвестно, так как администраторами ведает Мирослав (управляющий техническим отделом), и кого там пускают в тикетницу — не моя головная боль, а еще часть ребят забрали в армию ;( Это новые реалии, в которых приходится администраторам жить и администрировать серверы порой без электричества и с доступом через Starlink. Сказать, что качество не пострадало — нельзя, ведь не всегда человек может адекватно мыслить когда рядом с ним прилетает. Если же не учитывать тех. отдел, то четверо, включая меня. В 2017 году нас было очень много, только в Лос-Анджелес мы прилетели командой из 8 человек на конференцию, последний HostingCon, когда стали спонсором. Ведь у нас был принцип, что не важно сколько стоит поездка, а поехать должны все, если есть на то возможность. Но, как это бывает, часть людей нужно было отпустить на волю, об этом рассказано в статье «Исповедь босса: как работать путешествуя, уволить половину отдела в LA и зачем спонсировать МексЭтноЭксп Тёмы Лебедева».
Расскажите немного о себе. У Вас есть семья, дети? Вы часто путешествуете. Где уже были, куда собираетесь? Где больше всего понравилось?
Нет, детей нет (если не считать некоторых клиентов?), хотя я встречал во Французской Полинезии множество семей на яхтах. Проблем путешествовать семьями с детьми я не вижу. Важно знать и понимать как. Я путешествую не часто, а постоянно, в особенности с 2017, когда уехал из Украины и отказался от идеи того, чтобы жить в одной локации или даже в неё возвращаться. Это накладывает ряд ограничений: вся жизнь должна помещаться в чемодан, а учитывая то, что я дайвер, иногда все же был рост до двух чемоданов.
В принципе о том, как работать путешествуя, я рассказал тут. Но там нет информации о маршрутах, последние годы — это просто последовательность, удобная в плане цены перелетов и локаций. К примеру, если из Европы летишь в Южную Америку, скажем Колумбию, есть смысл оттуда уже в США, ведь по США недорогие перелеты, вплоть до Гавайев (около 500 долларов из Колумбии, а было время, когда можно было из Киева до Гавайев за 500 слетать), а из Гавайев можно и в Австралию за 300 долларов долететь Джетстаром. Ну и дальше в сторону Азии, и наоборот. Конечно, постоянные переезды за 7 лет утомили, и пришло осознание того, что нужен катамаран, учитывая, что Starlink за 5 тысяч долларов в месяц работает и посреди океана, за исключением южного Тихого океана, то это уже почти реально. Но хостинг — дело не очень прибыльное, и просто взять и заплатить от 700 тысяч евро сразу (а есть неплохие варианты и за 2-3 миллиона), за какой-то более-менее вменяемый по размеру Fontain Pajot / Lagoon и т.п. — проблематично, особенно сейчас, когда полная нестабильность, и неизвестно каким нашим клиентам может понадобится помощь и поддержка. Так что пока путешествовать приходиться на самолетах, дайверских яхтах и круизных лайнерах.
Где больше всего понравилось? Сложный вопрос… Все зависит от того, что именно нравится, а мне нравится все и везде. Очень впечатлила Колумбия, возвращался туда много лет на несколько месяцев, и объехал всю на машине (есть все: горы, вулканы, реки, океаны, острова в Карибском море напротив Никарагуа и возле Картахены). Французская Полинезия — волшебная, после просмотра фильма Coral Reef Adventure, всегда хотел попасть и побывал там уже раз 5, понимаю, что на небольшое время можно возвращаться, но по настоящему исследовать — нужен катамаран, еще одна степень свободы. Гавайи тоже прекрасны, удалось подайвить даже у запрещенного острова, а так посетил все острова за 2 месяца, но дорого… Дороже чем на Гавайях, наверное, не было нигде. Нужно смело закладывать бюджет в 60-100 тысяч долларов на поездку в скромном варианте, если задаться целью прямо посмотреть все Гавайи. Ведь там уборка Airbnb стоит часто 250 долларов! Австралия — в первую поездку за чуть больше, чем месяц — 18 тысяч км на машине, если хотите выучить испанский за рулем — Вам туда? Но в целом волшебная страна. Много уникальных мест, о которых не рассказывают путеводители. Например Mataranka Hot Springs, погуглите. Проведя неделю на Барьерном рифе в удаленных областях (кстати, похож очень на Красное море, только сафари в 10 раз дороже, минимум на порядок) и 27 часов под водой, понял, что все заявления экологов — неправда, риф довольно живой и развивается.
Но жизнь вносит свои коррективы, заявления из Украины, что не будут перевыпускать паспорта за границей, заставили задуматься о втором гражданстве, по-видимому для этого придется провести какое-то время где-то, лет 5-6, и еще какую-то страну назвать домом, но даже в этом случае я не перестану путешествовать полностью, так как это позволяет переключиться, узнать что-то новое, повстречать новых людей и осознать, что в принципе везде люди примерно одинаковы. Так что нет такой страны, которая была бы идеальной для жизни, и в которой не было бы минусов. Если выбирать из всего для эмиграции, я бы выбрал либо Австралию, либо Португалию, так как из всей Европы в Португалии самый хороший климат. США не рассматривал бы в принципе, так как есть продукты, которые не портятся по 2 недели, а от этого толстеть не хочется. Хотя, возможно, года 2 можно было бы поездить по всем национальным паркам, разным штатам и городам — там это красиво и стоит того. Как-то так…
Как вы путешествуете? Налегке или много вещей? Летаете бизнесом или экономите? Где останавливаетесь?
Стараюсь вписываться в 23 кг лимит, и ручная кладь 15 кг (обычно всегда больше, чем разрешено, почти везде прокатывает, кроме некоторых локаций), если дайверское снаряжение — 32 кг (больше грузчики не грузят, и нужно в карго), либо 2 чемодана по 23 кг. Хотя, один раз я в Вашингтоне купил дрон DJI S1000 в огромном pelican-case размером с кубометр, так как думал снимать фильмы. Мне удалось сдать ящик весом 45 кг и огромных размеров в багаж, правда, после того, как руководство безопасности аэропорта JFK пришло поговорить со мной, почему я такой больной на голову. Благо, дроны уменьшились, и больше нет надобности в таком багаже? Но иногда просто бывают проблемы. Подводные боксы, дроны, снаряжение для дайвинга — все это очень интересно службам безопасности.
Если есть возможность взять за адекватные деньги бизнес — я, конечно, беру бизнес, к примеру, из Египта перелет Шарм-Эль-Шейх-Стамбул-Богота стоит бизнесом 1800 евро в одну сторону, в то время как из Стамбула до Боготы, тот же рейс — 3000 евро? Разумеется, выгодно полететь каким нибудь Пегасусом в Египет, побыть там и улететь в Боготу в 2 раза дешевле и в бизнесе. И таких лайфхаков много. Нужно смотреть маршруты. А, еще есть же и мили, и апгрейды за них? По Европе бизнес не имеет большого смысла, так как европейские авиакомпании просто не занимают кресло по середине, вот и весь бизнес… А если нормальная авиакомпания — там все хорошо, и можно пробовать. Когда-то удавалось брать Avianca бизнесом перелеты летом по Колумбии на 3 евро дороже эконома, причем это был реальный бизнес. Просто продавали по хорошей цене летом для иностранцев. А потом резко испортились, и больше такого нет, даже карту не всегда для оплаты нормально принять могут сейчас.
Очень часто, если летишь один, можно подойти к стойке и получить апгрейд на бизнес бесплатно, можно сделать ставку и получить апгрейд по цене в 2 раза дешевле, а можно использовать мили. Все методы работают, и про них можно почитать в Интернете. Если же цена на бизнес неадекватно дорогая (в 5 и более раз дороже эконома), то мой бизнес заключается в бутылке вина на борту, после которой волшебно спишь даже в неудобном скорченном положении?..
Самые длинные перелеты экономом, это наверное Киев-Париж-Лос-Анджелес-Папеэте-Бора-Бора: 37 часов и масса пересадок? Но тогда вариантов не было, причем эконом в 2 стороны стоил 3300 евро, в то время, как Париж-Папеэте (также через Лос-Анджелес) — 1200 евро. Оказывается, бывают разные цены и на экономы. Потому вполне разумно было долететь до Парижа, остановиться там на время, а потом полететь уже оттуда. Но об этом я узнал только на третий раз, что они для французов специально снижают цены, чтобы люди могли себе позволить летать в свою Полинезию, а полинезийцы — во Францию. Сейчас появились лоукостеры через Лос-Анджелес и Сан-Франциско, ну, и в Киев самолеты, увы, больше не летают. В целом французская Полинезия стала доступнее для туристов, в том числе за счет появления Airbnb.
Что касается того, где останавливаюсь — hotels.com, если заказывать с европейского аккаунта, делает каждую десятую ночь бесплатной, помимо скидки, которая бывает больше, чем на booking.com, с 2017 года c моим темпом путешествий я получил 68 ночей, много это или мало — решать Вам? Ну, и Airbnb тоже использую. Иногда на agoda.com было выгодно взять отель по карте Visa Infinite, чтобы получить скидку практически сразу в те же 10%, а не в виде бесплатной ночи. А бывает так, что нигде не останавливаюсь и сплю в машине, так как отелей нет. Например, если едешь по Австралии, может быть все разбучено в некоторых городках, а до следующих — 500+ км.
Что думаете про рынок хостинга в будущем?
Все будет развиваться, это несомненно, но цены будут расти, так как тотальный демпинг, который произошел и происходит — это не здорово. Хочется верить в то, что продажи будут не у тех, у кого дешевле, а у тех, у кого лучше. Считаю, что только так можно и нужно работать. Учитывая технологиии, насколько они стали совершеннее, некачественных услуг не должно быть.
Хотелось бы попросить коллег по цеху не экономить на спичках и работать в первую очередь для клиентов, которым важно качество. И чтобы каждый говорил: «а кто ищет дешево — не наш клиент, мы это понимаем и об этом не сожалеем». Услуга может быть недорогой, но она не должна стоить дешевле чашки кофе, иначе это уже перебор. Разумеется, хостинг может быть убыточным, и базовые тарифы на виртуальные серверы — тоже. У нормальных провайдеров они служат для новичков, чтобы дать им шанс вырасти в будущем. Тем не менее, за 15 лет многое изменилось, и говорить о том, что сейчас нет возможности взять нормальный VPS (который довольно мощный, как и базовый сервер), наверное, странно… Когда я очень хотел сделать что-то в начале пути меня не остановила цена даже в 80 долларов в месяц за виртуальный сервер, хотя моя стипендия составляла всего лишь 5-10 долларов. Важно делать проекты для людей, и тогда все получится. Ну, а кто будет работать исключительно ради денег — скорее всего потерпит неудачу, об этом я рассказал в своей статье «„ua‑hosting.company“ или как стать хостинг‑провайдером с нуля и сгенерировать трафика больше, чем вся Беларусь».
Что нас всех ждёт в будущем на рынке хостинг-услуг? Еще большая их виртуализация, больше функций, больше гибкости. В конце концов хостинг-провайдеры должны уметь обеспечивать идеальные рабочие среды для новых Интернет-проектов. Подешевеет и трафик. Думаю, с ростом трафика, а он растет с каждым годом, появится возможность предоставлять премиум-сеть по цене Cogent, и необходимость в разделении сетей у нас отпадет. Так что впереди только положительные моменты, скучно точно не будет, будет интересно. Главное, чтобы вебмастера, разработчики приложений и прочего придумывали новые проекты, а мы, хостинг-провайдеры, будем находить лучшие инфраструктурные решения для них и помогать их размещать в сети Интернет.
ua-hosting.company
0 комментариев
Вставка изображения
Оставить комментарий