Дата-центр в Нью-Йорке: как мы случайно начали предоставлять серверы и решения, как в NL и расти в США
Долгое время нашей основной локацией оставались Нидерланды, где мы обеспечивали максимальную гибкость, а последний переезд в Maincubes, позволил не только успешно расти за счёт крутого уровня сервиса и многообразия опций к виртуальным и выделенным серверам, но и задуматься о реализации подобного проекта в США, где с 2013 года не было такого уровня гибкости. Несколько лет я просил нашего бизнес-партнера и друга, Мурата Байхана, построить подобный нидерландскому проект в США, где он и мы могли бы разворачивать инфраструктуры для клиентов без ограничений, так как я уже привык к тому, что Мурат предоставляет ЦОД, сеть и стойки, а мы делаем всё остальное. Но у него увы просто не доходили руки… В 2022 пришло осознание того, что время пришло, особенно, когда ресурсы в Нидерландах стали стремительно дорожать, но как осуществить такой «переход» — я не совсем понимал. Мурат по-прежнему был не готов распылять усилия на два континента, а я был занят тем, что жил и продолжал активно путешествовать, о чём я рассказывал в своей «исповеди», где поделился секретами о том, как путешествовать и работать.
Вот и тогда, в начале июня 2022-го, я знал лишь то, что чётких планов нет, скорее всего нужно лететь в США и что-то строить, причем поспешно, так как 18-го августа 2022 мы должны были принять участие в уникальной экспедиции в удалённую часть Кораллового моря и Большого Барьерного рифа в Австралии, которая, говоря наперёд, прошла потрясающе www.youtube.com/watch?v=MfiWjEUEi3g
И 27 часов проведенных под водой в течении 6 дней, а также 18 000 км, которые мы объехали «вокруг» Австралии в течении 6 недель, позволили собрать уникальные материалы для одного из наших некоммерческих проектов, который будет анонсирован в следующем году.
Но вернемся к серверам, на базе которых мы все же разрабатываем и собственные проекты. В начале нужно было определиться с дата-центром, закупкой оборудования, доставкой, датами установки, а также настройкой этого всего «зоопарка». Мурат сообщил мне, что он не против полететь и построить площадку только для нас, так как для своих клиентов он пока не готов, да и у него почти нет на это времени, и вообще, скоро Курбан-байрам и ему надо «sacrifice» и быть с семьей в это время и летом сложно с планированием, а удалённые руки нам не подходят, так как ему проще сделать самому какую-то задачу за 20 минут, чем 4 часа объяснять как делать, да и вообще так не сделают, а потом лететь и переделывать — ещё больше головной боли.
Обладая опытом в понимании того, какой дата-центр будет лучше под наши задачи, Мурат стал подискивать варианты, а я, в свою очередь, помня о наших американских партнёрах — LeaseWeb US, пообещав уже теперешнему их CEO — Ричарду, что когда время придёт, буду рассматривать сотрудничество с ними в первую очередь, решил ему написать. Ведь мы сотрудничали уже почти 10 лет и довольно успешно.
Проведя анализ возможных вариантов Мурат сообщил, что наилучшим вариантом будет Equinix, расположенный под Вашингтоном. Мне сразу вспомнился 7-летний контракт с дата-центром Switch, который впоследствии был выкуплен Equinix, и то, как Мурат сокрушался, что Equinix — бюрокарты и у них 3 недели занимает согласование подключения тёмного волокна между ЦОДами, которое необходимо было нам для переноса. И вообще то, как они попросили разорвать контракт досрочно, так как новых стоек дать не могут, а на текущие у них были свои планы, ведь именно потому мы переехали в Maincubes. Ну, а что с ценой? Цена не была настолько волшебной, чтоб наступать на те же грабли. Потому, я всё же запросил квоту у Ричарда и сказал, что я смогу убедить Мурата подумать о них, если они смогут предложить что-то интересное. Ибо решение принимает всё же Мурат, так как ему эту инфраструктуру технически обслуживать и я, как заказчик, прислушиваюсь к его мнению в первую очередь.
Richard Copeland, которого я знал более 10 лет, дорос до позиции CEO в LeaseWeb US и несомненно имел вес в компании. Мы с ним несколько раз обсуждали перспективу нашего роста в США на примере нашей работы с LeaseWeb NL, где бюрократия сделала дальнейшее сотрудничество невозможным. И он был в курсе наших потребностей, в отличии от отдела продаж LeaseWeb NL, где менеджеры долгое время не верили мне, что мы все-таки уйдём в другой дата-центр, так как это было очень дорого и гемморно и невыгодно для нас, так как нужно покупать серверы и всё переносить. Но решение не было найдено, на наши потребности просто «забили» и просто не оставили выбора, ведь наши клиенты для нас — всё. А проблема была по сути одна — всё, что мы придумывали для наших клиентов, воплощалось с задержкой в 2 года. Менеджмент меня слушал разве что через Юлию Гортинскую, а с её переходом в Сингапур — связь между нами и во все пропала, а ведь мы были неплохим клиентом и оплачивали свыше 100 тыс евро за услуги дата-центра ежемесячно в лучший период нашего сотрудничества! Я до сих пор с глубочайшим уважением отношусь к Юлии, она — профессионал с большой буквы и именно благодаря ей LeaseWeb NL был столь успешен, а ещё она терпела мой непростой характер и знала, что я всегда буду отстаивать интересы наших клиентов так же стойко, как она отстаивала интересы LeaseWeb. Ведь мы все — в одной лодке, причем вместе с нашими клиентами и даже конкурентами. Именно потому я без купюр всегда обсуждал тупость отдела продаж LeaseWeb, давал советы, большая часть из которых была очень толковой и помогла во многом в том числе и LeaseWeb. Хотя помнится был забавный случай, когда я утверждал, что необходимо начать предоставлять определённый тип дисков клиентам для серверов и они тупые, потому, что это не делают, а через 2 года вернулся к ним в офис и утверждал обратное :). Почему? Да потому, что 2 года — это срок и многое меняется. Хотя может я что-то не доглядел и ошибся. Ведь я всегда воспринимал всё через призму того, что получит клиент, а не через призму закупок и контрактов с поставщиками и насколько это выгодно, выгода стояла на последнем месте. Именно потому LeaseWeb по сути не покупал оборудование у Dell, а арендовал на 10+ лет, так как это было выгодно и не нужно при этом платить VAT. Это к слову о том, почему «своё железо» иметь невыгодно.
Помня всё это, договариваясь с Ричардом я сообщил сразу, что наши клиенты привыкли к полной свободе, я не готов 2 года ждать реализации чего-то, мы будем всё реализовывать сразу сами и можем рассмотреть такие варианты — мы ставим наши 2 маршрутизатора и обеспечиваем сеть к нашей инфраструктуре самостоятельно, либо мы ставим 2 корневых роутера и берём сеть с независимых маршрутизаторов LeaseWeb US, остальное всё-равно администрирует Мурат, это максимум на который я готов пойти. Так как не имея большого объема нам невыгодно полностью самим маршрутизировать весь трафик и подписывать контракты с магистральными провайдерами, а LeaseWeb выгодно продать свою коннективность и тут мы можем быть полезны друг другу. Оценив, где коннективность и стойки продать наиболее выгодно, Ричард сообщил, что для всех будет лучше, если мы начнём не с Washington DC, а с локации NYC. В принципе это хороший старт и для нас в штатах, так как в Нью-Йорке могут требоваться серверы нашим клиентам из финтеха. Единственный минус — в LeaseWeb не было магистрального провайдера NTT, которого мы очень любим в Нидерландах за то, что на базе их сетей Мурат организовал уникальную DDOS-защиту, пожалуй лучшую в Нидерландах, способную выдержать атаки интенсивностью до терабита. Более того, в дата-центре компании Iron Mountain в Нью-Йорке, где LeaseWeb US арендовал private cage аналогично тому, как Мурат делал в нескольких нидерландских дата-центрах, не было присутствия оператора NTT, а только их конкурент GTT был в наличии, именно потому ставить своё маршрутизирующее оборудование также не имело смысла, так как организовать терабитную защиту с другими поставщиками будет проблематично. Но какая вероятность того, что в Нью-Йорке нам понадобится фильтровать атаки до терабита? Тем более, на начальной стадии. Наверное не стоит сразу делать «идеально», а стоит подумать о варианте «достаточно хорошо». При такой атаке проще занулроутить IP, да и дешевле. Ведь по сути защиту в Нидерландах используем мы для важных инфраструктурных решений (например для банков, долгое время я предлагал Моно прийти к нам и попробовать, но они видимо не верят, что такое бывает или просто тупые и потому переплачивают на порядок за облачную инфраструктуру в AWS, оставив мои предложения без ответа, а может наоборот берегут нас от головной боли, так как их инфраструктуру требуется защищать особым образом от атак, но мы в принципе могли помочь). Для обычных абонентов выделенных серверов такая защита слишком дорога, ведь за минуту фильтрации нужно оплачивать 30-40 евро, причем не важно какой интенсивности будет атака — 1 Гбит / с или терабит. К слову, многие из обычных клиентов неправильно учитывают стоимость фильтрации и оценивают её как 30*60*24 = 43 200 евро в сутки, что не есть истиной, так как организовать такую атаку — не дёшево, а уже спустя пол часа-час атакующие перестают атаковать, осознав то, что эффекта не будет. Именно потому было решено, что локация Нью-Йорк пока будет без такой защиты, а в будущем мы что-то обязательно придумаем, если проблема будет актуальна. И в принципе у нас есть лучший план. Нежели организовывать защиту в одной точке присутствия, мы построим 8-10 точек присутствия в разных регионах США и обьеденим их все в 40-100 Гбит / с или даже более быструю сеть, что позволит балансировать нагрузку между дата-центрами и всегда оставаться онлайн вне зависимости от каких-либо атак. Подобный план уже разворачивается и в Нидерландах, но по иной причине. Там «зелёные» не позволяют подводить дополнительные мощности к существующим ЦОДам, так как по их мнению дата-центры должны быть в пригородах, но туда не очень удобно добираться сотрудникам, в итоге, скорее всего, развитие нидерландских дата-центров будет заморожено и нам придётся организовывать точки присутствия в нескольких дата-центрах, чтоб было где размещать и подключить к питанию новые серверы, а между ЦОДами будет построена быстрая сеть, которая в конечном итоге свяжет их все в один большой «виртуальный» ЦОД, географически распределённый и резервированный, при этом диапазон выделяемого адресного пространства можно будет использовать во всех дата-центрах одновременно, вне зависимости от стойки и ЦОДа, в котором находится сервер. Единственное, что с ростом цен на электричество, рынок дата-центров в Нидерландах рискует утратить своё первенство в Европе. Ведь даже мы уже не очень способны продавать серверы по прежним ценам, ведь если только за питание Dell R730xd нам необходимо заплатить порядка 80-120 евро в месяц — становится довольно сложно предлагать сервер по цене от 199 USD при оплате на 2 года. Но мы твердо держимся и надеемся, что не будем повышать цены в этом году, как и обещали нашим клиентам, а переключимся на локацию «Нью-Йорк» полноценно, где наши услуги станут и лучше и дешевле, а связность с Европой по прежнему будет достаточной для многих проектов.
Так как мы планировали 2 июля лететь в Нью-Йорк совершенно с другими целями, а 31-го июля у нас уже был забронирован перелёт из Гонолулу в Сидней, времени что-то решать было мало. Была средина июня, но мне не хотелось откладывать реализацию построения площадки в США ещё на пол года-год. Да, у нас очень крутой сервис. Мы долго к этому шли, и это отличает нас от других хостингов — мы готовы идти долго. Но после безумного 2020 и 2022 года я осознал, что что-то откладывать на потом может быть слишком поздно, ведь когда все вокруг сходят с ума — надо делать здесь и сейчас, тем более если знаешь что. И если Мурат не готов начать рост совместно, то хотя бы пусть сделает решение для наших клиентов, а там уже будет видно — возможно он что-то придумает и начнет размещать и своих абонентов, или же построит очередную точку присутствия в другом ЦОД, где ему всё подходит и у нас будет в США две локации. Кроме Equinix ничего приличного не находилось, а мне казалось, что они ещё большие бюрократы и не стоит с ними иметь дел всё же. Забегая наперёд — я оказался прав, ведь в Вашингтоне, когда мы приехали, их человек нас так и не встретил по причине того, что нидерландский офис не передал корректно запрос американскому, гулять самостоятельно по ЦОДу было не интересно, и мы отменили наш визит и поехали наслаждаться парком Great Falls на реке Потомак, что было гораздо более приятно по итогам, так как дата-центров мы видели предостаточно. Поэтому не зря я убедил Мурата в том, что, а может всё же попробуем Нью-Йорк? Тем более мы там планировали быть какое-то время, а заодно, возможно, могли бы начать строить решение?
Подействовало. Мурат одобрил подписание контракта с LeaseWeb US, но успеют ли они подготовить стойки ко второму числу, чтоб мы прилетев заодно могли провести работы — вопрос, обычно такие заказы нужно формировать хотя бы за месяц-два, чтоб было всё в срок и без стресса. Что ж, в крайнем случае придётся помучится с удалёнными руками, хотя очень часто Мурат их называет «hands without brain». Да, это большая проблема, в Нью-Йорке не существует ни одной компании которая может предоставить вменяемый сервис удалённых рук, хотя бы на 10% сравнимый с тем, что может сделать Мурат с Эрсином в Амстердаме, и это Америка. Они вдвоем по сути за несколько недель сменили дата-центр, переместив несколько тысяч серверов и ни один клиент не пострадал. А тут кажется, что порой, люди не могут сделать правильно элементарное.
Но проблема была не только в этом. У нас не было ничего. Ни серверов, ни свитчей, а ведь по нашему плану было бы здорово хотя бы подключить основное — корневые свитчи нашей сети, стоечные Интернет-свитчи для серверов, kvm-свитчи, питание, ну и хотя бы несколько серверов. Реально ли всё так быстро заказать и получить в США? Вроде бы. Я нашел хорошего партнёра по поставке оборудования (refurbished-серверов из NASA и других организаций, когда серверы практически новые, просто не стоят космос денег, как у производителя, и за бюджет 7-10 тыс долларов можно собрать неплохой сервер корпоративного класса, который мы и предлагаем в аренду нашим корпоративным клиентам), а Мурат написал своему партнёру, у которого он уже купил на сумму свыше 300 тыс евро свитчей для дата-центров в Нидерландах, чтоб поставил то, что нужно нам, для США.
Оставалось приобрести fortigate для организации защищенной iDrac-сети, по примеру нидерландской, APC PDU для стоек, чтоб организовать питание, и мелочи в виде кабелей, оптоволокна, оптики и т.п. PDU удалось найти на eBay, который успешно меня забанил сразу же после первой оплаты, оказалось, что они банят всех, кто оплачивает картой украинского банка, или вообще бывших стран СНГ, но при этом заказ доставляют. Возможно были прецеденты — не знаю. Но к моему удивлению заказ доставили. Зачем тогда блокировать? ;) Я даже написал об этом случае в LinkedIn их менеджменту, обладая корпоративным аккаунтом, но наверное там просто невменяемые люди, которые не сочли должным ответить, потому дальнейшие покупки делал уже у поставщиков либо других торговых площадках, где проблем никаких не было. А смысл оплачивать картой был, так как в Моно у меня кэшбек до 20 000 миль в месяц на покупки, это порядка 750 долларов по курсу в тот момент, что в принципе не плохо. Мили возможно было использовать для компенсации перелёта любой авиакомпании по схеме 20 миль (эквивалент 20 грн, уже понизили до 15) за каждый эквивалент 1000 грн трат, а так как покупок планировалось много, то неплохое подспорье вернуть часть расходов, потратив средства с личной карты — было. Кто-то скажет «копейки» и зачем заморачиваться, а за 3 года сотрудничества с банком я вернул свыше 300 тыс миль (более 10 тыс долларов по курсу на тот момент). Это также, как многие по-старинке бучат через Booking, не зная о том, что hotels.com (в этом году только европейский их филиал, если выбрать Rest of Europe и валюту евро, американский стал давать только 2% сразу, вместо 8-9%), предлагает цены лучше, чем в Booking, при этом еще и каждую 11 ночь предоставляет бесплатно, что сэкономило мне за последние 6 лет проживания, а я постоянно путешествую — порядка 30 тыс долларов и суммарно я использовал 62 «бесплатные» ночи, стоимостью от 60 до 500+ долларов за ночь.
В прочем, оплачивая покупки в США, у меня случился культурный шок, в плане оплат картами. Если в Европе Вы хотите оплатить что-то карточкой — с Вас удерживают дополнительную плату за процессинг карт, как правило 2-4%, и потому всегда нужно платить по старинке, на банк счёт по IBAN, благо есть SEPA Instant и платежи доходят моментально и практически без комиссии. То банковские платежи в США — такое впечатление, что застряли в эпохе «динозавров», так как тот же ACH/Direct Debit доходят только на следующий день, и порой стоят до 30 долларов за платеж в особенно жадных банках, Bank of America не в счёт — там цена всего лишь 1 доллар, но они «тугие» и не могут организовать правильное примечание к платежу. Или же ещё лучше — Вам оформляют выплату только чеком или предлагают выписать чек, а потом сверяют долго и нудно подписи и эти чеки нужно переоформлять, когда какая-то подпись не была добавлена кем-то… Именно потому большинство пользуется картами.
Но благо, что нет VAT, зато есть налог штата. Так, когда вы заказываете что-то в Нью-Йорк, а точнее в Нью-Джерси, мне обязаны добавить NJ SALES TAX 6.63% в счёт, в прочем мне поставщик, ввиду больших объемов сделал 5% скидку на их цену и этот налог не стал очень критичен. И благо, что его не нужно возвращать, как VAT в Европе и ждать возвратов по пол года, что при крупных закупках становится жутким кошмаром. Помнится Мурат поменял маршрутизаторы и закупил ещё по мелочам какое-то оборудование, и у него так зависло свыше 200 тыс евро в виде VAT, которые где-то надо найти и вывести из оборота Вашего бизнеса, ад! В этом плане в США всё проще, а железо стоит, на удивление, немного дешевле. Есть конечно схема, когда адрес доставки находится в не налоговом штате и тогда налог на продажу 0%, но тогда нужно организовать там точку присутствия и повторно уже оттуда отправлять в Нью-Йорк, что не всегда имеет смысл, так как пересылка может стоить не на много дешевле налога, и быть может есть смысл так заморачиваться только если Вы закупаете серверы сразу большой партией, когда пересылка будет намного дешевле 3% от стоимости сервера, ведь когда их нужно две — это уже 6%, что сравнимо с размером налога.
Но уже 30-го июня, всего за два дня до запланированного отлёта, он сказал, что готов полететь с нами, так как никогда не был в США и сделал бы работу лично. Более того, было бы здорово, чтоб он также вылетал из Франкфурта, ведь в Амстердаме из-за забастовки сотрудников аэропорта и недостатка работников из-за массовых увольнений в COVID-период — очереди по 8 часов на безопастность. Потому ему проще, чтоб Эрсин довёз его за 4 часа до Франкфурта, заодно заехав в какой-то немецкий ЦОД для выполнения работ, нежели ожидать в очередях и лететь одному. Благо у него нидерландский паспорт и было достаточно оформить только ESTA для въезда в США, которая вышла уже на следующий день — 1-го числа и можно было покупать билет.
C билетом повезло, всё ещё был доступен бизнес у авиакомпании Condor, да ещё и у окна, как хотел Мурат, по более-менее вменяемой цене — 2500 евро в 2 стороны, что совсем неплохо для резервации в последний момент времени, так как в 1 сторону при бронировании авиабилетов цена была в районе 1000 евро. Condor действительно неплохая авиакомпания с вменяемой ценой на бизнес-класс, доступный для прямых перелётов из Франкфурта, за что им тут бесплатная реклама ;)
2-го числа мы прибыли за 4 часа до вылета в аэропорт, но даже во Франкфурте творился ад, как и во многих других аэропортах Европы в то время. Очередь на безопастность не помещалась в зале и продолжалась почти до улицы. Более того требовалась специальная безопастность для полёта в США, но хорошо, что где-то посредине пути была дверь, разделяющая очереди, вход в которую был огражден лентой, и когда мы поняли, что во второй очереди практически никого не было — мы просто перешли, а всех почему-то продолжали отправлять в нашу. В итоге мы почти упустили наш рейс и прошли всё буквально за несколько минут до закрытия посадки, если бы не этот «трюк», перелёт был бы наверное потерян. В том числе из-за сотрудников аэропорта, которые в этот день почему-то особо тупили, видимо высказывая так протест с их «низкими зарплатами», а следующий возможный полёт был только на послезавтра, так как из-за Дня независимости, всё на завтра было распродано.
Прибыв в Нью-Йорк мы еще раз связались с продавцом свитчей по почте и телефону, так как PDU, часть серверов — пришла, а вот корневые QFX, а также Juniper-свитчей для подключения серверов к сети Интернет — не было. Их всё-никак не мог отправить знакомый поставщик Мурата из Калифорнии, с которым тот ранее сотрудничал. Но второе число — выходной, ведь это суббота, а послезавтра День независимости, потому не удивительно, что он был просто не на связи, хотя Мурат, заказав всё еще 27-го числа говорил ему о том, как важно доставить всё как можно быстрее. Потому мы провели время, включая 4 июля, гуляя по 30 км в день пешком по городу, причем не только в туристических районах, но и порой в местах, где просто у входа в метро несколько человек решили прилечь отдохнуть, наверняка озаботившись предварительно наличием достаточной ширины тропы для тех, кому нужно всё-таки воспользоваться станцией по её прямому назначению.
Посещение Вашингтона: Equinix, LeaseWeb и Алексей, всегда готовый помочь установить серверы ;)
5-го числа мы решили, что пока ожидаем свитчи, не поехать ли нам в Вашингтон в офис LeaseWeb US, поприветствовать ребят с которыми общались и подписывали контракт лично, посмотреть, как они расширились в дата-центре COPT, который недавно выкупил всё тот же Iron Mountain, а также заодно заехать в дата-центр Equinix. Мурат договорился с нидерландским офисом Equinix о туре, так как хотел начать сотрудничество в США, ведь для его клиентов важен был не только хороший дата-центр, но и NTT, а этот оператор там присутствовал.
План был такой — посетить Equinix, затем LeaseWeb, а потом, если останется время — парк Great Falls под Вашингтоном и сам Вашингтон. С Equinix получилось быстрее, чем планировалось. Придя на рецепцию в дата-центр мы получили пропуски для прохода по всем нужным нам залам дата-центра, но вот человек из Equinix, который должен был с нами пройтись и рассказать обо всех особенностях дата-центра — не пришел. Оказалось нидерландский офис плохо коммуницировал с американским и они выписали нам пропуск, но вот то, что мы не просто хотим ходить сами и смотреть — не осознали, а после 4-го июля практически все были на дополнительном выходном и ждать кого-то было довольно долго и проблематично. Мы решили, что значит Вселенная ещё раз говорит, что не нужен нам Equinix, попрощались с рецепцией и уехали в LeaseWeb.
Там мы повстречали ключевых сотрудников американского офиса. Некоторым из них походу из-за нас таки пришлось выйти на работу. Так как сразу Andrew и Peter присутствовали в офисе. Дженнифер, которую я знал вот уже почти 10 лет, была где-то на пляже в Северной Каролине в отпуске, потому увы не смогла быть, также как и Ричард, который тоже был в отпуске, что было немного обидно, так как последний раз мы виделись в 2017 году, когда всем отделом продаж решили посетить их офис, по пути на конференцию в Лос-Анджелесе, о которой можно узнать подробнее из статьи «Исповедь босса: как работать путешествуя, уволить половину отдела в LA».
Тем не менее приём прошел на волшебном уровне. Видно было, что ребята старались и организовали всё наилучшим образом, включая тур по Iron Mountain. Интересно, что буквально за несколько дней до нашего приезда, профиль Мурата в LinkedIn стал неимоверно популярен и туда наверное зашли несколько десятков человек, как с американского, так и нидерландского LeaseWeb. Всё же Мурат стоял у истоков LeaseWeb и приезд его в американский офис был необычным событием, так как даже там многие были наслышаны о нём.
Мы поблагодарили коллег за радушный приём, обсудили с ними сотрудничество по Нью-Йорку и отправились на культурную программу в Great Falls и Вашингтон, а затем, на обратном пути, вспомнив, что по пути в Нью-Йорк живёт друг (Лёха) моего друга (Кирилла) из Латвии, благодаря которому мы латвийская компания с января 2019 года, решили его посетить, чтоб сказать «привет». Ведь последний раз я видел Лёху на свадьбе у Кирилла на Филиппинах, где он, когда мы все, арендовав дом на острове и оказавшись практически без Интернета, ввиду слабого сигнала, героически полез на двадцатиметровую вышку безо всякой страховки, чтоб поднять антенну для доступа в Интернет повыше и переориентировать в зону лучшего сигнала, обеспечил всех доступом в сеть.
Выпив чаю и немного пообщавшись, оказалось, что Алексей вот уже несколько лет живёт в США и выполняет различные инженерные работы в дата-центрах, и вот купил дом в mortgage на 20 лет и по-тихоньку делает ремонт. У меня, как у человека, который привык использовать все доступные возможности, сразу мелькнула идея, а не начать ли сотрудничать ли нам?
Ведь он может приехать в Нью-Йорк и поработать немного для нас, всего то 3 часа езды. Ведь нам лучше заплатить тысячу-другую долларов за день работы человеку, которого мы знаем, чем непонятному инженеру из remote hands, так как часть оборудования в любом случае должна будет приехать после того, как мы уже улетим на Гавайи, а лететь назад на день в Нью-Йорк — дорого и глупо.
На этом и договорились, в какой-то удобный день Алексей поедет, чтоб провести установку сразу большого количества серверов.
Параллельно с культурной и частично рабочей программой мы переписывались с Брайаном из Калифорнии, который всё никак не мог доставить заказ, а ведь мы ожидали доставку двух QFX для построения ядра сети, а также джуниперов. Тем не менее Brian так и не смог отправить их, и не выходил на связь и Мурат, не долго думая, вспомнил, что у него есть в Нью-Йорке знакомый соотечественник, набрал ему узнать, нет ли у него случаем на сегодня-завтра таких свитчей, как нам нужны. На удивление свитчи нашлись. Порой мне кажется, что турки правят этим миром и у них всё и везде есть. Мою карту неизвестный мне турок почарджил онлайн и обещал доставить в самом скором времени, максимум послезавтра (7-го), при том, что высылать будет он не из Нью-Йорка. Заказ у Брайана из Калифорнии Мурат отменил, попросив доставить только джуниперы, а за QFX провести возврат.
6-го числа Брайн наконец-то подтвердил, что три свитча EX-3400 48p в пути и будут в ЦОДе 7-го утром. Мы оформили себе доступ в ЦОД на утро 7-го числа, чтоб приехать найти то, что уже прислали и устанавливать в стойки, а затем, заодно установить свитчи, как только они прибудут, а 6-е число было решено сделать ещё одним культурным днём, так как всю работу в ЦОД можно было сделать в течении одного дня и не за чем потому туда ездить несколько раз.
Пока печатались бейджи, доставщик привез какой-то сервер и на коробке мы обнаружили, что получатель — мы, потому сервер у доставщика отобрали, чтоб самим отвезти к стойке и не обременять сотрудников дата-центра получением. Всё равно в США подписи никто почти никогда не ставит и доставки бросают и оставляют в основном где угодно.
По прибытию в cage мы обнаружили, что наших коробок с оборудованием нет, а поддержка партнёров не отвечала. Мы пошли сами узнавать у сотрудников Iron Mountain, где наше всё и нашли кучу коробок в приёмочной ЦОДа, забрали их и перевезли в cage.
Мурат мастерски установил PDU в стойки менее, чем за 20 минут, прокомментировав, что у удалённых рук, то есть «hands without brain», это заняло бы час. Также мы начали установку серверов, которые уже прибыли на место.
QFX свитчи и даже Juniper успели приехать. QFX установили и подключили к питанию, но оказалось, что LeaseWeb перепутал распределение оптоволокна, не осознав проекта, что 2х10G должны заходить в одну стойку, а не две, где будут установлены корневые свитчи, а уже оттуда мы будем разводить оптику по стойкам, как нам нужно. Благо стойки располагались рядом и мы без особого труда перебросили всё в одну, потому всё получилось. Мурат подключил свитчи к ноутбуку, который он привёз из Нидерландов и загрузил на них уже заранее заготовленную конфигурацию, а также установил оптику для подключение TOR-свитчей Juniper, которые и будут доставлять Интернет для серверов.
Затем установили Juniper в стойки, пока у нас было только 3 свитча, но каково было наше удивление, когда мы, подключив их на два блока питания, не смогли их включить. Все три свитча не включились, то есть были полностью мертвы. Мы сообщили Брайану о проблеме, на что он сказал, что «очень странно», но они ничем не могут помочь, потому они проведут возврат и за них, в любом случае у них нет больше и даже если бы было, то доставка из Калифорнии могла бы занять несколько дней. Тем не менее основная работа как раз заключалась в том, чтоб самим построить сеть и она была выполнена. А стоечные свитчи можно было уже заказать и подключить позднее и их бы мог установить уже Алексей, а затем подключить ноутбук Мурата, через который бы Мурат загрузил конфигурационные файлы и для них.
Мы сразу же заказали свитчи из Тайваня, так как в США нужных нам свитчей в наличии не было. Что интересно, если объявленная стоимость товаров ниже 800 USD, то оплачивать никакие дополнительные налоги при ввозе в США не нужно, что позволяло купить свитч в Тайване дешевле, чем он стоил в США. Разумеется свитчи refurbished, но как правило это не является проблемой в плане надёжности. Если Juniper работает, то он работает. Просто всегда достаточно иметь уже сконфигурированный свитч для подмены и мониторить сетевое оборудование.
К слову об этом, только спустя месяц мы получили QFX для организации LAN на скорости 10 Гбит / с для клиентов. Увы, без нужных креплений, потому пришлось найти выход — взять 1-юнитовый сервер и временно переместить в шкаф для 2-юнитовых серверов, и сказать инженеру, удалённым рукам, чтоб он положил свитч на него. Подобный лайфхак мы применили и с fortigate, который увы пришел без нужных креплений, а найти и купить их сейчас довольно сложно. Инженер выполнил нашу просьбу, но был один нюанс. Уже в сентябре датчики стали сообщать о перегреве, а недавно — полностью вышли из строя и мы в результате отправляли оперативно из Нидерландов новый свитч, так как было подозрение, что этот свитч умрёт. Как оказалось причина была в том, что инженер перепутал направление и положил оптический свитч стороной забора воздуха в направлении горячего коридора, так как ему было не очевидно, что он должен располагаться наоборот. Установить это получилось после того, как нам прислали снимок.
Тут видно, что свитч установлен неправильно и то, что свитч проработал столько и не вышел из строя — чудо. Вывод — всегда просите удалённые руки фотографировать то, что они делают, так как порой это «hands without brain» в прямом смысле этого слова. Разумеется, что свитч после такого, явно не факт, что включится, а то, что все датчики пришли в негодность говорит только о том, что его теперь лучше просто выбросить. Обидно, но это опыт, за который мы заплатили, начав работать с удалёнными руками и установкой своего оборудования. Ошибки случаются.
8-го июля мы решили заехать в ЦОД для установки новоприбывших серверов, ведь они прибывали почти каждый день, перед тем, как завезти Мурата в аэропорт и отправить праздновать домой, чтоб еще раз убедиться, что мы с ним сделали максимум из возможного. И по аналогичной традиции 11-го числа перед отлётом мы приехали сами, чтоб установить еще всё, что приехало, включая кучу SSD в брэкеты — так как это занимает много времени и является тупой механической работой.
Стоит отметить, что если пробок нет, то из Манхэттена до ЦОДа в Эдиссоне (Нью-Джерси) можно доехать всего лишь за 20 минут, но вот аренда авто на Манхэттене может занять 2-3 часа в очереди, даже если у Вас есть резервация и авто забронировано, потому вариант с такси, более дорогой, наверное может быть более предпочтительным при таком планировании, если время у Вас ограничено. Но на удивление, нам и тут удалось всё успеть.
Оставалось дождаться исправных свитчей из Тайваня, которые прибыли только 1-го августа и остальных серверов и SSD, хорошо, что на подхвате у нас был Алексей, так как в августе, мы были уже в Австралии и лететь в Нью-Йорк оттуда нужно было бы с пересадками сутки.
Пример того, как это считается, если кому-то вдруг будет интересно:
Дорога 182 мили ×2 = 364 мили.
Ставка IRS $0.625/милю.
Всего $227.
Толлы по ~$17 в каждую сторону = $34.
Ну и ставка за час инженера в США — от 60 USD. Казалось бы много? Не очень. Не легка судьба инженеров, расходы на проживание в США также довольно велики. Чтоб иметь возможность нормально жить, купить дом в рассрочку — нужно работать, много работать.
Алексею пришлось пробыть в ЦОД с 11 утра до 11 вечера, за что ему огромное спасибо, ведь обычный инженер бы давно уехал спать или сообщил о необходимости оплаты сверхурочно. Ведь это реально не легко, работать, да еще и в холоде, жаре и шуме одновременно. Еще существовала особенность данного дата-центра, а именно, чтоб выйти из клетки в уборную — нужно позвонить сотруднику Iron Mountain, так как дверь на вход почему-то работает без него по пропуску, а на выход — только сотрудник Iron Mountain может открыть.
Странная немного безопастность. При этом находясь в зале ЦОДа, где располагаются десятки клиентских модулей с тысячами серверов, все рубильники питания доступны, никто не мешает обесточить весь зал и устроить блэкаут. В чём смысл такой безопастности, если внутрь модулей не имея авторизации не зайдешь, а обесточить можно? Ну да ладно, наверное к счастью в ЦОДы не попадали пока психи.
Не обошлось и без происшествий, один из серверов, с двумя блоками питания по 1100 Вт, почему-то стал испускать белый дым, бахнул конденсатор в одном из блоков питания после того, как сервер подключили в сеть. Также довольно много времени заняло подключение TOR-свитчей, установка правильной оптики в них, подключение по очереди ноутбука к портам управления, чтоб Мурат имел возможность настроить их удалённо. Ну и отдельная тема — установка SSD в брекеты.
Теперь я понимаю, как важно у поставщика заказывать сервер сразу с нужным количеством SSD, чтоб инженер удалённых рук не крутил мелкие винтики, закрепляя каждый из накопителей в каретке, часами. Попробовав этот процесс лично могу сказать, что после 100-го накопителя понимаешь, как же это адски тяжело и долго. Вот потому здорово было, когда мы арендовали всё готовое, и вообще не заморачивались с тем, как это всё устанавливать, обслуживать и менять, но увы — правильные решения требуют новой схемы работы, когда мы не зависим от бюрократии ЦОДов, предоставляющих оборудование в аренду.
Не слабо так, если Вы продаёте с маржей менее 10%? Это не позволяет Вам поставить минимальную цену на услуги Вашим клиентам, так как нужно иметь запас по марже, либо же для клиентов также нужно повышать цены на 4% ежегодно, а в условиях конкуренции, Вы много знаете таких провайдеров? Вот и дилемма у многих — ставить маржу более 10%, которая покроет indexation fee, или же через какое-то время начать пересматривать цены, отвлекая себя и клиентов от работы и заставляя задуматься, а не заказать ли сервер повторно и перенести на него данные, в особенности, если он предоставляется с той же стоимостью, что и год назад или даже быть может сменить провайдера.
Кто-то выбирает в этих случаях продолжить аренду, так как перенос — куда более болезненный, но когда у Вас 1000+ серверов — это огромный объем работы или потерь. Именно потому мы решили быть с клиентами честными и не кошмарить их ежегодными удорожаниями и вот уже 8 лет не поднимали цены на наши услуги ни на цент, но это всё только благодаря тому, что мы сами себя кошмарим необходимостью закупать оборудование и его обслуживать в последние годы, а когда у нас было всё в аренде, нам приходилось подписывать один долгосрочный контракт за другим, чтоб ЦОД мог отменить повышение цены и заработать на новом контракте дополнительные деньги. Тем не менее на будущее нам однозначно стоит придумать честную систему индексации, которая будет доступна клиентам или же которой можно будет избежать, выполнив определённые условия.
В общем, Алексей удачно выполнил большой объем работы и даже удачно добрался до дома, хотя я шутя предупредил, что не буду спешить платить его счёт, так как он принял решение ехать уставшим, вместо того, чтоб остаться ночевать в Эдисоне, и потому есть смысл провести оплату после того, как он удачно доберётся домой, а то мало ли что… Разумеется, что это была лишь шутка, но в каждой шутке есть доля шутки. Сейчас Алексей чётко осознаёт, что так делать опасно, и в следующий раз при столь большом объеме работ обязательно останется переночевать перед дорогой назад.
В Нью-Йорке, с учётом того, что цены на электричество во всём мире неуклонно растут, мы решили полностью отказаться от медленных жестких дисков и предоставлять все серверы исключительно с SSD, сделав их более доступными по стоимости, фактически меньше стоимости 4TB HDD в Нидерландах, но дороже, чем единовременная плата 390 USD за установку 12TB HDD накопителя.
Тем не менее абоненты, которым нужны столь большие объемы хранения данных, пожалуй составляют менее 1% от общего количества клиентов и для таких клиентов, мы будем рады предоставить в том числе производительные NVMe u2 PCIe объемом 15TB и 30TB для хранилищ с высокой нагрузкой, что позволит организовать высокопроизводительные хранилища практически под любые задачи с вменяемой стоимостью или же обсудить индивидуальную доставку сервера и дисковой полки JBOD с HDD, если вдруг частота запросов достаточно низкая и их можно обслужить при помощи недорогих HDD.
Процессоры и серверы в Нью-Йорке мы также предоставляем лучше, чем в Нидерландах, и при этом стоимость ежемесячная такая же или ниже. Мы выбрали 4 основные платформы, для того, чтоб удовлетворить потребности 99% клиентов:
Dell R620 — 2x Intel Xeon E5-2650v2 2.6GHz 8-Cores — от $99 / месяц;
Dell R630 — 2x Intel Xeon E5-2683v4 2.1GHz 16-Cores — от $149 / месяц;
Dell R730xd — 2x Intel Xeon E5-2696v4 2.2GHz 22-Cores — от $249 / месяц;
Dell R740xd — 2x Xeon Gold 6154 3.0GHz 18-Core — от $299 / месяц.
Апгрейды при аренде серверов на срок от года — в 2 раза дешевле, и составляют:
— 960GB SSD — от $15 / месяц;
— 3.84TB SSD — от $30 / месяц.
В платформы Dell R620/R630 — можно установить до 8 SSD накопителей, а в Dell R730xd/R740xd — 24 или 26 в зависимости от того, есть ли flex bays.
Также в Нью-Йорке мы рады предложить сверхбыстрые PCIe NVMe U2 для платформ Dell R730xd/R740xd в количестве от 4 и до 16 соответственно по следующим ценам:
— 15.36TB NVMe SSD U2 PCIe — от $120 / месяц;
— 30.72TB NVMe SSD U2 PCIe — от $240 / месяц.
Таким образом общий объем SSD-хранилища на сервере легко может превысить 0.5TB и это в одном сервере, безо всяких жестких дисков, за вменяемую стоимость!
Ещё все Ваши серверы в Нью-Йорке можно объединить в 10, 20 или 40 Гбит / с LAN cеть при помощи оптоволокна по ценам:
— от $25 / месяц за 10 Гбит / с порт в QFX LAN свитче с оптикой со стороны свитча;
— от $22,5 / месяц за 2х10G LAN card со стороны сервера, оптики со стороны сервера, а также кросс-коннект сервера с QFX LAN-свитчем при помощи оптоволокна вне зависимости от того, в какой стойке располагается сервер.
Возможность подключить дисковую полку к любому из серверов:
— до 12х16TB HDD — от $99 / месяц + от $25 / месяц за каждый HDD установленный в полке;
— до 24х16TB HDD — от $198 / месяц + от $25 / месяц за каждый HDD установленный в полке.
Нет средств оплатить сразу на год или два, но хочется максимальную скидку? Не беда. Вы можете получить рассрочку с условием оплаты не менее 10% от первоначального счёта ежемесячно, при этом ежемесячно будет начисляться 1-го числа 3% late fee на остаток к оплате, что всегда выгодно, так как все апгрейды Вы получаете по ценам в 2 раза дешевле сразу.
В том числе та, что мы должны были быть полностью уверены в качестве. Начав с нескольких серверов в стойках и небольшого «бардака» (увы в дата-центре стоимость шкафчиков хранения настолько велика, что мы предпочли хранить резервы в стойках), мы начали активный рост.
Со временем привели всё в порядок, хотя были недочёты — убрали картонные коробки из свободных стоек (что к слову, считается неправильным с точки зрения противопожарной безопастности). Теперь вместо них красивые металические ящики хранения, объемом по 4 юнита, которые мы монтируем в те стойки, где активно потребляется питание и куда дополнительные серверы просто ставить нельзя из-за потенциального срабатывания предохранителя на отключение при превышения допустимого потребления мощности.
Логика размещения серверов сохранена и полностью идентична нидерландской — есть стойки для 1U и 2U серверов, чтоб эффективно утилизировать 24 портовые или 48 портовые свитчи соотвественно, что и обеспечивает очень хорошие цены для Вас в частности. Стандартизация наше всё, при этом мы максимально гибкие и готовы удовлетворить все Ваши нужды.
Уже в декабре мы нарастим количество стоек, что позволит нам «переселить» клиентов из Нидерландов, которым подходит и Нью-Йорк для их работы, ведь дата-центр находится всего лишь в 20 минутах езды от Манхэттена, при этом мы предлагаем более новые процессоры и более низкие цены на апгрейды.
Пинг? Пинг всего лишь на 70 мс выше, чем для нидерландской локации, что вообще не критично для большинства сайтов и приложений, так как к примеру веб-страница, учитывая современную переполненность графикой, может генерироваться до секунды и более, то есть задержка будет визуально больше процентов на 10, а может и меньше, если Вы ориентированы на пользователей Северной и Южной Америки, Индии, Китая или Австралии или допустим Ваши клиенты используют Starlink для доступа в Интернет, так как трафик в любом случае роутится через США.
Ну и, уже сейчас, Вам доступны VPS (KVM) с выделенными накопителями:
VPS (KVM) — E5-2696v4 (6 Core)
10 GB DDR4
960 GB SSD
1 Gbps 10 TB — от $19 / месяц
VPS (KVM) — E5-2696v4 (6 Core)
10 GB DDR4
3.75 TB SSD
1 Gbps 10 TB — от $29 / месяц
То есть в Нью-Йорке Вы можете заказать VPS (KVM) 960 GB SSD в ту же цену, что в Нидерландах 480 GB. И хотя хвалить самих себя вроде как не к лицу, но сейчас, спустя более, чем год плодотворной работы, я вижу, что всё получилось и будет ещё лучше. Крайне рекомендую попробовать!
Вот и тогда, в начале июня 2022-го, я знал лишь то, что чётких планов нет, скорее всего нужно лететь в США и что-то строить, причем поспешно, так как 18-го августа 2022 мы должны были принять участие в уникальной экспедиции в удалённую часть Кораллового моря и Большого Барьерного рифа в Австралии, которая, говоря наперёд, прошла потрясающе www.youtube.com/watch?v=MfiWjEUEi3g
И 27 часов проведенных под водой в течении 6 дней, а также 18 000 км, которые мы объехали «вокруг» Австралии в течении 6 недель, позволили собрать уникальные материалы для одного из наших некоммерческих проектов, который будет анонсирован в следующем году.
Но вернемся к серверам, на базе которых мы все же разрабатываем и собственные проекты. В начале нужно было определиться с дата-центром, закупкой оборудования, доставкой, датами установки, а также настройкой этого всего «зоопарка». Мурат сообщил мне, что он не против полететь и построить площадку только для нас, так как для своих клиентов он пока не готов, да и у него почти нет на это времени, и вообще, скоро Курбан-байрам и ему надо «sacrifice» и быть с семьей в это время и летом сложно с планированием, а удалённые руки нам не подходят, так как ему проще сделать самому какую-то задачу за 20 минут, чем 4 часа объяснять как делать, да и вообще так не сделают, а потом лететь и переделывать — ещё больше головной боли.
Обладая опытом в понимании того, какой дата-центр будет лучше под наши задачи, Мурат стал подискивать варианты, а я, в свою очередь, помня о наших американских партнёрах — LeaseWeb US, пообещав уже теперешнему их CEO — Ричарду, что когда время придёт, буду рассматривать сотрудничество с ними в первую очередь, решил ему написать. Ведь мы сотрудничали уже почти 10 лет и довольно успешно.
Постановка задачи и выбор дата-центра
Описав наши потребности и получив коммерческое предложение от Ричарда, я уведомил Мурата. Но Мурат, который по сути стоял у истоков LeaseWeb в Нидерландах, и покинул нидерландский офис в 2012 году, а затем основал свою транспортную компанию и накопив бюджет, начал предоставлять услуги в лучших нидерландских дата-центрах, как независимый провайдер услуг дата-центров — не особо хотел возвращаться к бюрократии и другим моментам. Ведь они делали, в его понимании, работу и сотрудничество с LeaseWeb невозможной. Вот почему он стал настаивать на поиске других вариантов. Оставалось переубедить его, ведь лучше всё же работать с теми людьми, которых я знаю 10 лет и которые исходя из моего опыта довольно надёжны, нежели с неизвестными нами пока что площадками, которые, может и не плохие, но наверняка имеют подводные камни о которых мы не знаем, пока не приобрели опыт.Проведя анализ возможных вариантов Мурат сообщил, что наилучшим вариантом будет Equinix, расположенный под Вашингтоном. Мне сразу вспомнился 7-летний контракт с дата-центром Switch, который впоследствии был выкуплен Equinix, и то, как Мурат сокрушался, что Equinix — бюрокарты и у них 3 недели занимает согласование подключения тёмного волокна между ЦОДами, которое необходимо было нам для переноса. И вообще то, как они попросили разорвать контракт досрочно, так как новых стоек дать не могут, а на текущие у них были свои планы, ведь именно потому мы переехали в Maincubes. Ну, а что с ценой? Цена не была настолько волшебной, чтоб наступать на те же грабли. Потому, я всё же запросил квоту у Ричарда и сказал, что я смогу убедить Мурата подумать о них, если они смогут предложить что-то интересное. Ибо решение принимает всё же Мурат, так как ему эту инфраструктуру технически обслуживать и я, как заказчик, прислушиваюсь к его мнению в первую очередь.
Richard Copeland, которого я знал более 10 лет, дорос до позиции CEO в LeaseWeb US и несомненно имел вес в компании. Мы с ним несколько раз обсуждали перспективу нашего роста в США на примере нашей работы с LeaseWeb NL, где бюрократия сделала дальнейшее сотрудничество невозможным. И он был в курсе наших потребностей, в отличии от отдела продаж LeaseWeb NL, где менеджеры долгое время не верили мне, что мы все-таки уйдём в другой дата-центр, так как это было очень дорого и гемморно и невыгодно для нас, так как нужно покупать серверы и всё переносить. Но решение не было найдено, на наши потребности просто «забили» и просто не оставили выбора, ведь наши клиенты для нас — всё. А проблема была по сути одна — всё, что мы придумывали для наших клиентов, воплощалось с задержкой в 2 года. Менеджмент меня слушал разве что через Юлию Гортинскую, а с её переходом в Сингапур — связь между нами и во все пропала, а ведь мы были неплохим клиентом и оплачивали свыше 100 тыс евро за услуги дата-центра ежемесячно в лучший период нашего сотрудничества! Я до сих пор с глубочайшим уважением отношусь к Юлии, она — профессионал с большой буквы и именно благодаря ей LeaseWeb NL был столь успешен, а ещё она терпела мой непростой характер и знала, что я всегда буду отстаивать интересы наших клиентов так же стойко, как она отстаивала интересы LeaseWeb. Ведь мы все — в одной лодке, причем вместе с нашими клиентами и даже конкурентами. Именно потому я без купюр всегда обсуждал тупость отдела продаж LeaseWeb, давал советы, большая часть из которых была очень толковой и помогла во многом в том числе и LeaseWeb. Хотя помнится был забавный случай, когда я утверждал, что необходимо начать предоставлять определённый тип дисков клиентам для серверов и они тупые, потому, что это не делают, а через 2 года вернулся к ним в офис и утверждал обратное :). Почему? Да потому, что 2 года — это срок и многое меняется. Хотя может я что-то не доглядел и ошибся. Ведь я всегда воспринимал всё через призму того, что получит клиент, а не через призму закупок и контрактов с поставщиками и насколько это выгодно, выгода стояла на последнем месте. Именно потому LeaseWeb по сути не покупал оборудование у Dell, а арендовал на 10+ лет, так как это было выгодно и не нужно при этом платить VAT. Это к слову о том, почему «своё железо» иметь невыгодно.
Помня всё это, договариваясь с Ричардом я сообщил сразу, что наши клиенты привыкли к полной свободе, я не готов 2 года ждать реализации чего-то, мы будем всё реализовывать сразу сами и можем рассмотреть такие варианты — мы ставим наши 2 маршрутизатора и обеспечиваем сеть к нашей инфраструктуре самостоятельно, либо мы ставим 2 корневых роутера и берём сеть с независимых маршрутизаторов LeaseWeb US, остальное всё-равно администрирует Мурат, это максимум на который я готов пойти. Так как не имея большого объема нам невыгодно полностью самим маршрутизировать весь трафик и подписывать контракты с магистральными провайдерами, а LeaseWeb выгодно продать свою коннективность и тут мы можем быть полезны друг другу. Оценив, где коннективность и стойки продать наиболее выгодно, Ричард сообщил, что для всех будет лучше, если мы начнём не с Washington DC, а с локации NYC. В принципе это хороший старт и для нас в штатах, так как в Нью-Йорке могут требоваться серверы нашим клиентам из финтеха. Единственный минус — в LeaseWeb не было магистрального провайдера NTT, которого мы очень любим в Нидерландах за то, что на базе их сетей Мурат организовал уникальную DDOS-защиту, пожалуй лучшую в Нидерландах, способную выдержать атаки интенсивностью до терабита. Более того, в дата-центре компании Iron Mountain в Нью-Йорке, где LeaseWeb US арендовал private cage аналогично тому, как Мурат делал в нескольких нидерландских дата-центрах, не было присутствия оператора NTT, а только их конкурент GTT был в наличии, именно потому ставить своё маршрутизирующее оборудование также не имело смысла, так как организовать терабитную защиту с другими поставщиками будет проблематично. Но какая вероятность того, что в Нью-Йорке нам понадобится фильтровать атаки до терабита? Тем более, на начальной стадии. Наверное не стоит сразу делать «идеально», а стоит подумать о варианте «достаточно хорошо». При такой атаке проще занулроутить IP, да и дешевле. Ведь по сути защиту в Нидерландах используем мы для важных инфраструктурных решений (например для банков, долгое время я предлагал Моно прийти к нам и попробовать, но они видимо не верят, что такое бывает или просто тупые и потому переплачивают на порядок за облачную инфраструктуру в AWS, оставив мои предложения без ответа, а может наоборот берегут нас от головной боли, так как их инфраструктуру требуется защищать особым образом от атак, но мы в принципе могли помочь). Для обычных абонентов выделенных серверов такая защита слишком дорога, ведь за минуту фильтрации нужно оплачивать 30-40 евро, причем не важно какой интенсивности будет атака — 1 Гбит / с или терабит. К слову, многие из обычных клиентов неправильно учитывают стоимость фильтрации и оценивают её как 30*60*24 = 43 200 евро в сутки, что не есть истиной, так как организовать такую атаку — не дёшево, а уже спустя пол часа-час атакующие перестают атаковать, осознав то, что эффекта не будет. Именно потому было решено, что локация Нью-Йорк пока будет без такой защиты, а в будущем мы что-то обязательно придумаем, если проблема будет актуальна. И в принципе у нас есть лучший план. Нежели организовывать защиту в одной точке присутствия, мы построим 8-10 точек присутствия в разных регионах США и обьеденим их все в 40-100 Гбит / с или даже более быструю сеть, что позволит балансировать нагрузку между дата-центрами и всегда оставаться онлайн вне зависимости от каких-либо атак. Подобный план уже разворачивается и в Нидерландах, но по иной причине. Там «зелёные» не позволяют подводить дополнительные мощности к существующим ЦОДам, так как по их мнению дата-центры должны быть в пригородах, но туда не очень удобно добираться сотрудникам, в итоге, скорее всего, развитие нидерландских дата-центров будет заморожено и нам придётся организовывать точки присутствия в нескольких дата-центрах, чтоб было где размещать и подключить к питанию новые серверы, а между ЦОДами будет построена быстрая сеть, которая в конечном итоге свяжет их все в один большой «виртуальный» ЦОД, географически распределённый и резервированный, при этом диапазон выделяемого адресного пространства можно будет использовать во всех дата-центрах одновременно, вне зависимости от стойки и ЦОДа, в котором находится сервер. Единственное, что с ростом цен на электричество, рынок дата-центров в Нидерландах рискует утратить своё первенство в Европе. Ведь даже мы уже не очень способны продавать серверы по прежним ценам, ведь если только за питание Dell R730xd нам необходимо заплатить порядка 80-120 евро в месяц — становится довольно сложно предлагать сервер по цене от 199 USD при оплате на 2 года. Но мы твердо держимся и надеемся, что не будем повышать цены в этом году, как и обещали нашим клиентам, а переключимся на локацию «Нью-Йорк» полноценно, где наши услуги станут и лучше и дешевле, а связность с Европой по прежнему будет достаточной для многих проектов.
Так как мы планировали 2 июля лететь в Нью-Йорк совершенно с другими целями, а 31-го июля у нас уже был забронирован перелёт из Гонолулу в Сидней, времени что-то решать было мало. Была средина июня, но мне не хотелось откладывать реализацию построения площадки в США ещё на пол года-год. Да, у нас очень крутой сервис. Мы долго к этому шли, и это отличает нас от других хостингов — мы готовы идти долго. Но после безумного 2020 и 2022 года я осознал, что что-то откладывать на потом может быть слишком поздно, ведь когда все вокруг сходят с ума — надо делать здесь и сейчас, тем более если знаешь что. И если Мурат не готов начать рост совместно, то хотя бы пусть сделает решение для наших клиентов, а там уже будет видно — возможно он что-то придумает и начнет размещать и своих абонентов, или же построит очередную точку присутствия в другом ЦОД, где ему всё подходит и у нас будет в США две локации. Кроме Equinix ничего приличного не находилось, а мне казалось, что они ещё большие бюрократы и не стоит с ними иметь дел всё же. Забегая наперёд — я оказался прав, ведь в Вашингтоне, когда мы приехали, их человек нас так и не встретил по причине того, что нидерландский офис не передал корректно запрос американскому, гулять самостоятельно по ЦОДу было не интересно, и мы отменили наш визит и поехали наслаждаться парком Great Falls на реке Потомак, что было гораздо более приятно по итогам, так как дата-центров мы видели предостаточно. Поэтому не зря я убедил Мурата в том, что, а может всё же попробуем Нью-Йорк? Тем более мы там планировали быть какое-то время, а заодно, возможно, могли бы начать строить решение?
Подействовало. Мурат одобрил подписание контракта с LeaseWeb US, но успеют ли они подготовить стойки ко второму числу, чтоб мы прилетев заодно могли провести работы — вопрос, обычно такие заказы нужно формировать хотя бы за месяц-два, чтоб было всё в срок и без стресса. Что ж, в крайнем случае придётся помучится с удалёнными руками, хотя очень часто Мурат их называет «hands without brain». Да, это большая проблема, в Нью-Йорке не существует ни одной компании которая может предоставить вменяемый сервис удалённых рук, хотя бы на 10% сравнимый с тем, что может сделать Мурат с Эрсином в Амстердаме, и это Америка. Они вдвоем по сути за несколько недель сменили дата-центр, переместив несколько тысяч серверов и ни один клиент не пострадал. А тут кажется, что порой, люди не могут сделать правильно элементарное.
Но проблема была не только в этом. У нас не было ничего. Ни серверов, ни свитчей, а ведь по нашему плану было бы здорово хотя бы подключить основное — корневые свитчи нашей сети, стоечные Интернет-свитчи для серверов, kvm-свитчи, питание, ну и хотя бы несколько серверов. Реально ли всё так быстро заказать и получить в США? Вроде бы. Я нашел хорошего партнёра по поставке оборудования (refurbished-серверов из NASA и других организаций, когда серверы практически новые, просто не стоят космос денег, как у производителя, и за бюджет 7-10 тыс долларов можно собрать неплохой сервер корпоративного класса, который мы и предлагаем в аренду нашим корпоративным клиентам), а Мурат написал своему партнёру, у которого он уже купил на сумму свыше 300 тыс евро свитчей для дата-центров в Нидерландах, чтоб поставил то, что нужно нам, для США.
Оставалось приобрести fortigate для организации защищенной iDrac-сети, по примеру нидерландской, APC PDU для стоек, чтоб организовать питание, и мелочи в виде кабелей, оптоволокна, оптики и т.п. PDU удалось найти на eBay, который успешно меня забанил сразу же после первой оплаты, оказалось, что они банят всех, кто оплачивает картой украинского банка, или вообще бывших стран СНГ, но при этом заказ доставляют. Возможно были прецеденты — не знаю. Но к моему удивлению заказ доставили. Зачем тогда блокировать? ;) Я даже написал об этом случае в LinkedIn их менеджменту, обладая корпоративным аккаунтом, но наверное там просто невменяемые люди, которые не сочли должным ответить, потому дальнейшие покупки делал уже у поставщиков либо других торговых площадках, где проблем никаких не было. А смысл оплачивать картой был, так как в Моно у меня кэшбек до 20 000 миль в месяц на покупки, это порядка 750 долларов по курсу в тот момент, что в принципе не плохо. Мили возможно было использовать для компенсации перелёта любой авиакомпании по схеме 20 миль (эквивалент 20 грн, уже понизили до 15) за каждый эквивалент 1000 грн трат, а так как покупок планировалось много, то неплохое подспорье вернуть часть расходов, потратив средства с личной карты — было. Кто-то скажет «копейки» и зачем заморачиваться, а за 3 года сотрудничества с банком я вернул свыше 300 тыс миль (более 10 тыс долларов по курсу на тот момент). Это также, как многие по-старинке бучат через Booking, не зная о том, что hotels.com (в этом году только европейский их филиал, если выбрать Rest of Europe и валюту евро, американский стал давать только 2% сразу, вместо 8-9%), предлагает цены лучше, чем в Booking, при этом еще и каждую 11 ночь предоставляет бесплатно, что сэкономило мне за последние 6 лет проживания, а я постоянно путешествую — порядка 30 тыс долларов и суммарно я использовал 62 «бесплатные» ночи, стоимостью от 60 до 500+ долларов за ночь.
В прочем, оплачивая покупки в США, у меня случился культурный шок, в плане оплат картами. Если в Европе Вы хотите оплатить что-то карточкой — с Вас удерживают дополнительную плату за процессинг карт, как правило 2-4%, и потому всегда нужно платить по старинке, на банк счёт по IBAN, благо есть SEPA Instant и платежи доходят моментально и практически без комиссии. То банковские платежи в США — такое впечатление, что застряли в эпохе «динозавров», так как тот же ACH/Direct Debit доходят только на следующий день, и порой стоят до 30 долларов за платеж в особенно жадных банках, Bank of America не в счёт — там цена всего лишь 1 доллар, но они «тугие» и не могут организовать правильное примечание к платежу. Или же ещё лучше — Вам оформляют выплату только чеком или предлагают выписать чек, а потом сверяют долго и нудно подписи и эти чеки нужно переоформлять, когда какая-то подпись не была добавлена кем-то… Именно потому большинство пользуется картами.
Но благо, что нет VAT, зато есть налог штата. Так, когда вы заказываете что-то в Нью-Йорк, а точнее в Нью-Джерси, мне обязаны добавить NJ SALES TAX 6.63% в счёт, в прочем мне поставщик, ввиду больших объемов сделал 5% скидку на их цену и этот налог не стал очень критичен. И благо, что его не нужно возвращать, как VAT в Европе и ждать возвратов по пол года, что при крупных закупках становится жутким кошмаром. Помнится Мурат поменял маршрутизаторы и закупил ещё по мелочам какое-то оборудование, и у него так зависло свыше 200 тыс евро в виде VAT, которые где-то надо найти и вывести из оборота Вашего бизнеса, ад! В этом плане в США всё проще, а железо стоит, на удивление, немного дешевле. Есть конечно схема, когда адрес доставки находится в не налоговом штате и тогда налог на продажу 0%, но тогда нужно организовать там точку присутствия и повторно уже оттуда отправлять в Нью-Йорк, что не всегда имеет смысл, так как пересылка может стоить не на много дешевле налога, и быть может есть смысл так заморачиваться только если Вы закупаете серверы сразу большой партией, когда пересылка будет намного дешевле 3% от стоимости сервера, ведь когда их нужно две — это уже 6%, что сравнимо с размером налога.
Полёт в Нью-Йорк
Изначально планировалось, что Мурат будет руководить процессом установки всего по видеосвязи, так как его график очень плотный и он вообще не любит летать настолько, что каждый раз ездит из Амстердама в Турцию без остановок на авто и вообще забыл когда последний раз летал, а паромы в США вместе с водителем и авто — увы не ходят, точнее ходят, но через Исландию и слишком сложная логистика. По его мнению, мы хоть и не имели инженерного опыта в ЦОД, а занимались только продажами, но под его руководством справились бы лучше, чем «hands without brain» так как он бы имел возможность как минимум вменяемо коммуницировать и говорить, что делать.Но уже 30-го июня, всего за два дня до запланированного отлёта, он сказал, что готов полететь с нами, так как никогда не был в США и сделал бы работу лично. Более того, было бы здорово, чтоб он также вылетал из Франкфурта, ведь в Амстердаме из-за забастовки сотрудников аэропорта и недостатка работников из-за массовых увольнений в COVID-период — очереди по 8 часов на безопастность. Потому ему проще, чтоб Эрсин довёз его за 4 часа до Франкфурта, заодно заехав в какой-то немецкий ЦОД для выполнения работ, нежели ожидать в очередях и лететь одному. Благо у него нидерландский паспорт и было достаточно оформить только ESTA для въезда в США, которая вышла уже на следующий день — 1-го числа и можно было покупать билет.
C билетом повезло, всё ещё был доступен бизнес у авиакомпании Condor, да ещё и у окна, как хотел Мурат, по более-менее вменяемой цене — 2500 евро в 2 стороны, что совсем неплохо для резервации в последний момент времени, так как в 1 сторону при бронировании авиабилетов цена была в районе 1000 евро. Condor действительно неплохая авиакомпания с вменяемой ценой на бизнес-класс, доступный для прямых перелётов из Франкфурта, за что им тут бесплатная реклама ;)
2-го числа мы прибыли за 4 часа до вылета в аэропорт, но даже во Франкфурте творился ад, как и во многих других аэропортах Европы в то время. Очередь на безопастность не помещалась в зале и продолжалась почти до улицы. Более того требовалась специальная безопастность для полёта в США, но хорошо, что где-то посредине пути была дверь, разделяющая очереди, вход в которую был огражден лентой, и когда мы поняли, что во второй очереди практически никого не было — мы просто перешли, а всех почему-то продолжали отправлять в нашу. В итоге мы почти упустили наш рейс и прошли всё буквально за несколько минут до закрытия посадки, если бы не этот «трюк», перелёт был бы наверное потерян. В том числе из-за сотрудников аэропорта, которые в этот день почему-то особо тупили, видимо высказывая так протест с их «низкими зарплатами», а следующий возможный полёт был только на послезавтра, так как из-за Дня независимости, всё на завтра было распродано.
Прибыв в Нью-Йорк мы еще раз связались с продавцом свитчей по почте и телефону, так как PDU, часть серверов — пришла, а вот корневые QFX, а также Juniper-свитчей для подключения серверов к сети Интернет — не было. Их всё-никак не мог отправить знакомый поставщик Мурата из Калифорнии, с которым тот ранее сотрудничал. Но второе число — выходной, ведь это суббота, а послезавтра День независимости, потому не удивительно, что он был просто не на связи, хотя Мурат, заказав всё еще 27-го числа говорил ему о том, как важно доставить всё как можно быстрее. Потому мы провели время, включая 4 июля, гуляя по 30 км в день пешком по городу, причем не только в туристических районах, но и порой в местах, где просто у входа в метро несколько человек решили прилечь отдохнуть, наверняка озаботившись предварительно наличием достаточной ширины тропы для тех, кому нужно всё-таки воспользоваться станцией по её прямому назначению.
Посещение Вашингтона: Equinix, LeaseWeb и Алексей, всегда готовый помочь установить серверы ;)
5-го числа мы решили, что пока ожидаем свитчи, не поехать ли нам в Вашингтон в офис LeaseWeb US, поприветствовать ребят с которыми общались и подписывали контракт лично, посмотреть, как они расширились в дата-центре COPT, который недавно выкупил всё тот же Iron Mountain, а также заодно заехать в дата-центр Equinix. Мурат договорился с нидерландским офисом Equinix о туре, так как хотел начать сотрудничество в США, ведь для его клиентов важен был не только хороший дата-центр, но и NTT, а этот оператор там присутствовал.
План был такой — посетить Equinix, затем LeaseWeb, а потом, если останется время — парк Great Falls под Вашингтоном и сам Вашингтон. С Equinix получилось быстрее, чем планировалось. Придя на рецепцию в дата-центр мы получили пропуски для прохода по всем нужным нам залам дата-центра, но вот человек из Equinix, который должен был с нами пройтись и рассказать обо всех особенностях дата-центра — не пришел. Оказалось нидерландский офис плохо коммуницировал с американским и они выписали нам пропуск, но вот то, что мы не просто хотим ходить сами и смотреть — не осознали, а после 4-го июля практически все были на дополнительном выходном и ждать кого-то было довольно долго и проблематично. Мы решили, что значит Вселенная ещё раз говорит, что не нужен нам Equinix, попрощались с рецепцией и уехали в LeaseWeb.
Там мы повстречали ключевых сотрудников американского офиса. Некоторым из них походу из-за нас таки пришлось выйти на работу. Так как сразу Andrew и Peter присутствовали в офисе. Дженнифер, которую я знал вот уже почти 10 лет, была где-то на пляже в Северной Каролине в отпуске, потому увы не смогла быть, также как и Ричард, который тоже был в отпуске, что было немного обидно, так как последний раз мы виделись в 2017 году, когда всем отделом продаж решили посетить их офис, по пути на конференцию в Лос-Анджелесе, о которой можно узнать подробнее из статьи «Исповедь босса: как работать путешествуя, уволить половину отдела в LA».
Тем не менее приём прошел на волшебном уровне. Видно было, что ребята старались и организовали всё наилучшим образом, включая тур по Iron Mountain. Интересно, что буквально за несколько дней до нашего приезда, профиль Мурата в LinkedIn стал неимоверно популярен и туда наверное зашли несколько десятков человек, как с американского, так и нидерландского LeaseWeb. Всё же Мурат стоял у истоков LeaseWeb и приезд его в американский офис был необычным событием, так как даже там многие были наслышаны о нём.
Мы поблагодарили коллег за радушный приём, обсудили с ними сотрудничество по Нью-Йорку и отправились на культурную программу в Great Falls и Вашингтон, а затем, на обратном пути, вспомнив, что по пути в Нью-Йорк живёт друг (Лёха) моего друга (Кирилла) из Латвии, благодаря которому мы латвийская компания с января 2019 года, решили его посетить, чтоб сказать «привет». Ведь последний раз я видел Лёху на свадьбе у Кирилла на Филиппинах, где он, когда мы все, арендовав дом на острове и оказавшись практически без Интернета, ввиду слабого сигнала, героически полез на двадцатиметровую вышку безо всякой страховки, чтоб поднять антенну для доступа в Интернет повыше и переориентировать в зону лучшего сигнала, обеспечил всех доступом в сеть.
Выпив чаю и немного пообщавшись, оказалось, что Алексей вот уже несколько лет живёт в США и выполняет различные инженерные работы в дата-центрах, и вот купил дом в mortgage на 20 лет и по-тихоньку делает ремонт. У меня, как у человека, который привык использовать все доступные возможности, сразу мелькнула идея, а не начать ли сотрудничать ли нам?
Ведь он может приехать в Нью-Йорк и поработать немного для нас, всего то 3 часа езды. Ведь нам лучше заплатить тысячу-другую долларов за день работы человеку, которого мы знаем, чем непонятному инженеру из remote hands, так как часть оборудования в любом случае должна будет приехать после того, как мы уже улетим на Гавайи, а лететь назад на день в Нью-Йорк — дорого и глупо.
На этом и договорились, в какой-то удобный день Алексей поедет, чтоб провести установку сразу большого количества серверов.
Параллельно с культурной и частично рабочей программой мы переписывались с Брайаном из Калифорнии, который всё никак не мог доставить заказ, а ведь мы ожидали доставку двух QFX для построения ядра сети, а также джуниперов. Тем не менее Brian так и не смог отправить их, и не выходил на связь и Мурат, не долго думая, вспомнил, что у него есть в Нью-Йорке знакомый соотечественник, набрал ему узнать, нет ли у него случаем на сегодня-завтра таких свитчей, как нам нужны. На удивление свитчи нашлись. Порой мне кажется, что турки правят этим миром и у них всё и везде есть. Мою карту неизвестный мне турок почарджил онлайн и обещал доставить в самом скором времени, максимум послезавтра (7-го), при том, что высылать будет он не из Нью-Йорка. Заказ у Брайана из Калифорнии Мурат отменил, попросив доставить только джуниперы, а за QFX провести возврат.
6-го числа Брайн наконец-то подтвердил, что три свитча EX-3400 48p в пути и будут в ЦОДе 7-го утром. Мы оформили себе доступ в ЦОД на утро 7-го числа, чтоб приехать найти то, что уже прислали и устанавливать в стойки, а затем, заодно установить свитчи, как только они прибудут, а 6-е число было решено сделать ещё одним культурным днём, так как всю работу в ЦОД можно было сделать в течении одного дня и не за чем потому туда ездить несколько раз.
Первый визит в дата-центр
По идее наши партнеры из LeaseWeb должны были получить все доставки у сотрудников Iron Mountain и перенести в свой cage, где мы бы их нашли. Но на деле проблемы начались уже с входом дата-центр, несмотря на заявку в портале клиента, при формировании пропуска на вход там что-то протупили и наша авторизация для входа немного затянулась.Пока печатались бейджи, доставщик привез какой-то сервер и на коробке мы обнаружили, что получатель — мы, потому сервер у доставщика отобрали, чтоб самим отвезти к стойке и не обременять сотрудников дата-центра получением. Всё равно в США подписи никто почти никогда не ставит и доставки бросают и оставляют в основном где угодно.
По прибытию в cage мы обнаружили, что наших коробок с оборудованием нет, а поддержка партнёров не отвечала. Мы пошли сами узнавать у сотрудников Iron Mountain, где наше всё и нашли кучу коробок в приёмочной ЦОДа, забрали их и перевезли в cage.
Мурат мастерски установил PDU в стойки менее, чем за 20 минут, прокомментировав, что у удалённых рук, то есть «hands without brain», это заняло бы час. Также мы начали установку серверов, которые уже прибыли на место.
QFX свитчи и даже Juniper успели приехать. QFX установили и подключили к питанию, но оказалось, что LeaseWeb перепутал распределение оптоволокна, не осознав проекта, что 2х10G должны заходить в одну стойку, а не две, где будут установлены корневые свитчи, а уже оттуда мы будем разводить оптику по стойкам, как нам нужно. Благо стойки располагались рядом и мы без особого труда перебросили всё в одну, потому всё получилось. Мурат подключил свитчи к ноутбуку, который он привёз из Нидерландов и загрузил на них уже заранее заготовленную конфигурацию, а также установил оптику для подключение TOR-свитчей Juniper, которые и будут доставлять Интернет для серверов.
Затем установили Juniper в стойки, пока у нас было только 3 свитча, но каково было наше удивление, когда мы, подключив их на два блока питания, не смогли их включить. Все три свитча не включились, то есть были полностью мертвы. Мы сообщили Брайану о проблеме, на что он сказал, что «очень странно», но они ничем не могут помочь, потому они проведут возврат и за них, в любом случае у них нет больше и даже если бы было, то доставка из Калифорнии могла бы занять несколько дней. Тем не менее основная работа как раз заключалась в том, чтоб самим построить сеть и она была выполнена. А стоечные свитчи можно было уже заказать и подключить позднее и их бы мог установить уже Алексей, а затем подключить ноутбук Мурата, через который бы Мурат загрузил конфигурационные файлы и для них.
Мы сразу же заказали свитчи из Тайваня, так как в США нужных нам свитчей в наличии не было. Что интересно, если объявленная стоимость товаров ниже 800 USD, то оплачивать никакие дополнительные налоги при ввозе в США не нужно, что позволяло купить свитч в Тайване дешевле, чем он стоил в США. Разумеется свитчи refurbished, но как правило это не является проблемой в плане надёжности. Если Juniper работает, то он работает. Просто всегда достаточно иметь уже сконфигурированный свитч для подмены и мониторить сетевое оборудование.
К слову об этом, только спустя месяц мы получили QFX для организации LAN на скорости 10 Гбит / с для клиентов. Увы, без нужных креплений, потому пришлось найти выход — взять 1-юнитовый сервер и временно переместить в шкаф для 2-юнитовых серверов, и сказать инженеру, удалённым рукам, чтоб он положил свитч на него. Подобный лайфхак мы применили и с fortigate, который увы пришел без нужных креплений, а найти и купить их сейчас довольно сложно. Инженер выполнил нашу просьбу, но был один нюанс. Уже в сентябре датчики стали сообщать о перегреве, а недавно — полностью вышли из строя и мы в результате отправляли оперативно из Нидерландов новый свитч, так как было подозрение, что этот свитч умрёт. Как оказалось причина была в том, что инженер перепутал направление и положил оптический свитч стороной забора воздуха в направлении горячего коридора, так как ему было не очевидно, что он должен располагаться наоборот. Установить это получилось после того, как нам прислали снимок.
Тут видно, что свитч установлен неправильно и то, что свитч проработал столько и не вышел из строя — чудо. Вывод — всегда просите удалённые руки фотографировать то, что они делают, так как порой это «hands without brain» в прямом смысле этого слова. Разумеется, что свитч после такого, явно не факт, что включится, а то, что все датчики пришли в негодность говорит только о том, что его теперь лучше просто выбросить. Обидно, но это опыт, за который мы заплатили, начав работать с удалёнными руками и установкой своего оборудования. Ошибки случаются.
8-го июля мы решили заехать в ЦОД для установки новоприбывших серверов, ведь они прибывали почти каждый день, перед тем, как завезти Мурата в аэропорт и отправить праздновать домой, чтоб еще раз убедиться, что мы с ним сделали максимум из возможного. И по аналогичной традиции 11-го числа перед отлётом мы приехали сами, чтоб установить еще всё, что приехало, включая кучу SSD в брэкеты — так как это занимает много времени и является тупой механической работой.
Стоит отметить, что если пробок нет, то из Манхэттена до ЦОДа в Эдиссоне (Нью-Джерси) можно доехать всего лишь за 20 минут, но вот аренда авто на Манхэттене может занять 2-3 часа в очереди, даже если у Вас есть резервация и авто забронировано, потому вариант с такси, более дорогой, наверное может быть более предпочтительным при таком планировании, если время у Вас ограничено. Но на удивление, нам и тут удалось всё успеть.
Оставалось дождаться исправных свитчей из Тайваня, которые прибыли только 1-го августа и остальных серверов и SSD, хорошо, что на подхвате у нас был Алексей, так как в августе, мы были уже в Австралии и лететь в Нью-Йорк оттуда нужно было бы с пересадками сутки.
Помощь Алексея
8-го августа Алексей приехал в ЦОД, так как наконец-то всё оборудование оставшееся прибыло на место и у него был доступный «выходной», который можно было посвятить работе у нас. Казалось, что там работы не на очень много, а оказалось, что труда аж на 11 часов, а с перерывами — на все 12. При том, что ещё 6 часов заняла дорога в обе стороны, за которую мы само собой оплатили отдельно по тарифу его компании.Пример того, как это считается, если кому-то вдруг будет интересно:
Дорога 182 мили ×2 = 364 мили.
Ставка IRS $0.625/милю.
Всего $227.
Толлы по ~$17 в каждую сторону = $34.
Ну и ставка за час инженера в США — от 60 USD. Казалось бы много? Не очень. Не легка судьба инженеров, расходы на проживание в США также довольно велики. Чтоб иметь возможность нормально жить, купить дом в рассрочку — нужно работать, много работать.
Алексею пришлось пробыть в ЦОД с 11 утра до 11 вечера, за что ему огромное спасибо, ведь обычный инженер бы давно уехал спать или сообщил о необходимости оплаты сверхурочно. Ведь это реально не легко, работать, да еще и в холоде, жаре и шуме одновременно. Еще существовала особенность данного дата-центра, а именно, чтоб выйти из клетки в уборную — нужно позвонить сотруднику Iron Mountain, так как дверь на вход почему-то работает без него по пропуску, а на выход — только сотрудник Iron Mountain может открыть.
Странная немного безопастность. При этом находясь в зале ЦОДа, где располагаются десятки клиентских модулей с тысячами серверов, все рубильники питания доступны, никто не мешает обесточить весь зал и устроить блэкаут. В чём смысл такой безопастности, если внутрь модулей не имея авторизации не зайдешь, а обесточить можно? Ну да ладно, наверное к счастью в ЦОДы не попадали пока психи.
Не обошлось и без происшествий, один из серверов, с двумя блоками питания по 1100 Вт, почему-то стал испускать белый дым, бахнул конденсатор в одном из блоков питания после того, как сервер подключили в сеть. Также довольно много времени заняло подключение TOR-свитчей, установка правильной оптики в них, подключение по очереди ноутбука к портам управления, чтоб Мурат имел возможность настроить их удалённо. Ну и отдельная тема — установка SSD в брекеты.
Теперь я понимаю, как важно у поставщика заказывать сервер сразу с нужным количеством SSD, чтоб инженер удалённых рук не крутил мелкие винтики, закрепляя каждый из накопителей в каретке, часами. Попробовав этот процесс лично могу сказать, что после 100-го накопителя понимаешь, как же это адски тяжело и долго. Вот потому здорово было, когда мы арендовали всё готовое, и вообще не заморачивались с тем, как это всё устанавливать, обслуживать и менять, но увы — правильные решения требуют новой схемы работы, когда мы не зависим от бюрократии ЦОДов, предоставляющих оборудование в аренду.
Индексация
К слову, мало кто знает, но есть indexation fee минимум в 4%, который призван бороться с инфляцией и позволяет дата-центрам развиваться. Таким образом ежегодно все серверы, которые у Вас в аренде, и все услуги дата-центра — становятся для Вас на 4% дороже. И если в случае аренды стоек это еще не так критично отражается на цене конкретного сервера, то когда Вы предоставляете в аренду серверы, в особенности корпоративного класса, стоимостью 200-400 долларов в месяц, эти 4% могут означать то, что Вам нужно будет оплачивать за аренду каждого сервера ЦОДу на 10-20 долларов в месяц за аренду больше с течением каждого года, что эквивалентно +400-800 долларов за стойку в месяц уже через год.Не слабо так, если Вы продаёте с маржей менее 10%? Это не позволяет Вам поставить минимальную цену на услуги Вашим клиентам, так как нужно иметь запас по марже, либо же для клиентов также нужно повышать цены на 4% ежегодно, а в условиях конкуренции, Вы много знаете таких провайдеров? Вот и дилемма у многих — ставить маржу более 10%, которая покроет indexation fee, или же через какое-то время начать пересматривать цены, отвлекая себя и клиентов от работы и заставляя задуматься, а не заказать ли сервер повторно и перенести на него данные, в особенности, если он предоставляется с той же стоимостью, что и год назад или даже быть может сменить провайдера.
Кто-то выбирает в этих случаях продолжить аренду, так как перенос — куда более болезненный, но когда у Вас 1000+ серверов — это огромный объем работы или потерь. Именно потому мы решили быть с клиентами честными и не кошмарить их ежегодными удорожаниями и вот уже 8 лет не поднимали цены на наши услуги ни на цент, но это всё только благодаря тому, что мы сами себя кошмарим необходимостью закупать оборудование и его обслуживать в последние годы, а когда у нас было всё в аренде, нам приходилось подписывать один долгосрочный контракт за другим, чтоб ЦОД мог отменить повышение цены и заработать на новом контракте дополнительные деньги. Тем не менее на будущее нам однозначно стоит придумать честную систему индексации, которая будет доступна клиентам или же которой можно будет избежать, выполнив определённые условия.
В общем, Алексей удачно выполнил большой объем работы и даже удачно добрался до дома, хотя я шутя предупредил, что не буду спешить платить его счёт, так как он принял решение ехать уставшим, вместо того, чтоб остаться ночевать в Эдисоне, и потому есть смысл провести оплату после того, как он удачно доберётся домой, а то мало ли что… Разумеется, что это была лишь шутка, но в каждой шутке есть доля шутки. Сейчас Алексей чётко осознаёт, что так делать опасно, и в следующий раз при столь большом объеме работ обязательно останется переночевать перед дорогой назад.
Первые клиенты
Уже со средины августа прошлого года на нашей площадке в Нью-Йорке мы получили первых клиентов. Много кто из текущей локации в Вашингтоне, которая у нас была в аренде — решил переехать на новое решение в Нью-Йорке, где была доступна в том числе 10 Гбит / с локальная сеть и полная гибкость в плане исполнения заказов, как в Нидерландах. Много кто ожидал открытия этого решения более 3 лет. Именно потому у нас даже не было времени анонсировать то, что мы теперь предлагаем услуги и в Нью-Йорке, так как поток заказов превышал наши возможности всех разместить.В Нью-Йорке, с учётом того, что цены на электричество во всём мире неуклонно растут, мы решили полностью отказаться от медленных жестких дисков и предоставлять все серверы исключительно с SSD, сделав их более доступными по стоимости, фактически меньше стоимости 4TB HDD в Нидерландах, но дороже, чем единовременная плата 390 USD за установку 12TB HDD накопителя.
Тем не менее абоненты, которым нужны столь большие объемы хранения данных, пожалуй составляют менее 1% от общего количества клиентов и для таких клиентов, мы будем рады предоставить в том числе производительные NVMe u2 PCIe объемом 15TB и 30TB для хранилищ с высокой нагрузкой, что позволит организовать высокопроизводительные хранилища практически под любые задачи с вменяемой стоимостью или же обсудить индивидуальную доставку сервера и дисковой полки JBOD с HDD, если вдруг частота запросов достаточно низкая и их можно обслужить при помощи недорогих HDD.
Процессоры и серверы в Нью-Йорке мы также предоставляем лучше, чем в Нидерландах, и при этом стоимость ежемесячная такая же или ниже. Мы выбрали 4 основные платформы, для того, чтоб удовлетворить потребности 99% клиентов:
Dell R620 — 2x Intel Xeon E5-2650v2 2.6GHz 8-Cores — от $99 / месяц;
Dell R630 — 2x Intel Xeon E5-2683v4 2.1GHz 16-Cores — от $149 / месяц;
Dell R730xd — 2x Intel Xeon E5-2696v4 2.2GHz 22-Cores — от $249 / месяц;
Dell R740xd — 2x Xeon Gold 6154 3.0GHz 18-Core — от $299 / месяц.
Апгрейды при аренде серверов на срок от года — в 2 раза дешевле, и составляют:
— 960GB SSD — от $15 / месяц;
— 3.84TB SSD — от $30 / месяц.
В платформы Dell R620/R630 — можно установить до 8 SSD накопителей, а в Dell R730xd/R740xd — 24 или 26 в зависимости от того, есть ли flex bays.Также в Нью-Йорке мы рады предложить сверхбыстрые PCIe NVMe U2 для платформ Dell R730xd/R740xd в количестве от 4 и до 16 соответственно по следующим ценам:
— 15.36TB NVMe SSD U2 PCIe — от $120 / месяц;
— 30.72TB NVMe SSD U2 PCIe — от $240 / месяц.
Таким образом общий объем SSD-хранилища на сервере легко может превысить 0.5TB и это в одном сервере, безо всяких жестких дисков, за вменяемую стоимость!
Ещё все Ваши серверы в Нью-Йорке можно объединить в 10, 20 или 40 Гбит / с LAN cеть при помощи оптоволокна по ценам:
— от $25 / месяц за 10 Гбит / с порт в QFX LAN свитче с оптикой со стороны свитча;
— от $22,5 / месяц за 2х10G LAN card со стороны сервера, оптики со стороны сервера, а также кросс-коннект сервера с QFX LAN-свитчем при помощи оптоволокна вне зависимости от того, в какой стойке располагается сервер.
Возможность подключить дисковую полку к любому из серверов:
— до 12х16TB HDD — от $99 / месяц + от $25 / месяц за каждый HDD установленный в полке;
— до 24х16TB HDD — от $198 / месяц + от $25 / месяц за каждый HDD установленный в полке.
Нет средств оплатить сразу на год или два, но хочется максимальную скидку? Не беда. Вы можете получить рассрочку с условием оплаты не менее 10% от первоначального счёта ежемесячно, при этом ежемесячно будет начисляться 1-го числа 3% late fee на остаток к оплате, что всегда выгодно, так как все апгрейды Вы получаете по ценам в 2 раза дешевле сразу.
Теперь мы открыты для всех
Летом прошлого года мы «в тайне от всех, без особых анонсов» открыли новую локацию в Нью-Йорке, и этому было несколько причин.В том числе та, что мы должны были быть полностью уверены в качестве. Начав с нескольких серверов в стойках и небольшого «бардака» (увы в дата-центре стоимость шкафчиков хранения настолько велика, что мы предпочли хранить резервы в стойках), мы начали активный рост.
Со временем привели всё в порядок, хотя были недочёты — убрали картонные коробки из свободных стоек (что к слову, считается неправильным с точки зрения противопожарной безопастности). Теперь вместо них красивые металические ящики хранения, объемом по 4 юнита, которые мы монтируем в те стойки, где активно потребляется питание и куда дополнительные серверы просто ставить нельзя из-за потенциального срабатывания предохранителя на отключение при превышения допустимого потребления мощности.
Логика размещения серверов сохранена и полностью идентична нидерландской — есть стойки для 1U и 2U серверов, чтоб эффективно утилизировать 24 портовые или 48 портовые свитчи соотвественно, что и обеспечивает очень хорошие цены для Вас в частности. Стандартизация наше всё, при этом мы максимально гибкие и готовы удовлетворить все Ваши нужды.
Уже в декабре мы нарастим количество стоек, что позволит нам «переселить» клиентов из Нидерландов, которым подходит и Нью-Йорк для их работы, ведь дата-центр находится всего лишь в 20 минутах езды от Манхэттена, при этом мы предлагаем более новые процессоры и более низкие цены на апгрейды.
Пинг? Пинг всего лишь на 70 мс выше, чем для нидерландской локации, что вообще не критично для большинства сайтов и приложений, так как к примеру веб-страница, учитывая современную переполненность графикой, может генерироваться до секунды и более, то есть задержка будет визуально больше процентов на 10, а может и меньше, если Вы ориентированы на пользователей Северной и Южной Америки, Индии, Китая или Австралии или допустим Ваши клиенты используют Starlink для доступа в Интернет, так как трафик в любом случае роутится через США.
Ну и, уже сейчас, Вам доступны VPS (KVM) с выделенными накопителями:
VPS (KVM) — E5-2696v4 (6 Core)
10 GB DDR4
960 GB SSD
1 Gbps 10 TB — от $19 / месяц
VPS (KVM) — E5-2696v4 (6 Core)
10 GB DDR4
3.75 TB SSD
1 Gbps 10 TB — от $29 / месяц
То есть в Нью-Йорке Вы можете заказать VPS (KVM) 960 GB SSD в ту же цену, что в Нидерландах 480 GB. И хотя хвалить самих себя вроде как не к лицу, но сейчас, спустя более, чем год плодотворной работы, я вижу, что всё получилось и будет ещё лучше. Крайне рекомендую попробовать!
0 комментариев
Вставка изображения
Оставить комментарий