За последние несколько лет Backblaze расширила свое региональное присутствие, добавив мощности в регионе Запад США, увеличив свое присутствие в регионе Центральная часть ЕС, открыв новое присутствие в регионе Восток США и совсем недавно выйдя в Канаду с CA-East с первоначальной емкостью хранения чуть менее 60 ПБ.
Мы подошли к нашему последнему расширению в Канаду немного по-другому, и сегодня я хочу рассказать о некоторых новых процессах и мерах повышения эффективности, которые мы внедрили для этого проекта, а также о том, как мы позиционируем себя для обслуживания канадского рынка на основе наших сетевых связей.
Фотография, на которой изображена скульптура с кодом аэропорта Торонто — YYZ.
Команда по развертыванию Backblaze прибывает в Торонто.
Масштабирование инфраструктуры и вызов подкрепления
Развертывание региона данных CA-East было самым быстрым на сегодняшний день, сократив жизненный цикл развертывания («чернила подписаны» для работающей производственной системы) на 50%. В этом цикле развертывания мы работали со сторонним интегратором, который помог нам оптимизировать процесс, а также выровняли наши процедуры автоматизации для установки операционных систем и нашего стека программного обеспечения для хранения данных.
Традиционно мы доставляли все наше оборудование, такое как сетевое оборудование, серверы, жесткие диски, кабели и инструменты, на место назначения, чтобы наша команда по развертыванию провела инвентаризацию, распаковала и физически установила. Это весело. Это контролируемый хаос (если вам нравятся такие вещи) — но для этого цикла сборки мы хотели бы еще больше итерировать наш процесс, чтобы упростить и обеспечить будущий рост более предсказуемым и масштабируемым образом, работая со третьей стороной для оказания помощи с первоначальной физической сборкой стоечного оборудования.
С нашей стороны есть время на предварительное проектирование, документирующее, как организованы все оптоволоконные, медные и силовые кабели. У нас есть карта кабелей для каждого устройства, каждого кабеля и каждого местоположения, а также то, как они должны быть подключены. Это тяжело с точки зрения бумажной работы, но это время потрачено не зря. Это позволяет нам легко шаблонизировать и штамповать будущие шкафы. Когда нам нужно больше шкафов, ориентированных на хранение, чтобы развернуть дополнительное хранилище, это стандарт шкафа. Если нам нужно больше вычислений, это также шкаф, который можно легко построить из шаблона.
Рабочая нагрузка на стороне стороннего интегратора состоит из выполнения наших указаний и выполнения всех физических стоек и проводки. Выполнение всех этих задач требует времени. Вы не поверите, сколько картона и упаковочного материала вам нужно обработать! Распаковка более сотни серверов, тысяч жестких дисков и сотен оптоволоконных и медных кабелей — это немалый подвиг. (Оглядываясь назад, извиняюсь за то, что не предоставил вам марафонское видео распаковки.) Они получили всю нашу упаковку, затем разместили и подключили все в соответствии с нашими спецификациями. После осмотра и контроля качества все было надежно запечатано в ящики и отправлено в Канаду.
Первоначальная настройка и начальная загрузка кластера CA-East на сайте интегратора.
Почти готов к контролю качества и окончательной проверке перед отправкой в центр обработки данных.
Автоматизируйте все дела
Выполнить процесс один раз? Конечно. Нужно сделать это больше двух раз? Автоматизируйте это!
Перед отправкой в центр обработки данных мы отправили небольшую команду на площадку интегратора для проведения физической оценки качества сборки и настройки удаленного доступа, что позволило нам запустить платформу, поскольку у нас был доступ к электропитанию и подключению к Интернету.
Внутри у нас есть система, в которой записаны серийные номера машин и их роли (например, хранилище, API, база данных и т.д.). Когда новая машина впервые загружается в нашей сети, она получает простую операционную систему, установленную через наши службы PXE. Все это распараллеливается, что означает, что мы смогли получить системы для входа в течение нескольких часов для всего набора серверов.
Очень весело переключать кнопки питания одну за другой на более чем 90 серверах, при этом сетевое соединение PXE-сервера работает на горячем режиме, и весь парк серверов автоматически устанавливает операционную систему и готов к дальнейшему администрированию в течение нескольких минут. Совсем не похоже на те дни, когда я выполнял установку Windows 95 с дискет!
После окончательной проверки и прохождения программного обеспечения все было одобрено для отправки. Интеграторы надежно упаковали наши шкафы, и они отправились в Канаду.
Настройка CA-East
По прибытии на место назначения все было доставлено на пол центра обработки данных, закреплено, заземлено и подключено к источнику питания. В течение четырех часов у нас было сетевое соединение с нашими интернет-провайдерами и мы настроили защищенные соединения обратно в нашу производственную сеть, чтобы начать установку программного обеспечения Backblaze с нашими различными внутренними командами. В течение нескольких дней у нас было около 90 работающих серверов, готовых к тому, чтобы наша команда по обеспечению качества начала проводить тесты для имитации активности клиентов.
Мы сотрудничали с Cologix, ведущим поставщиком сетевых нейтральных взаимосвязей и гипермасштабных периферийных центров обработки данных в Северной Америке, в качестве нашего канадского оператора центра обработки данных для этого развертывания. Цифровой периферийный центр обработки данных Cologix — это объект Tier III площадью 20 000 квадратных футов с мощностью два мегаватта. Это высокозащищенный и эффективный центр размещения и взаимосвязи, который отличается ведущими в отрасли конструкциями охлаждения, надежной круглосуточной безопасностью с доступом с двойной биометрической аутентификацией и соответствием стандартам SOC 1, SOC 2, HIPAA и PCI-DSS, а также сертификацией ISO 27001 от Schellman.
Модули хранения данных с несколькими вычислительными серверами в верхней части каждого шкафа.
CA-East: Сетевые и вычислительные шкафы с возможностью расширения.
Связность
Наша стандартная позиция подключения заключается в подключении к трем глобальным операторам для максимально широкого охвата каждой возможной сети, а также в присоединении к локальной интернет-бирже (IX) для обмена трафиком между другими участниками IX локально в пределах одного центра обработки данных или метрополии для обеспечения эффективности с низкой задержкой. Кроме того, для этого сайта мы также подключены к крупному канадскому региональному оператору, что позволяет нам быть в непосредственной близости от трафика, поступающего из Канады.
Благодаря низкой задержке и разнообразным темным оптоволоконным соединениям между центрами обработки данных Cologix, включая крупнейший и важнейший в Канаде отель-отель, объект предлагает доступ к более чем 160 сетям, TORIX и более чем 50 провайдерам облачных услуг.
В целом наша карта связей Калифорния-Восток выглядит следующим образом.
Вариант 1: Глобальные операторы. Вариант 2: Региональный интернет-провайдер. Вариант 3: IX-трафик.
Присоединение к TorIX
Локальный интернет-обмен для этого сайта — Toronto Internet Exchange (TorIX), ведущая канадская точка обмена интернет-трафиком (IXP) и одна из крупнейших в мире. На момент написания этой статьи более 250 организаций обмениваются в среднем более 1,3 терабит в секунду (Тбит/с) трафика каждый день между собой локально.
Подключение к TorIX обеспечивает низкую задержку при передаче данных между нами и поставщиками интернет-услуг (ISP), другими облаками, партнерскими сетями доставки контента (CDN), другими корпоративными сетями и поставщиками хостинга, предоставляющими вычислительные услуги.
Выйди в эфир
Я работаю в Backblaze уже четыре года и смог поучаствовать в сборках для расширения наших регионов US-West, US-East, а теперь и CA-East. Включение метафорического «переключателя», чтобы сделать сайт живым, немного разочаровывает — с точки зрения сети, единственный трафик, который мы видим в начале нового региона, — это наш мониторинг, внутренние задания и некоторые тестовые или контрольные (PoC) аккаунты для мягкого запуска.
Ниже представлен пример сетевого трафика, полученного в тот момент, когда мы запустили пиринговое соединение с нашими операторами и выполнили программный запуск региона данных для наших внутренних команд по контролю качества.
Откуда исходит исходный сетевой трафик? Благодаря нашему мониторингу сетевой телеметрии мы можем видеть потоки трафика в нашу сеть и из нее. Эта информация о сетевом трафике обогащается данными, которые добавляют контекст, позволяя нам видеть, сколько трафика поступает к или от конкретного поставщика услуг верхнего уровня или географического региона.
Вот диаграмма Сэнки, которая показывает снимок текущего трафика из канадских провинций через разных поставщиков услуг в сеть Backblaze, где более крупные линии означают, что больше трафика из этой конкретной провинции или сети. Как и ожидалось, Онтарио и Британская Колумбия являются двумя крупнейшими источниками трафика.
Канада открыта для бизнеса
С течением месяцев и по мере того, как все больше клиентов будут создавать свои учетные записи в этом новом регионе данных и направлять свои рабочие нагрузки в это местоположение, мы увидим больше трафика. Мы будем рады узнать, какие интересные идеи мы сможем почерпнуть, и будем держать вас в курсе в нашей серии Network Stats.
Поскольку Backblaze продолжает расширять свою сеть, мы рады продолжить итерацию наших билдов, чтобы сделать их более эффективными. В конечном счете, это позволяет нам быстрее реагировать на потребности клиентов. Та же отличная сеть — просто больше местоположений.
Мы рады иметь присутствие в Канаде и приветствуем ваши потребности в хранении! Если вам интересно узнать больше о хранении ваших данных в Канаде, вы можете прочитать объявление о запуске здесь.
