Взгляд изнутри на музей стручков Backblaze



Merriam-Webster определяет музей как «учреждение, занимающееся приобретением, уходом, изучением и демонстрацией объектов, представляющих длительный интерес или ценность». Учитывая это определение, мы хотели бы представить музей стручков Backblaze Storage. В то время как некоторые люди думают о музее как о месте статичных, устаревших артефактов, другие понимают, что эти артефакты могут рассказать историю со временем экспериментов, эволюции и инноваций. Это, безусловно, имеет место с нашими модулями хранения. Скромность не позволяет нам сказать, что мы изменили индустрию хранения с помощью нашего дизайна Storage Pod, поэтому допустим, что мы добавили много красного на изображение.

На протяжении многих лет Ларри, наш менеджер центра обработки данных, хранил различные версии наших модулей хранения данных после их вывода из эксплуатации. Он также сохранил диски, SATA-карты, источники питания, кабели и многое другое. Слава Богу. С оборудованием, которое сохранили тенденции Ларри, и несколькими текущими модулями хранения, которые мы позаимствовали (тссс, не говори Ларри), мы смогли запустить Музей модулей хранения Backblaze. Давайте сделаем короткое фото-путешествие по годам.

До хранения Pod 1.0
До того, как мы анонсировали Storage Pod 1.0 миру почти 10 лет назад, мы уже создали около двадцати или около того Storage Storage Pod. Эти ранние модули использовали накопители Western Digital 1,0 ТБ Green. Было несколько прототипов, но как только мы начали производство, мы остановились на конструкции с 45 дисками и 3 рядами из 15 вертикально установленных дисков. Мы заказали первую партию из десяти шасси, а затем обнаружили, что у нас нет отверстия для включения / выключения. Мы импровизировали.




Storage Pod 1.0 — петабайты на бюджете
Мы познакомили мир хранения с недорогим облачным хранилищем с помощью Storage Pod 1.0. Забавно, но мы не называли это нововведение версией 1.0 — это просто Backblaze Storage Pod. Мы не только представили Storage Pod, но и открыли дизайн, опубликовали спецификации дизайна, список деталей и многое другое. Люди обратили внимание. Мы представили конструкцию с накопителями Seagate емкостью 1,5 ТБ для общего объема хранения 67 ТБ. Эта версия также имела системную плату Intel для настольных ПК (DG43NB) и 4 ГБ памяти.







Storage Pod 2.0 — больше петабайт в бюджете
Storage Pod 2.0 был в два раза больше системы, чем 1.0. У него было вдвое больше памяти, вдвое больше скорости и вдвое больше памяти, но он был в том же шасси с тем же количеством дисков. Все это в совокупности позволяет снизить стоимость одного гигабайта системы Storage Pod более чем на 50%: с 0,117 долл. США / ГБ в версии 1 до 0,055 долл. США / ГБ в версии 2.


Среди изменений: системная плата для настольных ПК в V1 была обновлена ​​до материнской платы серверного класса, мы упростили использование трех четырехпортовых карт SATA и снизили стоимость самого шасси. Кроме того, мы использовали жесткие диски Hitachi (HGST) объемом 3 ТБ в Storage Pod 2.0, чтобы удвоить общий объем хранилища до 135 ТБ. В течение срока службы эти накопители HGST имели годовой процент отказов 0,82%, причем последний из них был заменен во втором квартале 2017 года.

Storage Pod 3.0 — Хорошие вибрации
Storage Pod 3.0 — это первая значительная модернизация шасси в наших усилиях по упрощению обслуживания и предоставлению возможности использовать более широкий спектр компонентов. Самым заметным изменением стало введение крышек дисков — по одной на каждый ряд из 15 дисков. Каждая крышка удерживалась на месте парой стальных стержней. Крышки дисков удерживали приводы внизу на месте и заменяли ранее использованные ленты дисков. Материнская плата и процессор были обновлены, и мы использовали память, сертифицированную Supermicro. Кроме того, мы добавили стойки в корпус, чтобы можно было использовать материнские платы Micro ATX, если это необходимо, и добавили отверстия, где это необходимо, чтобы кто-то мог использовать один или два 2,5-дюймовых диска в качестве загрузочных — мы используем один 3,5-дюймовый диск.



Storage Pod 4.0 — прямой провод
В рамках Storage Pod 3.0 Protocase помог спроектировать, а затем построить наши модули хранения. За это время они также разработали и выпустили версию с прямым проводом, которая заменила девять объединительных плат прямой проводкой к платам SATA. Storage Pod 4.0 был основан на технологии прямого провода. Мы развернули небольшое количество этих систем, но мы столкнулись с проблемами драйверов между нашим программным обеспечением и новыми картами SATA. В конце концов, мы вернулись к нашим объединительным платам, и Protocase продолжил работу с прямыми проводными системами, которые они продолжили успешно развертывать. Вывод: есть несколько способов добиться успеха с дизайном Storage Pod.


Storage Pod 4.5 — объединительные платы вернулись
Эта версия началась с дизайна Storage Pod 3.0 и представила новые 5-портовые объединительные платы и была обновлена ​​до плат SATA III. Обе эти части были построены на чипсетах Marvell. Задние панели, которые мы ранее использовали, постепенно сокращались, что побудило нас изучить другие альтернативы, такие как прямые проволочные каркасы. Теперь у нас была готовая поставка 5-портовых объединительных плат, и Storage Pod 4.5 был готов к работе.


Мы также начали использовать Evolve Manufacturing для создания этих систем. Они были расположены недалеко от Backblaze и могли масштабироваться для удовлетворения наших постоянно растущих производственных потребностей. Кроме того, они были полны отличных идей о том, как улучшить дизайн Storage Pod.

Storage Pod 5.0 — эволюция от шасси вверх
В то время как Storage Pod 3.0 была первой переработкой шасси, Storage Pod 5.0 на сегодняшний день была наиболее существенной. Работая с Evolve Manufacturing, мы изучили все, вплоть до заклепок и стоек, в поисках лучшего, более экономичного дизайна. Движущей силой многих дизайнерских решений стало внедрение Backblaze B2 Cloud Storage, которое было разработано для работы с нашей архитектурой Backblaze Vault. С точки зрения производительности мы обновили материнскую плату и процессор, увеличили объем памяти в четыре раза, увеличили сетевую плату до 10 ГБ на материнской плате и перешли с SATA II на SATA III. Мы также полностью переделали кожухи дисков, заменив крышки с 15 приводами на девять отсеков с пятью дисками с направляющими.










Storage Pod 6.0 — 60 накопителей
Storage Pod 6.0 увеличил объем хранилища с 45 до 60 дисков. У нас было много вопросов, когда эта идея была впервые предложена, например, что нам нужно: больше блоков питания (ответ: нет), больше памяти (нет), больший процессор (нет) или больше вентиляторов

Backblaze’s Custom Data Center PDU



Когда Джону нужно было открыть хранилище Backblaze Storage Pod для обслуживания в нашем центре обработки данных Phoenix, это было не так просто, как можно было бы подумать. С стальным корпусом, 60 жесткими дисками, объединительными панелями, двумя блоками питания и другими компонентами, каждый блок может весить до 150 фунтов.

Однако была еще большая проблема, чем вес стручка. Подставка для хранения разделена на две основные секции: секцию привода и секцию обработки, каждая из которых имеет отдельные панели доступа. Чтобы заменить привод, вам необходимо открыть панель доступа спереди, что требует сдвигания Storage Pod спереди. Чтобы заменить источник питания или, возможно, переустановить карту или кабель SATA, вы предпочтете сдвинуть корпус из задней части шкафа, потому что это дает вам лучший доступ к панели на задней панели корпуса.

Backpaze 6.0 Storage Pod с 60 дисками (спереди)

Проблема заключалась в том, что выполнение этого было сложно, если не невозможно, со всеми силовыми кабелями, которые соединяли стручки с блоком распределения питания (PDU) на задней панели шкафа. Это оставило Джона только один выбор: вытащить блок из передней части шкафа, даже когда он хочет получить доступ к задней панели доступа, для чего потребовалось больше времени и часто требовалось два человека.

Идентификация проблемы — PDU
Как менеджер сайта центра обработки данных Феникса Backblaze, Джон понял, что работа будет намного проще, если он сможет изменить один компонент — PDU. В центре данных Phoenix использовались вертикально установленные распределительные устройства (PDU) на задней панели шкафов, которые проходили всю дорогу от верхней части корпуса. Все кабели из десяти контейнеров в PDU заблокировали доступ к задней части контейнеров в шкафу.

Вертикальный PDU, блокирующий задний доступ к Storage Pods

Что такое PDU?
Блок распределения питания (PDU) представляет собой устройство, оснащенное несколькими выходами, предназначенными для распределения электроэнергии на стойки компьютеров и сетевого оборудования, расположенные в центре обработки данных. Некоторые PDU имеют дополнительные возможности, включая фильтрацию мощности, интеллектуальную балансировку нагрузки и дистанционный мониторинг и управление по LAN или SNMP.
ИТ-менеджеры центров обработки данных дистанционно контролируют производительность PDU для обеспечения постоянного обслуживания, повышения эффективности и планирования роста.

Джон знал, что вертикальный PDU заставил свою команду потратить больше времени, чем нужно, чтобы попасть в стручки для обслуживания. Если им нужно было заменить компонент в задней части контейнера, это означало, что полностью отсек для хранения полностью вышел из шкафа, используя подъемник сервера. Если бы Джон мог найти лучший вариант для PDU, у каждого в команде было бы больше времени, чтобы сосредоточиться на других вопросах центра обработки данных, например, настроить дополнительные шкафы для заполнения накопителями и данными клиентов.

Гвидо, оцененный член оперативной группы Backblaze
Гвидо, уважаемый член оперативной команды Backblaze


Иногда нам приходится полностью удалять тяжелые стручки из кабинета, но специальный член команды помогает в этом. Наш серверный подъемник Guido не имеет проблем с подъемом и перемещением 150-фунтовых накопителей и IT-оборудования, когда это необходимо.

Наш серверный подъемник, Гвидо (справа), помог Джо с тяжелым подъемом в нашем дата-центре Phoenix

Подставки и шкафы для хранения данных Backblaze
Подставки Backblaze Storage Pod представляют собой стандартные полноразмерные шкафы для центров обработки данных, которые имеют 42 стойки (U или RU) — стойка составляет 44,50 миллиметра (1,75 дюйма). Оборудование, которое вписывается в эти стойки, обычно имеет высоту 1U, 2U, 3U или 4U. Подставки Backblaze имеют высоту 4U, поэтому десять из них могут входить в одну стойку. С небольшим переключателем наверху, занимающим один из этих блоков стойки, который оставляет всего 1U пространства.

Если бы Джон мог использовать это 1U пространства в шкафу для горизонтально смонтированного PDU, он мог бы избавиться от вертикально смонтированного PDU, который вызывал проблему доступа. В любом случае PDU имел больше выходных сигналов питания, чем необходимо, а также дополнительные схемы мониторинга, которые не требовались для Zabbix, пакета программного обеспечения, который мы используем для отслеживания состояния здоровья всех компонентов в наших центрах обработки данных.

Вертикальный PDU делал его более сложным и дорогостоящим, чем это было необходимо для задачи — два фактора, которые противоречат философии Backblaze о том, чтобы держать вещи такими же простыми и недорогими, насколько это возможно, чтобы снизить издержки для наших клиентов. (Немного истории об этом см. В этом сообщении о том, как началась Backblaze .)

Улучшенный PDU
Джон составил список требований, которые он хотел в PDU, которые соответствовали бы потребностям Backblaze. Ему не показалось, что было бы трудно найти готового бросить в кабинет.

Требования к PDU от Jon's
  • 1 стойка высотой
  • 3-фазная мощность
  • Горизонтально установленный
  • Замер для дистанционного мониторинга нагрузки на цепь
  • 12 выходов питания C13
    • 10 выходов для поддонов хранения
    • 1 для малого выключателя
    • 1 для аварийной тележки для обслуживания стручков

Поиск PDU, который соответствует списку, оказался сложнее, чем он ожидал. Джон попытался выяснить, не сделал ли кто-то 3-фазный 1U горизонтальный монтируемый PDU, и единственный, который он мог найти, не имел правильного типа выходов питания (C13) или схемы контроля.

Единственным оставшимся вариантом было создание пользовательского PDU. Джон вспомнил, что он и Ларри, менеджер центра обработки данных Backblaze, столкнулись с производителем PDU, Geist, на выставке IT в Сан-Хосе. Джон связался с нашим продавцом Мирапатом, с которым Джон успешно работал в других проектах для Backblaze. Mirapath получил проект, катящийся с Geist, разработал все перегибы и сыграл важную роль в завершении проекта.

Пользовательский PDU
Результатом является настраиваемый PDU, который соответствует требованиям Джона. PDU монтируется горизонтально в центре задней части шкафов и не блокирует доступ с задней панели шкафа. Он занимает всего 1U пространства в шкафу, что позволяет Джону поставить десять ящиков для хранения в каждом шкафу — пять над PDU в центре шкафа и пять ниже. Он имеет правильный тип (C13) и число (12) силовых выходов, которые поддерживают десять стручков, один переключатель и аварийную тележку. Он также содержит схему мониторинга мощности, необходимую для сбора данных для Zabbix.


Пользовательский PDU позволяет Джону и его команде получить доступ к Storage Pods с задней стороны шкафа. Джон оценивает, что новый PDU позволяет ему завершить замену загрузочного диска в Storage Pod в половине случаев, когда он использовался с предыдущим блоком PDU, и ему не нужна помощь нашего сервера, который поднимает Guido для работы. Это экономит время, особенно когда вам нужно заменить загрузочные диски в сорок Storage Pods, как недавно сделал Джон.

Пользовательский PDU в шкафу между двумя накопителями

Хранение под открытым небом в задней части шкафа

Хранение под открытым небом сзади

Мы ценим нашу культуру ведения дел по-разному
Если вы регулярно читаете этот блог, вы уже знакомы с историей Backblaze. Основатели Backblaze основали компанию, потому что считали, что люди должны создавать резервные копии своих компьютеров, и это можно сделать по 5 долларов США в месяц. Проблема заключалась в том, что никакая система хранения, доступная в то время, не обеспечила бы устойчивый бизнес по этой цене. Они сделали то, что должны были сделать: разработали и построили собственное решение. Подсистемы резервного копирования Backblaze, архитектура хранилища и кодировка Рида-Соломона позволили использовать глобально масштабируемую систему хранения. Спустя одиннадцать лет, три центра обработки данных и семьсот петабайт данных клиентов, мы по-прежнему можем обеспечить доступное доступное хранилище в любом месте.

Продолжение традиции Бэкблауза
Инноваторы, работающие в сфере трудовых отношений, такие как Джон и наша операционная группа, ежедневно находят новые способы повышения эффективности наших операций. Это позволяет нам постоянно снижать наши затраты и управлять нашим растущим глобальным охватом.

Спасибо, Джон. Отлично сработано!

Джон с двумя шкафами Backblaze, каждый из которых имеет 10 поддонов хранения, один коммутатор и один собственный PDU