Петабайты на бюджете: 10 лет и счет

Этот пост предназначен для всех фанатов хранения, которые следили за приключениями Backblaze и наших модулей хранения на протяжении многих лет. Остальные из вас могут прийти на прогулку.

Прошло 10 лет с тех пор, как Backblaze представила миру наш накопитель. В сентябре 2009 года мы объявили о своем огромном, привлекательном красном сервере хранения 4U, оборудованном 45 жесткими дисками, обеспечивающими 67 терабайт хранилища всего за 7 867 долларов, что составляет около 0,11 доллара за гигабайт. В рамках этого объявления мы разработали дизайн для того, что мы назвали Storage Pod, и рассказали вам и всем, как вы, о том, как его создать, и многие из вас сделали.

Версия Backblaze Storage Pod 1 была анонсирована в нашем блоге с небольшой помпой. Мы подумали, что это будет интересно горстке людей — таких как ты. На самом деле, он даже не назывался версией 1, так как никто никогда не думал, что будет версия 2, а тем более версия 3, 4, 4.5, 5 или 6. Мы ошиблись. Модуль Backblaze Storage Pod покорил многих ИТ-специалистов и специалистов по хранению данных, которые были оскорблены необходимостью заплатить королевский выкуп за систему хранения высокой плотности. «Я могу построить это за десятую часть цены», — почти слышно, как они бормочут себе под нос. Бормоча или нет, мы думали то же самое, и версия 1 родилась.

Podfather
Тим, «Подфазер», как мы его знаем, был лидером Backblaze в создании первого хранилища. Он получил помощь в разработке от наших друзей из Protocase, которые создали первые три поколения модулей хранения для Backblaze, а также создали компанию под названием 45 Drives для продажи своих собственных версий модулей хранения — это открытый исходный код в лучшем виде. Прежде чем мы определились с дизайном версии 1, было несколько экспериментов:


Оригинальный стручок для хранения был создан по образцу деревянной или двух стручков. Нам нужно было протестировать программное обеспечение во время конструирования первых металлических модулей.

Octopod был быстрым и грязным ответом на неправильные кабели SATA — слишком длинные и светящиеся. Да, в нижней части стручка просверлены отверстия.


Оригинальная лицевая панель, показанная выше, использовалась на 10 бочках для хранения до 1.0. Он был обновлен до трех кругового дизайна непосредственно перед Storage Pod 1.0.

Почему стручки для хранения красного цвета? Когда мы построили первые, у производителя осталась партия красной краски, которую можно было использовать на наших капсулах, и она была бесплатной.

Еще в 2007 году, когда мы запустили Backblaze, не было большого количества доступных вариантов для хранения больших объемов данных. Нашей целью было взимать $ 5 / месяц за неограниченное хранение данных на одном компьютере. Мы решили создать наши собственные серверы хранения, когда стало очевидно, что, если бы нам пришлось использовать другие доступные решения, нам пришлось бы брать гораздо больше денег. Storage Pod 1.0 позволил нам хранить один петабайт данных примерно за 81 000 долларов. Сегодня мы снизили это до 35 000 долларов с помощью Storage Pod 6.0. Если принять во внимание, что средний объем данных на пользователя почти утроился за тот же период времени, и наша цена теперь составляет $ 6 / месяц за неограниченное хранилище, математика сегодня работает примерно так же, как и в 2009 году.

Мы должны были сделать что-то правильно
Модуль Backblaze Storage Pod — это больше, чем просто доступное хранилище данных. Версия 1.0 представила или популяризировала три фундаментальных изменения в дизайне хранилища: 1) Вы могли бы построить систему из обычных компонентов, и она работала бы, 2) Вы могли бы монтировать жесткие диски вертикально, и они все еще вращались бы, и 3) Вы могли бы использовать жесткий потребитель диски в системе. Трудно определить, какая из этих трех функций обидела и / или взволновала больше людей. Справедливо сказать, что через десять лет все пошло нам на пользу, поскольку в настоящее время у нас на платформе имеется около 900 петабайт хранилища.

За последние 10 лет люди подогрели наш дизайн или хотя бы элементы дизайна. Начиная с 45 накопителей, многие компании работали над созданием систем хранения высокой плотности, от 45 до 102 жестких дисков в корпусе 4U, и представили различные конструкции, поэтому сегодня список систем хранения высокой плотности, в которых используются вертикально установленные накопители, впечатляет:


Другой движущей силой в разработке некоторых из этих систем является Open Compute Project (OCP). Созданные в 2011 году, они собирают и обмениваются идеями и проектами для хранения данных, конструкций стоек и связанных с ними технологий. Группой управляет The Open Compute Project Foundation как 501 © (6), и в ее состав входят многие светилы отрасли в сфере хранения данных.

Что мы сделали в последнее время?
В технологической стране 10 лет чего-либо — это много. То, что было захватывающим тогда, ожидается сейчас. И то же самое произошло с нашим любимым хранилищем. В течение многих лет мы вводили обновления и обновления, скручивая обычные циферблаты: снижение стоимости, ускорение, увеличение емкости, снижение вибрации и так далее. Все хорошее. Но мы не можем обмануть вас, особенно если вы читали это далеко. Вы знаете, что Storage Pod 6.0 был представлен в апреле 2016 года, и, откровенно говоря, это были сверчки с тех пор, как он относится к Storage Pod.

Три с лишним года без инноваций. Почему?

1. Если это не сломано, не исправляйте это. Storage Pod 6.0 построен в США компанией Equus Compute Solutions, нашим контрактным производителем, и он отлично работает. Затраты на производство понятны, производительность хороша, а новые диски более высокой плотности работают достаточно хорошо в корпусе 6.0.
2. Дисковые миграции заставляли нас быть занятыми. Со второго квартала 2016 года по второй квартал 2019 года мы перенесли более 53 000 дисков. Мы заменили диски емкостью 2, 3 и 4 терабайта на диски емкостью 8, 10 и 12 терабайт, удвоив, утроив и иногда увеличивая в четыре раза плотность хранения модуля хранения.
3. Модернизация стручка заставляла нас быть занятыми. Со второго квартала 2016 года по первый квартал 2019 года мы обновили наши старые модули хранения V2, V3 и V4.5 до V6.0. Затем мы раздавили несколько старых с помощью MegaBot и отдали больше. Сегодня уже нет автономных контейнеров для хранения; все они являются членами Хранилища Backblaze.
4. Много данных занимало нас. Во втором квартале 2016 года у нас было 250 петабайт хранения данных в производстве. Сегодня у нас есть 900 петабайт. Это много данных, которые вы, ребята, дали нам (спасибо, кстати), и множество новых систем для развертывания. На приведенной ниже диаграмме показана проблема, с которой столкнулись наши специалисты ЦОД.

Другими словами, сотрудники нашего центра обработки данных были очень, очень заняты и не интересовались новинками. Теперь, когда мы наняли еще больше технических специалистов, давайте поговорим о том, что будет дальше.

Storage Pod Version 7.0 — Почти
Да, на чертежной доске есть Backblaze Storage Pod 7.0. Вот краткий список некоторых функций, которые мы рассматриваем:

• Обновление материнской платы
• Обновите процессор и рассмотрите возможность использования процессора AMD
• Обновление блоков питания, возможно, переход на один блок
• Обновление с 10Gbase-T до 10GbE SFP + оптическая сеть
• Обновление карт SATA
• Изменение конструкции крышки без инструментов

Сроки еще не определены, но самое подходящее время, чтобы спросить нас об этом, — начало 2020 года.

«Это хорошо», — говорите вы вслух, но на самом деле вы думаете: «Это так? Где Backblaze во всем этом? »И вот где вы входите.

Блок хранения Backblaze следующего поколения
Мы не из идей, но одна из вещей, которые мы поняли за эти годы, — то, что многие из вас действительно умны. С момента открытия проекта Storage Pod в 2009 году мы получили бесчисленное множество интересных, продуманных и иногда странных идей по улучшению дизайна. Когда мы смотрим в будущее, мы были бы глупы не спрашивать ваши мысли. Кроме того, вы все равно сообщите нам об этом в Reddit, HackerNews или о том, где вы читаете этот пост, так что давайте просто перейдем к поиску.

Построить или купить
Два основных варианта: мы проектируем и создаем свои собственные серверы хранения или покупаем их у кого-то другого. Вот некоторые из критериев, как мы думаем об этом:

• Стоимость. Нам хотелось бы, чтобы стоимость сервера хранения составляла около 0,030–0,035 долл. На гигабайт хранилища (или меньше, конечно). Это включает в себя сервер и диски внутри. Например, использование готовых жестких дисков Seagate объемом 12 ТБ (модель: ST12000NM0007) в модуле хранения 6.0 стоит около 0,032–0,034 долл. / Гигабайт в зависимости от цены накопителей в данный день.
• Международный: Теперь, когда у нас есть дата-центр в Амстердаме, мы должны иметь возможность доставлять эти серверы куда угодно.
• Техническое обслуживание: все должно быть легко починить или заменить, особенно приводы.
• Товарные части: везде, где это возможно, запчасти должны легко приобретаться, в идеале у нескольких поставщиков.
• Стойки: Мы бы предпочли продолжать использовать 42-дюймовые шкафы, но придумали что-то более глубокое и рассмотрим это.
• Возможно сегодня: нет ДНК-накопителей или других задумчивых технологий. Нам нужно хранить данные сегодня, а не в 2061 году.
• Масштабирование. Ничто в решении не должно ограничивать возможности масштабирования систем. Например, мы должны быть в состоянии обновить диски до более высокой плотности в течение следующих 5-7 лет.

Кроме этого нет никаких ограничений. Любые из следующих аббревиатур, слов и фраз могут быть частью предложенного вами решения, и мы не будем обижаться: SAS, JBOD, IOPS, SSD, резервирование, вычислительный узел, шасси 2U, шасси 3U, горизонтальные жесткие диски, прямой провод, уровни кэширования, устройство, пограничные устройства хранения, PCIe, оптоволоконный канал, SDS и т. д.

Решение не обязательно должно быть Backblaze. Как видно из списка, приведенного ранее в этом посте, Dell, HP и многие другие делают платформы хранения высокой плотности, которые мы могли бы использовать. Сделайте хороший пример для любого из этих подразделений, или любого другого, который вам нравится, и мы рассмотрим.

Что мы будем делать со всем вашим вкладом?
Мы уже начали с запуска Backblaze Labs и провели несколько экспериментов. В ближайшие месяцы мы поделимся с вами тем, что происходит, по мере продвижения этого проекта. Может быть, мы представим Storage Pod X или возьмем некоторые из подделок Storage Pod за спин. В любом случае, мы будем держать вас в курсе. Заранее благодарим за ваши идеи и спасибо за вашу поддержку в течение последних десяти лет.

www.backblaze.com