Backblaze Хостинг

Партнерство Backblaze и Kasten расширяет возможности защиты контейнеров Kubernetes
Используете ли вы контейнеры Kubernetes? Новое партнерство между Backblaze и Kasten by Veeam упрощает управление резервными копиями контейнеров в Kasten и их хранение в облачном хранилище Backblaze B2 для простого и доступного резервного копирования и восстановления, защиты от программ-вымогателей с помощью Object Lock и поддержки соответствия требованиям.
www.backblaze.com/blog/announcing-kubernetes-backup-and-ransomware-protection-via-kasten-and-backblaze/


Увеличьте прибыль от NAS с помощью стратегии гибридного облака
Переход на сетевое хранилище (NAS) упрощает совместную работу, ускоряет восстановление, обеспечивает круглосуточную доступность файлов и дополнительную избыточность. В сочетании с облачным хранилищем в гибридной облачной стратегии вы также получаете повышенную безопасность и возможность обмениваться файлами как локально, так и удаленно. Узнайте о преимуществах модели гибридного облака и о том, как настроить ее для вашего NAS.
www.backblaze.com/blog/nas-and-the-hybrid-cloud/


Всемирно известный фотограф защищает дело своей жизни
Известный благодаря «Афганской девушке» и другим фотографиям, украшавшим обложки National Geographic, Стив Маккарри искал решение для резервного копирования в облаке, чтобы защитить 265 ТБ фотографий. Он и его команда продублировали данные в Backblaze B2 с помощью четырех устройств Backblaze Fireball и управляли процессом с помощью программного обеспечения для архивации Archiware P5. Узнайте, какие шаги они предприняли, чтобы защитить свое хранилище мультимедиа в будущем.
www.backblaze.com/b2/case-studies/steve-mccurry-studios/

2021 год был для индустрии облачных вычислений большим годом. Но в прошлом году также были отмечены серьезные проблемы — нехватка цепочки поставок, постоянные изменения в работе, продолжающиеся стихийные бедствия и разрушительные атаки программ-вымогателей, не говоря уже о продолжающейся глобальной пандемии.

Когда мы закрываем 2021 год и с нетерпением ждем нового года, мы попросили нашу команду взвесить их прогнозы относительно тенденций, которые мы увидим в 2022 году в отрасли облачных вычислений. Вот наши коллективные мысли.

Тенденции, которые принесет 2022 год
1. Безопасность никогда не будет легче оправдать
Угрозы программ-вымогателей резко возросли в 2021 году, и в течение года они были широко освещены в заголовках. Поскольку мы закончили год с обнаружением уязвимости Log4j во всем Интернете, аргумент в пользу инвестиций в безопасность данных никогда не был таким простым, и, вероятно, будет задействован весь C-Suite. Компании будут вкладывать больше средств в усиление защиты от программ-вымогателей, включая усиление методов резервного копирования и внедрение таких функций, как Object Lock, для защиты данных. Хотя в прошлом компании, возможно, полагались на киберстрахование для покрытия выкупа, а не инвестировали в проактивную защиту данных, мы думаем, что дополнительное давление со стороны государственных органов сделает этот вариант менее резким (а также поможет ИТ-руководителям обосновать более надежные меры).

2. Повышенная безопасность не может быть выбором
Правительство США уже начало сигнализировать, что ожидает, что компании будут делать больше для защиты своих данных от программ-вымогателей. Ожидайте, что в 2022 году он еще больше закрутит гайки за счет более строгого соблюдения требований Министерства финансов, TSA и других требований. Мы прогнозируем, что по крайней мере одна американская компания, совершающая крупные платежи за программы-вымогатели, окажется прямо под прицелом правительства США из-за того, что не сделала достаточно для своей защиты, а затем зашла слишком далеко против Управления по контролю за иностранными активами Казначейства в содействии платежам известным плохие актеры за пределами США

3. Использование одного облачного провайдера больше не поможет.
Компании, которые в настоящее время полагаются на одного диверсифицированного поставщика облачных услуг, будут все чаще обращаться к независимым поставщикам для обеспечения избыточности данных. После недавних отключений AWS, которые выявили единые точки отказа, это стало еще яснее. Резервное копирование данных, находящихся в облаке, станет более приоритетным. Переход к более диверсифицированному облачному развертыванию приведет к тому, что все больше организаций подумают о переходе на независимого облачного провайдера в качестве основного хранилища данных с одним из традиционных диверсифицированных провайдеров, выступающим в качестве места назначения резервного копирования. Конечно, развертывание в нескольких облаках не решит всех проблем и может создать дополнительную сложность, если ваше основное облако не будет подключено до начала гонки за добавлением второго.

4. Капли HAMR / MAMR
Все производители жестких дисков объявили об увеличении емкости в наступающем году, приближаясь к накопителям на 30 ТБ. На 5-й ежегодной конференции Virtual Wells Fargo TMT Summit генеральный директор Western Digital Дэвид Гекелер указал, что жесткие диски емкостью 30 ТБ находятся в пределах досягаемости с его технологиями ePMR и OptiNAND, а также жесткими дисками с 10 пластинами (по сравнению с существующим накопителем с девятью пластинами на 20 ТБ). Гекелер назвал разработку «той лестницей, которая приведет вас к 30 ТБ, а затем вы попадете на кривую HAMR [магнитной записи с подогревом]».

Аналогичным образом, SDK объявил о разработке в этом году технологии магнитной записи с использованием микроволн (MAMR) для поддержки разработки накопителя на 30 ТБ. Компания Seagate также продолжает развивать технологию HAMR, объявляя о разработке накопителя HAMR второго поколения, который может достигать 30 ТБ. Технология была на пике коммерциализации в течение нескольких лет — на самом деле, мы ошибочно предсказали, что начнем видеть диски HAMR / MAMR в 2019 году. Давайте попробуем еще раз — 2022 год станет годом, когда диски HAMR и / или MAMR станут популярными. мейнстримом, а также в наших центрах обработки данных. Мы действительно думаем, что накопители емкостью 30 ТБ, созданные на основе любой технологии, появятся как минимум через пару лет, но пришло время, чтобы HAMR и MAMR соответствовали требованиям к хранению данных в будущем.

5. Пробки в цепочке поставок продолжатся
Цепочки поставок во всех отраслях сталкиваются с серьезными ограничениями, в то время как спрос продолжает расти. Даже когда перегибы в шланге будут устранены, транспортная логистика по-прежнему будет ограничивать подачу в точках. Это усугубляется пандемией, но мы думаем, что это будет постоянной проблемой, поскольку все больше организаций полагаются на поставки для роста и непрерывности бизнеса.

В 2022 году компании ускорят переход от разумного своевременного управления цепочкой поставок, минимизирующего запасы, к интеллектуальному управлению цепочкой поставок на всякий случай, сводящему к минимуму сбои в обслуживании и продажах.

6. Микросервисы убьют плату за исходящий трафик
Более качественные решения с подключением к API позволят компаниям избежать привязки к поставщику и создавать гибкие приложения на основе микросервисов, одновременно удовлетворяя свои потребности, связанные с облаком (хранилище, вычисления, CDN и т. Д.). Компаниям потребуется более низкая комиссия за исходящий трафик, чтобы иметь возможность свободно перемещать свои данные, не нарушая банк. Поскольку независимые облачные провайдеры работают вместе, чтобы минимизировать или полностью исключить исходящие сборы, мы прогнозируем, что в 2022 году умные компании будут требовать лучшего от таких, как Amazon, Google и Microsoft, — меньшего исходящего трафика, вариантов мультиоблака и независимости от поставщиков. Представьте себе постепенные инновации, когда компаниям не нужно загружать и распространять свои собственные данные!

7. Стремление к интероперабельности
Неструктурированные данные продолжают неуклонно расти благодаря нашему все более взаимосвязанному миру. По некоторым оценкам, он составляет от 80% до 90% мировых данных, и сегодня он находится в нескольких местах — в нескольких облаках, локальных центрах обработки данных и на периферии. Компании, которые хотят извлечь максимальную выгоду из этих данных, не будут выступать за поставщиков облачных услуг, которые возводят стены вокруг своих экосистем. Данные должны легко перемещаться между средами, так что о том, где они живут, стало второстепенным. Опытные компании захотят взаимозаменяемо использовать поставщиков, исходя из того, что лучше всего подходит для их рабочих нагрузок, а те, у кого есть открытые экосистемы, будут предпочтительнее за их гибкость.

Желаю вам счастливого и обнадеживающего Нового года!

Примечание редактора. Этот пост был обновлен с момента его первоначальной публикации в 2013 году, и теперь в нем содержится самая свежая информация и статистические данные.
Как долго работают жесткие диски? Мы задали этот вопрос несколько лет назад, и тогда ответ был: мы еще не знали. Тем не менее, мы представили данные, которые у нас были к тому моменту, и сделали несколько прогнозов. С тех пор мы учились отказу от жестких дисков (HDD) и твердотельных накопителей (SSD). Посмотрим, что мы узнали.

Первоначальное исследование срока службы накопителей было проведено с использованием 25 000 накопителей и данных примерно за четыре года. Сегодняшнее исследование включает данные более чем 200 000 дисковых накопителей, многие из которых прослужили шесть и более лет. Это дает нам больше данных для анализа и позволяет нам расширить наши прогнозы. Например, в нашем первоначальном отчете мы сообщали, что 78% приобретенных нами дисков прожили более четырех лет. Сегодня около 90% имеющихся у нас приводов прослужили четыре года, а 65% — дольше шести лет. Итак, как долго длится поездка? Продолжай читать.

Как диски используются в Backblaze
В настоящее время Backblaze использует более 200 000 жестких дисков для хранения данных наших клиентов. Размер дисков варьируется от 4 ТБ до 18 ТБ. В сумме у нас под управлением получается более двух эксабайт на жестком диске. Большинство этих дисков монтируются на сервере хранения, который вмещает 60 дисков, а также загрузочный диск. Есть также несколько серверов хранения, в которых используется всего 45 жестких дисков. Серверы хранения состоят из Storage Pods (наши собственные серверы хранения данных) и серверов хранения от внешних производителей. Двадцать серверов хранения сгруппированы в Backblaze Vault, которое использует наш собственный алгоритм кодирования стирания Рида-Соломона для репликации и хранения данных клиентов на 20 серверах в Backblaze Vault.

Типы жестких дисков в анализе
Жесткие диски, которые мы используем для хранения данных о клиентах, представляют собой стандартные 3,5-дюймовые диски, которые вы можете купить в Интернете или в магазинах. Избыточность, обеспечиваемая программным обеспечением Backblave Vault, обеспечивает безопасность данных, позволяя нам использовать стандартные диски трех основных производителей дисков: Seagate, Western Digital и Toshiba. В следующей таблице показано текущее количество накопителей по производителям. Обратите внимание, что HGST теперь является частью Western Digital, но сами диски сообщаются как диски HGST, поэтому они указаны отдельно в таблице.



Каждый из серверов хранения также использует загрузочный диск. Помимо очевидной функции загрузки сервера, мы также используем эти диски для хранения файлов журналов, регистрирующих доступ к системе и действия, которые используются для целей аналитики и соответствия. Загрузочным диском может быть жесткий диск или твердотельный накопитель. Если вам интересно, мы сравнили надежность жестких дисков и твердотельных накопителей в отношении этих загрузочных дисков.

Количество жестких дисков
Как указывалось ранее, в настоящее время у нас есть более 200 000 дисков, которыми мы управляем и используем для хранения данных клиентов. Мы используем несколько дисков разных размеров, как показано в таблице ниже, причем более 60% этих дисков имеют размер 12 ТБ или 14 ТБ.


Частота отказов дисков
Прежде чем углубляться в данные о частоте отказов, стоит потратить немного времени на то, чтобы выяснить, что именно означает частота отказов. Сам по себе термин «частота отказов» не очень полезен, поскольку в нем отсутствует понятие времени. Например, если вы купили жесткий диск, какова частота отказов жесткого диска через неделю после его покупки? Как насчет года после покупки? Пять лет? У них не может быть одинакового количества отказов. Чего не хватает, так это времени. Когда мы составляем квартальные и годовые отчеты Drive Stats, мы рассчитываем и публикуем годовую частоту отказов (AFR). Используя AFR, все показатели отказов переводятся в годовые, так что независимо от временных рамок (например, один месяц, один год, три года) мы можем сравнивать разные когорты приводов. Наряду с отчетами мы включаем ссылки на данные о накопителях, которые мы используем для расчета заявленной частоты отказов.

Кривая ванны
Инженеры по надежности используют так называемую кривую ванны для описания ожидаемой интенсивности отказов. Идея состоит в том, что дефекты возникают из-за трех факторов: (1) заводские дефекты, приводящие к «детской смертности», (2) случайные отказы и (3) детали, которые изнашиваются, что приводит к отказам после длительного использования. На приведенной ниже диаграмме (из Wikimedia Commons) показано, как можно ожидать, что эти три фактора приведут к кривой интенсивности отказов в форме ванны.


Когда наше первоначальное исследование срока службы привода было завершено, опыт Backblaze совпал с теорией кривой ванны. Когда мы недавно пересмотрели кривую для ванны, мы обнаружили, что ванна протекает, поскольку левая часть кривой для ванны Backblaze (уменьшение интенсивности отказов) была намного ниже и более соответствовала постоянной частоте отказов. Это можно увидеть в приведенной ниже таблице, в которой приведены данные о сбоях дисковых накопителей за последние шесть лет.


Уровень отказов (красная линия) составляет менее 2% в течение первых трех с половиной лет, а затем быстро увеличивается в течение шестого года. Когда мы строим линию тренда данных (синяя пунктирная линия, полином второго порядка), появляется параболическая кривая, но она значительно ниже с левой стороны, не похожая на ванну, а больше на неглубокий ковш или, возможно, на хоккей. палка.

Расчет продолжительности жизни
Каков ожидаемый срок службы жесткого диска? Чтобы ответить на этот вопрос, нам сначала нужно решить, что мы подразумеваем под «продолжительностью жизни».

При измерении продолжительности жизни людей обычным показателем является среднее количество лет, оставшихся до определенного возраста. Например, по оценкам Всемирной организации здравоохранения, ожидаемая продолжительность жизни всех новорожденных в мире в настоящее время составляет 73 года. Это означает, что если мы подождем, пока все эти новые люди проживут свою жизнь через 120 или 130 лет, средняя продолжительность их жизни составит 73,0.

Что касается дисководов, может случиться так, что все они изнашиваются до того, как им исполнится 10 лет. А может быть, что некоторые из них длятся 20 или 30 лет. Если некоторые из них живут долго, долгое время, трудно вычислить среднее значение. Кроме того, несколько выбросов могут отбросить среднее значение и сделать его менее полезным.

Число, которое можно вычислить, — это средний срок службы нового диска. Это возраст, в котором выходит из строя половина дисков. Давайте посмотрим, насколько близко мы сможем подойти к прогнозированию средней продолжительности жизни нового диска, учитывая все данные, которые мы собрали за эти годы.

Показатели выживаемости дисковых накопителей
По сей день на удивление сложно получить ответ на вопрос «Как долго прослужит жесткий диск?» Как уже отмечалось, мы регулярно публикуем наши отчеты «Статистика дисков», в которых перечислены AFR для используемых нами моделей дисков. Хотя эти отчеты отвечают на вопрос о том, с какой скоростью дисковые накопители выходят из строя, они не говорят нам, как долго они прослужат. Интересно, что те же данные, которые мы собираем и используем для прогнозирования отказа дисков, можно использовать для определения ожидаемого срока службы моделей жестких дисков, которые мы используем. Все зависит от того, как вы смотрите на данные.

Когда мы применяем методы прогнозирования продолжительности жизни к собранным нами данным о накопителях, мы получаем следующую диаграмму:


Ожидаемая продолжительность жизни уменьшается довольно стабильно — от 2% до 2,5% в год в течение первых четырех лет, затем сокращение начинает ускоряться. Оглядываясь назад на приведенный выше квартальный график AFR, это имеет смысл, поскольку с четвертого года количество отказов увеличивается. По прошествии шести лет ожидаемая продолжительность жизни составляет 65%. Другими словами, если мы купили жесткий диск шесть лет назад, вероятность того, что он все еще жив, составляет 65%.

Как долго прослужат жесткие диски?
Что происходит с водителями, когда они старше шести лет? У нас есть диски старше шести лет, так почему мы остановились на этом? У нас не было достаточно данных, чтобы быть уверенными по истечении шести лет, поскольку количество дисков в этот момент сокращается и почти полностью состоит из одной или двух моделей дисков, а не из различных. Вместо этого мы использовали данные, которые у нас были за шесть лет, и экстраполировали их из линии ожидаемого срока службы, чтобы оценить момент, когда половина дисков выйдет из строя.


Как долго длится поездка? Казалось бы, разумная оценка средней продолжительности жизни составляет шесть лет и девять месяцев. Это соответствует минимальному количеству данных, которые мы собрали на сегодняшний день, но, как уже отмечалось, у нас недостаточно данных, чтобы быть уверенными. Тем не менее, мы знаем, что для всех используемых нами моделей приводов он превышает шесть лет. Мы продолжим сбор данных в ближайшие месяцы и годы и посмотрим, не изменится ли что-нибудь.

А пока, как долго вы предполагаете, что жесткий диск, который вы собираетесь купить, прослужит? Правильный ответ — всегда иметь хотя бы одну резервную копию, а лучше две, хранить их отдельно и часто проверять 一 стратегия резервного копирования 3-2-1. Каждый купленный вами жесткий диск в какой-то момент выйдет из строя — это может произойти через день или 10 лет — будьте готовы.

Как вы, возможно, знаете, недавно было публично объявлено об уязвимости, связанной с Log4j, общей библиотекой журналов, широко используемой компаниями по всему миру.

Нашей первоочередной задачей было обеспечение защиты данных наших клиентов и безопасности нашей среды. Итак, когда мы узнали об этой уязвимости, затрагивающей Apache Log4j, наши группы безопасности, технических операций и инженеров быстро собрались вместе, чтобы разработать протокол для выполнения нашей основной директивы.

Что такое уязвимость Log4j?
Как сообщает ArsTechnica, в библиотеке журналов Apache Log4j была обнаружена уязвимость нулевого дня, которая позволяет злоумышленникам получить контроль над уязвимыми серверами. Log4j широко используется всем, от Minecraft до iCloud и Управления национальной безопасности, а Агентство по кибербезопасности и безопасности инфраструктуры (CISA) призвало пользователей немедленно применять исправления для устранения уязвимостей.

Какие действия мы предприняли?
В пятницу, 10 декабря, примерно в 16:30 по тихоокеанскому времени, Backblaze отключил службы, чтобы защитить данные клиентов и развернуть исправления безопасности во всех наших системах для устранения уязвимости.

12/11/2021 1:05 Обновление PT: системы возвращаются в оперативный режим. Хотя наши команды усердно работают, чтобы все исправить, вы можете столкнуться с перебоями в обслуживании. Спасибо за терпеливость.

11.12.2021 02:58 Обновление PT: системы снова подключены к сети и работают нормально. Если у вас возникли проблемы, обратитесь в нашу службу поддержки: help.backblaze.com/hc/en-us/requests/new

По состоянию на 30 сентября 2021 года у Backblaze было 194 749 накопителей, распределенных в четырех центрах обработки данных на двух континентах. Из этого числа было 3537 загрузочных дисков и 191 212 дисков с данными. Загрузочные диски состояли из 1557 жестких дисков и 1980 твердотельных накопителей. В этом отчете будет анализироваться квартальная частота отказов и количество отказов в течение всего срока службы наших дисков с данными, а также сравниваться показатели отказов для наших загрузочных накопителей SSD и HDD. Попутно мы поделимся своими наблюдениями и взглядами на представленные данные и, как всегда, с нетерпением ждем ваших комментариев ниже.

Уровень отказов жестких дисков в третьем квартале 2021 года
В конце сентября 2021 года Backblaze контролировал 191212 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключили из рассмотрения 386 дисков, которые использовались либо для целей тестирования, либо были моделями дисков, для которых у нас не было как минимум 60 дисков. Это оставляет нам 190 826 жестких дисков для квартального отчета за 3 квартал 2021 года, как показано ниже.



Примечания и наблюдения по статистике за 3 квартал 2021 года
Данные для всех дисков в наших центрах обработки данных, включая 386 дисков, не включенных в список выше, доступны для загрузки на веб-странице «Данные тестирования жестких дисков».

Ноль отказов
Единственной моделью диска, у которой не было зафиксировано ни одного сбоя во втором квартале, был диск HGST 12 ТБ (модель: HUH721212ALE600), который используется в наших серверах хранения Dell в нашем центре обработки данных в Амстердаме.

Почетные упоминания
Пять моделей приводов зафиксировали отказ одного привода в течение квартала:

• Накопитель HGST 12 ТБ (модель: HUH728080ALE600).
• Накопитель Seagate 6 ТБ (модель: ST6000DX000).
• Накопитель Toshiba 4 ТБ (модель: MD04ABA400V).
• Накопитель Toshiba 14 ТБ (модель: MG07ACA14TEY).
• Накопитель WDC 16 ТБ (модель: WUH721816ALE6L0).

Хотя один сбой — это хорошо, количество дисковых дней для каждого из этих дисков составляет 100 256 или меньше за квартал. Это приводит к широкому доверительному интервалу для годовой интенсивности отказов (AFR) для этих дисков. Тем не менее, спасибо дискам Seagate 6 ТБ (средний возраст 77,8 месяцев) и Toshiba 4 ТБ (средний возраст 75,6 месяцев), поскольку они долгое время оставались хорошими.

Что нового
В этом квартале мы добавили новый диск Toshiba 16 ТБ (модель: MG08ACA16TE). Было несколько ранних отказов дисков, но их установили чуть больше месяца. Этот накопитель похож на модель MG08ACA16TEY, с той разницей, что последний имеет функцию Sanitize Instant Erase (SIE), которая не должна использоваться в нашей среде. Будет интересно посмотреть, как они будут сравниваться с течением времени.

Выбросы
В квартальных результатах есть два диска, для которых требуется дополнительная информация, помимо представленных необработанных цифр. Начнем с диска Seagate 12 ТБ (модель: ST12000NM0007). Еще в январе 2020 года мы отметили, что эти диски не работают оптимально в нашей среде, и прогнозировалось более высокое количество отказов. Вместе с Seagate мы решили вывести эти диски из эксплуатации в ближайшие месяцы. Covid-19 несколько задержал реализацию проекта, и в результате прогнозируется более высокий процент отказов. Мы ожидаем, что все оставшиеся диски будут удалены в течение четвертого квартала.

Вторым исключением является диск Seagate 14 ТБ (модель: ST14000NM0138). Как отмечается в отчете «Статистика дисков за второй квартал», эти диски, хотя и были произведены Seagate, были предоставлены в серверах хранения Dell. Как уже отмечалось, и Seagate, и Dell изучали возможные причины неожиданного сбоя. Ограниченное количество отказов, 26 в этом квартале, затруднило анализ отказов. Когда мы узнаем больше, мы дадим вам знать.

Жесткие диски против твердотельных накопителей
Напоминаем, что мы используем как твердотельные, так и жесткие диски в качестве загрузочных дисков на наших серверах хранения. Рабочая нагрузка для загрузочного диска включает регулярное чтение, запись и удаление файлов (обычно файлы журналов), а также загрузку сервера при необходимости. Короче говоря, рабочая нагрузка для каждого типа привода одинакова.

В нашем недавнем посте «Действительно ли твердотельные накопители более надежны, чем жесткие диски?» Мы сравнили частоту отказов наших загрузочных накопителей HDD и SSD, используя данные до второго квартала 2021 года. В этом посте мы обнаружили, что, если мы контролировали средний возраст и количество дней работы для каждой когорты, мы могли сравнивать частоту отказов с течением времени.

Мы продолжим это сравнение и обновили приведенную ниже таблицу до третьего квартала 2021 года, чтобы отразить последние данные.


Первые четыре точки каждого типа диска образуют очень похожие линии, хотя частота отказов SSD немного ниже. Количество отказов жестких дисков начало расти в пятом году (2018), поскольку парк жестких дисков начал стареть. Учитывая то, что мы знаем о сбоях дисков с течением времени, разумно предположить, что частота отказов твердотельных накопителей будет расти по мере их старения. Вопрос, на который нужно ответить: будет ли оно выше, ниже или одинаково? Будьте на связи.

Изменения в хранилище данных
За последний год мы добавили 40 129 новых жестких дисков. Фактически мы установили 67 990 новых дисков и удалили 27 861 старых. Удаленные диски включали неисправные диски (1674) и миграции (26 187). Это позволяет устанавливать около 187 дисков в день, что в течение прошлого года составляло чуть более 600 ПБ новых хранилищ данных.

На следующей диаграмме представлены усилия наших бесстрашных команд центров обработки данных.


Статистика жесткого диска за весь срок службы
В приведенной ниже таблице показан срок службы AFR всех моделей жестких дисков в производстве по состоянию на 30 сентября 2021 года.


Примечания и наблюдения по статистике за все время
Срок службы AFR для всех дисков в нашей ферме продолжает уменьшаться. AFR 1,43% — это самое низкое зарегистрированное значение с момента начала работы в 2013 году. Население накопителей охватывает модели от 4 ТБ до 16 ТБ, а средний возраст варьируется от одного месяца (Toshiba 16 ТБ) до более шести лет (Seagate 6 ТБ).

Наши самые эффективные модели приводов в нашей среде по размеру приводов перечислены в таблице ниже.


Примечания:

• Накопитель WDC 16 ТБ (модель: WUH721816ALE6L0), похоже, недоступен в США через розничные каналы. В Европе он доступен по цене 549,00 евро.
• Статус основан на том, что указано на веб-сайте. Может потребоваться дополнительное расследование, чтобы убедиться, что вы покупаете новый диск, а не отремонтированный диск, помеченный как новый.
• Столбцы «Источник» и «Цена» приведены по состоянию на 23.10.2021.

Хотите узнать больше? Присоединяйтесь к нашему вебинару 4 ноября в 10:00 по тихоокеанскому времени с автором Drive Stats Энди Кляйном, чтобы получить уникальную и ценную информацию о том, почему диски выходят из строя, как часто они выходят из строя и какие модели работают лучше всего в нашей среде из более чем 190 000 дисков.

Данные статистики жесткого диска
Полный набор данных, использованных для создания информации, использованной в этом обзоре, доступен на нашей странице «Данные тестирования жесткого диска». Вы можете бесплатно скачать и использовать эти данные в своих целях. Все, что мы просим, ​​- это три вещи: 1) вы указываете Backblaze в качестве источника, если используете данные, 2) вы соглашаетесь с тем, что несете исключительную ответственность за то, как вы используете данные, и 3) вы никому не продаете эти данные; это бесплатно.

Если вам просто нужны сводные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий файлы Excel XLXS для каждой диаграммы.

Удачи и дайте нам знать, если найдете что-нибудь интересное.

Сегодня знаменательный день для Backblaze — мы стали публичной компанией, акции которой котируются на фондовой бирже Nasdaq под тикером BLZE!

Прежде чем я объясню, что это значит для нас и для вас, я хочу поблагодарить. Выход на биржу — важный этап, которого мы не смогли бы достичь без вашей поддержки. Спасибо.

Верили ли вы в нас с самого начала и были ли вы нашим клиентом более десяти лет, или присоединились к нам вчера; доверяете ли вы нам резервное копирование одного компьютера или запускать всю инфраструктуру вашей компании в Backblaze Storage Cloud; Независимо от того, сотрудничаете ли вы с нами, чтобы предоставить наши услуги одному человеку или тысячам компаний, являетесь ли вы новым посетителем нашего сайта или читали его все время: Спасибо. Мы очень признательны за то, что вы работаете с нами и поддерживаете нас.

Что значит стать публичной компанией для Backblaze?
Это означает, что у нас есть больше ресурсов за счет поступлений от IPO для увеличения инвестиций в развитие нашей платформы Storage Cloud и сервисов B2 Cloud Storage и Computer Backup, которые работают на ней.

Будущее строится на независимых облачных платформах, и наше будущее создавалось 14 лет. Сегодня мы делаем следующий большой шаг, чтобы стать ведущим независимым облаком для хранения данных.

Кроме того, хотя мы уже помогаем примерно 500 000 клиентов, мы планируем расширить наши продажи и маркетинг, чтобы довести Backblaze до большего числа компаний, разработчиков и частных лиц, которые выиграют от простого и доступного хранилища данных, которому они могут доверять.

Наконец, мы создали Backblaze не только с упором на продукты, которые мы предоставляем, но и с глубоким вниманием к тому, каково здесь работать. Благодаря этим доходам мы планируем и дальше значительно расширять нашу команду и ищем еще много добрых, умных и талантливых людей, которые присоединятся к нам. (Это вы? Мы нанимаем!)

И самое главное, что это значит для вас?

Мой короткий ответ: это означает больше того хорошего, чего вы ожидали от нас в Backblaze.

Я хочу подчеркнуть, что, хотя мы будем делать для вас «больше», сегодняшние события не означают, что мы «другие» на каком-либо фундаментальном уровне. Мы по-прежнему руководствуемся теми же принципами и той же командой. Напоминаем, что вот основные ценности, которым мы привержены с момента основания (как написано Брайаном Уилсоном, соучредителем и техническим директором):

В Backblaze мы хотим предоставлять качественный продукт по разумной цене. Мы хотим быть честными и откровенными с нашими клиентами в отношении того, что мы можем и не можем делать, и мы хотим, чтобы нам платили только те деньги, которые нам честно причитаются, и никогда не участвовать в грязных или вводящих в заблуждение методах ведения бизнеса, когда клиентов вводят в заблуждение каким-либо образом. или заплатить за услугу, которую они не получают. Мы «хорошие парни» и ведем себя соответствующим образом

Единственное, что сегодня изменилось, это то, что у нас появилась более прочная структура и дополнительное финансирование для реализации этих ценностей для большего числа клиентов и партнеров.

Если вы хотите поделиться своими мыслями, мы будем рады услышать от вас в разделе комментариев ниже. В ближайшие недели я расскажу больше о том, с чего мы начали, почему решили сделать публичный доступ, как мы это сделали и многое другое. Оставайтесь с нами, а пока…

Время от времени мы будем ссылаться на «кривую ванны», когда говорим о частоте отказов жестких дисков и твердотельных накопителей. Обычно это включает ссылку или обратную ссылку на публикацию, которую мы опубликовали в 2013 году, в которой обсуждается эта тема. Пришло время для обновления. Не потому, что изменилась сама кривая ванны, а потому, что у нас почти в семь раз больше приводов и на восемь лет больше данных, чем в 2013 году.

В сегодняшнем посте мы рассмотрим, насколько частота отказов жестких дисков соответствует кривой ванны, а через несколько недель мы углубимся в особенности различных моделей дисков и даже проведем небольшой анализ ожидаемого срока службы накопителей.

Жил-был изгиб ванны
Вот классический вариант изгиба ванны.


Кривая разделена на три части: уменьшение интенсивности отказов, постоянная интенсивность отказов и увеличение интенсивности отказов. Используя наши данные статистики дисков за 2013 год, мы вычислили частоту отказов и временные рамки для каждого из трех разделов следующим образом:

Показатели отказов дисков в 2013 г.


Кроме того, мы подсчитали, что через четыре года ожидаемая продолжительность жизни жесткого диска в нашей системе составила около 80%, и, по нашим прогнозам, через шесть лет ожидаемая продолжительность жизни составила 50%. Другими словами, мы ожидаем, что установленный нами жесткий диск будет иметь 50% шанс быть живым через шесть лет.

Отказ привода и кривая ванны сегодня
Давайте начнем с сравнения частоты отказов дисков с течением времени на основе данных, доступных нам в 2013 году, и данных, доступных нам сегодня, в 2021 году.


Наблюдения и мысли
Давайте начнем с простого: у нас есть данные за шесть лет на 2021 год по сравнению с четырьмя годами на 2013 год. У нас есть более широкая ванна. На самом деле он даже шире, поскольку у нас есть данные за более чем шесть лет, но через шесть лет количество точек данных (отказов дисков) невелико, менее 10 отказов в квартал.

Левая сторона ванны, область «уменьшения количества отказов» в 2021 году будет значительно ниже, чем в 2013 году. Фактически, для нашей кривой 2021 года левая сторона ванны почти отсутствует, что затрудняет принятие ванны., мягко говоря. Мы сообщали, как Seagate взламывает и тестирует свои недавно изготовленные жесткие диски перед отправкой, чтобы снизить частоту отказов их дисков. Если предположить, что все производители делают то же самое, это может частично или полностью объяснить это наблюдение.

Правая сторона ванны, область «увеличения количества отказов», сдвинется вправо в 2021 году. Очевидно, что приводы, установленные после 2013 года, не выходят из строя так часто в течение третьего и четвертого года или большей части пятого года, если на то пошло. Мы думаем, что это может иметь какое-то отношение к последствиям кризиса приводов в Таиланде в 2011 году. Диски стали дорогими, а качество (в виде сокращения гарантийных сроков) упало. Кроме того, произошла значительная консолидация производителей.

Интересно, что для второго года две кривые, 2013 и 2021, очень хорошо совпадают. Мы думаем, что это так, потому что действительно есть период посередине, в котором диски просто работают. Просто в 2013 году он был короче из-за факторов, указанных выше.

Ожидаемая продолжительность жизни приводов сегодня
Как отмечалось ранее, еще в 2013 году 80% установленных приводов должны были прослужить четыре года. Через шесть лет этот показатель упал до 50%. В 2021 году ожидаемая продолжительность жизни жесткого диска через шесть лет составит 88%. Это существенное увеличение, но в основном это связано с тем, что жесткие диски в нашей системе выходят из строя реже. Мы думаем, что это сочетание более совершенных дисков, более совершенных серверов хранения и передовых методов работы наших команд центров обработки данных.

Что дальше
В 2021 году наша кривая ванны больше похожа на хоккейную клюшку, хотя фраза «Когда вы пересматриваете нашу кривую клюшки…» звучит не совсем правильно. Попробуем разобраться в следующем посте по этой теме. Одна вещь, которую мы также хотим сделать в этом следующем посте, — это разбить данные об отказах дисков по моделям и посмотреть, следуют ли различные модели дисков кривой ванны, кривой хоккейной клюшки или какой-либо другой безымянной кривой. Мы также составим график кривых ожидаемого срока службы для всех дисков в целом, а также по моделям.

Что ж, пора вернуться к данным, скоро выйдет наш следующий отчет Drive Stats.

По состоянию на 30 июня 2021 года у Backblaze было 181464 накопителя, распределенных в четырех центрах обработки данных на двух континентах. Из этого числа было 3298 загрузочных дисков и 178 166 дисков с данными. Загрузочные диски состояли из 1607 жестких дисков и 1691 SSD. В этом отчете будет проанализирована частота отказов наших дисков с данными за квартал и за весь срок службы, а также мы сравним частоту отказов наших загрузочных жестких дисков и твердотельных накопителей. Попутно мы поделимся своими наблюдениями и взглядами на представленные данные и, как всегда, с нетерпением ждем ваших комментариев ниже.

Уровень отказов жестких дисков во втором квартале 2021 года
В конце июня 2021 года Backblaze контролировал 178 166 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключили из рассмотрения 231 диск, которые использовались либо для целей тестирования, либо в качестве моделей дисков, для которых у нас не было как минимум 60 дисков. Это оставляет нам 177 935 жестких дисков для квартального отчета за 2 квартал 2021 года, как показано ниже.

Примечания и наблюдения по статистике за второй квартал 2021 года
Данные для всех дисков в наших центрах обработки данных, включая 231 диск, не включенный в список выше, доступны для загрузки на веб-странице «Данные тестирования жестких дисков».

Ноль отказов
Во втором квартале у трех моделей дисков не было ни одного сбоя, давайте рассмотрим каждую.

• 6 ТБ Seagate (ST6000DX000): средний возраст этих дисков составляет более шести лет (74 месяца), и после одного сбоя за последний год этот диск устаревает довольно хорошо. Небольшое количество дисков (886) и диско-дней (80 626) означает, что существует некоторая изменчивость в частоте отказов, но показатель отказов в течение всего срока службы, составляющий 0,92%, является надежным.
• 12 ТБ HGST (HUH721212ALE600): эти диски находятся в наших серверах хранения Dell в нашем центре обработки данных в Амстердаме. После рекордного за квартал пяти отказов в прошлом квартале, они вернулись в норму: в этом квартале отказов нет, а коэффициент отказов за весь срок службы составляет 0,41%.
• 16 ТБ Western Digital (WUH721816ALE6L0): эти диски устанавливались всего три месяца, но отсутствие сбоев в 624 дисках — отличное начало.

Похвальный отзыв
Три модели приводов зафиксировали отказ одного привода в течение квартала. Они сильно различаются по возрасту.

• Что касается молодого поколения, то у Toshiba емкостью 16 ТБ (MG08ACA16TEY) со средним возрастом 5 месяцев произошел сбой первого из 1430 установленных дисков.
• На другом конце возрастного диапазона наконец вышел из строя один из наших жестких дисков Toshiba емкостью 4 ТБ (MD04ABA400V), первый сбой с четвертого квартала 2018 года.
• В среднем возрастном диапазоне (в среднем 40,7 месяцев) диски HGST емкостью 8 ТБ (HUH728080ALE600) также имели только один сбой в прошедшем квартале.

Выбросы
Две модели приводов имели среднегодовую частоту отказов (AFR) выше 4%, давайте рассмотрим подробнее.

• Toshiba емкостью 4 ТБ (MD04ABA400V) имела AFR 4,07% во втором квартале 2021 года, но, как отмечалось выше, это было связано с отказом одного диска. Для моделей с малым количеством дней вождения в заданный период AFR подвержен значительным колебаниям. В этом случае на один отказ меньше в течение квартала, что приведет к AFR на уровне 0%, а еще один отказ приведет к AFR более 8,1%.
• Диски Seagate на 14 ТБ (ST14000NM0138) имеют AFR 5,55% на второй квартал 2021 года. Эти диски Seagate вместе с дисками Toshiba 14 ТБ (MG07ACA14TEY) были установлены на серверах хранения Dell, развернутых в западном регионе США около шести месяцев назад. Мы активно работаем с Dell, чтобы определить первопричину такого повышенного количества отказов, и ожидаем продолжения этой темы в следующем ежеквартальном отчете о статистике накопителей.

Общий AFR
Квартальная AFR для всех приводов подскочила до 1,01% с 0,85% в первом квартале 2021 года и 0,81% год назад во втором квартале 2020 года. Этот скачок положил конец тенденции к снижению за последний год. Рост находится в пределах нашего доверительного интервала, но стоит ожидать в будущем.

Жесткие диски против твердотельных накопителей, продолжение
В нашем отчете за первый квартал 2021 года мы впервые сравнили наши загрузочные жесткие диски и твердотельные накопители как для первого квартала, так и для срока службы. Как мы заявляли в то время, сравнение чисел с числами было подозрительным, поскольку каждый тип накопителя находился в разных точках своего жизненного цикла. Средний возраст жестких дисков составил 49,63 месяца, а средний возраст твердотельных накопителей — 12,66 месяцев. Напоминаем, что загрузочные диски HDD и SSD выполняют одни и те же функции, включая загрузку серверов хранения и выполнение операций чтения, записи и удаления файлов ежедневных журналов и других временных файлов.

Чтобы провести более точное сравнение, мы взяли загрузочные жесткие диски, которые использовались в конце четвертого квартала 2020 года, и вернулись во времени, чтобы увидеть, где их средний возраст и совокупное количество дней использования дисков будут похожи на те же атрибуты для SDD в конец четвертого квартала 2020 года. Мы обнаружили, что в конце четвертого квартала 2015 года атрибуты были наиболее близкими.

Начнем с загрузочных жестких дисков, которые были активны в конце четвертого квартала 2020 года.


Далее мы рассмотрим загрузочные SSD-накопители, которые были активны в конце четвертого квартала 2020 года.


Наконец, давайте посмотрим на атрибуты срока службы жестких дисков, активных в четвертом квартале 2020 года, как это было в четвертом квартале 2015 года.


Подводя итог, можно сказать, что когда мы контролируем использование одних и тех же моделей накопителей, того же среднего возраста накопителей и аналогичного количества дней работы на жестких дисках, показатели отказов жестких и твердотельных накопителей сравниваются следующим образом:


Хотя частота отказов для наших загрузочных жестких дисков почти в два раза выше, чем для загрузочных накопителей SSD, это не почти 10-кратная частота отказов, которую мы видели в отчете за первый квартал 2021 года, когда мы сравнивали два типа накопителей на разных этапах их жизненного цикла.

Предсказывая будущее?
Что произошло с загрузочными дисками HDD с 2016 по 2020 год, когда AFR их срока службы вырос с 1,54% в 4 квартале 2015 года до 6,26% в 4 квартале 2020 года? В приведенной ниже таблице показан срок службы AFR для загрузочных жестких дисков с 2014 по 2020 год.


Как видно из графика, начиная с 2018 года количество отказов загрузочных жестких дисков увеличилось. Это продолжалось в 2019 и 2020 годах, даже когда количество загрузочных жестких дисков начало уменьшаться, когда вышедшие из строя загрузочные жесткие диски были заменены загрузочными накопителями SSD. По мере того, как средний возраст парка загрузочных жестких дисков увеличивался, росла и частота отказов. Это имеет смысл и подтверждается данными. Возникает пара вопросов:

• Будут ли SSD-диски выходить из строя с большей частотой по мере старения?
• Как частота отказов SSD в будущем будет сравниваться с тем, что мы наблюдали с загрузочными дисками HDD?

Мы продолжим отслеживать и составлять отчеты по твердотельным накопителям и жестким дискам на основе наших данных.

Статистика жесткого диска за весь срок службы
В приведенной ниже таблице показан срок службы AFR всех моделей жестких дисков в производстве по состоянию на 30 июня 2021 года.


Примечания и наблюдения по статистике за все время существования
Срок службы AFR для всех дисков в нашей ферме продолжает уменьшаться. AFR 1,45% — это самое низкое зарегистрированное значение с момента начала работы в 2013 году. Население накопителей охватывает модели от 4 ТБ до 16 ТБ, а средний возраст варьируется от трех месяцев (WDC 16 ТБ) до более шести лет (Seagate 6 ТБ).

Наши самые эффективные модели приводов в нашей среде по размеру приводов перечислены в таблице ниже.

Примечания:

• Накопитель WDC 16 ТБ, модель: WUH721816ALE6L0, в настоящее время недоступен в США через розничные каналы.
• Статус основан на том, что указано на веб-сайте. Может потребоваться дополнительное расследование, чтобы убедиться, что вы покупаете новый диск, а не отремонтированный диск, помеченный как новый.
• Источник и цена указаны по состоянию на 30.07.2021.
• При поиске диска Toshiba 16 ТБ, модель: MG08ACA16TEY, вы можете найти модель: MG08ACA16TE за гораздо меньшую цену (399 долларов США или меньше). Это не тот же привод, и у нас нет информации о последней модели. MG08ACA16TEY включает функцию немедленного удаления данных.

Данные статистики Диска
Полный набор данных, использованных для создания информации, использованной в этом обзоре, доступен на нашей странице «Данные тестирования жесткого диска». Вы можете бесплатно скачать и использовать эти данные в своих целях. Все, что мы просим, ​​- это три вещи: 1) вы указываете Backblaze в качестве источника, если используете данные, 2) вы соглашаетесь с тем, что несете исключительную ответственность за то, как вы используете данные, и 3) вы никому не продаете эти данные; это бесплатно.

Если вам просто нужны сводные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий файлы CSV для каждой диаграммы.
f001.backblazeb2.com/file/Backblaze_Blog/Q2_2021_Drive_Stats_Tables.zip

Удачи и дайте нам знать, если найдете что-нибудь интересное.

Привет. Я пишу, чтобы сообщить вам, что мы начали внедрять новый внешний вид на веб-сайте Backblaze — он более современный, создан для выполнения работы, легче ориентироваться, с внешним видом, который мы считаем просто более ярким. Это первый этап глобального ребрендинга.

Что это значит для тебя?

• Частично ничего — ваш сервис не изменился, и вам ничего не нужно делать.
• Приближается еще больше — вы делаете невероятные вещи, и мы будем совершенствоваться, чтобы помочь.
• Бесплатная продукция — первые 10 ответов в нашем блоге или ретвиты получат новое фирменное снаряжение.

Как только у вас будет возможность зайти на сайт, перейдите в блог, чтобы узнать больше о том, что мы изменили, что дальше, и об одной важной вещи, которую мы не будем менять.
www.backblaze.com/blog/the-rebrand-reveal/

Любой, кто обращает внимание на рынок жестких дисков так же внимательно, как Backblaze, уже знает все о быстром росте популярности Chia — «зеленой» альтернативы Биткойну — и о том, какое влияние она оказывает на мировые поставки жестких дисков. Если вы еще не слышали о Чиа, ознакомьтесь с краткой записью ниже, чтобы получить дополнительную информацию. Но этот пост предназначен для многих фермеров чиа, которые уже погрузились в сельское хозяйство и теперь сталкиваются с пустыми полками в поисках решений для хранения на своих участках.

Помня об этой нехватке, наша команда приступила к изучению экспериментального решения, которое позволит обрабатывать участки Chia, хранящиеся в облачном хранилище B2. Мы рады сообщить, что теперь фермеры чиа могут хранить и обрабатывать свои участки в Backblaze B2.

Итак, если вы хотите принять участие в сенсации Chia, не тратя много средств на труднодоступные жесткие диски большой емкости, теперь есть инновационный способ начать работу с доступным масштабируемым облачным решением.

Chia против биткойнов: Chia — это новая криптовалюта, в которой используется алгоритм доказательства свободного места. В отличие от алгоритма доказательства работы, поддерживающего Биткойн, который требует больших затрат ресурсов и ресурсов процессора, и энергии, Chia был разработан для минимизации энергопотребления. В результате мы получаем блокчейн с интенсивным хранением. Если вы хотите узнать больше, рекомендуем обратиться к первоисточнику.

Ключи к победе в испытаниях чиа
Участки Чиа не просто бездействуют. Сеть Chia регулярно выдает запросы на соответствие и проверки качества. Проверки качества важны для достижения успеха, но проблемы — когда каждые 512 участков проверяется каждые 10 минут — являются причиной того, что вы занимаетесь сельским хозяйством.

Если один из ваших сюжетов выбран для матча, вам необходимо получить «полное доказательство», чтобы получить вознаграждение, что требует около 64 поисков жесткого диска и доставки полного доказательства остальной части одноранговой сети. менее чем за 30 секунд, прежде чем «повелители времени» Чиа двинут блокчейн дальше.

Это создает две проблемы, которые могут мешать вам спать по ночам, если вы пытаетесь фармить чиа:

• Проблема 1: Где хранить участки в масштабе.
• Учитывая, что текущее расчетное сетевое пространство, занятое участками Chia, составляет 20 эксабайт (и растет экспоненциально!), Случай показывает, что только один из ваших участков будет выигрывать примерно раз в 96 лет. Это все равно, что ждать всю жизнь кукурузного початка, а не весело. Итак, вы хотите иметь много участков, чтобы улучшить свои шансы, но вам нужно где-то их хранить, что вы можете себе позволить и которое может расти вместе с вашим сельским хозяйством.
• Проблема 2: Управление сложностью масштабирования хранилища.
• Если вы решите проблему хранения, вам также понадобится способ быстро и надежно сделать все графики доступными для чтения и быстрого представления в сети, когда вы выиграете испытание. Вам нужно будет уметь управлять этой сложностью каждую секунду каждый день, пока вы хотите быть фермером. Если вы ждете 96 лет, чтобы получить хоть один кукурузный початок, пропустить день сбора урожая было бы обидно.

Это ключи к победе в матче: достижение масштаба и умелое управление им.

Статус-кво: отдельные фермеры чиа используют жесткие диски для хранения
Для жесткого диска 7200 об / мин с задержкой чтения примерно 10 мс получение проверки качества или полной проверки занимает около 70 мс на подходящую диаграмму. Поскольку ядро ​​Chia кэширует первые семь операций чтения, жесткий диск должен выполнить только 64 поиска при выдаче запроса.

Если диск емкостью 18 ТБ, который может содержать 166 графиков по 108 ГБ на график (при k = 32), достаточно удачлив, чтобы содержать график, который является тем волшебным «одним из 512», жесткий диск достаточно быстро выполняет необходимые операции чтения, потому что Chia была разработана для использования жестких дисков для земледелия. Но жесткие диски могут выполнять только одну из этих операций за раз, поэтому рабочий стол должен выполнять операции последовательно. Даже если вы используете твердотельный накопитель, вам все равно придется выполнять операции последовательно. Опять же, это не проблема для отдельных дисков, поскольку жесткие диски и твердотельные накопители могут выполнять операции очень быстро в отведенное время.

Но даже для тех, кому посчастливилось найти запас готовых дисков емкостью 18 ТБ, которые не были дважды размечены, обеспечение хранилища для количества участков, необходимых фермеру Чиа для обеспечения разумных шансов на успех, будет трудом и капиталом. интенсивный.


Как использовать облачное хранилище для масштабирования участков
Программное обеспечение Chia не было разработано для ведения сельского хозяйства с использованием общедоступного облачного объектного хранилища, и первые тесты, которые мы провели на графиках Chia, хранящихся в облачном хранилище B2, подтвердили это: требуется несколько минут, а не 30 секунд, необходимых для своевременного прохождения проверки качества. В отличие от решения с локальным хранилищем, где данные проверки качества могут кэшироваться ядром, при настройке облачного хранилища производительность снижается до такой степени, что это влияет на вероятность успешного выполнения пользователями задач.

Backblaze B2 Cloud Storage предоставляет объектное хранилище, в котором данные хранятся в виде дискретных объектов, что исключает необходимость использования какой-либо вложенной или иерархической файловой структуры. Это делает B2 Cloud Storage идеальным для масштабирования и использования в качестве исходного хранилища, но как отдельный продукт хранилище объектов не подходит для хранения графиков Chia. Без оптимизации кэширования для повышения производительности и способа одновременного чтения графиков B2 Cloud Storage не смог бы эффективно служить в случае фермерского хозяйства Chia. Но B2 Cloud Storage спроектировано так, чтобы использовать преимущества параллельных операций или потоков, предлагая некоторые преимущества по сравнению со стандартным физическим диском, если они правильно настроены для этого варианта использования (кашля * я писал здесь про потоки! Кашля *).

Наша команда подумала, что было бы интересно создать инструмент, обеспечивающий обходной путь для варианта использования Chia, по четырем веским причинам:

• Во-первых: потому что Backblaze Storage Cloud предоставляет оба ключа для успешного выращивания чиа: нет необходимости в выделении ресурсов, и фермеры из чиа могут загружать новые участки с высокой скоростью и масштабом. Backblaze Storage Cloud обслуживает почти 500 миллиардов файлов с исключительной надежностью и доступностью.
• Во-вторых: стоимость хранения участков Chia в Backblaze B2 является привлекательной с финансовой точки зрения и составляет 5 долларов США за ТБ в месяц. Согласно Chia Calculator, использование облачного хранилища B2 для хранения участков было бы прибыльным, в зависимости от темпов роста сетевого пространства и текущей цены монеты Chia.
• В-третьих: команда инженеров и инженеров Tiger, включая меня, думала, что это будет интересным и полезным (и увлекательным) экспериментом.
• Наконец: та же команда считала, что мы могли бы включить Chia-сельское хозяйство участков, хранящихся в B2 Cloud Storage, взломав код того, как распараллеливать операции в Chia.
• Помня об этом, наша команда Tiger приступила к работе. Инструмент для монтирования Backblaze B2 в качестве файловой системы был необходим, поскольку Chia изначально не поддерживает API Backblaze B2 Native или S3 Compatible. После некоторого тестирования наша команда остановилась на B2_fuse, поскольку наши инженеры, которые будут над этим работать, уже были знакомы с исходным кодом.

Выбрав B2_fuse, наши инженеры добавили алгоритм предварительной выборки для кэширования операций чтения, чтобы решить проблему ядра, упомянутую выше. Это улучшило бы производительность, но поскольку считывание с жесткого диска по-прежнему выполнялось по одному, оставалось место для дополнительных улучшений. Очевидно, что параллельное выполнение операций значительно повысило бы вероятность успеха, и после некоторых копаний один из наших инженеров нашел PR (запрос на вытягивание), который добавлял параллельное чтение и еще не был объединен в проект Chia.

Благодаря оптимизации кэширования в B2_fuse и добавленной функциональности параллельного чтения время проверки для графика Chia, хранящегося в облачном хранилище B2, сократилось до секунд. Это обеспечивает загрузку участков Chia в Backblaze B2 и их представление в сети Chia для ведения сельского хозяйства без необходимости использования дорогостоящего сервера в центре обработки данных.

Наши успешные тесты были проведены с использованием вычислительного экземпляра, работающего в регионе Запада США, с учетной записью Backblaze B2, который также находится в регионе Запада США. Попробуйте, и вы увидите целое поле метафорических культур — все готово к тому, когда придет вызов «один из 512».
Если вы хотите попробовать это решение, настройте учетную запись Backblaze B2 сейчас и получите обновленную версию B2_fuse (или внесите свой вклад в проект) вместе с инструкциями о том, как получить PR с параллельными чтениями здесь: github.com/Backblaze-B2-Samples/b2fs4chia

Поскольку эта поддержка носит экспериментальный характер и команда Backblaze знает, что многие фермеры Chia будут рады ее опробовать, мы просим фермеров ограничить хранение делянок Chia до 100 ТБ или связаться с нашим отделом продаж, чтобы обсудить что-то более крупное.