Backblaze Хостинг

Любой, кто обращает внимание на рынок жестких дисков так же внимательно, как Backblaze, уже знает все о быстром росте популярности Chia — «зеленой» альтернативы Биткойну — и о том, какое влияние она оказывает на мировые поставки жестких дисков. Если вы еще не слышали о Чиа, ознакомьтесь с краткой записью ниже, чтобы получить дополнительную информацию. Но этот пост предназначен для многих фермеров чиа, которые уже погрузились в сельское хозяйство и теперь сталкиваются с пустыми полками в поисках решений для хранения на своих участках.

Помня об этой нехватке, наша команда приступила к изучению экспериментального решения, которое позволит обрабатывать участки Chia, хранящиеся в облачном хранилище B2. Мы рады сообщить, что теперь фермеры чиа могут хранить и обрабатывать свои участки в Backblaze B2.

Итак, если вы хотите принять участие в сенсации Chia, не тратя много средств на труднодоступные жесткие диски большой емкости, теперь есть инновационный способ начать работу с доступным масштабируемым облачным решением.

Chia против биткойнов: Chia — это новая криптовалюта, в которой используется алгоритм доказательства свободного места. В отличие от алгоритма доказательства работы, поддерживающего Биткойн, который требует больших затрат ресурсов и ресурсов процессора, и энергии, Chia был разработан для минимизации энергопотребления. В результате мы получаем блокчейн с интенсивным хранением. Если вы хотите узнать больше, рекомендуем обратиться к первоисточнику.

Ключи к победе в испытаниях чиа
Участки Чиа не просто бездействуют. Сеть Chia регулярно выдает запросы на соответствие и проверки качества. Проверки качества важны для достижения успеха, но проблемы — когда каждые 512 участков проверяется каждые 10 минут — являются причиной того, что вы занимаетесь сельским хозяйством.

Если один из ваших сюжетов выбран для матча, вам необходимо получить «полное доказательство», чтобы получить вознаграждение, что требует около 64 поисков жесткого диска и доставки полного доказательства остальной части одноранговой сети. менее чем за 30 секунд, прежде чем «повелители времени» Чиа двинут блокчейн дальше.

Это создает две проблемы, которые могут мешать вам спать по ночам, если вы пытаетесь фармить чиа:

• Проблема 1: Где хранить участки в масштабе.
• Учитывая, что текущее расчетное сетевое пространство, занятое участками Chia, составляет 20 эксабайт (и растет экспоненциально!), Случай показывает, что только один из ваших участков будет выигрывать примерно раз в 96 лет. Это все равно, что ждать всю жизнь кукурузного початка, а не весело. Итак, вы хотите иметь много участков, чтобы улучшить свои шансы, но вам нужно где-то их хранить, что вы можете себе позволить и которое может расти вместе с вашим сельским хозяйством.
• Проблема 2: Управление сложностью масштабирования хранилища.
• Если вы решите проблему хранения, вам также понадобится способ быстро и надежно сделать все графики доступными для чтения и быстрого представления в сети, когда вы выиграете испытание. Вам нужно будет уметь управлять этой сложностью каждую секунду каждый день, пока вы хотите быть фермером. Если вы ждете 96 лет, чтобы получить хоть один кукурузный початок, пропустить день сбора урожая было бы обидно.

Это ключи к победе в матче: достижение масштаба и умелое управление им.

Статус-кво: отдельные фермеры чиа используют жесткие диски для хранения
Для жесткого диска 7200 об / мин с задержкой чтения примерно 10 мс получение проверки качества или полной проверки занимает около 70 мс на подходящую диаграмму. Поскольку ядро ​​Chia кэширует первые семь операций чтения, жесткий диск должен выполнить только 64 поиска при выдаче запроса.

Если диск емкостью 18 ТБ, который может содержать 166 графиков по 108 ГБ на график (при k = 32), достаточно удачлив, чтобы содержать график, который является тем волшебным «одним из 512», жесткий диск достаточно быстро выполняет необходимые операции чтения, потому что Chia была разработана для использования жестких дисков для земледелия. Но жесткие диски могут выполнять только одну из этих операций за раз, поэтому рабочий стол должен выполнять операции последовательно. Даже если вы используете твердотельный накопитель, вам все равно придется выполнять операции последовательно. Опять же, это не проблема для отдельных дисков, поскольку жесткие диски и твердотельные накопители могут выполнять операции очень быстро в отведенное время.

Но даже для тех, кому посчастливилось найти запас готовых дисков емкостью 18 ТБ, которые не были дважды размечены, обеспечение хранилища для количества участков, необходимых фермеру Чиа для обеспечения разумных шансов на успех, будет трудом и капиталом. интенсивный.


Как использовать облачное хранилище для масштабирования участков
Программное обеспечение Chia не было разработано для ведения сельского хозяйства с использованием общедоступного облачного объектного хранилища, и первые тесты, которые мы провели на графиках Chia, хранящихся в облачном хранилище B2, подтвердили это: требуется несколько минут, а не 30 секунд, необходимых для своевременного прохождения проверки качества. В отличие от решения с локальным хранилищем, где данные проверки качества могут кэшироваться ядром, при настройке облачного хранилища производительность снижается до такой степени, что это влияет на вероятность успешного выполнения пользователями задач.

Backblaze B2 Cloud Storage предоставляет объектное хранилище, в котором данные хранятся в виде дискретных объектов, что исключает необходимость использования какой-либо вложенной или иерархической файловой структуры. Это делает B2 Cloud Storage идеальным для масштабирования и использования в качестве исходного хранилища, но как отдельный продукт хранилище объектов не подходит для хранения графиков Chia. Без оптимизации кэширования для повышения производительности и способа одновременного чтения графиков B2 Cloud Storage не смог бы эффективно служить в случае фермерского хозяйства Chia. Но B2 Cloud Storage спроектировано так, чтобы использовать преимущества параллельных операций или потоков, предлагая некоторые преимущества по сравнению со стандартным физическим диском, если они правильно настроены для этого варианта использования (кашля * я писал здесь про потоки! Кашля *).

Наша команда подумала, что было бы интересно создать инструмент, обеспечивающий обходной путь для варианта использования Chia, по четырем веским причинам:

• Во-первых: потому что Backblaze Storage Cloud предоставляет оба ключа для успешного выращивания чиа: нет необходимости в выделении ресурсов, и фермеры из чиа могут загружать новые участки с высокой скоростью и масштабом. Backblaze Storage Cloud обслуживает почти 500 миллиардов файлов с исключительной надежностью и доступностью.
• Во-вторых: стоимость хранения участков Chia в Backblaze B2 является привлекательной с финансовой точки зрения и составляет 5 долларов США за ТБ в месяц. Согласно Chia Calculator, использование облачного хранилища B2 для хранения участков было бы прибыльным, в зависимости от темпов роста сетевого пространства и текущей цены монеты Chia.
• В-третьих: команда инженеров и инженеров Tiger, включая меня, думала, что это будет интересным и полезным (и увлекательным) экспериментом.
• Наконец: та же команда считала, что мы могли бы включить Chia-сельское хозяйство участков, хранящихся в B2 Cloud Storage, взломав код того, как распараллеливать операции в Chia.
• Помня об этом, наша команда Tiger приступила к работе. Инструмент для монтирования Backblaze B2 в качестве файловой системы был необходим, поскольку Chia изначально не поддерживает API Backblaze B2 Native или S3 Compatible. После некоторого тестирования наша команда остановилась на B2_fuse, поскольку наши инженеры, которые будут над этим работать, уже были знакомы с исходным кодом.

Выбрав B2_fuse, наши инженеры добавили алгоритм предварительной выборки для кэширования операций чтения, чтобы решить проблему ядра, упомянутую выше. Это улучшило бы производительность, но поскольку считывание с жесткого диска по-прежнему выполнялось по одному, оставалось место для дополнительных улучшений. Очевидно, что параллельное выполнение операций значительно повысило бы вероятность успеха, и после некоторых копаний один из наших инженеров нашел PR (запрос на вытягивание), который добавлял параллельное чтение и еще не был объединен в проект Chia.

Благодаря оптимизации кэширования в B2_fuse и добавленной функциональности параллельного чтения время проверки для графика Chia, хранящегося в облачном хранилище B2, сократилось до секунд. Это обеспечивает загрузку участков Chia в Backblaze B2 и их представление в сети Chia для ведения сельского хозяйства без необходимости использования дорогостоящего сервера в центре обработки данных.

Наши успешные тесты были проведены с использованием вычислительного экземпляра, работающего в регионе Запада США, с учетной записью Backblaze B2, который также находится в регионе Запада США. Попробуйте, и вы увидите целое поле метафорических культур — все готово к тому, когда придет вызов «один из 512».
Если вы хотите попробовать это решение, настройте учетную запись Backblaze B2 сейчас и получите обновленную версию B2_fuse (или внесите свой вклад в проект) вместе с инструкциями о том, как получить PR с параллельными чтениями здесь: github.com/Backblaze-B2-Samples/b2fs4chia

Поскольку эта поддержка носит экспериментальный характер и команда Backblaze знает, что многие фермеры Chia будут рады ее опробовать, мы просим фермеров ограничить хранение делянок Chia до 100 ТБ или связаться с нашим отделом продаж, чтобы обсудить что-то более крупное.

По состоянию на 31 марта 2021 года у Backblaze было 175 443 накопителя, распределенных в четырех центрах обработки данных на двух континентах. Из этого числа было 3187 загрузочных дисков и 172 256 дисков с данными. Загрузочные диски состояли из 1669 жестких дисков и 1518 твердотельных накопителей. В этом отчете будет проанализирована частота отказов наших дисков с данными за квартал и за весь срок службы, и мы сравним частоту отказов наших загрузочных жестких дисков и твердотельных накопителей. Попутно мы поделимся своими наблюдениями и пониманием представленных данных и, как всегда, с нетерпением ждем ваших комментариев ниже.

Уровень отказов жестких дисков в первом квартале 2021 г.
В конце марта 2021 года Backblaze контролировал 172 256 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключили из рассмотрения 337 дисков, которые использовались либо для целей тестирования, либо были моделями дисков, для которых у нас не было как минимум 60 дисков. Это оставляет нам 171919 жестких дисков для квартального отчета за первый квартал 2021 года, как показано ниже.


Примечания и наблюдения по статистике за первый квартал 2021 года
Данные для всех дисков в наших центрах обработки данных, в том числе 173 дисков, не включенных в список выше, доступны для загрузки на веб-странице «Данные тестирования жестких дисков». В несжатом виде в более чем 2900 файлах CSV содержится чуть более 68 ГБ данных.

Те из вас, кто читал наш годовой отчет за 2020 год, могут заметить, что диски Seagate емкостью 18 ТБ (модель: ST18000NM000J) не включены в этот отчет. Эта модель привода была единицей разработки, предоставленной нам для тестирования, и поэтому ее не следовало включать в таблицы отчетов за 2020 год, поскольку мы исключаем тестовые поездки. В этом квартале мы правильно отнесли эту модель привода к нашей когорте тестирования, и поэтому эта модель не была включена в этот отчет. Модули для разработки заказчиков механически завершены, но микропрограммное обеспечение считается непроизводственным, и поэтому диски считаются тестовыми.

В первом квартале четыре модели приводов не зарегистрировали ни одного отказа. Две из этих моделей, Seagate 6TB и Toshiba 4TB, имеют средний возраст почти шесть лет и среднегодовой процент отказов менее 1% за весь срок службы, что очень впечатляет за весь срок их службы. Две другие модели без сбоев, Toshiba 16 ТБ и WDC 16 ТБ, имеют средний возраст 4,1 месяца и 0,4 месяца соответственно. Для этих моделей отсутствие отказов — отличное начало, и мы посмотрим, как они будут работать с течением времени. Две другие модели накопителей, Seagate 16 ТБ и Toshiba 14 ТБ, получили почетные упоминания, так как в течение квартала у них произошел только один сбой. Поскольку оба привода добавлены к нашей ферме недавно, мы продолжим следить за ними.

Общая годовая частота отказов (AFR) 0,85% за квартал — это четвертый квартал подряд, когда AFR был ниже 1%, и мы очень довольны тенденцией, особенно с учетом того, что мы добавили более 42000 новых жестких дисков на нашу ферму и за этот период мигрировали еще 23 600 дисков.

Жесткие диски и твердотельные накопители: первый взгляд
В Backblaze мы используем SSD-диски в нескольких местах, но в настоящее время мы не используем их для хранения данных клиентов — это остается в сфере жестких дисков. Но одно место, где у нас есть жесткие диски и твердотельные накопители, — это загрузочные диски для наших серверов хранения. В нашем случае называть эти диски загрузочными дисками неправильно, поскольку эта когорта также используется для хранения файлов журналов для доступа к системе, диагностики и т. Д. Другими словами, эти загрузочные диски регулярно читают, записывают и удаляют файлы в дополнение к своей именованной функции загрузки сервера при запуске.

Чуть более двух лет назад Backblaze начал использовать твердотельные накопители в качестве загрузочных дисков. Примерно в то время мы могли начать приобретать твердотельные накопители емкостью 200 ГБ или около того по цене менее 50 долларов каждый, что было нашей ценой для жестких дисков емкостью 500 ГБ, которые мы покупали.

У нас есть две группы дисков, одна — жесткие диски, а другая — твердотельные, которые с течением времени выполняли одни и те же функции в одной и той же среде. В таблице ниже сравнивается совокупная частота отказов наших загрузочных жестких дисков и твердотельных накопителей за первый квартал 2021 года.


Почему мы не разбили их по моделям? Ни одна из моделей сама по себе не имела достаточного количества дней в пути, чтобы быть статистически значимой. В целом, количество дисковых дней все еще находится на низком уровне, но очевидная разница в AFR между загрузочными дисками HDD и SSD открывает глаза.

Если мы посмотрим на результаты срока службы загрузочных дисков HDD и SSD, разница в AFR будет меньше, но все же значительна.


Отчетность SSD движется вперед
Один очевидный вывод из этих таблиц заключается в том, что SSD-диски выходят из строя реже, чем HDD-диски, по крайней мере, в этом случае использования. Но при этом игнорируется один важный фактор — возраст вождения. Если мы сосредоточимся на возрасте каждой из когорт, в нашем предположении «SSD диски лучше» есть потенциальные трещины.

Средний возраст SSD-накопителей составляет 12,7 месяца, а средний возраст жестких дисков — 49,6 месяца.
Самым старым SSD-накопителям около 30 месяцев, а самым молодым жестким дискам — 24 месяца.
Самым старым жестким дискам почти 96 месяцев — восемь лет.
По сути, сроки устаревания твердотельных и жестких дисков не очень сильно пересекаются, и в целом частота отказов дисков обычно увеличивается по мере старения накопителей. Эти два соображения позволяют сделать вывод о том, что твердотельные накопители выходят из строя реже, чем жесткие диски, не так четко, как может показаться на первый взгляд. В ближайшие месяцы мы углубимся в данные и совместим графики SSD и HDD, чтобы изучить жесткие диски в первые годы их использования, и опубликуем эти результаты. Это позволит нам лучше понять профиль частоты отказов жестких дисков с течением времени.

В дополнение к загрузочным дискам мы также используем SSD-диски для различных случаев использования, например, на серверах восстановления и так далее. Со временем наша цель — оснастить и эти диски, не влияя на производительность, чтобы мы могли создать библиотеку показателей отказов SSD-накопителей в зависимости от сценария использования.

Статистика жесткого диска за весь срок службы
На приведенной ниже диаграмме показаны среднегодовые показатели срока службы всех моделей жестких дисков, находящихся в производстве, по состоянию на 31 марта 2021 года.


Примечания и наблюдения по статистике за все время
Срок службы AFR для всех дисков в нашей ферме продолжает уменьшаться. AFR 1,49% — это самое низкое зарегистрированное значение с момента начала работы в 2013 году. Население накопителей охватывает модели от 4 до 16 ТБ, а средний возраст варьируется от двух недель (WDC 16 ТБ) до почти шести лет (Seagate 6 ТБ).

Наши самые эффективные модели приводов в нашей среде по размеру приводов перечислены в таблице ниже.


Средний срок службы и количество дней вождения для дисков емкостью 14 ТБ и 16 ТБ недостаточно, чтобы делать какие-либо выводы, но оставшиеся диски со временем доказали свою ценность в наших условиях.

Другой способ взглянуть на эти данные — сгруппировать все диски заданного размера: 4 ТБ, 6 ТБ и т.д. Мы сделали это в таблице ниже.


Данные статистики жесткого диска
Полный набор данных, использованных для создания информации, использованной в этом обзоре, доступен на нашей странице «Данные тестирования жесткого диска». Вы можете бесплатно скачать и использовать эти данные в своих целях. Все, что мы просим, ​​- это три вещи: 1) вы указываете Backblaze в качестве источника, если используете данные, 2) вы соглашаетесь с тем, что несете исключительную ответственность за то, как вы используете данные, и 3) вы никому не продаете эти данные; это бесплатно.

Если вам просто нужны сводные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий файлы CSV для каждой диаграммы.
f001.backblazeb2.com/file/Backblaze_Blog/Q1_2021_Drive_Stats_Tables.zip
www.backblaze.com/b2/hard-drive-test-data.html

Удачи и дайте нам знать, если найдете что-нибудь интересное.

Узнать больше о статистике Диска
Присоединяйтесь к автору Drive Stats Энди Кляйну, который выходит за рамки цифр, чтобы обсудить, почему, по его мнению, частота отказов со временем снизилась, каковы некоторые из проблем с использованием новейших больших дисков, что он думает о наших числах SSD и многом другом. Зарегистрируйтесь сегодня на веб-семинар Backblaze Drive Stats Q1 2021 на канале Backblaze BrightTALK.

О Backblaze
Если вы не знакомы с Backblaze, мы работаем в сфере облачных хранилищ более 14 лет. Мы делаем все просто: Backblaze Computer Backup для домашнего или офисного ПК или Mac, а также Backblaze B2 Cloud Storage для ваших серверов и всех других данных, необходимых для защиты вне офиса. Мы недорогие, простые в использовании, и мы знаем, что делаем.

По мере роста вашего бизнеса растет и количество данных, которые ему необходимо хранить и которыми нужно управлять. Хранение этих данных на незакрепленных жестких дисках и отдельных рабочих станциях больше не приведет к их сокращению: вашей команде нужен постоянный доступ к данным, защита от потери и емкость для будущего роста. Самый простой способ быстро и легко предоставить все три — это сетевое хранилище (NAS).

Возможно, вы уже рассматривали возможность покупки NAS-устройства, или вы приобрели то, из которого вы уже выросли, или это может быть ваш первый раз, когда вы рассматриваете свои варианты. Независимо от того, с чего вы начинаете, количество вариантов и функций, предлагаемых сегодня системами NAS, огромно, особенно когда вы пытаетесь купить что-то, что будет работать сейчас и в будущем.

Этот пост призван облегчить вам процесс. Следующий контент поможет вам:

• Ознакомьтесь с преимуществами системы NAS.
• Перейдите к нужным параметрам.
• Понять причину, по которой ваш NAS подключается к облачному хранилищу.

Как NAS может принести пользу вашему бизнесу?
Система NAS может предоставить пользователям в вашей сети множество преимуществ, но здесь мы кратко перечислим некоторые из основных преимуществ.

• Больше места для хранения. Это немного очевидно, но основное преимущество системы NAS заключается в том, что она значительно увеличивает емкость вашего хранилища, если вы полагаетесь на рабочие станции и жесткие диски. Системы NAS создают единый том хранения из нескольких дисков (часто организованных по схеме RAID).
• Защита от потери данных. Менее очевидная, но не менее важная конфигурация RAID в системе NAS гарантирует, что данные, которые вы храните, смогут пережить отказ одного или нескольких жестких дисков. Жесткие диски выходят из строя! NAS помогает сделать это утверждение менее пугающим.
• Безопасность и скорость. Помимо защиты от сбоя диска, NAS также обеспечивает безопасность ваших данных от внешних субъектов, поскольку они доступны только в локальной офисной сети и для учетных записей пользователей, которые вы можете контролировать. Более того, он обычно работает так же быстро, как и ваша локальная офисная сеть.
• Лучшие инструменты управления данными. Полностью автоматизированное резервное копирование, дедупликация, сжатие и шифрование — это лишь некоторые из функций, которые вы можете задействовать в системе NAS. Все они делают ваше хранилище данных более эффективным и безопасным. Вы также можете настроить рабочие процессы синхронизации, чтобы упростить совместную работу вашей команды, включить службы для управления пользователями и группами с помощью служб каталогов и даже добавить такие службы, как управление фотографиями или мультимедиа.

Если все это кажется полезным для вашего бизнеса, читайте дальше, чтобы узнать больше о том, как воспользоваться этими преимуществами внутри компании.


Руководство покупателя к сетевому хранилищу (NAS)
Как вы оцениваете различия между разными поставщиками NAS? Или даже в рамках продуктовой линейки одной компании? Мы здесь, чтобы помочь. Этот тур по основным компонентам системы NAS поможет вам составить список для определения размеров и функций системы, которые будут соответствовать вашим потребностям.

Выбор NAS: компоненты
Работа вашего NAS определяется компонентами, составляющими систему, и возможностями будущих обновлений. Давайте рассмотрим различные варианты.

Емкость хранилища NAS: сколько отсеков вам нужно?
Один из первых способов отличить разные системы NAS — это количество отсеков для дисков, предлагаемых данной системой, поскольку от этого зависит, сколько дисков может вместить система. Вообще говоря, чем больше количество отсеков для дисков, тем больше места для хранения вы можете предоставить своим пользователям и тем больше у вас будет гибкости для защиты данных от сбоя диска.

В системе NAS хранилище определяется количеством дисков, общим томом, который они создают, и их схемой чередования (например, RAID 0, 1, 5, 6 и т. Д.). Например, один диск не дает дополнительной производительности или защиты. Два диска позволяют выполнить простое зеркальное отображение. Зеркальное отображение также называется RAID 1, когда один том состоит из двух дисков, что допускает отказ одного из этих дисков без потери данных. Два диска также допускают чередование — называемое RAID 0 — когда один том «растягивается» на два диска, образуя один диск большего размера, что также дает некоторое улучшение производительности, но увеличивает риск, поскольку потеря одного диска означает, что весь том будет недоступен.

Напоминание: как снова работает RAID?
Резервный массив независимых дисков или RAID объединяет несколько жестких дисков в один или несколько томов хранения. RAID распределяет данные и четность (информацию о восстановлении дисков) по дискам по-разному, и каждая схема обеспечивает разную степень защиты данных.

Три диска — это минимум для RAID 5, который может выдержать потерю одного диска, хотя четыре диска являются более распространенной конфигурацией системы NAS. Пять дисков позволяют использовать RAID 6, который может выдержать потерю двух дисков. От шести до восьми дисков являются очень распространенными конфигурациями NAS, которые позволяют увеличить объем хранилища, пространства, производительности и даже сэкономить диск — возможность назначить резервный диск для немедленного восстановления отказавшего диска.

Многие считают, что если вы ищете систему NAS с несколькими отсеками, вам следует выбрать емкость, которая позволяет использовать RAID 6, если это возможно. RAID 6 может выдержать потерю двух дисков и обеспечивает производительность, почти равную RAID 5, с лучшей защитой.

Понятно подумать: зачем мне готовиться на случай, если два диска выйдут из строя? Что ж, когда диск выходит из строя и вы заменяете его новым, процесс восстановления данных и информации о четности на этом диске может занять много времени. Хотя это случается редко, во время восстановления может выйти из строя другой диск. В этом случае, если у вас RAID 6, все будет в порядке. Если у вас RAID 5, возможно, вы только что потеряли данные.

Примечание покупателя. Некоторые системы продаются без дисков. Стоит ли покупать NAS с дисками или без них? Это решение обычно сводится к размеру и типу дисков, которые вы хотели бы иметь.

При покупке системы NAS с дисками в комплекте:

• На диски обычно распространяется гарантия производителя как на часть полной системы.
• Накопители обычно покупаются непосредственно в цепочке поставок производителя и отправляются напрямую от производителя жестких дисков.

Если вы решите покупать диски отдельно от NAS:

• Приводы могут представлять собой смесь производственных циклов приводов и дольше присутствовать в цепочке поставок. Подбирайте емкости и модели дисков для наиболее предсказуемой производительности всего тома RAID.
• Выберите диски, рассчитанные на работу с системами NAS — поставщики NAS публикуют списки поддерживаемых типов дисков. Вот, например, список от QNAP.
• Проверьте гарантии и процедуры возврата, и если вы перемещаете коллекцию старых дисков в свой NAS, вы также можете определить, какая часть гарантии уже истекла.

Вывод для покупателя: выберите систему, которая может поддерживать RAID 5 или RAID 6, чтобы обеспечить сочетание большего объема памяти, производительности и защиты диска от сбоев. Но обязательно проверьте, продается ли система NAS с накопителями или без них.

Выбор емкости диска для NAS: диски какого размера следует покупать?
Вы можете быстро оценить, какой объем хранилища вам понадобится, добавив жесткие диски и внешние диски всех систем, для которых вы будете выполнять резервное копирование в своем офисе, добавив объем общего хранилища, который вы хотите предоставить своим пользователям, и учитывайте любой прогнозируемый рост спроса на совместно используемое хранилище.

Если у вас есть какие-либо исторические данные за предыдущие годы, вы можете рассчитать простой темп роста. Но добавляйте буфер, так как с каждым годом рост данных ускоряется. Вообще говоря, цены на системы в два или четыре раза превышают размер вашей существующей емкости данных. Допустим, ваши жесткие и внешние диски для резервного копирования, а также любое дополнительное общее хранилище, которое вы хотите предоставить своим пользователям, увеличивают до 20 ТБ. Удвойте этот размер, чтобы получить 40 ТБ с учетом роста, затем разделите на общий размер жесткого диска, например 10 ТБ. Имея это в виду, вы можете начать покупать системы с четырьмя отсеками и более.

Формула 1: ((количество пользователей NAS x размер жесткого диска) + общее хранилище) * фактор роста = необходимое хранилище NAS

Пример. В офисе шесть пользователей, каждый из которых будет выполнять резервное копирование своих рабочих станций и ноутбуков емкостью 2 ТБ. Команда захочет использовать еще 6 ТБ общего хранилища для документов, изображений и видео для всех. Умноженный на коэффициент роста в два раза, вы начнете покупать системы NAS, которые предлагают не менее 36 ТБ хранилища.

((Шесть пользователей * 2 ТБ каждый) + 6 ТБ общего хранилища) * коэффициент роста два = 36 ТБ

Формула 2: ((требуется хранилище NAS / размер жесткого диска) + два диска с контролем четности) = требуются отсеки для дисков

Пример. Продолжая приведенный выше пример, при поиске новой системы NAS с дисками емкостью 12 ТБ, учитывая два дополнительных диска для RAID 6, вы должны искать системы NAS, которые могут поддерживать пять или более отсеков для жестких дисков по 12 ТБ.

((36 ТБ / 12 ТБ) + два дополнительных диска) = пять отсеков для дисков и более

Если ваш бюджет позволяет, выбор дисков большего размера и большего количества отсеков для дисков приведет к увеличению накладных расходов на хранилище, которые со временем наверняка вырастут. Учтите, однако, что если вы станете слишком большим, вы будете платить за неиспользуемое пространство для хранения в течение более длительного периода времени. А если вы используете бухгалтерский учет по GAAP, вам нужно будет окупить эти вложения за то же время, что и меньшая система NAS, что принесет прибыль на ежегодной основе. Это классическая дилемма CapEx и Opex, о которой вы можете узнать больше здесь.

Если у вас ограниченный денежный бюджет, вы всегда можете приобрести систему NAS с большим количеством отсеков, но меньшими дисками, что значительно снизит ваши первоначальные цены. Затем вы можете заменить эти диски в будущем на более крупные, когда они вам понадобятся. Цены на жесткие диски обычно снижаются со временем, поэтому в будущем они, вероятно, будут дешевле. Со временем вы купите два комплекта приводов, что вначале будет менее затратным, но, вероятно, более дорогим в долгосрочной перспективе.

Точно так же можно частично заполнить отсеки для дисков. Если вы хотите получить систему с восемью отсеками, но у вас есть бюджет только на шесть дисков, просто добавьте остальные диски позже. Одна из лучших составляющих систем NAS — это гибкость, которую они позволяют вам правильно определять подход к общему хранилищу.


Вывод для покупателя: оцените, какой объем хранилища вам понадобится, добавьте объем общего хранилища, который вы хотите предоставить своим пользователям, и учесть растущий спрос на общее хранилище, а затем сбалансируйте долгосрочный потенциал роста с потоком денежных средств.

Процессор, контроллеры и память: какой уровень производительности вам нужен?
Что лучше: большие встроенные процессоры или контроллеры? Меньшие встроенные микросхемы, обычно используемые в небольших NAS-системах, обеспечивают базовую функциональность, но могут зависнуть при обслуживании большого количества пользователей или при выполнении задач дедупликации и шифрования, которые являются вариантами со многими решениями для резервного копирования. Более крупные системы NAS, которые обычно хранятся в стойках ИТ-центров обработки данных, обычно предлагают несколько контроллеров хранения, которые могут обеспечить максимальную производительность и даже возможность переключения при отказе.

• Процессор: обеспечивает вычислительную мощность для работы системы, служб и приложений.
• Контроллер: управляет представлением и состоянием объема хранилища.
• Память: Повышает скорость работы приложений и производительность обслуживания файлов.

Чипы ARM и Intel Atom хороши для базовых систем, в то время как более крупные и более мощные процессоры, такие как Intel Corei3 и Corei5, быстрее справляются с задачами NAS, такими как шифрование, дедупликация и обслуживание любых встроенных приложений. Микросхемы серверного класса Xeon также можно найти во многих стоечных системах.

Так что, если вы просто ищете базовое расширение хранилища, системы начального уровня с более скромными базовыми микросхемами, скорее всего, вам подойдут. Если дедупликация, шифрование, синхронизация и другие функции, предлагаемые многими системами NAS в качестве дополнительных инструментов, являются частью вашего будущего рабочего процесса, это одна из областей, где вам не следует срезать углы.



Если у вас есть возможность расширить системную память, это может быть простым обновлением производительности. Как правило, чем выше соотношение памяти и дисков, тем выше производительность чтения и записи на диск, а также скорость работы встроенных приложений.

Вывод для покупателя: системы NAS начального уровня обеспечивают хорошую базовую функциональность, но вы должны убедиться, что ваши компоненты соответствуют требованиям, если вы планируете интенсивно использовать дедупликацию, шифрование, сжатие и другие функции.

Сеть и подключения: какая скорость вам нужна?
Базовый NAS будет иметь соединение Gigabit Ethernet, которое часто обозначается как 1GigE. Пропускная способность сети в 1 Гбит / с эквивалентна 125 МБ / с, поступающей из вашей системы хранения. Это означает, что система NAS должна предоставлять услуги хранения для всех пользователей в рамках этого ограничения, что обычно не является проблемой при обслуживании только нескольких пользователей. Многие системы имеют внутренние порты расширения, что позволяет позже приобрести сетевую карту 10GigE для обновления вашего NAS.



Некоторые поставщики NAS предлагают в своих системах соединения со скоростью 2,5 Гбит / с или 5 Гбит / с — это даст вам больше производительности, чем подключения 1GigE, но обычно требуется, чтобы вы получили совместимый сетевой коммутатор и, возможно, USB-адаптеры или карты расширения для каждого система, которая будет подключаться к этому NAS через коммутатор. Если ваш офис уже подключен к 10GigE, убедитесь, что ваш NAS также 10GigE. В противном случае, чем больше сетевых портов на задней панели системы, тем лучше. Если вы не готовы получить систему с поддержкой 10GigE сейчас, но думаете, что, возможно, получите ее в будущем, выберите систему с возможностью расширения.


Некоторые системы предоставляют еще один вариант соединений Thunderbolt в дополнение к соединениям Ethernet. Они позволяют ноутбукам и рабочим станциям с портами Thunderbolt напрямую подключаться к NAS и предлагают гораздо более высокую пропускную способность — до 40GigE (5 ГБ / с) — и подходят для систем, которым необходимо редактировать большие файлы непосредственно на NAS, как это часто бывает случай в редактировании видео. Если вы будете напрямую подключать системы, которым требуется максимально высокая скорость, выберите систему с портами Thunderbolt, по одному на каждого пользователя, подключенного к Thunderbolt.

Вывод для покупателя: лучше иметь больше сетевых портов в задней части системы. Или выберите систему с возможностью карты расширения сети.

Функции кэширования и гибридного диска: насколько быстро нужно обслуживать файлы?
Многие из высокопроизводительных NAS-систем могут дополнять стандартные 5,25-дюймовые жесткие диски более производительными SSD или дисками M.2 меньшего форм-фактора. Эти более компактные и быстрые диски могут значительно повысить производительность обслуживания файлов NAS за счет кэширования файлов в самых последних или наиболее часто запрашиваемых файлах. Комбинируя эти разные типы дисков, NAS может обеспечить как улучшенную производительность обслуживания файлов, так и большую емкость.

По мере роста числа пользователей, которых вы поддерживаете в каждом офисе, эти возможности станут более важными как относительно простой способ повышения производительности. Как мы упоминали ранее, вы можете приобрести систему с незанятыми слотами и добавить их позже.

Вывод для покупателя: комбинируйте различные типы дисков, например SSD меньшего форм-фактора или хранилище M.2 с жесткими дисками 5,25 дюйма, чтобы повысить производительность обслуживания файлов.

Операционная система: какие функции управления вам требуются?


Операционные системы NAS основных производителей обычно предоставляют те же услуги в интерфейсе, подобном ОС, через встроенный веб-сервер. Просто введя IP-адрес своего NAS, вы можете войти в систему и управлять настройками своей системы, создавать тома хранения и управлять ими, настраивать группы пользователей в вашей сети, которые имеют доступ, настраивать и отслеживать задачи резервного копирования и синхронизации, и многое другое.

Если в вашей ИТ-среде есть определенные функции управления пользователями, которые вам нужны или вы хотите протестировать, как работает ОС NAS, вы можете протестировать их, запустив демонстрационную виртуальную машину, предлагаемую некоторыми поставщиками NAS. Вы можете протестировать конфигурацию сервиса и почувствовать интерфейс и инструменты, но очевидно, что в виртуальной среде вы не сможете напрямую управлять оборудованием. Вот несколько вариантов:

• Synology
• QNAP

Вывод для покупателя: встроенная ОС NAS OS похожа на операционную систему Mac или ПК, что упрощает навигацию по настройке и обслуживанию системы, а также позволяет управлять настройками, хранилищем и задачами.

Решения: какие дополнительные услуги вам требуются?
Хотя встроенный процессор и память на вашем NAS в основном предназначены для файлового сервиса, резервного копирования и синхронизации, вы также можете установить другие решения прямо на него. Например, QNAP и Synology — два популярных поставщика NAS — имеют магазины приложений, доступные из их управляющего программного обеспечения, где вы можете выбрать приложения для загрузки и установки на NAS. Возможно, вас заинтересует решение для резервного копирования и синхронизации, такое как Archiware, или решения CMS, такие как Joomla или WordPress.


Однако, помимо решений для резервного копирования, вы получите выгоду от установки критически важных приложений на выделенную систему, а не на NAS. Для небольшого числа пользователей запуск приложений непосредственно на NAS может быть хорошим временным использованием или способом что-то проверить. Но если приложение становится очень загруженным, это может повлиять на другие службы NAS. В целом, собственные приложения на вашем NAS могут быть полезны, но не переусердствуйте.

Вывод для покупателя: основные приложения для резервного копирования и синхронизации от основных поставщиков NAS превосходны — дайте им хороший тест, но знайте, что существует множество отличных решений для резервного копирования и синхронизации.

Почему добавление облачного хранилища в NAS дает дополнительные преимущества
Когда вы соединяете облачное хранилище с вашим NAS, вы получаете доступ к функциям, которые дополняют безопасность ваших данных и вашу возможность обмениваться файлами как локально, так и удаленно.

Во-первых, облачное хранилище обеспечивает защиту резервного копирования за пределами площадки. Это приводит настройку вашего NAS в соответствие с отраслевым стандартом защиты данных: стратегией резервного копирования 3-2-1, которая гарантирует, что у вас будет три копии ваших данных, исходные данные и две резервные копии, одна из которых находится на вашем NAS, а вторая копия ваших данных защищена за пределами сайта. А в случае потери данных вы можете восстановить свои системы прямо из облака, даже если все системы в вашем офисе выйдут из строя или разрушены.

Хотя данные, отправляемые в облако, шифруются на лету с помощью SSL, вы также можете зашифровать свои резервные копии, чтобы их можно было открыть только с помощью ключа шифрования вашей команды. Облако также может предоставить вам расширенные возможности хранения файлов резервных копий, такие как однократная запись, многократное чтение (WORM) или неизменяемость, что делает ваши данные неизменными в течение определенного периода времени, или устанавливать пользовательские правила жизненного цикла данных на уровне корзины, чтобы соответствовать вашим идеальный рабочий процесс резервного копирования.

Кроме того, облачное хранилище обеспечивает ценный доступ к вашим данным и документам с вашего NAS за счет возможностей синхронизации. В случае, если кому-то из вашей команды потребуется доступ к файлу, когда он находится вне офиса, или, что более распространено сейчас, если вся ваша команда работает из дома, они смогут получить доступ к файлам, которые были синхронизированы с облако через программу безопасной синхронизации вашего NAS. Вы даже можете выполнять синхронизацию в нескольких местах, используя облако в качестве двусторонней синхронизации для быстрой репликации данных в разных местах. Сотрудникам, работающим на большом расстоянии, это помогает избежать ожидания доставки важных файлов в Интернете: они уже находятся на месте.

Напоминание: в чем разница между облачной синхронизацией, облачным резервным копированием и облачным хранилищем? Службы синхронизации позволяют нескольким пользователям на нескольких устройствах получать доступ к одному и тому же файлу. Резервное копирование хранит копию этих файлов где-то вдали от вашей рабочей среды, часто на удаленном сервере, например в облачном хранилище. Важно знать, что «синхронизация» не является резервной копией, но они могут хорошо работать вместе при правильной координации. Вы можете узнать больше о различиях в этом сообщении в блоге.

Готовы к настройке вашего NAS с облачным хранилищем
Подводя итог, вот несколько вещей, которые следует помнить при покупке системы NAS:

• Подумайте, сколько места вам понадобится как для локального резервного копирования, так и для общего пользовательского хранилища.
• Ищите систему как минимум с тремя-пятью отсеками для дисков.
• Убедитесь, что система NAS продается с дисками — в противном случае вам придется приобрести достаточное количество дисков одинакового размера.
• Выбирайте систему, которая позволяет вам модернизировать память и сетевые опции.
• Выберите систему, которая соответствует вашим потребностям сегодня; вы всегда можете обновить его в будущем.

В сочетании с облачным хранилищем, таким как Backblaze B2 Cloud Storage, которое уже интегрировано с системами NAS от Synology и QNAP, вы получаете необходимую защиту резервного копирования и восстановление из облака, а также возможность синхронизации между местоположениями.
www.backblaze.com/b2/cloud-storage.html

• CAPACITY: 96 TB
• RENTAL: $550 FOR 30 DAYS

www.backblaze.com/b2/solutions/datatransfer/fireball.html

Спасибо, что являетесь клиентом Backblaze. Это электронное письмо предназначено для информирования вас об изменениях в наших Условиях обслуживания. Ниже приведены некоторые основные моменты изменений, хотя мы рекомендуем вам полностью просмотреть все условия, прежде чем они вступят в силу. Эти изменения вступят в силу 12 февраля 2021 года.

Политика в отношении содержания
Добавляет раздел «Ваши обязанности» в отношении соблюдения Условий и политик Backblaze, а также применимого законодательства.

Обновляет формулировку, касающуюся права Backblaze закрыть и / или приостановить действие учетной записи клиента за нарушение условий или политик Backblaze или любого применимого закона и / или нормативных актов.

Запрещенная деятельность
Обновлен язык, чтобы сделать запрещенные действия более понятными.
Разъясняет, что Backblaze считает оскорбительным поведением.

Услуги раннего выпуска
Добавляет раздел, охватывающий «альфа», «бета», «предварительный просмотр», «ранний доступ» или «ознакомительные» услуги и функции.

Описывает, что бета-сервисы являются конфиденциальными до официального запуска, и что если вы согласитесь использовать бета-сервисы, Backblaze может связаться с вами для обратной связи.

Конфиденциальность
Разъясняет, что вы несете ответственность за хранение и использование ваших файлов в соответствии с применимыми законами о конфиденциальности данных.

Вы можете прочитать новые Условия обслуживания (вступающие в силу 12 февраля 2021г.) здесь: www.backblaze.com/company/terms-effective-12Feb2021.html
а также ознакомиться с существующими Условиями обслуживания здесь. www.backblaze.com/company/terms.html

В 2020 году Backblaze добавил 39 792 жестких диска, и по состоянию на 31 декабря 2020 года у нас было 165 530 дисков под управлением. Из этого числа было 3 000 загрузочных дисков и 162 530 дисков с данными. Мы обсудим загрузочные диски позже в этом отчете, но сначала мы сосредоточимся на частоте отказов жестких дисков для моделей дисков данных, работающих в наших центрах обработки данных по состоянию на конец декабря. Кроме того, мы снова поприветствуем Western Digital на ферме и познакомимся с нашими новыми накопителями емкостью 16 и 18 ТБ. Попутно мы поделимся наблюдениями и мнениями по представленным данным и, как всегда, ждем, что вы сделаете то же самое в комментариях.

Уровень отказов жестких дисков в 2020 г.
В конце 2020 года Backblaze контролировал 162 530 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключаем из рассмотрения 231 диск, который использовался для тестирования, и те модели дисков, для которых у нас не было хотя бы 60 дисков. Таким образом, в 2020 году у нас останется 162299 жестких дисков, как указано ниже.


Наблюдения
231 диск, не включенный в список выше, либо использовался для тестирования, либо не имел по крайней мере 60 дисков одной и той же модели в любое время в течение года. Данные для всех дисков, дисков с данными, загрузочных дисков и т. Д. Доступны для загрузки на веб-странице данных тестирования жесткого диска.

Для приводов с менее чем 250 000 диско-дней какие-либо выводы о частоте отказов приводов не обоснованы. Данных за год недостаточно, чтобы делать какие-либо выводы. Только для полноты мы представляем модели с менее чем 250 000 дней в пути.

Для моделей дисков с более чем 250 000 диско-дней в течение 2020 года диск Seagate 6 ТБ (модель: ST6000DX000) является лидером с показателем частоты отказов 0,23% в годовом исчислении (AFR). Эта модель также была самой старой по среднему возрасту из всех перечисленных приводов. За моделью Seagate на 6 ТБ следуют постоянные конкуренты от HGST: диск 4 ТБ (модель: HMS5C4040ALE640) с 0,27%, диск 4 ТБ (модель: HMS5C4040BLE640), с 0,27%, диск 8 ТБ (модель: HUH728080ALE600) с 0,29%. и накопитель на 12 ТБ (модель: HUH721212ALE600) на 0,31%.

AFR на 2020 год для всех моделей приводов составил 0,93%, что меньше половины AFR на 2019 год. Мы обсудим это позже в этом отчете.

Что нового в 2020 году
В начале 2020 года у нас была цель диверсифицировать количество моделей приводов, которые мы можем использовать в наших центрах обработки данных. С этой целью в течение года мы отобрали девять новых моделей приводов, как показано ниже.


Фактически, было две дополнительные модели жестких дисков, которые были новыми для нашей фермы в 2020 году: диск Seagate на 16 ТБ (модель: ST16000NM005G) с 26 дисками и диск Toshiba на 16 ТБ (модель: MG08ACA16TA) с 40 дисками. Каждый из них упал ниже нашего порога в 60 дисков и не был в списке.

Стимулируйте разнообразие
Цель отбора дополнительных моделей вождения оказалась пророческой в ​​2020 году, поскольку эффекты Covid-19 начали проникать в мировую экономику в марте 2020 года. К тому времени мы уже были на пути к нашей цели и, хотя Креативное решение, чем стимулирование сельского хозяйства, диверсификация модели стимулирования была одной из тактик, которые мы использовали для управления нашей цепочкой поставок через задержки производства и доставки, распространенные в первые несколько месяцев пандемии.

Western Digital Returns
В последний раз модель дисков Western Digital (WDC) была указана в нашем отчете во втором квартале 2019 года. В эксплуатации все еще находятся три диска WDC емкостью 6 ТБ и загрузочный диск WDC 261, но ни один из них не указан в наших отчетах, поэтому диски WDC отсутствуют — до сих пор. В четвертом квартале в общей сложности было установлено 6002 из этих жестких дисков емкостью 14 ТБ (модель: WUH721414ALE6L4), которые были в рабочем состоянии по состоянию на 31 декабря.

Эти диски, очевидно, делятся своей родословной с дисками HGST, но они сообщают о своем производителе как WDC против HGST. Номера моделей аналогичны: первые три символа меняются с HUH на WUH, а последние три символа меняются с 604, например, на 6L4. Нам неизвестно значение этого изменения, возможно, дело в местонахождении завода, версии прошивки или другом обозначении. Если знаете, дайте всем знать в комментариях. Как и у всех основных производителей приводов, номер модели несет в себе систематизированную информацию, относящуюся к каждой модели привода, и не генерируется случайным образом, поэтому строка 6L4 может означать что-то полезное.

WDC вернулся с большим успехом, так как AFR для этой модели дисковода составляет всего 0,16% — то есть при установленных 6002 дисках, но в среднем только на 1,7 месяца. Тем не менее, из-за всего одного сбоя за это время, они взяли отличный старт. Мы с нетерпением ждем их результатов в ближайшие месяцы.

Новые модели от Seagate
Шесть моделей дисков Seagate были новыми для нашей фермы в 2020 году. Пять из этих моделей перечислены в таблице выше, а одна модель имела только 26 дисков, поэтому ее не было в списке. Эти диски имели размер от 12 ТБ до 18 ТБ и использовались как для замены при миграции, так и для нового хранилища. Как группа, они насчитали 13 596 дисков и 1783 166 дней работы с 46 сбоями при AFR 0,94%.

Toshiba поставляет больше нулей
Новый диск Toshiba 14 ТБ (модель: MG07ACA14TA) и новый Toshiba 16 ТБ (модель: MG08ACA16TEY) были представлены в наших центрах обработки данных в 2020 году, и они выставляют нули, как при нулевых сбоях. Несмотря на то, что каждая модель привода была установлена ​​только около двух месяцев, это хорошее начало.

Сравнение статистики жестких дисков за 2018, 2019 и 2020 годы
На диаграмме ниже сравнивается AFR за каждый из последних трех лет. Данные за каждый год включают только этот год и для моделей приводов, представленных в конце каждого года.


Годовое количество отказов на 2020 год сильно снизилось
AFR на 2020 год упал ниже 1% до 0,93%. В 2019 году он составлял 1,89%. Это падение более чем на 50% по сравнению с прошлым годом. Так почему же AFR 2020 года был таким низким? Ответ: это была групповая работа. Начнем с того, что старые диски: диски 4 ТБ, 6 ТБ, 8 ТБ и 10 ТБ в целом были значительно лучше в 2020 году, снизившись с AFR 1,35% в 2019 году до AFR 0,96% в 2020 году. На другом конце диапазона размеров, мы добавили более 30 000 дисков большего размера: 14 ТБ, 16 ТБ и 18 ТБ, что в целом для группы составило 0,89% на 2020 год. Наконец, для всех дисков на 12 ТБ показатель AFR в 2020 году составил 0,98%. Другими словами, независимо от того, был ли диск старым или новым, большим или маленьким, они хорошо себя зарекомендовали в наших условиях в 2020 году.

Статистика жесткого диска за весь срок службы
В приведенной ниже таблице показаны среднегодовые показатели срока службы всех моделей приводов, находящихся в производстве, по состоянию на 31 декабря 2020 г.


AFR и доверительные интервалы
Доверительные интервалы дают вам представление о полезности соответствующего значения AFR. Узкий диапазон доверительного интервала лучше, чем более широкий диапазон, при этом очень широкий диапазон означает, что соответствующее значение AFR не является статистически полезным. Например, доверительный интервал для дисков Seagate емкостью 18 ТБ (модель: ST18000NM000J) составляет от 1,5% до 45,8%. Это очень много, и следует сделать вывод, что соответствующий показатель AFR 12,54% не является истинным показателем частоты отказов этой модели привода. Требуется больше данных. С другой стороны, когда мы смотрим на диск Toshiba емкостью 14 ТБ (модель: MG07ACA14TA), диапазон составляет от 0,7% до 1,1%, что довольно узко, и наша уверенность в AFR 0,9% гораздо более разумна.

3000 загрузочных дисков
Мы всегда исключаем загрузочные диски из наших отчетов, поскольку их функции сильно отличаются от дисков с данными. Хотя это может показаться не очевидным, наличие 3000 загрузочных дисков — это своего рода веха. Это означает, что по состоянию на 31 декабря у нас работает 3000 модулей хранения Backblaze. Все эти модули хранения организованы в хранилища Backblaze по 20 модулей в каждом или 150 хранилищ Backblaze.

Примерно за последний год мы перешли от жестких дисков к твердотельным накопителям в качестве загрузочных. Сегодня у нас чуть более 1200 твердотельных накопителей, которые работают как загрузочные диски. Мы проверяем данные SMART и отказов, которые собираем на этих загрузочных дисках SSD. Мы будем держать вас в курсе, если у нас будет что опубликовать.

Здесь, в Backblaze, мы, как известно, поступаем немного иначе. Мы часто выбираем другой путь — от модулей хранения и хранилищ Backblaze до данных о сельском хозяйстве и жестких дисках. Поэтому неудивительно, что мы любим рассказы о людях, которые нестандартно мыслят, когда сталкиваются с проблемой. Это особенно верно, когда эта история связана с созданием сервера хранения mongo, почтенной Toyota 4Runner и парой ИТ-инженеров, одержимых целью получить 1,2 петабайта данных своей организации за пределами офиса. Давайте познакомимся с Алексом Акостой и Эндрю Дэвисом из Gladstone Institutes.

Данные в бегах
Охранник на стойке регистрации понимающе кивнул, когда Алекс и Эндрю катили три больших чемодана «Черепахи» через вестибюль и выходили из парадной двери Гладстонского института. Хорошо известные и широко уважаемые, два ИТ-инженера составляли в то время две трети персонала ИТ-операций, и у них был 25-летний опыт работы в Гладстоне. Как ни странно, что ИТ-персонал покидает безопасный объект в нерабочее время с тремя крупными делами, все было на подъеме.

В середине февраля были сумерки. Алекс и Эндрю приготовились к холоду, когда они вышли на почти пустую автостоянку, неся драгоценный груз в этих трех ящиках. 4Runner Эндрю был близок к этому, он прибыл рано в тот день — важный день, день переезда. Они осторожно затащили тяжелые чемоданы в 4Runner. Большую часть веса составляли сами корпуса, остальной частью был сервер хранения 4U, а в двух других — 36 жестких дисков. Незначительная часть веса, если вообще была, была причиной того, что они делали все это — 200 терабайт данных исследований Института Гладстона.

Они закрепили чемоданы, захлопнули дверь багажника, сели в 4Runner и привели колеса в движение для следующей части своего плана. Они свернули на шоссе 101 и направились на юг. Движение было ужасным, даже автострада; ужин будет поздно, как и многие предыдущие ужины.


Назад к началу
Было много других поздних ночей с тех пор, как они начали этот проект шесть месяцев назад. Проект Fireball XXXL, как в итоге назвали его Алекс и Эндрю, был продиктован их миссией по защите данных биомедицинских исследований Гладстона от неминуемой катастрофы. В неизвестный день середины лета Алекс и Эндрю находились в серверной в Гладстоне в окружении более 900 лент, которые выдавали себя за систему резервного копирования.

Эндрю размышлял: «Это могла быть программа-вымогатель, здание загорелось, кто-то случайно удалил наборы данных из-за записи в командной строке, может произойти любое количество вещей, которые все это уничтожат». Алекс, махнув рукой по постоянно расширяющейся ленточной библиотеке, добавил: «Мы больше не можем полагаться на это. Ленты громоздкие, грязные и портятся, даже если вы все делаете правильно. Мы тратим так много времени на устранение неполадок, и в 2020 году нам больше не придется заниматься устранением неполадок». Они решили найти лучший способ получить свои данные за пределами офиса.

Проверка в реальных условиях
Алекс и Эндрю перечислили цели своего проекта: получить 1,2 петабайта данных, которые в настоящее время хранятся на месте и в их ленточной библиотеке, безопасно за пределами площадки, иметь возможность добавлять 10–20 терабайт новых данных каждый день и иметь возможность удалять файлы по мере необходимости. Тот факт, что практически каждый байт рассматриваемых данных представляет собой исследование биомедицинских заболеваний, включая данные, непосредственно применимые к борьбе с глобальной пандемией, означал, что они должны были выполнить все вышеперечисленное с минимальным временем простоя и максимальной надежностью. Да, и все это им пришлось делать, не увеличивая свой бюджет. Оптимисты.

Поскольку облачное хранилище является наиболее многообещающим вариантом, они сначала подумали о создании собственного частного облака в удаленном центре обработки данных в пустыне. Они быстро отказались от этой идеи, поскольку первоначальные затраты были ошеломляющими, не говоря уже о текущих затратах на персонал и техническое обслуживание для управления удаленными системами.

Они решили, что лучший вариант — использовать облачное хранилище, и сравнили ведущих поставщиков. Алекс был знаком с Backblaze, много лет следил за блогом, особенно с сообщениями о статистике дисков и модулях хранения. Более того, облачное хранилище Backblaze B2 было простым и доступным. Кое-что он не мог сказать о других ведущих поставщиках облачных хранилищ.

Следующей проблемой была пропускная способность. Вы могли подумать, что соединения со скоростью 5 Гбит / с будет достаточно, но у них была организация, которая требовала много исследований и данных, и использовала это соединение. Они затачивали свои карандаши для пропускной способности и, с учетом институционального использования, подсчитали, что могут легко поддерживать загрузку 10–20 терабайт в день. Проблема была в том, что загрузить существующие 1,2 петабайта данных было бы совсем другим делом. Они связались со своим поставщиком пропускной способности и им сказали, что они могут удвоить свою текущую пропускную способность до 10 Гбит / с по многолетнему соглашению почти в два раза дороже, и, кстати, пройдет от нескольких месяцев до года, прежде чем они смогут начать работу. Ой.

Они обратились к Backblaze, который предложил свой сервис передачи данных Backblaze Fireball, который мог загружать около 70 терабайт за поездку. «Даже с Fireball нам потребуется 15, может быть, 20 поездок туда и обратно», — сетовал Эндрю во время очередного ночного сеанса просмотра резервных копий. «Я бы хотел, чтобы у них была коробка побольше», — сказал Алекс, на что Эндрю ответил: «Может, мы сможем построить такую».

Родился план: построить сервер хранения mongo, загрузить на него данные и отнести в Backblaze.


Спросите
Прежде чем они появились в центре обработки данных Backblaze со своим творением, они решили, что сначала должны спросить Backblaze. Алекс отметил: «В большинстве компаний, если вы скажете:« Эй, я хочу построить массивный файловый сервер, доставить его в ваш центр обработки данных и подключить. Разве вы мне не доверяете? »Они ответят:« Нет, 'и повесили трубку, но Backblaze этого не сделал, они прислушались».

После долгих размышлений Backblaze согласился разрешить персоналу Gladstone войти в ближайший центр обработки данных, который был точкой пиринга для сети Backblaze. В восторге от того, что они нашли родственных душ, у Алекса и Эндрю появился партнер в проекте Fireball XXXL. Хотя это сотрудничество было уникальной возможностью для обеих сторон, для Эндрю и Алекса это также означало бы больше поздних ночей и буррито в микроволновке. Теперь это не имело значения, они чувствовали, что у них есть отличный шанс реализовать свой проект.

Сборка
Алекс и Эндрю выделили некоторый бюджет на, казалось бы, несвязанный проект: построить собственный сервер хранения, который будет служить системой горячего резервирования для текущих активных лабораторных проектов. Таким образом, если в лаборатории что-то пойдет не так, они смогут при необходимости получить последнюю сохраненную версию данных. Используя эти средства, они поняли, что могут построить что-то, что будет использоваться в качестве их огромного Fireball XXXL, а затем, когда циклы передачи данных будут завершены, они могут перепрофилировать систему в качестве резервного сервера, на который они заложили бюджет.

Вдохновленные Backblaze Storage Pod с открытым исходным кодом, они работали с Backblaze над спецификациями для своего Fireball XXXL. Они пошли по пути нестандартной сборки, начав с шасси 4U и больших дисков, а затем добавили несколько мощных компонентов.

Огненный шар XXXL

• Шасси: 4U Supermicro с 36 отсеками, 3,5-дюймовое дисковое шасси, построенное iXsystems.
• Процессор: Двухъядерный Intel Xeon Gold 5217.
• Оперативная память: 4 x 32 ГБ (128 ГБ).
• Диски данных: 36 14 ТБ HE14 от Western Digital.
• ЗИЛ: 120 ГБ NVMe SSD.
• L2ARC: 512 ГБ SSD.

По сути, они построили систему RAID 1 + 0 на 200 терабайт с 36 отсеками для репликации данных с помощью rclone. Эндрю отметил: «Rclone требует больших ресурсов как в отношении ОЗУ, так и циклов ЦП. Когда мы определяли систему, нам нужно было убедиться, что у нас достаточно мощностей, чтобы rclone мог передавать данные со скоростью 10 Гбит / с. Это не просто чтение с дисководов; для этого нужна обработка".

Загрузка
Gladstone запускает TrueNAS в своих локальных производственных системах, поэтому имело смысл использовать его на недавно построенном сервере передачи данных. «Мы смогли отправить ZFS с наших внутренних серверов на то, что выглядело как гигантский внешний жесткий диск из-за отсутствия лучшего описания», — сказал Эндрю. «Это позволило нам выполнять репликацию на уровне блоков в сжатом виде, поэтому было намного выше производительность при копировании данных в эту систему».

Эндрю и Алекс ранее решили, что они начнут с четырех наборов данных размером более 40 терабайт каждый. Каждый набор данных представляет собой годы исследований в соответствующих лабораториях, помещая их в верхнюю часть очереди резервного копирования за пределами предприятия. В течение 10 дней они загрузили данные в Fireball XXXL. По завершении они выключили систему и удалили диски. Открыв чехлы Turtle с пенопластом, которые они приобрели ранее, они осторожно поместили шасси в один корпус, а 36 дисков — в два других. Они закрыли одеяла и направились в вестибюль Гладстона.

В дата-центре
В конце концов Алекс и Эндрю прибыли в центр обработки данных, где они нашли необходимую точку пиринга сети Backblaze. При входе последовали проверки, и хотя Backblaze поручился за ребят из Гладстона, процесс входа был трудным. Как и должно быть. Оказавшись в назначенной комнате, они подключили несколько кабелей, ввели несколько команд терминала, и данные начали загружаться в их учетную запись Backblaze B2. Fireball XXXL работал, как и ожидалось, с устойчивой скоростью передачи от 8 до 10 Гбит / с. На загрузку всех данных ушло чуть больше трех дней.

Через несколько недель они совершат еще одну поездку и запланировали еще два. С каждой поездкой все больше данных Gladstone надежно хранится за пределами площадки.

Институты Гладстона с более чем 40-летней историей и более 450 сотрудников являются мировым лидером в области биомедицинских исследований сердечно-сосудистых и неврологических заболеваний, геномной иммунологии и вирусологии, причем некоторые лаборатории недавно переключили свое внимание на SARS-CoV- 2, вирус, вызывающий COVID-19. Исследователи из Gladstone полагаются на свою ИТ-команду, чтобы защитить и защитить свои жизненно важные исследования.


Эпилог
Прежде чем вы загрузите свой 200-терабайтный медиа-сервер в заднюю часть внедорожника или пикапа и направитесь в центр обработки данных Backblaze — остановитесь. Хотя мы восхищаемся находчивостью Эндрю и Алекса, с нашей стороны процесс был трудным. Процедуры безопасности, связанные с ними документы и время, необходимое для того, чтобы наши герои Гладстона получили доступ к центру обработки данных и нашей сети с их Fireball XXXL, были «существенными». Тем не менее, мы рады, что сделали это. В ходе этого процесса мы многому научились, и, возможно, когда-нибудь мы предложим наш собственный Fireball XXXL. Если да, то мы знаем, где найти пару парней, которые умеют спроектировать одну систему ударов. Спасибо за поездку, господа.

По состоянию на 30 сентября 2020 г. в нашей экосистеме облачного хранилища Backblaze было 153 727 вращающихся жестких дисков, распределенных по четырем центрам обработки данных. Из этого числа было 2780 загрузочных дисков и 150 947 дисков с данными. В этом обзоре рассматривается частота отказов жестких дисков в третьем квартале 2020 года и на протяжении всего срока службы моделей дисков с данными, которые в настоящее время используются в наших центрах обработки данных, а также содержится ряд аналитических данных и наблюдений на этом пути. Как всегда, ждем ваших комментариев.

Квартальная статистика отказов жестких дисков за третий квартал 2020 г.
В конце третьего квартала 2020 года Backblaze использовала 150 974 жестких диска для хранения данных клиентов. Для оценки мы исключаем из рассмотрения те модели накопителей, для которых у нас не было хотя бы 60 накопителей (об этом позже). В нашем обзоре осталось 150 757 жестких дисков. В таблице ниже показано, что произошло в третьем квартале 2020 года.



Наблюдения за статистикой за третий квартал
В квартале есть несколько моделей с нулевым количеством отказов дисков. Это здорово, но если немного углубиться, мы узнаем разные истории для каждого из двигателей.

Модель Seagate емкостью 18 ТБ (ST18000NM000J) рассчитана на 300 дней вождения и находится в эксплуатации около 12 дней. Необычных отказов не было, и это хорошее начало, но это все, что вы можете сказать.
Модель Seagate емкостью 16 ТБ (ST16000NM001G) имеет 5 428 дней вождения, что мало, но в среднем они существуют почти 10 месяцев. Тем не менее, я бы пока не пытался делать какие-либо выводы, но еще четверть или две таких, и нам, возможно, будет что сказать.
Модель Toshiba емкостью 4 ТБ (MD04ABA400V) имеет всего 9 108 дней вождения, но они ставят нули в течение семи кварталов подряд. Это должно что-то значить.
Модель Seagate емкостью 14 ТБ (ST14000NM001G) имеет 21 120 дней работы с 2400 дисками, но они проработали менее одного месяца. Следующий квартал даст нам лучшую картину.
4 ТБ HGST (модель: HMS5C4040ALE640) имеет 274 923 диско-дня без сбоев в этом квартале. Все остальное круто, но подождите, пока не кончитесь покупать один. Почему? Скорее всего, вы не получите новый, а если и получите, то ему действительно будет не менее трех лет, поскольку HGST / WDC не выпускает эти диски по крайней мере так долго. Если кто-то из HGST / WDC может подтвердить или опровергнуть это для нас в комментариях, это будет здорово. Есть истории, относящиеся к 2016 году, когда люди пытались заказать этот диск, а вместо этого получали отремонтированный диск. Если вы хотите попробовать отремонтированный диск, это нормально, но наши цифры основаны не на этом.
Годовая частота отказов (AFR) в третьем квартале 2020 года в 0,89% немного выше, чем в предыдущем квартале на уровне 0,81%, но значительно ниже, чем 2,07% год назад. Даже при более низком уровне отказов дисков специалисты нашего центра обработки данных не скучают. В этом квартале они добавили около 11000 новых дисков общим объемом более 150 ПБ, при этом все они работают по строгим протоколам Covid-19. Мы расскажем, как им это удалось, в одной из следующих статей, но давайте просто скажем, что они были заняты.

Остров несоответствующих дисков
190 приводов (150 947 минус 150 757) не были включены в квартальную диаграмму за 3 квартал 2020 года выше, потому что у нас не было как минимум 60 приводов данной модели. Вот разбивка:


Почти все эти приводы использовались в качестве запасных. Это происходит, когда данная модель привода больше не доступна для покупки, но многие из них уже работают, и нам нужна замена. Например, у нас все еще используются три диска WDC 6 ТБ; они установлены в трех разных модулях Storage Pod вместе с дисками емкостью 6 ТБ от Seagate и HGST. Большинство этих дисков были новыми, когда они были установлены, но иногда мы повторно используем диск, который был выведен из эксплуатации, обычно в результате миграции. Такие диски, конечно, переформатируются, стираются, а затем должны пройти наш процесс квалификации для повторной установки.

В нашем списке два «новых» диска. Это диски, которые подходят для использования в наших центрах обработки данных, но мы еще не развернули их в большом количестве. В случае диска HGST емкостью 10 ТБ доступность и квалификация нескольких моделей емкостью 12 ТБ снизили вероятность того, что мы будем использовать больше этой модели диска. Модель диска Toshiba емкостью 16 ТБ с большей вероятностью будет развернута в будущем, когда мы будем готовы к развертыванию следующей волны больших дисков.

Большие диски здесь
Когда мы впервые начали сбор данных с жестких дисков еще в 2013 году, большой диск был 4 ТБ, а диски на 5 и 6 ТБ только выходили на рынок. Сегодня мы будем определять большие диски как диски емкостью 14, 16 и 18 ТБ. В таблице ниже приведены сведения о текущем использовании этих дисков.


Общее количество 19878 представляет 13,2% наших рабочих дисков с данными. Хотя большинство из них — это диски Toshiba емкостью 14 ТБ, все вышеперечисленное было допущено к использованию в наших центрах обработки данных.

Для всех моделей накопителей, за исключением накопителя Toshiba 14 ТБ, количество дней, проведенных за рулем, по-прежнему слишком мало, чтобы делать какие-либо выводы, хотя модели Seagate 14 ТБ, модель Toshiba 16 ТБ и модель Seagate 18 ТБ на сегодняшний день не испытывали сбоев.

Мы продолжим добавлять эти большие диски в ближайшие кварталы и отслеживать их по пути. По состоянию на 3 квартал 2020 года AFR срока службы для этой группы накопителей составляет 1,04%, что, как мы увидим, ниже AFR срока службы для всех моделей приводов в эксплуатации.

Частота отказов жестких дисков за весь срок службы
В таблице ниже показан срок службы AFR для моделей жестких дисков, которые у нас были в эксплуатации по состоянию на 30 сентября 2020 г. Все перечисленные модели дисков находились в эксплуатации в течение этого периода.
AFR за весь срок службы по состоянию на третий квартал 2020 года составлял 1,58%, самый низкий показатель с момента начала отслеживания в 2013 году. Это ниже 1,73% год назад и 1,64% в прошлом квартале.


Мы вернули столбец среднего возраста как «Средний возраст». Он измеряется в месяцах и представляет собой средний возраст дисков, используемых для вычисления данных в таблице, основанный на количестве времени, в течение которого они находились в эксплуатации. Следует помнить, что наша среда очень динамична: диски добавляются, переносятся и удаляются на регулярной основе, и это может повлиять на средний возраст. Например, мы могли бы отказаться от Storage Pod с в основном более старыми дисками, и это могло бы снизить средний возраст оставшихся дисков этой модели, в то время как эти оставшиеся диски стали старше.

Если судить по среднему возрасту, диски Seagate емкостью 6 ТБ являются самой старой когортой: каждый из них прослужит в среднем почти пять с половиной лет. Эти диски действительно стали лучше за последние пару лет, и их текущий срок службы AFR составляет 1,0%.

Данные статистики жесткого диска
Полный набор данных, использованных для создания информации, использованной в этом обзоре, доступен на нашей веб-странице с данными тестирования жесткого диска. Вы можете бесплатно скачать и использовать эти данные в своих целях. Все, что мы просим, — это три вещи: 1) вы указываете Backblaze в качестве источника, если используете данные, 2) вы соглашаетесь с тем, что несете исключительную ответственность за то, как вы используете данные, и 3) вы никому не продаете эти данные — они это бесплатно.
www.backblaze.com/b2/hard-drive-test-data.html

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.
f001.backblazeb2.com/file/Backblaze_Blog/Q3_2020_Drive_Stats_Tables.zip

Удачи и дайте нам знать, если найдете что-нибудь интересное.

По состоянию на 30 июня 2020 года в нашей экосистеме облачного хранилища Backblaze было 142630 вращающихся жестких дисков, распределенных по четырем центрам обработки данных. Из этого числа имелось 2271 загрузочный диск и 140 059 дисков с данными. В этом обзоре рассматривается частота отказов жестких дисков во втором квартале 2020 года и в течение всего срока службы моделей дисков с данными, которые в настоящее время используются в наших центрах обработки данных, и содержится ряд аналитических данных и наблюдений на этом пути. Как всегда, ждем ваших комментариев.

Квартальная статистика отказов жестких дисков за второй квартал 2020 г.
В конце второго квартала 2020 года Backblaze использовала 140 059 жестких дисков для хранения данных клиентов. Для нашей оценки мы исключаем из рассмотрения те модели накопителей, для которых у нас не было как минимум 60 накопителей (почему — см. Ниже). В нашем обзоре осталось 139 867 жестких дисков. В таблице ниже показано, что произошло во втором квартале 2020 года.


Примечания и наблюдения
Годовая частота отказов (AFR) во втором квартале 2020 года составила 0,81% по сравнению с первым кварталом 2020 года, который составлял 1,07%. Показатель AFR за 2 квартал — это самый низкий показатель AFR за любой квартал с тех пор, как мы начали отслеживать его в 2013 году. Кроме того, это первый раз, когда квартальный AFR оказался ниже 1%. Год назад (второй квартал 2019 года) квартальная AFR составляла 1,8%.

В течение этого квартала у трех моделей накопителей было 0 (ноль) отказов накопителей: Toshiba 4 ТБ (модель: MD04ABA400V), Seagate 6 ТБ (модель: ST6000DX000) и HGST 8 ТБ (модель: HUH728080ALE600). В то время как диски Toshiba емкостью 4 ТБ зафиксировали менее 10 000 дисковых дней, у нас не было сбоев дисков для этой модели с четвертого квартала 2018 года, или 54054 дисковых дня. При сравнении дисковых дней с диском Toshiba, диски Seagate 6 ТБ и HGST 8 ТБ выглядят столь же впечатляюще: в этом квартале не было сбоев, но во втором квартале 2020 года было зафиксировано 80 626 и 91 000 дисковых дней соответственно.

192 диска (140 059 минус 139 867) не были включены в приведенный выше список, потому что у нас не было как минимум 60 дисков данной модели. Например, у нас есть: 20 жестких дисков Toshiba 16 ТБ (модель: MG08ACA16TA), которые мы проходим через процесс сертификации. С другой стороны, у нас все еще есть 25 накопителей HGST емкостью 4 ТБ (модель: HDS5C4040ALE630), что позволяет использовать модули хранения. Внимательные читатели могут заметить номер модели этих дисководов HGST и понять, что они были последними из дисков, произведенных с номерами моделей Hitachi.

Напомним, когда мы публикуем квартальную, ежегодную статистику или статистику срока службы дисков, модели с менее чем 60 дисками не включаются в расчеты или графики. Мы используем как минимум 60 дисков, так как во всех недавно развернутых модулях хранилища 60 дисков. Примечание. Диск Seagate 16 ТБ (модель: ST16000NM001G) показывает 59 дисков и указан в отчете, поскольку один отказавший диск не был заменен на момент сбора данных для этого отчета.

Тем не менее, все данные со всех моделей дисков, включая загрузочные, включены в файлы, к которым можно получить доступ и загрузить на нашей веб-странице с данными тестирования жестких дисков.

Что мы развернули во втором квартале
Мы развернули 12063 новых диска и удалили 1960 дисков путем замены и миграции во втором квартале, в результате чего мы получили 10 103 дополнительных диска. Ниже представлена ​​таблица с развернутыми нами моделями накопителей.


Квартальные тенденции по производителям
Квартальные данные — это всего лишь данные за этот квартал. В начале каждого квартала мы стираем все предыдущие данные и начинаем собирать новую информацию. В конце квартала мы объединяем эти данные в единицу (коллекция, сумка, файл, что угодно) и называем ее; Например, второй квартал 2020 года. Это тот тип данных, на который вы смотрели, когда просматривали квартальный график за второй квартал 2020 года, показанный ранее в этом отчете. Мы также можем сравнивать результаты за данный квартал с результатами других кварталов, каждый из которых имеет свой уникальный набор данных. Этот тип сравнения может выявить тенденции, которые помогут нам определить то, что требует дальнейшего внимания.

На диаграмме ниже показана AFR по производителям с использованием квартальных данных за последние три года. За диаграммой следуют две таблицы. Первый — это данные, используемые для создания диаграммы. Второй — это подсчет количества жестких дисков, соответствующих каждому кварталу каждого производителя.



Ноты
1. Данные для каждого производителя включают все модели приводов в эксплуатации, которые использовались для хранения данных клиентов. Не было ни загрузочных дисков, ни тестовых дисков.
2. Значения 0,00% для дисков Toshiba с третьего квартала 2017 года по третий квартал 2018 года верны. За этот период отказов дисков Toshiba не было. Обратите внимание, что за тот же период одновременно эксплуатировалось не более 231 диска. Несмотря на то, что отсутствие отказов в течение пяти кварталов примечательно, количество дисков недостаточно велико, чтобы делать какие-либо выводы.
3. Значения «н / д» для дисков WDC со второго квартала 2019 года показывают, что в течение этого периода в нашей системе не использовалось ни одного диска WDC для данных клиентов. Это не относится к новым моделям приводов HGST под торговой маркой WDC, поскольку в настоящее время мы не используем ни одну из этих моделей.

Наблюдения
1. WDC: данные WDC демонстрируют, как слишком мало точек данных (т. Е. Жестких дисков) может привести к большим расхождениям между квартальными сравнениями.
2. Toshiba: как и данные WDC, количество жестких дисков Toshiba в течение большей части периода слишком мало, чтобы делать какие-либо достойные выводы, но начиная с четвертого квартала 2019 года это меняется, и с тех пор данные становятся более надежными.
3. Seagate: после неуклонного роста AFR последние два квартала были благоприятными для Seagate, причем последний квартал (AFR = 0,90%) стал лучшим из всех, что мы когда-либо видели у Seagate с тех пор, как мы начали вести статистику еще в 2013 году. Хорошие новости, заслуживающие более пристального внимания в ближайшие месяцы.
4. HGST: с AFR, колеблющимся от 0,36% до 0,61%, диски HGST выигрывают за предсказуемость. Скучно, да, но довольно скучно.

Совокупные тенденции по производителям
В отличие от квартальных данных, кумулятивные данные начинают собирать данные в заданной точке, и новые данные добавляются, пока вы не прекратите сбор. В то время как квартальные данные отражают события, произошедшие в течение определенного квартала, совокупные данные — это все, что касается нашей коллекции жестких дисков с течением времени. Используя кумулятивные данные, мы можем увидеть долгосрочные тенденции за период, как показано на диаграмме ниже и в следующей таблице данных.



Вниз и вправо
Для всех производителей вы можете увидеть тенденцию к снижению AFR с течением времени. Хотя это положительный момент, мы все же хотим понять, почему, и включить эти знания в наше общее понимание нашей среды — точно так же, как отказ диска, важно и его «безотказность». В процессе рассмотрения этих выводов, если у вас есть какие-либо мысли по этому поводу, дайте нам знать в комментариях. Может быть, вы думаете, что жесткие диски становятся лучше, или более вероятно, что мы добавили так много новых дисков за последние три года, что они доминируют в статистике, или это что-то еще? Дайте нам знать.

Частота отказов жестких дисков за весь срок службы
В таблице ниже показан срок службы AFR для моделей жестких дисков, которые были у нас в эксплуатации по состоянию на 30 июня 2020 г. Отчетный период с апреля 2013 г. по 30 июня 2020 г. Все перечисленные диски были установлены в течение этого периода.


Примечания и наблюдения
AFR за весь срок службы составил 1,64%, это самый низкий показатель с тех пор, как мы начали отслеживать в 2013 году. Кроме того, AFR за время существования упал с 1,86% во втором квартале 2018 года до текущего значения, даже несмотря на то, что мы прошли такие этапы, как эксабайт хранилища под управлением., открытие центра обработки данных в Амстердаме и увеличение размера компании почти вдвое. Два года напряженных.

Все диски Seagate 12 ТБ (модель: ST12000NM001G) были установлены во втором квартале, поэтому, хотя у нас есть разумный объем данных, как группа, эти диски все еще находятся на ранней стадии своего жизненного цикла. Хотя не все модели с возрастом следуют изгибу ванны, нам следует подождать еще пару кварталов, чтобы увидеть, как они работают в нашей среде.

Диски Seagate на 4 ТБ (модель: ST4000DM000) продолжают валяться. Их средний возраст составляет почти пять лет, поэтому гарантийный срок у них давно истек (один или два года в зависимости от того, когда они были приобретены). Говоря о возрасте, модель диска с самым высоким средним возрастом в таблице — это диск Seagate 6 ТБ с возрастом более 64 месяцев. У этой же модели во втором квартале 2020 года не было отказов, поэтому они, похоже, устаревают.

Данные статистики жесткого диска
Полный набор данных, использованных для создания информации, использованной в этом обзоре, доступен на нашей веб-странице с данными тестирования жесткого диска. Вы можете бесплатно скачать и использовать эти данные в своих целях. Все, что мы просим, ​​- это три вещи: 1) вы указываете Backblaze в качестве источника, если используете данные, 2) вы соглашаетесь с тем, что несете исключительную ответственность за то, как вы используете данные, и 3) вы никому не продаете эти данные — они это бесплатно.

Если вам просто нужны сводные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете скачать ZIP-файл, содержащий электронную таблицу MS Excel.
f001.backblazeb2.com/file/Backblaze_Blog/Q2_2020_Drive_Stats_Chart_Data.zip
Удачи и дайте нам знать, если найдете что-нибудь интересное.

На 31 марта 2020 года компания Backblaze имела 132 339 вращающихся жестких дисков в нашей экосистеме облачных хранилищ, распределенных по четырем центрам обработки данных. Из этого числа было 2380 загрузочных дисков и 129 959 дисков с данными. В этом обзоре рассматриваются показатели Q1 2020 и частоты отказов жестких дисков на моделях накопителей данных, которые в настоящее время используются в наших центрах обработки данных, а также приводится несколько примеров и наблюдений. Кроме того, ближе к концу поста мы рассмотрим несколько прогнозов на 2019 год, которые мы представили год назад. Как всегда, мы с нетерпением ждем ваших комментариев.

Статистика отказов жесткого диска за первый квартал 2020 года
В конце первого квартала 2020 года Backblaze использовала 129 959 жестких дисков для хранения данных клиентов. Для нашей оценки мы исключаем из рассмотрения те диски, которые использовались в целях тестирования, и модели, для которых у нас не было как минимум 60 дисков (см. Почему ниже). Это оставляет нам 129 764 жестких дисков. В таблице ниже показано, что произошло в первом квартале 2020 года.


Примечания и наблюдения
Годовой процент отказов (AFR) за первый квартал 2020 года составил 1,07%. Это самая низкая AFR за любой квартал с тех пор, как мы начали отслеживать в 2013 году. Кроме того, AFR за первый квартал 2020 года значительно ниже, чем AFR за первый квартал 2019 года, который составил 1,56%.

В течение этого квартала 4 (четыре) модели дисков от 3 (трех) производителей имели 0 (ноль) отказов дисков. Ни один из дисков Toshiba 4TB и Seagate 16TB не вышел из строя в первом квартале, но в течение квартала на обоих дисках было менее 10 000 дней. Как следствие, AFR может широко варьироваться от небольшого изменения отказов привода. Например, если вышел из строя только один накопитель Seagate 16 ТБ, AFR составит 7,25% за квартал. Точно так же AFR накопителя Toshiba 4TB составит 4,05% с одним провалом в квартале.

Напротив, оба накопителя HGST с 0 (нулевыми) отказами за квартал имеют разумное количество дней накопления, поэтому AFR менее изменчив. Если бы у модели 8 ТБ был 1 (один) сбой за квартал, AFR составила бы только 0,40%, а модель 12 ТБ имела бы AFR всего 0,26% с 1 (одним) отказом за квартал. В обоих случаях 0% AFR за квартал впечатляет.

Было 195 накопителей (129 959 минус 129 764), которые не были включены в приведенный выше список, поскольку они использовались в качестве тестовых накопителей или у нас не было как минимум 60 накопителей данной модели. Например, у нас есть: 20 накопителей Toshiba 16 ТБ (модель: MG08ACA16TA), 20 накопителей HGST 10 ТБ (модель: HUH721010ALE600) и 20 накопителей Toshiba 8 ТБ (модель: HDWF180). Когда мы публикуем квартальную, годовую или пожизненную статистику накопителей, модели с менее чем 60 накопителями не включаются в расчеты или графики. Мы используем как минимум 60 дисков, так как во всех вновь развернутых блоках хранения есть 60 дисков.

Тем не менее, все данные со всех моделей накопителей, включая загрузочные накопители, включены в файлы, к которым можно получить доступ и загрузить их на нашей веб-странице с данными испытаний накопителей.

Вычисление годовой частоты отказов
Во всех наших отчетах мы используем термин «Годовой процент отказов» (AFR). Слово «в годовом исчислении» здесь означает, что независимо от периода наблюдения (месяц, квартал) Частота отказов будет преобразована в годовой показатель. Для данной группы приводов (то есть модель, производитель) Мы рассчитываем AFR для периода наблюдения следующим образом:

• Отказ дисков — это количество дисков, которые вышли из строя в течение периода наблюдения.
• Дни привода — это количество дней, в течение которых все наблюдаемые диски работали в течение периода наблюдения.
• В 2020 году 366 дней, очевидно, что в не високосные годы мы используем 365.

Пример: вычисление AFR для модели привода BB007 за последние шесть месяцев;

• За период наблюдения (шесть месяцев) было 28 сбоев в работе.
• В конце периода наблюдения было 6000 жестких дисков.
• Общее количество дней работы всех накопителей модели BB007 за период наблюдения (6 месяцев) составило 878 400 дней.

За шесть месяцев модель накопителя BB007 имела годовой коэффициент отказов 1,17%.


Суммируя количество дней вождения, вы получаете 878 400, но количество дисков в конце периода наблюдения составляет 6000. Формула дней суток реагирует на изменение количества дисков за период наблюдения, в то время как формула количества дисков реагирует только на счет в конце.

Частота отказов в 0,93% по формуле количества дисков значительно ниже, что хорошо, если вы являетесь производителем дисков, но не соответствует тому, как диски фактически интегрированы и используются в нашей среде. Вот почему Backblaze выбирает метод «дни вождения», так как он лучше соответствует реальности нашего бизнеса.

Прогнозы на первый квартал 2019 года
В обзоре статистики жестких дисков за первый квартал 2019 года мы сделали несколько прогнозов относительно жестких дисков о том, что произойдет к концу 2019 года. Давайте посмотрим, как мы это сделали.

Прогноз: Backblaze продолжит переносить диски емкостью 4 ТБ, и к концу 2019 года их будет менее 15 000: у нас сейчас около 35 000.

Реальность: количество дисков 4 ТБ по состоянию на 31 декабря 2019 года: 34 908.
Обзор: мы были слишком заняты добавлением дисков для переноса любого из них.
Предсказание. Мы установим как минимум двадцать накопителей емкостью 20 ТБ для тестирования.

Реальность: у нас ноль 20ТБ накопителей.
Обзор. Нам не предлагалось тестировать диски емкостью 20 ТБ или иным образом.
Предсказание: Backblaze превысит один эксабайт (1000 петабайт) доступного облачного хранилища. В настоящее время мы имеем около 850 петабайт доступного хранилища.

Реальность: мы объявили один эксабайт в марте 2020 года, сразу после конца 2019 года.
Рецензия: Цитируя Максвелла Смарта, «так сильно скучал».
Прогноз. Для целей тестирования мы установим как минимум 1 накопитель на основе HAMR от Seagate и / или 1 накопитель MAMR от Western Digital.

Реальность: не нюхать диски HAMR или MAMR.
Обзор: Надеюсь, к концу 2020 года.
Подводя итог, я думаю, что вернусь к статистике жесткого диска и оставлю прогнозирование предсказателям и предсказателям.

Статистика срока службы жесткого диска
В приведенной ниже таблице показана частота отказов в течение срока службы моделей жестких дисков, которые мы эксплуатировали по состоянию на 31 марта 2020 года. Отчетный период — с апреля 2013 года по 31 декабря 2019 года. Все перечисленные диски были установлены в течение этого периода времени.

Но как насчет Drive Count?
Некоторым из вас может быть интересно, где «количество накопителей» вписывается в эту формулу? Это не так, и это беспокоит некоторых людей. В конце концов, было бы проще рассчитать AFR как:

AFR = (Отказы двигателя / Счетчик движения) * (366 дней в период наблюдения) * 100

Давайте вернемся к нашему примеру в предыдущем абзаце. В конце периода наблюдения было 6 000 жестких дисков; делать математику:

AFR = (28/6000) * (366/183) * 100 = (0,00467) * (2) * 100 = 0,93%

Используя метод подсчета накопителей, модель BB007 имела частоту отказов 0,93%. Причина различия заключается в том, что Backblaze постоянно добавляет и вычитает диски. Новые хранилища Backblaze появляются каждый месяц; новые функции, такие как совместимость с S3, быстро увеличивают спрос; миграция заменяет старые диски малой емкости на новые диски большей емкости; и иногда в смеси присутствуют клонированные и временные диски. Среда очень динамичная. Количество поездок в любой день в течение периода наблюдения будет варьироваться. При использовании метода подсчета накопителей частота отказов зависит от дня подсчета накопителей. В этом случае последний день периода наблюдения. При использовании метода дней привода частота отказов определяется на весь период наблюдения.

В нашем примере в следующей таблице показано количество накопителей по мере добавления накопителей за шестимесячный период наблюдения:


Данные о жестком диске
Полный набор данных, использованный для создания информации, использованной в этом обзоре, доступен на нашей веб-странице с данными испытаний жесткого диска. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, что мы просим, — это три вещи: 1) Вы цитируете Backblaze в качестве источника, если вы используете данные, 2) Вы соглашаетесь с тем, что несете единоличную ответственность за то, как вы используете данные, и 3) Вы не продаете эти данные кому-либо — это бесплатно.

Если вы просто хотите, чтобы сводные данные использовались для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.
f001.backblazeb2.com/file/Backblaze_Blog/Q1_2020_Drive_Stats_Charts_Data.zip
Удачи и дайте нам знать, если найдете что-нибудь интересное.