Backblaze Хостинг

Мы опубликовали наш первый отчет «Статистика жесткого диска» чуть более 5 лет назад, 21 января 2014 года. Мы назвали этот отчет «Какой жесткий диск мне следует купить». Оглядываясь назад, это могло бы показаться немного чрезмерным, но мы были публиковать данные, которых в принципе не было.

Многим людям нравятся наши отчеты, некоторым нет, а некоторым — нет, и это нормально. С самого начала идея состояла в том, чтобы поделиться нашим опытом и использовать наши данные, чтобы пролить свет на непрозрачный мир жестких дисков. Мы надеемся, что вам понравилось читать наши отчеты, и мы с нетерпением ждем публикации их, пока люди находят их полезными.
Спасибо.

По состоянию на 31 декабря 2018 года у нас было 106 919 вращающихся жестких дисков. Из этого числа было 1 965 загрузочных дисков и 104 954 дисков с данными. В этом обзоре рассматривается частота отказов жесткого диска для моделей дисков данных, работающих в наших центрах обработки данных. Кроме того, мы рассмотрим новые модели жестких дисков, которые мы добавили в 2018 году, в том числе наши жесткие диски Toshiba емкостью 12 ТБ и 14 ТБ. По пути мы поделимся наблюдениями и знаниями по представленным данным, и мы с нетерпением ждем, чтобы вы сделали то же самое в комментариях.

Показатели отказов жестких дисков 2018 года: что говорят нам более 100 000 жестких дисков
В конце 2018 года компания Backblaze провела мониторинг 104 954 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключаем из рассмотрения те диски, которые использовались в целях тестирования, и модели, для которых у нас не было как минимум 45 дисков (см. Почему ниже). Это оставляет нам с 104 778 жестких дисков. В таблице ниже показано, что произошло только в 2018 году.


Примечания и наблюдения
Если в модели накопителя частота отказов составляет 0%, это означает, что в течение 2018 г. не было отказов накопителей этой модели.

В 2018 году заявленный годовой процент отказов (AFR) обычно довольно солидный. Исключение составляют случаи, когда в данной модели накопителей имеется небольшое количество накопителей (менее 500) и / или небольшое количество дней накопителей (менее 50 000). В этих случаях APR может быть слишком шатким, чтобы его можно было надежно использовать для принятия решений о покупке или выходе на пенсию.

Было 176 дисков (104 954 минус 104 778), которые не были включены в список выше. Эти диски либо использовались для тестирования, либо у нас не было как минимум 45 дисков данной модели. Мы используем 45 накопителей той же модели, что и минимальное количество, при составлении квартальной, годовой и пожизненной статистики накопителей. Это историческое число, основанное на количестве дисков, необходимых для заполнения одного модуля хранения Backblaze (версия 5 или более ранняя).

Годовая частота отказов (AFR) для 2018 года для всех моделей приводов составила всего 1,25%, что значительно ниже показателей предыдущих лет, о чем мы поговорим позже в этом обзоре.

Что нового в 2018 году
В 2018 году основной тенденцией стала миграция жестких дисков: замена дисков с меньшей плотностью 2, 3 и 4 ТБ на 8, 10, 12 и в Q4, 14 ТБ. В 2018 году мы перенесли 13 720 жестких дисков и добавили еще 13 389 жестких дисков, увеличив общий объем хранилища с примерно 500 петабайт до более 750 петабайт. Таким образом, в 2018 году специалисты нашего центра обработки данных мигрировали или добавляли 75 дисков в день в среднем каждый день в году.

Вот краткий обзор того, что нового в 2018 году.

• Приводов Western Digital емкостью 4 ТБ не более; последний из них был заменен в 4 квартале. Это оставляет нам только 383 накопителя Western Digital — все диски емкостью 6 ТБ. Это 0,37% нашего парка автомобилей. У нас есть много накопителей от HGST (принадлежащих WDC), но за эти годы мы так и не смогли получить необходимое количество накопителей Western Digital по разумной цене.
• Говоря о дисках HGST, в четвертом квартале мы добавили 1200 дисков HGST объемом 12 ТБ (модель: HUH721212ALN604). Ранее мы тестировали эти диски в Q3 без сбоев, поэтому мы заполнили хранилище Backblaze 1200 дисками. Примерно через месяц у нас был только один сбой, так что они начали хорошо.
• У накопителей HGST есть свои пути, так как в четвертом квартале мы также добавили 6 045 накопителей Seagate 12 ТБ (модель: ST12000NM0007), чтобы довести нас до 31 146 накопителей этой модели. Это 29,7% нашего парка автомобилей.
• Наконец, в четвертом квартале мы добавили 1200 дисков Toshiba объемом 14 ТБ (модель: MG07ACA14TA). Это заполненные гелием приводы PMR (перпендикулярная магнитная запись). Начальная годовая частота отказов (AFR) составляет чуть более 3%, что аналогично другим новым моделям, и мы ожидаем, что AFR будет со временем падать по мере установки накопителей.

Сравнение частоты отказов жесткого диска с течением времени
Когда мы сравним статистику по жестким дискам за 2018 год с предыдущими годами, мы увидим две вещи. Во-первых, переход на более крупные диски, а во-вторых, улучшение общей годовой частоты отказов каждый год. В приведенной ниже таблице сравнивается каждый из последних трех лет. Данные за каждый год включают только этот год.

Примечания и наблюдения

• В 2016 году средний объем используемых жестких дисков составил 4,5 ТБ. К 2018 году средний размер вырос до 7,7 ТБ.
• Годовая частота отказов в 1,28% в 2018 году была самой низкой из всех зарегистрированных за год.
• Ни один из 45 дисков Toshiba объемом 5 ТБ (модель MD04ABA500V) не вышел из строя со второго квартала 2016 года. Несмотря на то, что количество накопителей небольшое, это все еще довольно хороший пробег.
• Диски Seagate 10 ТБ (модель: ST10000NM0086) продолжают впечатлять, поскольку их AFR на 2018 год составлял всего 0,33%. Это основано на 1220 дисках и почти 500 000 гоночных дней, что делает AFR довольно солидным.

Статистика срока службы жесткого диска
Хотя сравнение годовых показателей отказов жестких дисков в течение нескольких лет является отличным способом определения тенденций, мы также смотрим на показатели годичных отказов наших жестких дисков в течение всего срока службы. На приведенной ниже диаграмме представлены показатели годовой частоты отказов всех накопителей, которые в настоящее время находятся в производстве.


Жесткий диск Статистика вебинар
Мы представим вебинар « Backblaze Hard Drive Stats для 2018 года » в четверг, 24 января 2019 года, в 10:00 по тихоокеанскому времени. На вебинаре будут более подробно рассмотрены ежеквартальные, годовые и пожизненные характеристики накопителей на жестких дисках, а также годовая и пожизненная статистика по размеру накопителя и производителю. Для просмотра вебинара вам необходимо подписаться на канал Backblaze BrightTALK. Зарегистрируйтесь сегодня www.brighttalk.com/webcast/14807/346376

Статистика по жесткому диску
Полный набор данных, использованный для создания информации, использованной в этом обзоре, доступен на нашей странице с данными испытаний жесткого диска. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, что мы просим, ​​- это три вещи: 1) вы цитируете Backblaze в качестве источника, если вы используете данные, 2) вы соглашаетесь с тем, что несете полную ответственность за то, как вы используете данные, и 3) вы не продаете эти данные кому-либо; это свободно.

Если вы просто хотите, чтобы сводные данные использовались для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий CSV-файл.

Backblaze отпразднует свой 12-й год в бизнесе уже 20 апреля. Мы неуклонно росли на протяжении многих лет, и в этом году достигли 30 миллионов долларов США (годовой доход). Мы достигли этого с помощью всего лишь 3,1 млн. Долл. США в течение многих лет, с самого начала мы успешно основали компанию с помощью взносов учредителей и движения денежных средств.

В прошлом году наш генеральный директор и соучредитель Глеб Будман написал серию постов по предпринимательству, в которых подробно описывались наши первые годы и некоторые уроки, которые предприниматели могут подать на себя.

Недавно Глеб провел дополнительный вебинар по BrightTALK, посвященный многим основным пунктам серии.
Учитывая временные ограничения, с которыми сталкивается большинство предпринимателей, я остановлюсь на том, что я считаю некоторыми из ключевых уроков для стартапов, которые Глеб изложил как в предпринимательской серии, так и на вебинаре.

Создание вашего продукта
Первая статья Глеба «С чего началась Backblaze: проблема, решение и промежуточный материал» начинается с одного из самых важных аспектов для любой успешной компании: определения реальной проблемы, которую вы пытаетесь решить. По словам Глеба: «Предприниматель строит вещи для решения проблем — своих или чужих».

Итак, вопрос в том, как вы решаете проблему? Самое очевидное место для начала — это посмотреть на болевые точки, которые вы пытаетесь решить, а затем определить конкретные элементы, которые способствуют им. Можете ли вы решить проблему, убрав или заменив один из этих элементов или несколько элементов? Или это вопрос добавления новых элементов, чтобы убрать болевые точки?

В нашем случае на рынке была очевидная потребность в резервном копировании компьютеров. На рынке уже были решения, которые, по крайней мере теоретически, предоставляли решение для резервного копирования, но большинство людей все еще не использовали его. Вопрос был почему?

То, что решения существуют, не означает, что проблема решена. После серии глубоких рассуждений о том, почему люди не создавали резервные копии, мы обнаружили, что основная проблема заключалась в том, что решения для резервного копирования были слишком сложными для большинства людей. Они признали, что должны выполнять резервное копирование, но не хотели тратить время на изучение того, как использовать один из существующих сервисов. Таким образом, проблема, которую Backblaze изначально решала, была не резервным копированием в целом, а устранением кривой обучения для использования решения для резервного копирования.

Как только у вас есть четко определенная проблема, вы можете приступить к разработке решения, которое ее решит. Конечно, само решение, скорее всего, будет определяться рыночными силами, прежде всего ценой. Как Глеб затрагивает в следующем видео ролике, цены должны быть встроены в решение с самого начала.

Выжить свой первый год
После того как вы определили проблему, которую хотите решить, следующим шагом будет создание инфраструктуры, то есть компании, для создания решения. Помня об этом, вашими первостепенными задачами на этот первый год должны быть: правильно настроить компанию, создать и запустить минимально жизнеспособный продукт, а главное — выжить.

Правильная организация компании имеет решающее значение. Компания так же успешна, как и люди в ней. На всех этапах роста важно, чтобы люди имели четкие определения того, что от них ожидается, но вначале особенно важно убедиться, что люди знают, что им нужно делать, и видение, которое движет бизнесом.

С самого начала вам нужно определить необходимые компании, продукты и ресурсы для разработки, определить роли, которые необходимо заполнить, и распределить обязанности, как только ключевые игроки начнут присоединяться к вашей команде. На начальных этапах стартапа очень часто все работают над одними и теми же задачами в демократическом процессе. Это может быть хорошо для морального состояния в начале, но может привести к отсутствию сфокусированного направления. Лидерство должно появиться и помочь направить компанию к общему видению. С четко определенными ролями и обязанностями члены команды могут сотрудничать в достижении определенных этапов, обеспечивая дальнейший импульс.

Гораздо менее интересной, но не менее важной основой для стартапа является юридическое лицо. Легко увлечься созданием продукта и отложить менее интересные юридические аспекты, пока вы не будете готовы к запуску. Тем не менее, попытка установить все законодательные требования задним числом гораздо сложнее.

Коэффициенты владения (долевого участия) должны быть зафиксированы в самом начале компании. Принятие этого может избежать многих потенциальных столкновений в будущем. Если вы планируете собирать деньги, вам нужно будет включить и выпустить акции. Вы также можете создать документ о передаче информации о правах собственности и изобретениях (PIIA), в котором говорится, что все, над чем вы работаете, принадлежит компании.

Как только (по общему признанию, не очень захватывающие) юридические аспекты будут приняты во внимание, фокус действительно сместится на создание вашего минимально жизнеспособного продукта (MVP) и его запуск. Естественно хотеть создать идеальный продукт, но на сегодняшнем рынке лучше сосредоточиться на том, что вы считаете наиболее важными функциями и выпуском. Как пишет Глеб в «Surviving Your First Year», «запуск заставляет ограничиться набором функций, которые имеют решающее значение, сплачивает компанию вокруг цели, начинает повышать осведомленность о вашей компании и решении и продвигает процесс обучения». MVP, вы начнете получать отзывы, а затем начнется процесс итерации: подробнее об этом позже.

Наконец, когда дело доходит до выживания вашего первого года, всегда старайтесь сохранить свои деньги. Может показаться заманчивым масштабирование настолько быстро, насколько это возможно, наняв гораздо больше сотрудников и создав инфраструктуру, но минимизация скорости сгорания обычно важнее для долгосрочного успеха. Например, Backblaze потратила всего 94 тыс. Долларов на создание и запуск своей бета-версии онлайн-сервиса резервного копирования. Если вы слишком быстро масштабируете сотрудников и инфраструктуру своего стартапа, вам, возможно, придется поторопиться, чтобы найти больше средств, что обычно означает большее разбавление и больше посторонних, говорящих вам, что вы должны делать, — не очень хорошо, когда вы только начинаете и пытаетесь достичь ваше видение

Глеб подробнее расскажет об этом видео:

Получение ваших первых клиентов
Когда вы, наконец, готовы к работе, вы должны ориентироваться на людей, которые дадут вам множество отзывов в качестве ваших первых клиентов. Часто это означает, что друзья и даже члены семьи готовы высказать свое мнение о том, что вы делаете. Очень важно, чтобы ваши близкие люди давали честные отзывы, так как комментарии с сахарным покрытием могут на самом деле привести вас к неверным выводам о вашем продукте.

Если у вас есть возможность оценить первоначальный отзыв и повторить его, рассмотрите возможность частного бета-запуска. Первоначальная цель запуска Backblaze заключалась в том, чтобы привлечь к услуге 1000 человек. В своей статье «Как получить первых 1000 клиентов» Глеб подробно рассказывает о том, как Backblaze успешно использовала PR-аутрич для достижения цели запуска бета-версии.

Одной из использованных тактик PR было дать ограниченное количество приглашений на бета-тестирование, таких как Techcrunch, ArsTechnica и SimpleHelp. Это не только повысило осведомленность, но и дало ранним пользователям бета-версии ощущение исключительности, что помогло заставить пользователей бета-версии предоставить честную обратную связь.

Не менее важно иметь систему для сбора контактной информации от всех, кто проявляет интерес, даже если вы не можете обслуживать их в данный момент. Вы всегда хотите построить конвейер для своих клиентов, и наличие механизмов для сбора потенциальных клиентов важно для устойчивого роста.

Стартовые максимумы и минимумы
Неизбежно, что каждому начинающему предпринимателю придется столкнуться с рядом неожиданных минимумов, которые вытеснят то, что кажется все более редкими максимумами. Работа с обоими жизненно важна для поддержания вашего бизнеса (и вашего психического здоровья). Часто то, что на первый взгляд кажется низкой точкой, может вдохновить действия, которые в конечном итоге помогут поднять ваш бизнес на новый уровень.

В следующем ролике Глеб приводит несколько примеров, казалось бы, низких моментов, которые Backblaze в конечном итоге смогла превратить в победы, или, как Глеб говорит, «превращая лимоны в лимонад». Примечание: я недавно написал пост о подобных изменениях в области социальных сетей: Лимонад: важность социальных сетей и сообщества.

Когда Джону нужно было открыть хранилище Backblaze Storage Pod для обслуживания в нашем центре обработки данных Phoenix, это было не так просто, как можно было бы подумать. С стальным корпусом, 60 жесткими дисками, объединительными панелями, двумя блоками питания и другими компонентами, каждый блок может весить до 150 фунтов.

Однако была еще большая проблема, чем вес стручка. Подставка для хранения разделена на две основные секции: секцию привода и секцию обработки, каждая из которых имеет отдельные панели доступа. Чтобы заменить привод, вам необходимо открыть панель доступа спереди, что требует сдвигания Storage Pod спереди. Чтобы заменить источник питания или, возможно, переустановить карту или кабель SATA, вы предпочтете сдвинуть корпус из задней части шкафа, потому что это дает вам лучший доступ к панели на задней панели корпуса.

Backpaze 6.0 Storage Pod с 60 дисками (спереди)

Проблема заключалась в том, что выполнение этого было сложно, если не невозможно, со всеми силовыми кабелями, которые соединяли стручки с блоком распределения питания (PDU) на задней панели шкафа. Это оставило Джона только один выбор: вытащить блок из передней части шкафа, даже когда он хочет получить доступ к задней панели доступа, для чего потребовалось больше времени и часто требовалось два человека.

Идентификация проблемы — PDU
Как менеджер сайта центра обработки данных Феникса Backblaze, Джон понял, что работа будет намного проще, если он сможет изменить один компонент — PDU. В центре данных Phoenix использовались вертикально установленные распределительные устройства (PDU) на задней панели шкафов, которые проходили всю дорогу от верхней части корпуса. Все кабели из десяти контейнеров в PDU заблокировали доступ к задней части контейнеров в шкафу.

Вертикальный PDU, блокирующий задний доступ к Storage Pods

Что такое PDU?
Блок распределения питания (PDU) представляет собой устройство, оснащенное несколькими выходами, предназначенными для распределения электроэнергии на стойки компьютеров и сетевого оборудования, расположенные в центре обработки данных. Некоторые PDU имеют дополнительные возможности, включая фильтрацию мощности, интеллектуальную балансировку нагрузки и дистанционный мониторинг и управление по LAN или SNMP.
ИТ-менеджеры центров обработки данных дистанционно контролируют производительность PDU для обеспечения постоянного обслуживания, повышения эффективности и планирования роста.

Джон знал, что вертикальный PDU заставил свою команду потратить больше времени, чем нужно, чтобы попасть в стручки для обслуживания. Если им нужно было заменить компонент в задней части контейнера, это означало, что полностью отсек для хранения полностью вышел из шкафа, используя подъемник сервера. Если бы Джон мог найти лучший вариант для PDU, у каждого в команде было бы больше времени, чтобы сосредоточиться на других вопросах центра обработки данных, например, настроить дополнительные шкафы для заполнения накопителями и данными клиентов.

Гвидо, оцененный член оперативной группы Backblaze
Гвидо, уважаемый член оперативной команды Backblaze


Иногда нам приходится полностью удалять тяжелые стручки из кабинета, но специальный член команды помогает в этом. Наш серверный подъемник Guido не имеет проблем с подъемом и перемещением 150-фунтовых накопителей и IT-оборудования, когда это необходимо.

Наш серверный подъемник, Гвидо (справа), помог Джо с тяжелым подъемом в нашем дата-центре Phoenix

Подставки и шкафы для хранения данных Backblaze
Подставки Backblaze Storage Pod представляют собой стандартные полноразмерные шкафы для центров обработки данных, которые имеют 42 стойки (U или RU) — стойка составляет 44,50 миллиметра (1,75 дюйма). Оборудование, которое вписывается в эти стойки, обычно имеет высоту 1U, 2U, 3U или 4U. Подставки Backblaze имеют высоту 4U, поэтому десять из них могут входить в одну стойку. С небольшим переключателем наверху, занимающим один из этих блоков стойки, который оставляет всего 1U пространства.

Если бы Джон мог использовать это 1U пространства в шкафу для горизонтально смонтированного PDU, он мог бы избавиться от вертикально смонтированного PDU, который вызывал проблему доступа. В любом случае PDU имел больше выходных сигналов питания, чем необходимо, а также дополнительные схемы мониторинга, которые не требовались для Zabbix, пакета программного обеспечения, который мы используем для отслеживания состояния здоровья всех компонентов в наших центрах обработки данных.

Вертикальный PDU делал его более сложным и дорогостоящим, чем это было необходимо для задачи — два фактора, которые противоречат философии Backblaze о том, чтобы держать вещи такими же простыми и недорогими, насколько это возможно, чтобы снизить издержки для наших клиентов. (Немного истории об этом см. В этом сообщении о том, как началась Backblaze .)

Улучшенный PDU
Джон составил список требований, которые он хотел в PDU, которые соответствовали бы потребностям Backblaze. Ему не показалось, что было бы трудно найти готового бросить в кабинет.

Требования к PDU от Jon's

• 1 стойка высотой
• 3-фазная мощность
• Горизонтально установленный
• Замер для дистанционного мониторинга нагрузки на цепь
• 12 выходов питания C13
• 10 выходов для поддонов хранения
• 1 для малого выключателя
• 1 для аварийной тележки для обслуживания стручков

Поиск PDU, который соответствует списку, оказался сложнее, чем он ожидал. Джон попытался выяснить, не сделал ли кто-то 3-фазный 1U горизонтальный монтируемый PDU, и единственный, который он мог найти, не имел правильного типа выходов питания (C13) или схемы контроля.

Единственным оставшимся вариантом было создание пользовательского PDU. Джон вспомнил, что он и Ларри, менеджер центра обработки данных Backblaze, столкнулись с производителем PDU, Geist, на выставке IT в Сан-Хосе. Джон связался с нашим продавцом Мирапатом, с которым Джон успешно работал в других проектах для Backblaze. Mirapath получил проект, катящийся с Geist, разработал все перегибы и сыграл важную роль в завершении проекта.

Пользовательский PDU
Результатом является настраиваемый PDU, который соответствует требованиям Джона. PDU монтируется горизонтально в центре задней части шкафов и не блокирует доступ с задней панели шкафа. Он занимает всего 1U пространства в шкафу, что позволяет Джону поставить десять ящиков для хранения в каждом шкафу — пять над PDU в центре шкафа и пять ниже. Он имеет правильный тип (C13) и число (12) силовых выходов, которые поддерживают десять стручков, один переключатель и аварийную тележку. Он также содержит схему мониторинга мощности, необходимую для сбора данных для Zabbix.


Пользовательский PDU позволяет Джону и его команде получить доступ к Storage Pods с задней стороны шкафа. Джон оценивает, что новый PDU позволяет ему завершить замену загрузочного диска в Storage Pod в половине случаев, когда он использовался с предыдущим блоком PDU, и ему не нужна помощь нашего сервера, который поднимает Guido для работы. Это экономит время, особенно когда вам нужно заменить загрузочные диски в сорок Storage Pods, как недавно сделал Джон.

Пользовательский PDU в шкафу между двумя накопителями

Хранение под открытым небом в задней части шкафа

Хранение под открытым небом сзади

Мы ценим нашу культуру ведения дел по-разному
Если вы регулярно читаете этот блог, вы уже знакомы с историей Backblaze. Основатели Backblaze основали компанию, потому что считали, что люди должны создавать резервные копии своих компьютеров, и это можно сделать по 5 долларов США в месяц. Проблема заключалась в том, что никакая система хранения, доступная в то время, не обеспечила бы устойчивый бизнес по этой цене. Они сделали то, что должны были сделать: разработали и построили собственное решение. Подсистемы резервного копирования Backblaze, архитектура хранилища и кодировка Рида-Соломона позволили использовать глобально масштабируемую систему хранения. Спустя одиннадцать лет, три центра обработки данных и семьсот петабайт данных клиентов, мы по-прежнему можем обеспечить доступное доступное хранилище в любом месте.

Продолжение традиции Бэкблауза
Инноваторы, работающие в сфере трудовых отношений, такие как Джон и наша операционная группа, ежедневно находят новые способы повышения эффективности наших операций. Это позволяет нам постоянно снижать наши затраты и управлять нашим растущим глобальным охватом.

Спасибо, Джон. Отлично сработано!

Джон с двумя шкафами Backblaze, каждый из которых имеет 10 поддонов хранения, один коммутатор и один собственный PDU

По состоянию на 30 сентября 2018 года у Backblaze было 99,636 вращающихся жестких дисков. Из этого числа было 1,866 загрузочных дисков и 97 770 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Кроме того, мы попрощаемся с последними из наших приводов 3TB, приветствуем наши новые приводы HGST на 12 Тбайт, и мы объясним, как у нас на 584 меньше дисков, чем в прошлом квартале, но они добавили более 40 петабайт памяти. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

Статистика надежности жестких дисков для Q3 2018
В конце третьего квартала 2018 года Backblaze контролировал 97,770 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключили из рассмотрения те диски, которые использовались для целей тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков (см. Почему ниже). Это оставляет нам 97,600 жестких дисков. В приведенной ниже таблице рассказывается, что произошло в третьем квартале 2018 года.


Примечания и наблюдения

• Если модель привода имеет частоту отказа 0%, это означает, что в течение третьего квартала 2018 года не было отказов дисков этой модели.
• Квартальные показатели отказов могут быть неустойчивыми, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Дрейфа .
• Было 170 дисков (97,770 минус 97,600), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков.

Когда заменить жесткий диск
Как уже отмечалось, в конце третьего квартала мы имели на 584 меньше дисков, но более 40 петабайт хранилища. Мы заменили 3TB, 4TB и даже несколько 6TB дисков с 3600 новыми 12TB дисками, использующими ту же инфраструктуру центра обработки данных, то есть стойки Storage Pods. Приводы, которые мы заменяем, составляют около 4 лет. Это плюс или минус несколько месяцев в зависимости от того, сколько мы заплатили за диск и ряд других факторов. Сохранение приводов с более низкой плотностью при эксплуатации, когда приводы с более высокой плотностью доступны и эффективно оценены, не имеет экономического смысла.

Почему миграция диска будет продолжаться
Ожидается, что в ближайшие несколько лет произойдет рост объема данных. Ожидается, что на жестких дисках будет храниться основная часть этих данных, что означает, что компании облачного хранения, такие как Backblaze, должны будут увеличить пропускную способность за счет увеличения существующей плотности хранения и / или создания или создания большего количества центров обработки данных. Производители дисков, такие как Seagate и Western Digital, смотрят на плотность хранения HDD 40 ТБ уже в 2023 году, всего 5 лет. Гораздо дешевле заменять операционные приводы с более низкой плотностью в центре обработки данных по сравнению с созданием нового объекта или даже строительство существующего объекта для размещения накопителей с более высокой плотностью.

Goodbye 3TB WD Drives
За последние пару кварталов у нас осталось 180 накопителей Western Digital 3TB (модель: WD30EFRX) — последний из наших 3TB приводов. В начале третьего квартала они были удалены и заменены приводом 12 ТБ. Эти приводы 3TB были приобретены после кризиса кризиса в Таиланде и установлены в середине 2014 года и все еще были тяжелыми, когда мы их заменили. Когда-нибудь в ближайшие пару лет мы попробуем распрощаться со всеми нашими приводом 4TB и обновим их до 14, 16 или даже 20 Тбайт дисков. После этого пришло время «увеличить плотность» наших 6ТБ-систем, затем наших 8ТБ-систем и так далее.

Привет 12TB Приводы HGST
В Q3 мы добавили 79 ферм HGST 12TB (модель: HUH721212ALN604) в ферму. Хотя 79 может показаться необычным числом дисков для добавления, он представляет собой «этап 2» нашего процесса тестирования дисков. Этап 1 использует 20 дисков, количество жестких дисков в одном макете Backblaze Vault. То есть в хранилище Backblaze хранится 20 поддонов хранения, и в каждом хранилище есть один «тестовый» диск. Это позволяет сравнить производительность и т. Д. Тестового тома с остальными 59 томами производства (в которых работают уже подготовленные диски). В каждом хранилище Backblaze хранится 60 томов. На втором этапе мы заполняем все хранилище с тестовыми дисками, добавляя 59 тестовых приводов к тестируемому в одном из 20 поддонов хранения в хранилище Backblaze.

На сегодняшний день ни один из 79 накопителей HGST не сработал, но по состоянию на 30 сентября они были установлены всего 9 дней. Посмотрим, как они будут работать в течение следующих нескольких месяцев.

Лидер счета нового диска
В течение последних 4 лет модель привода, которую мы развернули больше всего, — это накопитель Seagate 4TB, модель ST4000DM000. В Q3 у нас было 24208 модели привода, которая теперь достаточно хороша для второго места. Привод серии 12TB Seagate, модель ST12000NM0007, стал нашим новым лидером по подсчету дисков с 25,101 дисками в Q3.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график отказов по продолжительности жизни для всех моделей жестких дисков, работающих с 30 сентября 2018 года. Для каждой модели мы вычисляем их надежность, начиная с момента их первой установки.



Примечания и наблюдения

• Частоты отказов всех более крупных приводов (8, 10 и 12 ТБ) очень хорошие: 1,21% AFR (годовая частота отказов) или меньше. В частности, накопители Seagate 10TB, которые работают уже более 1 года, работают очень хорошо, частота отказов составляет 0,48%.
• Общая частота отказов 1,71% является самой низкой, которую мы когда-либо достигали, что обеспечило предыдущий минимум 1,82% по сравнению со вторым кварталом 2018 года .

Данные статистики жесткого диска
Полный набор данных, используемый для создания информации, используемой в этом обзоре, доступен на нашей странице данных на жестком диске. Вы можете бесплатно скачать и использовать эти данные для своей собственной цели. Все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze в качестве источника, если используете данные, 2) вы признаете, что несете единоличную ответственность за использование данных, и 3) вы не продаете эти данные никому. Это свободно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.
www.backblaze.com/b2/hard-drive-test-data.html

Резервные копии и архивы обслуживают разные функции, однако обычно используются термины, используемые в облачном хранилище. Важно понимать разницу между этими двумя, чтобы ваша методология хранения данных соответствовала вашим потребностям в нескольких ключевых областях:

• сохраняются в течение требуемого периода времени
• защищены от потери или несанкционированного доступа
• возможность восстановления или восстановления по мере необходимости
• структурированы или помечены, чтобы разрешить размещение определенных данных
• сохранен в соответствии с вашими требованиями

Наши два варианта можно широко классифицировать:

• резервная копия предназначена для восстановления после сбоя оборудования или недавнего повреждения или потери данных
• архив предназначен для управления пространством и долгосрочного хранения

Что такое резервное копирование?
Резервная копия — это копия ваших данных, созданная для защиты от потери этих данных. Как правило, резервные копии создаются на регулярной основе в соответствии с расписанием или когда исходные данные изменяются. Исходные данные не удаляются, но старые резервные копии часто удаляются в пользу более новых резервных копий.


Настольные компьютеры, серверы, виртуальные машины и мобильные устройства обычно поддерживаются. Резервные копии могут включать данные, файлы ОС и приложений или их комбинацию в соответствии с методологией и целью резервного копирования.

Цель резервного копирования — сделать копию чего-либо в текущем использовании, которое не может быть потеряно. Резервное копирование настольного или мобильного устройства может включать в себя только данные пользователя, чтобы при необходимости можно было восстановить предыдущую версию файла. На этих типах устройств часто делается предположение, что ОС и приложения могут быть легко восстановлены из исходных источников, если это необходимо (и / или восстановление ОС на новом устройстве может привести к значительным проблемам с коррупцией). В виртуальной серверной среде резервная копия может включать файлы .VMDK, содержащие данные и ОС, а также структурированную (базу данных) и неструктурированные данные (файлы), чтобы можно было как можно быстрее вернуть систему в эксплуатацию, если что-то произойдет к исходной виртуальной машине в среде VMware, Hyper-V или другой виртуальной машины.

В случае атаки с вымогательством надежная стратегия резервного копирования может означать разницу между возможностью восстановления взломанной системы и необходимостью выкупа выкупа в неопределенных надеждах на получение ключа дешифрования для получения доступа к файлам, которые больше не доступны, поскольку они были зашифрованы злоумышленником.

Резервные копии могут иметь дополнительные возможности. Пользователь может перейти к резервной копии, чтобы получить более раннюю версию файла, поскольку она содержит что-то больше не в текущем файле или, как это возможно, с некоторыми службами резервного копирования, такими как Backblaze Backup, для совместного использования файла с коллегой или другим человек.

Что такое архив?
Архив представляет собой копию данных, сделанных для долгосрочного хранения и ссылки. Исходные данные могут быть удалены или не удалены из исходной системы после создания и сохранения архивной копии, хотя для архива является единственной копией данных.


В отличие от резервного копирования, целью которого является возможность вернуть компьютер или файловую систему в состояние, существовавшее ранее, архив может иметь несколько целей. Архив может предоставить отдельному лицу или организации постоянную запись важных документов, юридических документов, корреспонденции и других вопросов. Часто архив используется для удовлетворения требований к хранению информации для корпораций и предприятий. Если возникает спор или запрос о деловой практике, контракте, финансовой сделке или сотруднике, записи, относящиеся к этому предмету, могут быть получены из архива.

Архив часто используется для облегчения нагрузки на более быстрые и часто используемые системы хранения данных. Более старые данные, которые вряд ли понадобятся, часто вводятся в системы, которым не требуется скорость и доступность систем, которые содержат данные, которые все еще используются. Архивные системы хранения обычно дешевле, поэтому сильная мотивация заключается в том, чтобы сэкономить деньги на хранении данных.

Архивы часто создаются в зависимости от возраста данных или того, является ли проект, к которому принадлежат данные, все еще активным. Программа архивирования может отправлять данные в архив, если к ней не было доступа за определенное время, когда достиг определенного возраста, если человек больше не связан с организацией, или файлы были помечены для хранения, потому что проект завершен или закрыт.

Архивы также могут быть созданы с использованием метаданных, описывающих проект. Программа архивирования может автоматически добавлять соответствующие метаданные или пользователь может помечать данные вручную, чтобы помочь в будущем поиске. Общие добавленные метаданные могут быть бизнес-информацией, описывающей данные, или в случае фотографий и видео, оборудованием, настройками камеры и географическим положением, где был создан носитель. Искусственный интеллект (AI) может использоваться для идентификации и каталогизации предмета в некоторых данных, таких как фотографии и видео, чтобы облегчить поиск данных позднее. Инструменты AI становятся все более важными, поскольку мы архивируем больше данных и должны иметь возможность находить их на основе параметров, которые могут быть неизвестны на момент архивирования данных.



В чем разница между восстановлением и извлечением?
В общем случае восстанавливаются системы восстановления и архивные системы резервного копирования. Инструменты, необходимые для выполнения этих функций, различны.

Если вы хотите восстановить что-то из резервной копии, это обычно один файл, сервер или структурированные данные, такие как база данных, которая должна быть восстановлена ​​в определенный момент времени. Вы должны знать много о данных, например, где они были расположены, когда они были скопированы, база данных или папка, в которой она была, имя файла, когда оно было скопировано, и так далее.

Когда вы извлекаете данные из архива, данные связаны каким-то образом, например, с датой, получателем электронной почты, периодом времени или с другим набором параметров, которые могут быть указаны при поиске. Типичным поисковым запросом может быть получение всех файлов, связанных с именем проекта, или всеми электронными письмами, отправленными человеком в течение определенного периода времени.

При попытке использовать резервную копию для архива могут возникнуть проблемы. Вам нужно будет хранить строгие записи о том, где и когда были скопированы файлы, на каком носителе они были созданы резервные копии и множество других данных, которые необходимо было записать во время резервного копирования. По определению системы резервного копирования хранят копии данных, используемых в настоящее время, поэтому сохранение резервных копий в течение длительных периодов времени выходит за рамки возможностей систем резервного копирования и требует ручного управления.

В нижней строке не используется резервная копия для архива. Выберите подход, который соответствует вашим потребностям: резервная копия для хранения дополнительных копий данных, используемых в настоящее время, в случае, если что-то случится с вашей основной копией, или в архиве, чтобы сохранить постоянную (и, возможно, только запись) важные данные, которые вы хотите сохранить для личных, деловых или юридических причин.

Почему вам нужны как резервные, так и архивные
Понятно, что резервная копия и архив имеют разные виды использования. Вам нужны оба?

Если вы бизнес, разумный выбор — да. Вам необходимо убедиться, что ваши активные бизнес-данные защищены от случайной или злонамеренной потери и что ваши важные записи поддерживаются до тех пор, пока это необходимо для деловых и юридических причин. Если вы являетесь физическим лицом или малым бизнесом с документами, фотографиями, видео и другими материалами, вам также необходимы как резервное копирование, так и архив, чтобы обеспечить защиту ваших данных как краткосрочными, так и долгосрочными, а также доступными и доступными, когда вам это нужно.



Выбор правильных инструментов и служб для резервного копирования и архивирования имеет важное значение. У каждого есть наборы функций, которые делают их подходящими для их задач. Попытка использовать резервное копирование для архивирования или архивирования для резервного копирования — это похоже на попытку установить круглую привязку в квадратное отверстие. Лучше всего использовать правильный инструмент и службу для требуемой функции хранения данных.

Прошло несколько месяцев с момента нашего последнего сообщения «Что нового в B2», поэтому мы хотели осветить некоторые события, а также представить новую функцию B2!

Повторное внедрение: Java SDK + Compute Partnerships
Мы хотели подчеркнуть официальный Backblaze B2 Java SDK, который можно найти в нашем репозитории GitHub. Официальный Java SDK вышел почти год назад, но мы с тех пор постоянно обновляем его с помощью сообщества.

Мы также объявили о некоторых Compute Partnerships, которые дают людям все преимущества недорогого облачного хранилища Backblaze B2 с вычислительными возможностями Packet и ServerCentral. Backblaze B2 Облачное хранилище напрямую связано с поставщиками вычислений, что обеспечивает клиентам небольшую задержку и бесплатную передачу данных с помощью облачного хранилища B2.

Ключи приложения
Ключи приложений дают разработчикам больше контроля над тем, кто может делать то, что и как долго их данные B2. Некоторое время у нас была документация по ключевому слову B2, и мы готовы снять тег «coming soon».


Что такое Ключи приложения?
В B2 основной ключ приложения имеет корневой доступ ко всему и по существу контролирует каждую операцию, которая может быть выполнена внутри B2. Благодаря внедрению дополнительных ключей приложений разработчики теперь обладают большей гибкостью.

Ключи приложений ограничены тремя вещами: 1) какие операции может выполнять ключ, 2) какой путь внутри B2 может взять ключ, и 3) как долго он способен это сделать. Например, вы можете использовать ключ только для чтения, который имеет доступ только к одному ведро B2. Вы должны использовать этот ключ только для чтения в ситуациях, когда вам действительно не нужно записывать вещи в ведро, только читать или «отображать» их. Или вы можете использовать ключ «только для записи», который может записывать только в определенную папку внутри ведра. Все это приводит к более чистому коду с сегментированными операциями, по сути действуя как брандмауэры, если что-то пойдет наперекосяк.



Использовать случаи для ключей приложений
Одним из примеров использования ключа приложения является стандартная резервная операция. Если вы создаете резервную копию базы данных SQL, для этого вам не нужно использовать свой корневой уровень. Простое создание ключа, который может загружаться только в указанную папку, достаточно хорош.

Другим примером является приложение разработчика, создающее приложения внутри клиента. Этот разработчик хотел бы ограничить доступ и ограничить привилегии каждого клиента конкретными ведрами и папками — обычно на основе клиента, который выполняет операцию. Использование более закрытых ключей приложений ограничивает возможность того, что один из них может повлиять на всю систему.

Последним случаем может быть Управляемый поставщик услуг (MSP), который создает и использует разные ключи приложения для каждого клиента. Таким образом, ни клиент, ни MSP не могут случайно получить доступ к файлам другого клиента. Кроме того, MSP может иметь несколько ключей приложения для данного клиента, которые определяют разные уровни доступа к данным для определенных групп или отдельных лиц в организации клиента.

Надеемся, что это вам понравится
Вы один из тех, кто ждал поддержки ключа приложения? Мы будем рады услышать ваши варианты использования, которые звучат в комментариях ниже, с тем, над чем вы работаете!

www.backblaze.com/b2/docs/application_keys.html

По состоянию на 30 июня 2018 года в центрах обработки данных Backblaze было 100254 вращающихся жестких диска. Из этого числа было 1,989 загрузочных дисков и 98,265 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Мы также рассмотрим сравнение корпоративных и потребительских дисков, сначала рассмотрим наши 14-тонные диски Toshiba и представим вам две новые характеристики SMART. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

Статистика надежности жестких дисков для Q2 2018
Из 98,265 жестких дисков, которые мы наблюдали в конце Q2 2018, мы исключили из рассмотрения те приводы, которые использовались для тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков. Это оставляет нам 98,184 жестких диска. Таблица ниже охватывает только Q2 2018.


Примечания и наблюдения
Если модель привода имеет частоту отказа 0%, это просто означает, что во время Q2 2018 не было сбоев привода этой модели.

Годовой показатель сбоя (AFR) для Q2 составляет всего 1,08%, что значительно ниже АФК Q1 2018 и является нашим самым низким квартальным AFR. Тем не менее, квартальные показатели отказов могут быть нестабильными, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Drive.

Было 81 диск (98,265 минус 98,184), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков. Использование 45 приводов носит исторический характер, так как это количество дисков в наших оригинальных накопителях.

Миграция жестких дисков продолжается
Квартальная диаграмма Q2 2018 выше была основана на 98184 жестких дисках. Это было всего лишь на 138 жестких дисков, чем на Q1 2018, который был основан на 98 046 дисках. Тем не менее, мы добавили около 40 PB облачного хранилища в течение первого квартала. Если бы мы попытались сохранить 40 PB на 138 дополнительных дисках, добавленных в Q2, то каждый новый жесткий диск должен был хранить около 300 ТБ данных. В то время как жесткие диски на 300 ТБ были бы потрясающими, менее опасная реальность заключается в том, что мы заменили более 4 600 приводов 4 ТБ с почти 4 800 приводов 12 ТБ.

Возраст заменяемых приводов 4 ТБ составлял от 3,5 до 4 лет. Во всех случаях их уровень отказов составлял 3% AFR (годовой показатель отказов) или меньше, поэтому зачем их удалять? Простая плотность приводов — в этом случае три раза хранится в одном и том же корпусе. Сегодня четыре года службы — это время, когда финансовый смысл заключается в замене существующих дисков и создании нового объекта с новыми стойками и т. Д. Хотя есть несколько факторов, которые принимают решение о переносе на накопители с более высокой плотностью, сохраняя жесткие диски за пределами этого переломного пункта означают, что мы будем использовать ценную недвижимость для центров обработки данных.

Диски Toshiba 14 ТБ и SMART Stats 23 и 24
Во втором квартале мы добавили к нашему миксу двадцать 14 ТБ Toshiba (модель: MG07ACA14TA) (этого недостаточно, чтобы быть включенными в наши диаграммы), но это изменится, поскольку мы заказали еще 1200 дисков, которые будут развернуты в Q3. Это 9-пластинные накопители с гелием, которые используют технологию записи CMR / PRM (не SMR).

В дополнение к тому, что для нас были новые диски, приводы Toshiba 14 ТБ также добавляют две новые пары SMART stat: SMART 23 (состояние гелия ниже) и SMART 24 (верхнее состояние гелия). Оба атрибута сообщают о нормальных и необработанных значениях, причем исходные значения в настоящее время равны 0, а нормализованные значения равны 100. Когда мы узнаем больше об этих значениях, мы сообщим вам об этом. Тем временем, те из вас, кто использует наши данные теста жесткого диска, должны будут обновить вашу схему данных и загрузить сценарии для чтения в новых атрибутах.

Кстати, ни один из 20 приводов Toshiba 14 ТБ не прошел через 3 недели на службе, но еще слишком рано делать какие-либо выводы.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график отказов по продолжительности жизни для всех моделей жестких дисков, работающих по состоянию на 30 июня 2018 года. Для каждой модели мы вычисляем ее надежность, начиная с того момента, когда она была впервые установлена


Примечания и наблюдения
Комбинированный AFR для всех более крупных приводов (8-, 10- и 12 ТБ) составляет всего 1,02%. Многие из этих дисков были развернуты в прошлом году, поэтому в данных есть некоторая волатильность, но мы ожидаем, что эта общая ставка несколько снизится в течение следующих нескольких лет.

Общая частота отказов для всех жестких дисков в обслуживании составляет 1,80%. Это самый низкий показатель, который мы когда-либо достигали, с предыдущим минимумом 1,84% с 1-го квартала 2018 года.

Корпоративные и потребительские жесткие диски
В нашем обзоре состояния жестких дисков Q3 2017 мы сравнили две модели жестких дисков Seagate 8 ТБ: один диск с потребительским классом (модель: ST8000DM002), а другой — диск корпоративного класса (модель: ST8000NM0055). Давайте сравним показатели годовых убытков в течение всего периода с 3-го квартала 2017 года и 2-го квартала 2018 года:

Пожизненная AFR по состоянию на 3 квартал 2017 года

• 8 ТБ потребителей: 1,1% в год
• 8 корпоративных корпоративных дисков: 1,2% в год

Пожизненная AFR по состоянию на 2 квартал 2018 года

• 8 ТБ потребителей: 1.03% годовой нормы отказа
• 8 корпоративных корпоративных дисков: 0,97%

Хммм, похоже, что корпоративные диски «выигрывают». Но прежде чем мы объявим победу, давайте заглянем в несколько деталей.

Начнем с дней диска, общее количество дней работы всех жестких дисков данной модели.

• 8 ТБ потребителя (модель: ST8000DM002): 6 395 117 дней движения
• Предприятие 8 ТБ (модель: ST8000NM0055): 5 279 564 дня

Обе модели имеют достаточное количество рабочих дней и достаточно близки по общему числу. Пока никаких изменений в нашем заключении.

Затем мы рассмотрим доверительные интервалы для каждой модели, чтобы увидеть диапазон возможностей в двух отклонениях.

• 8 потребителей ТБ (модель: ST8000DM002): диапазон 0,9% до 1,2%
• предприятие 8 ТБ (модель: ST8000NM0055): диапазон 0,8% до 1,1%

Диапазоны близки, но возможны множественные исходы. Например, потребительский диск может быть ниже 0,9%, а корпоративный диск может достигать 1,1%. Это не помогает или не нарушает наш вывод.

Наконец, мы будем смотреть на возраст диска — на самом деле средний возраст, чтобы быть точным. Это среднее время в оперативном обслуживании, в месяцах, всех приводов данной модели. Мы начнем с момента, когда каждый диск достигнет примерно текущего количества дисков. Таким образом, добавление новых дисков (без замены) будет иметь минимальный эффект.


Когда вы ограничиваете количество дисков и средний возраст, AFR (годовая частота отказов) корпоративного диска последовательно ниже, чем у потребительского диска для этих двух моделей накопителей — хотя и не так много.
Является ли каждая модель предприятия лучше, чем любая соответствующая потребительская модель, неизвестна, но ниже приведены несколько причин, по которым вы можете выбрать один класс диска над другим:


Известно, что Backblaze является «экономным» при покупке дисков. Когда вы покупаете 100 дисков за раз или сталкиваетесь с кризисом накопителя, имеет смысл приобретать потребительские приводы. Когда вы начинаете покупать жесткие диски на 100 петабайт за раз, ценовой разрыв между корпоративными и потребительскими дисками сжимается до такой степени, что другие факторы вступают в игру.

Жесткие диски по номерам
С апреля 2013 года Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. В настоящее время более 100 миллионов записей. Полный набор данных, используемый для создания информации, представленной в этом обзоре, доступен на нашей странице данных на жестком диске. Вы можете бесплатно скачать и использовать эти данные для своей собственной цели. Все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze в качестве источника, если используете данные, 2) вы признаете, что несете единоличную ответственность за использование данных, и 3) вы не продаете эти данные никому. Это бесплатно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.

Удачи и сообщите нам, если вы найдете что-нибудь интересное в комментариях ниже или напрямую свяжитесь с нами.

По состоянию на 31 марта 2018 года у нас было 100 110 вращающихся жестких дисков. Из этого числа было 1,922 загрузочных диска и 98,188 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Мы также рассмотрим, почему мы собираем и сообщаем о 10 новых атрибутах SMART и получаем пик подхалима на некоторых дисках Toshiba объемом 8 ТБ. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

С апреля 2013 года Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. В настоящее время около 97 миллионов записей составляют 26 ГБ данных. Вы можете загрузить эти данные с нашего веб-сайта, если вы хотите провести собственное исследование, но для начала мы нашли то, что нашли.

Статистика надежности жестких дисков для Q1 2018
В конце Q1 2018 Backblaze контролировал 98,188 жестких дисков, используемых для хранения данных. Для нашей оценки ниже мы рассмотрим те диски, которые использовались для тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков. Это оставляет нам 98,046 жестких дисков. Таблица ниже охватывает только 1 квартал 2018 года.



Примечания и наблюдения
Если модель привода имеет коэффициент отказа 0%, это означает, что в течение первого квартала 2018 года не было ошибок привода этой модели.

Общая годовая ставка сбоев (AFR) для Q1 составляет всего 1,2%, что значительно ниже показателя QF 2014 года в размере 1,65%. Помните, что ежеквартальные показатели отказов могут быть неустойчивыми, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Drive.

Было 142 диска (98,188 минус 98,046), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков.

Приветствуем диски Toshiba 8TB, почти ...
Мы упомянули диски Toshiba 8 ТБ в первом абзаце, но они не отображаются в диаграмме статистики Q1. Что дает? У нас было только 20 из 8-ти томов Toshiba, работающих в Q1, поэтому они были исключены из графика. Почему у нас всего 20 дисков? Когда мы тестируем новую модель привода, мы начинаем с теста «tome», и для заполнения одного тома требуется 20 дисков. Тома — это одна и та же модель привода в том же логическом положении в каждом из 20 хранилищ, которые составляют хранилище Backblaze. В каждом хранилище есть 60 томов.

В этом тесте мы создали хранилище Backblaze Vault с 8 ТБ дисками, причем 59 из них являются накопителями Seagate 8 ТБ и 1 томом, являющимися дисками Toshiba. Затем мы контролировали производительность хранилища и его томов-членов, чтобы убедиться, что в этом случае диски Toshiba выполняются так, как ожидалось.



Пока что Toshiba работает отлично, но они работают только 20 дней. Следующим шагом является «тест подкачки», где мы заполняем накопитель под накопителями Toshiba и интегрируем его в хранилище Backblaze, состоящее из дисков подобного размера. Мы надеемся, что мы лучше рассмотрим диски Toshiba 8 ТБ в нашем отчете о Q2 — следите за обновлениями.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график коэффициентов сбоя на всю жизнь для всех моделей жестких дисков, в которых с 31 марта 2018 года функционируют 45 или более накопителей. Для каждой модели мы вычисляем их надежность, начиная с момента их первой установки.


Примечания и наблюдения
Частоты отказов всех более крупных приводов (8-, 10- и 12 ТБ) очень хорошие, 1,2% AFR (годовая частота отказов) или меньше. Многие из этих дисков были развернуты в прошлом году, поэтому в данных есть некоторая волатильность, но вы можете использовать интервал доверия, чтобы получить представление о процентном диапазоне отказа.

Общий показатель отказов 1,84% — это самый низкий показатель, который мы когда-либо достигали, с предыдущим минимумом 2,00% с конца 2017 года.

Наши постоянные читатели и владельцы дисков, возможно, заметили значительный скачок количества приводов HGST 8 ТБ (модель: HUH728080ALE600), с 45 в последнем квартале до 1045 в этом квартале. По мере того, как диски с 10 ТБ и 12 ТБ становятся более доступными, цена на терабайт приводов с 8 ТБ снизилась. Это дало возможность приобрести диски HGST по цене в соответствии с нашим бюджетом.

Мы купили и поместили в эксплуатацию 45 оригинальных приводов HGST 8 ТБ во втором квартале 2015 года. Они были нашими первыми накопителями, заполненными гелием, и нашими единственными, пока в Q3 2017 не прибыли диски с 10 ТБ и 12 ТБ Seagate. Мы возьмем первый посмотрите, действительно ли гелий влияет на частоту отказов дисков в предстоящем блоге.

Новые атрибуты SMART
Если вы ранее работали с данными или планировали данные на жестком диске, вы заметите, что мы добавили еще 10 столбцов данных, начиная с 2018 года. Есть 5 новых атрибутов SMART, которые мы отслеживаем с исходным и нормализованным значением:

• 177 — Дельта диапазона износа
• 179 — Используемый запас заблокированного блока Всего
• 181- Количество сбоев программы: общий или нечетный 4K
• 182 — Стереть количество сбоев
• 235 — Хорошее количество блоков и система (бесплатно) Количество блоков
• Все 5 значений связаны с дисками SSD.

Да, SSD-накопители, но прежде чем вы переходите к каким-либо выводам, мы использовали 10 Samsung 850 EVO SSD в качестве загрузочных дисков в течение некоторого периода времени в Q1. Это был эксперимент, чтобы увидеть, можно ли сократить время загрузки для накопителей. В нашем случае улучшенная скорость загрузки не стоила стоимости SSD, но она добавила 10 новых столбцов в данные статистики жесткого диска.

Говоря о данных статистики жесткого диска, полный набор данных, используемый для создания информации, используемой в этом обзоре, доступен на нашей странице данных теста жесткого диска.
Вы можете бесплатно скачивать и использовать эти данные для своей цели, все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze как источник, если используете данные; 2) вы признаете, что несете единоличную ответственность за то, как вы используете данные, и 3) вы не продаете эти данные никому. Это бесплатно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.

Зачем платить меньше за ту же услугу?
В прошлом месяце мы внесли изменения в Backblaze B2. Мы снизили стоимость загрузки B2 пополам, расширив нашу программу восстановления USB-снимков, предлагая возмещение, если жесткие диски будут отправлены нам обратно, и создали нашу программу Backblaze Fireball в модель самообслуживания, где вы можете засеять 70 ТБ данных в вашу учетную запись Backblaze B2. Для любой другой компании облачного хранилища все эти добавочные значения будут достаточными, но мы заметили, что чего-то не хватает.

Мы продолжали слышать от наших клиентов, что мы просто делали слишком много и не заряжали достаточно. Люди были обеспокоены нашей способностью оставаться на рынке, несмотря на нашу репутацию за последние 10 лет, предоставляя недорогое хранилище, все время работая с позитивным бизнесом с денежными потоками. Наши клиенты просто не могли поверить, что мы могли бы сохранить эту шараду намного дольше и потребовали, чтобы мы что-то делали, чтобы укрепить нашу финансовую стабильность и «прекратить отдавать все — практически бесплатно», даже если это означало, что мы будем делать больше денег.

Мы слушали, и сегодня мы с гордостью объявляем о новом сервисе, который дополняет наше дико популярное облачное хранилище B2 Cloud Storage: Backblaze Bling2 Cloud Storage. Он очень похож на Backblaze B2, фактически идентичный, за исключением одного незначительного изменения. Это в 4 раза дороже как для хранения, так и для загрузки, как и наши конкуренты! Мы уверены, что такой же уровень обслуживания для 4х цены понравится нашим пользователям, которые думают, что мы просто недостаточно заряжаем.

Если вы заинтересованы в этом Bling2, мы создали инструмент, который поможет вам рассчитать затраты на хранение с помощью Cloud2 Cloud Storage и сравнить его с ведущими поставщиками облачных хранилищ, такими как Backblaze B2, Amazon S3, Google Cloud Service и Microsoft Azure!



Надеемся, вам понравится этот новый сервис от Backblaze. Если вы считаете, что Backblaze B2 является слишком доступным, вы с удовольствием узнаете, что цены на хранилище Bling2 доступны вам по «отраслевому стандарту» с 4-кратной разметкой.

In Part 1 of HDD vs SSD: What Does the Future for Storage Hold?, we looked at the primary differences between HDDs and SSDs, the history of both of these types of data storage, and we considered the best uses for each.

In Part 2, we take a deeper look at the differences between HDDs and SSDs, how both HDD and SSD technologies are evolving, and how Backblaze takes advantage of SSDs in our operations and data centers.

www.backblaze.com/blog/hdd-vs-ssd-in-data-centers/