Добро пожаловать в первый отчет Drive Stats 2025 года. Если вы его пропустили, отчет Drive Stats 2024 года был последним для давнего гуру Drive Stats Энди Кляйна, который счастливо вышел на пенсию — он откладывает «зелень» на более зеленых пастбищах, работая над своей игрой в гольф. Мы — штатный автор Backblaze Стефани Дойл и главный технический евангелист Пэт Паттерсон — продолжаем с того места, на котором остановился Энди, представляя вам метрики и анализ, которые вы знаете и любите. А теперь перейдем к цифрам!
По состоянию на 31 марта 2025 года у нас было 312 831 диск под управлением. Из этого общего числа было 3 970 загрузочных дисков и 308 861 диск с данными. Мы рассмотрим их годовые показатели отказов (AFR) по состоянию на первый квартал 2025 года и изучим средний возраст отказа дисков по моделям, размерам дисков и т. д. По ходу дела мы поделимся нашими наблюдениями и выводами по представленным данным, и на этот раз у нас есть несколько интересных обновлений, которыми мы хотим поделиться о том, как мы создаем статистику дисков. (Оставайтесь с нами, поклонники Snowflake.)
Показатели отказов жестких дисков в первом квартале 2025 г.
Как упоминалось выше, в конце первого квартала 2025 года мы использовали 312 831 диск. Однако в течение квартала в целом мы отслеживали в общей сложности 318 426 дисков; это число включает те, которые были выведены из эксплуатации в течение квартала либо из-за отказа, либо из-за временного использования.
Мы обсудим критерии, которые мы использовали, в следующем разделе этого отчета. Удаление этих дисков оставляет нам 317 833 жестких диска для анализа. В таблице ниже показаны годовые показатели отказов (AFR) за первый квартал 2025 года для этой коллекции дисков.
Показатели отказов жестких дисков Backblaze в первом квартале 2025 г.
Отчетный период с 1 января 2025 г. по 31 марта 2025 г. включительно.
Модели автомобилей с количеством поездок > 100 по состоянию на 31 марта 2025 г. и количеством дней поездок > 10 000 в первом квартале 2025 г.
Заметки и наблюдения
Диски на 4 ТБ держатся и завершают работу. Хорошие новости: у нас есть еще один квартальный объем данных по нашим любимым дискам на 4 ТБ (хотя запланированная миграция уже идет полным ходом). Верные своей истории, диски на 4 ТБ показали удивительно низкие показатели отказов, с очередным кварталом без отказов у модели HMS5C4040ALE640 и 0,34% AFR у модели HMS5C4040BLE640.
Присматриваем за пулом 20 ТБ+. У Seagate 24 ТБ (модель ST24000NM002H) больше нет идеальной записи, с восемью отказами за квартал. Тем не менее, диски показывают приличный AFR в 1,00%. Между тем, диски 20 ТБ+ как пул в среднем показывают AFR 0,72%, что ниже общих показателей отказов — всегда многообещающий знак.
Ноль отказов за квартал. Четыре привода получают золотую звезду за ноль отказов в этом квартале:
- HGST емкостью 4 ТБ (модель HMS5C4040ALE640)
- Seagate 8 ТБ (модель ST8000NM000A)
- Seagate 12 ТБ (модель ST12000NM000J)
- Seagate 14 ТБ (модель ST14000NM000J)
У трех из четырех моделей также не было ни одного отказа в прошлом квартале, за исключением Seagate 12 ТБ.
Квартальный процент отказов немного выше. Квартальный процент отказов вырос с 1,35% до 1,42%. Как и в случае с клубом нулевых отказов, наши более высокие значения AFR-выбросов показывают некоторые из обычных подозреваемых:
- Seagate 10 ТБ (модель ST10000NM0086). 4 квартал 2024 г.: 5,72%. 1 квартал 2025 г.: 4,72%.
- HGST 12 ТБ (модель HUH721212ALN604). IV квартал 2024 г.: 5,15%. 1 квартал 2025 г.: 4,97%.
- Seagate 12 ТБ (модель ST12000NM0007). 4 квартал 2024 г.: 8,72%. 1 квартал 2025 г.: 9,47%.
- Seagate 14 ТБ (модель ST14000NM0138). 4 квартал 2024 г.: 5,95%. 1 квартал 2025 г.: 6,82%.
Критерии модели привода
Ранее мы отметили, что исключили 593 накопителя из рассмотрения при составлении приведенной выше таблицы, охватывающей четвертый квартал 2024 года. Существует две основные причины, по которым мы не рассматривали эти модели накопителей.
Тестирование. Это диски определенной модели, которые мы отслеживаем и собираем данные Drive Stats, но в настоящее время они не считаются производственными дисками. Например, диски, проходящие сертификационные испытания для определения их доста точной производительности для нашей среды, не включаются в наши расчеты Drive Stats.
Недостаточно точек данных. Когда мы вычисляем годовую частоту отказов для модели привода за определенный период времени (ежеквартально, ежегодно или за весь срок службы), мы хотим убедиться, что у нас достаточно данных, чтобы сделать это надежно. Поэтому мы определили критерии для модели привода, которая будет включена в таблицы и диаграммы за указанный период времени. Модели, которые не соответствуют этим критериям, не включаются в таблицы и диаграммы за рассматриваемый период.
Независимо от того, включена ли конкретная модель привода в диаграммы и таблицы, все данные по всем используемым нами приводам включены в наш набор данных Drive Stats, который вы можете загрузить, посетив нашу страницу Drive Stats.
Как и в случае с квартальными результатами четвертого квартала, мы применим эти критерии к годовым и общим графикам, представленным в настоящем отчете.
Показатели отказов жестких дисков за весь срок службы
По состоянию на конец первого квартала 2025 года мы отслеживали 312 831 жесткий диск с данными. Чтобы быть рассмотренной для обзора жизненного цикла, модель накопителя должна была иметь 500 или более накопителей по состоянию на конец первого квартала 2025 года и иметь более 100 000 накопленных дней использования накопителей в течение срока службы. Когда мы удалили те модели накопителей, которые не соответствовали критериям жизненного цикла, у нас осталось 312 493 накопителя, сгруппированных в 26 моделей для анализа, как показано в таблице ниже.
Показатели отказов жестких дисков Backblaze за весь срок службы
Отчетный период, заканчивающийся 31 марта 2025 г. включительно
Модели приводов с > 500 приводами и > 100 000 дней приводов за весь срок службы
Заметки и наблюдения
Показатель AFR за весь срок службы остается стабильным, несмотря на то, что некоторые приводы претерпевают значительные изменения. Мы практически не видим изменений в нашем общем показателе AFR за весь срок службы, который мы в последний раз отслеживали на уровне 1,31% в отчете о статистике приводов за 2024 год. Но, поскольку некоторые модели приводов демонстрируют значительные изменения в показателе AFR из года в год, стоит копнуть немного глубже.
Статистически значимое улучшение показателей AFR:
У 12 ТБ и 14 ТБ было одинаковое количество отказов (или почти одинаковое). Между тем, у Toshiba 20 ТБ и WDC 22 ТБ было больше отказов, но они добавили значительное количество дисков к парку. Оба эти действия увеличивают количество дней дисков, которые мы отслеживали для пула дисков модели, поэтому эти результаты неудивительны.
Статистически значимое ухудшение показателей AFR:
- Между тем, у нас есть несколько вещей, которые происходят для значительно ухудшенных AFR. Модели приводов WDC все являются лучшими с точки зрения отказов, даже изменение с .45 до .48 отображается в числах.
- Остаются два диска HGST 12 ТБ. Оба имеют показатель отказов выше среднего, 1,45% (модель: HUH721212ALE604) и 2,06% (модель: HUH721212ALN604). Мы можем дать HUH721212ALE604 шанс — при среднем возрасте пула дисков 67,1 месяца или около пяти с половиной лет он уверенно следует ожидаемому шаблону, определенному кривой ванны .
- Что это нам дает с моделью HUH721212ALE604? Мы будем за ней следить. Учитывая, что ее показатель AFR не слишком далек от общего показателя AFR парка приводов Backblaze, это не вызывает особого беспокойства, если только мы не увидим, что темпы изменений продолжатся.
Что нового в Drive Stats?
Приступая к работе над этим отчетом, мы в первую очередь сосредоточились на обеспечении преемственности с нашим набором данных, которому уже несколько десятилетий. Тем не менее, мы также увидели некоторые возможности для оптимизации процесса сбора данных, продолжение работы, о которой Дэвид Уайнингс рассказывал в статьях Overload to Overhaul: How We Upgraded the Drive Stats Data и Drive Stats Data Deep Dive: The Architecture. Все это настроило нас не только на более легкое создание этого отчета, но и на более масштабные планы в будущем. (Мы пока не будем раскрывать свои карты, но следите за обновлениями.)
Drive Stats получает обновление Snowflake
Когда мы впервые начали отслеживать
Drive Stats в далеком 2013 году, сбор данных был очень ситуативным. В течение первых нескольких лет, когда у руля был Брайан Бич, мы публиковали статистику раз в год. Когда Энди занял пост в 2015 году, он перешел на публикацию квартальных данных (начиная с 2016 года). По мере роста набора данных и того, как коллекция облегченных настольных приложений Энди начала выдыхаться, стало очевидно, что нам нужно перейти на более эффективные аналитические инструменты. По разным операционным причинам Энди храбро запускал SQL-запросы к данным CSV, импортированным в экземпляр MySQL, работающий на его ноутбуке, и ему приходилось выполнять массу ручной очистки данных. (Очевидно, что это был каламбур.)
www.backblaze.com/blog/data-driven-decisions-wwith-snowflake-and-backblaze-b2/
В этом году с помощью наших коллег из команды по проектированию баз данных (спасибо Тому Родену — огромное спасибо!) нам удалось включить данные Drive Stats в экземпляр Backblaze Snowflake. Прошли те времена, когда мы приставали к людям с экспортами, обработка которых занимала часы! Мы можем выполнять легкие запросы к кэшированной структурированной таблице.
Мы начали с SQL-запросов Энди и немного подправили их, чтобы они соответствовали логике и номенклатуре полей Snowflake. Как только мы это проработали, первое, что мы сделали, — это проверили нашу методологию, запустив цифры Q4 Drive Stats и сравнив их с Энди — успех.
Помогает то, что Пэт экспериментировал с нашим набором данных
Drive Stats в Trino и другими аналитическими инструментами, такими как
Apache Iceberg, так что это, конечно, не первый раз, когда он рассматривает методологию и инструменты для этой проблемы. В дальнейшем мы можем еще больше усовершенствовать процесс, но на данный момент миграция в Snowflake сэкономила нам массу времени и ручной очистки данных.
