Backblaze Хостинг

Прошло несколько месяцев с момента нашего последнего сообщения «Что нового в B2», поэтому мы хотели осветить некоторые события, а также представить новую функцию B2!

Повторное внедрение: Java SDK + Compute Partnerships
Мы хотели подчеркнуть официальный Backblaze B2 Java SDK, который можно найти в нашем репозитории GitHub. Официальный Java SDK вышел почти год назад, но мы с тех пор постоянно обновляем его с помощью сообщества.

Мы также объявили о некоторых Compute Partnerships, которые дают людям все преимущества недорогого облачного хранилища Backblaze B2 с вычислительными возможностями Packet и ServerCentral. Backblaze B2 Облачное хранилище напрямую связано с поставщиками вычислений, что обеспечивает клиентам небольшую задержку и бесплатную передачу данных с помощью облачного хранилища B2.

Ключи приложения
Ключи приложений дают разработчикам больше контроля над тем, кто может делать то, что и как долго их данные B2. Некоторое время у нас была документация по ключевому слову B2, и мы готовы снять тег «coming soon».


Что такое Ключи приложения?
В B2 основной ключ приложения имеет корневой доступ ко всему и по существу контролирует каждую операцию, которая может быть выполнена внутри B2. Благодаря внедрению дополнительных ключей приложений разработчики теперь обладают большей гибкостью.

Ключи приложений ограничены тремя вещами: 1) какие операции может выполнять ключ, 2) какой путь внутри B2 может взять ключ, и 3) как долго он способен это сделать. Например, вы можете использовать ключ только для чтения, который имеет доступ только к одному ведро B2. Вы должны использовать этот ключ только для чтения в ситуациях, когда вам действительно не нужно записывать вещи в ведро, только читать или «отображать» их. Или вы можете использовать ключ «только для записи», который может записывать только в определенную папку внутри ведра. Все это приводит к более чистому коду с сегментированными операциями, по сути действуя как брандмауэры, если что-то пойдет наперекосяк.



Использовать случаи для ключей приложений
Одним из примеров использования ключа приложения является стандартная резервная операция. Если вы создаете резервную копию базы данных SQL, для этого вам не нужно использовать свой корневой уровень. Простое создание ключа, который может загружаться только в указанную папку, достаточно хорош.

Другим примером является приложение разработчика, создающее приложения внутри клиента. Этот разработчик хотел бы ограничить доступ и ограничить привилегии каждого клиента конкретными ведрами и папками — обычно на основе клиента, который выполняет операцию. Использование более закрытых ключей приложений ограничивает возможность того, что один из них может повлиять на всю систему.

Последним случаем может быть Управляемый поставщик услуг (MSP), который создает и использует разные ключи приложения для каждого клиента. Таким образом, ни клиент, ни MSP не могут случайно получить доступ к файлам другого клиента. Кроме того, MSP может иметь несколько ключей приложения для данного клиента, которые определяют разные уровни доступа к данным для определенных групп или отдельных лиц в организации клиента.

Надеемся, что это вам понравится
Вы один из тех, кто ждал поддержки ключа приложения? Мы будем рады услышать ваши варианты использования, которые звучат в комментариях ниже, с тем, над чем вы работаете!

www.backblaze.com/b2/docs/application_keys.html

По состоянию на 30 июня 2018 года в центрах обработки данных Backblaze было 100254 вращающихся жестких диска. Из этого числа было 1,989 загрузочных дисков и 98,265 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Мы также рассмотрим сравнение корпоративных и потребительских дисков, сначала рассмотрим наши 14-тонные диски Toshiba и представим вам две новые характеристики SMART. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

Статистика надежности жестких дисков для Q2 2018
Из 98,265 жестких дисков, которые мы наблюдали в конце Q2 2018, мы исключили из рассмотрения те приводы, которые использовались для тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков. Это оставляет нам 98,184 жестких диска. Таблица ниже охватывает только Q2 2018.


Примечания и наблюдения
Если модель привода имеет частоту отказа 0%, это просто означает, что во время Q2 2018 не было сбоев привода этой модели.

Годовой показатель сбоя (AFR) для Q2 составляет всего 1,08%, что значительно ниже АФК Q1 2018 и является нашим самым низким квартальным AFR. Тем не менее, квартальные показатели отказов могут быть нестабильными, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Drive.

Было 81 диск (98,265 минус 98,184), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков. Использование 45 приводов носит исторический характер, так как это количество дисков в наших оригинальных накопителях.

Миграция жестких дисков продолжается
Квартальная диаграмма Q2 2018 выше была основана на 98184 жестких дисках. Это было всего лишь на 138 жестких дисков, чем на Q1 2018, который был основан на 98 046 дисках. Тем не менее, мы добавили около 40 PB облачного хранилища в течение первого квартала. Если бы мы попытались сохранить 40 PB на 138 дополнительных дисках, добавленных в Q2, то каждый новый жесткий диск должен был хранить около 300 ТБ данных. В то время как жесткие диски на 300 ТБ были бы потрясающими, менее опасная реальность заключается в том, что мы заменили более 4 600 приводов 4 ТБ с почти 4 800 приводов 12 ТБ.

Возраст заменяемых приводов 4 ТБ составлял от 3,5 до 4 лет. Во всех случаях их уровень отказов составлял 3% AFR (годовой показатель отказов) или меньше, поэтому зачем их удалять? Простая плотность приводов — в этом случае три раза хранится в одном и том же корпусе. Сегодня четыре года службы — это время, когда финансовый смысл заключается в замене существующих дисков и создании нового объекта с новыми стойками и т. Д. Хотя есть несколько факторов, которые принимают решение о переносе на накопители с более высокой плотностью, сохраняя жесткие диски за пределами этого переломного пункта означают, что мы будем использовать ценную недвижимость для центров обработки данных.

Диски Toshiba 14 ТБ и SMART Stats 23 и 24
Во втором квартале мы добавили к нашему миксу двадцать 14 ТБ Toshiba (модель: MG07ACA14TA) (этого недостаточно, чтобы быть включенными в наши диаграммы), но это изменится, поскольку мы заказали еще 1200 дисков, которые будут развернуты в Q3. Это 9-пластинные накопители с гелием, которые используют технологию записи CMR / PRM (не SMR).

В дополнение к тому, что для нас были новые диски, приводы Toshiba 14 ТБ также добавляют две новые пары SMART stat: SMART 23 (состояние гелия ниже) и SMART 24 (верхнее состояние гелия). Оба атрибута сообщают о нормальных и необработанных значениях, причем исходные значения в настоящее время равны 0, а нормализованные значения равны 100. Когда мы узнаем больше об этих значениях, мы сообщим вам об этом. Тем временем, те из вас, кто использует наши данные теста жесткого диска, должны будут обновить вашу схему данных и загрузить сценарии для чтения в новых атрибутах.

Кстати, ни один из 20 приводов Toshiba 14 ТБ не прошел через 3 недели на службе, но еще слишком рано делать какие-либо выводы.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график отказов по продолжительности жизни для всех моделей жестких дисков, работающих по состоянию на 30 июня 2018 года. Для каждой модели мы вычисляем ее надежность, начиная с того момента, когда она была впервые установлена


Примечания и наблюдения
Комбинированный AFR для всех более крупных приводов (8-, 10- и 12 ТБ) составляет всего 1,02%. Многие из этих дисков были развернуты в прошлом году, поэтому в данных есть некоторая волатильность, но мы ожидаем, что эта общая ставка несколько снизится в течение следующих нескольких лет.

Общая частота отказов для всех жестких дисков в обслуживании составляет 1,80%. Это самый низкий показатель, который мы когда-либо достигали, с предыдущим минимумом 1,84% с 1-го квартала 2018 года.

Корпоративные и потребительские жесткие диски
В нашем обзоре состояния жестких дисков Q3 2017 мы сравнили две модели жестких дисков Seagate 8 ТБ: один диск с потребительским классом (модель: ST8000DM002), а другой — диск корпоративного класса (модель: ST8000NM0055). Давайте сравним показатели годовых убытков в течение всего периода с 3-го квартала 2017 года и 2-го квартала 2018 года:

Пожизненная AFR по состоянию на 3 квартал 2017 года

• 8 ТБ потребителей: 1,1% в год
• 8 корпоративных корпоративных дисков: 1,2% в год

Пожизненная AFR по состоянию на 2 квартал 2018 года

• 8 ТБ потребителей: 1.03% годовой нормы отказа
• 8 корпоративных корпоративных дисков: 0,97%

Хммм, похоже, что корпоративные диски «выигрывают». Но прежде чем мы объявим победу, давайте заглянем в несколько деталей.

Начнем с дней диска, общее количество дней работы всех жестких дисков данной модели.

• 8 ТБ потребителя (модель: ST8000DM002): 6 395 117 дней движения
• Предприятие 8 ТБ (модель: ST8000NM0055): 5 279 564 дня

Обе модели имеют достаточное количество рабочих дней и достаточно близки по общему числу. Пока никаких изменений в нашем заключении.

Затем мы рассмотрим доверительные интервалы для каждой модели, чтобы увидеть диапазон возможностей в двух отклонениях.

• 8 потребителей ТБ (модель: ST8000DM002): диапазон 0,9% до 1,2%
• предприятие 8 ТБ (модель: ST8000NM0055): диапазон 0,8% до 1,1%

Диапазоны близки, но возможны множественные исходы. Например, потребительский диск может быть ниже 0,9%, а корпоративный диск может достигать 1,1%. Это не помогает или не нарушает наш вывод.

Наконец, мы будем смотреть на возраст диска — на самом деле средний возраст, чтобы быть точным. Это среднее время в оперативном обслуживании, в месяцах, всех приводов данной модели. Мы начнем с момента, когда каждый диск достигнет примерно текущего количества дисков. Таким образом, добавление новых дисков (без замены) будет иметь минимальный эффект.


Когда вы ограничиваете количество дисков и средний возраст, AFR (годовая частота отказов) корпоративного диска последовательно ниже, чем у потребительского диска для этих двух моделей накопителей — хотя и не так много.
Является ли каждая модель предприятия лучше, чем любая соответствующая потребительская модель, неизвестна, но ниже приведены несколько причин, по которым вы можете выбрать один класс диска над другим:


Известно, что Backblaze является «экономным» при покупке дисков. Когда вы покупаете 100 дисков за раз или сталкиваетесь с кризисом накопителя, имеет смысл приобретать потребительские приводы. Когда вы начинаете покупать жесткие диски на 100 петабайт за раз, ценовой разрыв между корпоративными и потребительскими дисками сжимается до такой степени, что другие факторы вступают в игру.

Жесткие диски по номерам
С апреля 2013 года Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. В настоящее время более 100 миллионов записей. Полный набор данных, используемый для создания информации, представленной в этом обзоре, доступен на нашей странице данных на жестком диске. Вы можете бесплатно скачать и использовать эти данные для своей собственной цели. Все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze в качестве источника, если используете данные, 2) вы признаете, что несете единоличную ответственность за использование данных, и 3) вы не продаете эти данные никому. Это бесплатно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.

Удачи и сообщите нам, если вы найдете что-нибудь интересное в комментариях ниже или напрямую свяжитесь с нами.

В этом году исполняется 13 лет с момента начала сбора данных Drive Stats. Тринадцать — несчастливое число (для некоторых), но мы считаем себя счастливчиками (или, может быть, счастливой статистикой?), что этот эксперимент длится уже 13 лет.

Традиционный подарок на 13-летнюю годовщину — кружево: замысловатое, впечатляющее и уязвимое, если заранее не позаботиться о защите узора. Системы, как и кружево, не выдержат испытания, если будут видны уязвимые места. Что касается нашей инфраструктуры, мы хотим учитывать возможные уязвимости при проектировании, чтобы создать что-то долговечное, и серия статей Drive Stats постоянно стремится публиковать и предоставлять данные, чтобы и вы могли обеспечить долговечность своих накопителей.

В этом итоговом годовом отчете Drive Stats рассматриваются показатели за 4 квартал 2025 года, за весь год и, с учетом всех факторов, за весь период. Думаю, вы обнаружите то же, что и мы: со временем закономерности имеют большее значение, чем любая отдельная составляющая (или движущая сила, если раз и навсегда отказаться от этой метафоры с кружевом). Давайте посмотрим на статистику.

Drive Stats к вашим услугам!
Drive Stats — это не ситуативное сотрудничество. Мы — диалог и взаимодействие с данными. Присоединяйтесь к команде Drive Stats на нашем регулярно проводимом вебинаре, чтобы обсудить годовые показатели отказов за 2025 год, проанализировать данные на предмет интересных тенденций и узнать последние новости о парке приводной техники Backblaze.



Показатели отказов жестких дисков в 4 квартале 2025 года
По состоянию на конец 2025 года компания Backblaze отслеживала 341 664 диска, используемых для хранения данных. Для нашей оценки мы исключили из рассмотрения 4013 загрузочных дисков и 459 жестких дисков, поскольку они не соответствовали критериям включения. Критерии, которые мы использовали, будут рассмотрены в следующем разделе этого отчета. После исключения этих дисков для анализа осталось 337 192 жестких диска. В таблице ниже показаны годовые показатели отказов за 4 квартал 2025 года для этой группы дисков.

Показатели частоты отказов жестких дисков Backblaze за 4 квартал 2025 года
Отчетный период: 1 октября 2025 г. – 31 декабря 2025 г. включительно.
Модели приводов с количеством приводов > 100 по состоянию на 31 декабря 2025 г. и количеством приводных дней > 10 000 в 4 квартале 2025 г.


Заметки и наблюдения
Новые приводы!

• Seagate ST16000NM000J 16 ТБ, 112 дисков
• WDC WUH722626ALE6L4 26 ТБ с 1201 диском. Наш первый 26-терабайтный жесткий диск!

Список отличников:

• HGST HMS5C4040BLE640 4TB: 1 сбой
• Seagate ST8000NM000A 8TB: 0 сбоев
• Seagate ST12000NM000J 12TB: 1 сбой
• Seagate ST16000NM000J 16TB: 1 сбой
• Seagate ST16000NM002J 16TB: 0 сбоев
• WDC WUH722626ALE6L4 26TB: 1 сбой. Приветствуем новичка — отличный старт!

Тревожные сигналы:

• HGST HUH728080ALE600 8TB: 10.29%
• Seagate ST10000NM0086 10 ТБ: 5,23%
• Toshiba MG08ACA16TEY 16 ТБ: 4,14%

В прошлом квартале мы говорили о двух из этих накопителей, и то, что мы говорили о Seagate, по-прежнему актуально — мы наблюдаем прекращение поддержки этой модели. Но давайте разберемся с 8-терабайтным HGST и 16-терабайтным Toshiba и посмотрим, что происходит.

HGST HUH728080ALE600 8TB
Когда мы видим двузначный процент отказов, всегда стоит провести расследование, особенно если речь идет о жестком диске, который за последний год не демонстрировал ужасных показателей отказов (несмотря на то, что ему около 7,5 лет).


Для начала стоит отметить, что общее количество дисков в этой модели составляет 1073, что соответствует менее чем одному хранилищу (стандартное хранилище содержит 1200 дисков). Хотя хранилища не всегда содержат диски одной и той же модели, особенно старые, в идеальном мире они были бы однородными. Таким образом, в данном случае мы имеем дело с дисками, которые находятся в одном и том же месте в центре обработки данных, а это значит, что мы можем работать с факторами окружающей среды, такими как изменение температуры или циркуляции воздуха.

К тому времени, как данные Drive Stats до меня доходят, многие умные люди, конечно же, уже заметили, так сказать, возмущения в силе. Когда я изучил заявки на ремонт в центре обработки данных, выяснилось, что люди уже исключили температуру как фактор — на данный момент рабочая теория заключается в том, что накопитель может быть чувствителен к вибрации, но, учитывая возраст этих накопителей, мы решили просто отметить их для нашего обычного процесса миграции на CVT.

Toshiba MG08ACA16TEY 16TB
Мы обсуждали эту модель в прошлом квартале, потому что она показала показатель AFR в 16,95% (!!). Наше расследование выявило совместную (и плановую) работу по обновлению прошивки с Toshiba, и тогда мы предсказали, что эти показатели отказов снова нормализуются. Мы все еще немного завышены, но это, вероятно, результат внедрения обновленной прошивки. Как и предсказывалось, это здоровая нормализация.


Определение характера отношений, или, другими словами, установление границ.
В предыдущих отчетах мы уже объясняли причины, по которым были введены эти исключения, но вот краткое изложение сути:

Независимо от того, включена ли конкретная модель привода в диаграммы и таблицы этой статьи, все данные по отдельным позициям содержатся в нашем наборе данных статистики приводов, который вы можете загрузить, посетив нашу страницу статистики приводов.

Показатели ежегодного количества отказов жестких дисков в 2025 году
По состоянию на конец 2025 года компания Backblaze отслеживала 349 462 жестких диска, используемых для хранения данных. Мы исключили из рассмотрения 4176 загрузочных дисков и 1090 жестких дисков, поскольку они не соответствовали определенным нами годовым критериям. Таким образом, у нас осталось 344 196 дисков, распределенных по 30 различным моделям. В таблице ниже показаны годовые показатели использования (AFR) за 2025 год для этой группы дисков.

Показатели частоты отказов жестких дисков Backblaze в 2025 году
Отчетный период: с 1 января 2025 г. по 31 декабря 2025 г. включительно.
Модели приводов с количеством приводов > 250 и количеством приводных дней > 50 000 в 2025 году.


Заметки и наблюдения
Годовой показатель AFR снизился: в этом году он завершился на высоком уровне в 1,36%, что ниже показателя 1,55% в 2024 году. Тем не менее, те, кто следит за квартальным показателем AFR, отмечают некоторую волатильность этого числа.


Никто не вышел невредимым: сбоев нет ни одного.
Но давайте поговорим об этом подробнее: это накопители, которые в среднем выходили из строя менее двух раз в квартал (хотя, судя по данным, распределение не обязательно равномерное).

• HGST HMS5C4040BLE640 4 ТБ: 5 сбоев
• Жесткий диск Seagate ST12000NM000J 12 ТБ: 4 сбоя
• Жесткий диск Seagate ST14000NM000J 14 ТБ: 7 сбоев
• Seagate ST16000NM002J 16TB: 1 сбой
• Ноутбук Toshiba MG09ACA16TE 16 ТБ: 3 сбоя
• WDC WUH722626ALE6L4 26TB: 1 сбой.

Следует отметить, что этот накопитель находится на первом квартале своего жизненного цикла, поэтому пока сложно назвать это чем-то значимым.
И все эти заявки на обслуживание и модели дисков означают очень много работы — мы написали целую статью на эту тему, но вот подробная информация о количестве часов, затраченных в каждом центре обработки данных.



Да, в этом списке вы увидите диски необычных размеров; он включает в себя все наши накопители, а не только жесткие диски, упомянутые в этом отчете.

Сравнение показателей вождения за 2023, 2024 и 2025 годы.
Давайте посмотрим на годовые показатели AFR за предыдущие годы, чтобы понять, как обстоят дела в 2025 году:

Трехлетнее сравнение показателей ежегодных отказов жестких дисков Backblaze
Для моделей приводов с более чем 250 приводами по состоянию на 31.12.25 и моделей приводов с более чем 50 000 приводных дней в 2025 году
данные за каждый год включены в этот год.

Заметки и наблюдения
Годовой показатель AFR снизился до 1,36%. Таких цифр мы не видели с 2022 года (1,37%). Отлично!


Анализ данных по размерам накопителей показывает, насколько существенным является переход на накопители большой емкости: на основе текущих квартальных данных распределение по размерам накопителей выглядит следующим образом:

• 0–12 ТБ: 25,13%
• 14–16 ТБ: 52,06%
• 20 ТБ+: 22,81%

Это и так довольно длинный отчет, поэтому, в целях экономии времени, мы ограничимся следующим: на то, как и почему происходят изменения, влияют множество факторов, включая средний возраст накопителей в нашей выборке, насколько улучшились технологии накопителей за эти годы, как накопители на рынке со временем увеличились в размерах, в то время как стоимость за ГБ также снизилась, и как текущий спрос на накопители влияет на некоторые из этих факторов.

Если это предложение кажется вам непонятным, добро пожаловать в мир закупок корпоративных накопителей. Но, как всегда, нам необходимо соотносить реальные данные с тем, как мы закупаем и используем накопители.

Показатели отказов жестких дисков за весь срок службы
Показатели отказов жестких дисков Backblaze за весь срок службы
Отчетный период, заканчивающийся 31 декабря 2025 года включительно.
Модели приводов с более чем 500 приводами и более чем 100 000 приводных дней за весь срок службы.


Заметки и наблюдения

• Старый добрый показатель: среднегодовая процентная ставка за весь период жизни составляет 1,30% в этом квартале, и за довольно долгое время этот показатель существенно не изменился.
• Познакомьтесь с новичком: жесткий диск Toshiba MG11ACA24TE объемом 24 ТБ попал в таблицу рекордов по сроку службы. В прошлом квартале мы установили еще 2400 таких дисков, в результате чего общее количество достигло 4806.

В начале нового года я хотел бы лично поблагодарить вас за то, что вы являетесь клиентом Backblaze. Мы очень ценим ваше доверие и благодарны вам за то, что вы ежедневно полагаетесь на нас в вопросах хранения, защиты и обработки ваших данных.

Я хотел бы поделиться несколькими главными событиями 2025 года и немного рассказать о том, что нас ждет в 2026 году.

Сосредоточены на основах
На протяжении всей платформы мы продолжали уделять основное внимание: надежности, производительности, простоте и предсказуемой цене. Сегодня мы поддерживаем более 500 000 клиентов в более чем 175 странах, храня более 5 000 000 гигабайт данных — и все это по цене, значительно меньшей, чем у традиционного облачного хранилища.

Развивающиеся сценарии использования
Мы начали Backblaze с акцентом на резервное копирование. Сотни тысяч клиентов по-прежнему полагаются на нас в вопросах резервного копирования, и каждый квартал появляются тысячи новых клиентов.

Однако эти потребности в резервном копировании трансформировались в более широкие сценарии использования для обеспечения киберустойчивости, включая защиту от программ-вымогателей, проверку достоверности данных в ходе аудита, соблюдение нормативных требований, ведение журналов безопасности и многое другое.

Более того, Backblaze стал основой для хранения данных в самых разных современных средах, включая системы искусственного интеллекта, аналитику, обработку медиаконтента и многое другое. Мне нравится, как Mirage создает базовые модели для видео с использованием ИИ, как Philadelphia Eagles оптимизируют производство медиаконтента, как Plex транслирует миллионы видеороликов, и многое другое.

Запущена платформа B2 Overdrive для искусственного интеллекта и многого другого.
Для удовлетворения потребностей растущего рынка неооблачных решений и искусственного интеллекта мы разработали и внедрили совершенно новое предложение: B2 Overdrive — облачное хранилище, которое, по нашему мнению, обеспечивает самую высокую пропускную способность на доллар на рынке. Другими словами, невероятно быстро.

Клиенты сообщили нам, что им необходимо собрать петабайты данных для создания моделей искусственного интеллекта, а затем быстро переместить эти данные в неооблачную среду или к гипермасштабируемому провайдеру, обладающему необходимыми графическими процессорами для поддержки их инноваций. Благодаря пропускной способности до 1 Тбит/с, B2 Overdrive обеспечивает это.

Внедрены различные функции кибербезопасности.
В условиях роста числа атак программ-вымогателей управление киберустойчивостью имеет решающее значение. Мы добавили несколько функций, которые помогут всем пользователям платформы:

• Корпоративная веб-консоль для более полного контроля и наглядности.
• Журналы доступа к хранилищам данных используются для отслеживания и аудита использования данных.
• Система оповещений об аномалиях предназначена для обнаружения нерегулярных закономерностей.
• Правовая блокировка данных для сохранения конкретной информации в ходе расследования.
• Многоуровневые ключи доступа к приложениям для более удобного доступа на уровне приложений.
• Поддержка новых правил жизненного цикла S3 и контрольных сумм.

Некоторые из них уже полностью внедрены; другие находятся в стадии бета-тестирования или закрытого предварительного просмотра, и мы с нетерпением ждем возможности сделать их общедоступными.

Представляем нашу статистическую лабораторию.
Более десяти лет мы публикуем нашу любимую ежеквартальную статистику по жестким дискам (с подробным описанием частоты отказов жестких дисков). В 2025 году мы еще больше укрепили свою приверженность прозрачности, перезапустив серию отчетов по сетевой статистике и опубликовав наш первый отчет по производительности. С помощью этих отчетов мы стремимся предоставить вам больше инструментов для выявления рекламной шумихи и вводящей в заблуждение информации, которую многие провайдеры распространяют о своей производительности. Надеюсь, вам они понравятся.

Расширили нашу платформу облачного хранения данных.
В январе мы начали с открытия нашего нового канадского региона, а в прошлом году инвестировали многомиллионные средства в модернизацию сетевой и инфраструктуры хранения данных в наших регионах на западе США, востоке США и в центре ЕС, чтобы обеспечить поддержку высокопроизводительных рабочих нагрузок клиентов по всему миру.

Мы также внедрили внутри компании крупные программные инновации, чтобы повысить производительность и эффективность при использовании того же оборудования, а также оптимизировать распределение данных по всей платформе.

С нетерпением жду 2026 года
В этом году мы начинаем с развития достигнутого в этом году прогресса, предлагая новые инструменты для поддержки рабочих процессов в области ИИ, киберустойчивости и высокопроизводительных решений. Хотя мы пока не можем раскрыть все подробности, мы с нетерпением ждём того, что нас ждёт в будущем.

Один из наших клиентов, использующих ИИ, сказал нам: «B2 Cloud Storage был буквально единственным техническим решением, которое мы применяли при обучении этих моделей и которое не дало сбоя с первого раза. Мы работаем в отрасли, где всё выходит из строя, но Backblaze не подвел». Именно к этому мы и стремимся — не просто к отличному облачному хранилищу, а к облачному хранилищу, которое решает ваши самые сложные задачи по хранению данных.

Благодарим вас за то, что вы являетесь нашим клиентом и доверяете нам свои данные. Если вам нужна помощь или вы хотите поделиться своим мнением, свяжитесь с нами. Вы также можете оставить отзыв о B2 Cloud Storage and Computer Backup на G2.

От всей команды Backblaze желаем вам и вашим семьям прекрасного 2026 года.

Глеб Будман
Соучредитель и генеральный директор

Каждый квартал Drive Stats предоставляет нам цифры. В этом квартале мы столкнулись с кризисом смысла. Что на самом деле означает отказ жёсткого диска? Это происходит в момент, когда гаснет свет, или в момент, когда мы сами решаем, что он вышел из строя? Философы могли бы назвать это онтологической серой зоной. Мы просто называем это Q3.

По состоянию на 30 июня 2025 года у нас под управлением находилось 332 915 дисков. Из них 3970 были загрузочными, а 328 348 — дисками с данными. Давайте разберёмся в статистике, а затем поговорим о том, что такое сбой.

Статистика привода: дайджест-версия


Показатели отказов жестких дисков в третьем квартале 2025 года
В третьем квартале 2025 года мы отслеживали 328 348 накопителей. Вот цифры:
Показатели отказов жестких дисков Backblaze в третьем квартале 2025 года
Отчетный период с 1 июля 2025 г. по 30 сентября 2025 г. включительно.
Модели автомобилей с количеством поездок > 100 по состоянию на 1 июля 2025 г. и количеством дней поездок > 10 000 в третьем квартале 2025 г.


Заметки и наблюдения
Уровень отказов увеличился: Уровень отказов изменился, причём весьма существенно. Напомним, что в прошлом квартале среднегодовой процент отказов (AFR) составил 1,36% по сравнению с 1,55% в этом квартале. (Интересно, что годовой AFR за 2024 год составил 1,57%).
Новая энергия накопителя: встречайте Toshiba MG11ACA24TE ёмкостью 24 ТБ, присоединившийся к общему парку накопителей с 2400 накопителями и 24 148 днями автономной работы. Это означает, что мы достигли пороговых значений для квартальной статистики, но не для срока службы.
Клуб нулевых отказов: Для клуба нулевых отказов это был важный месяц, в который вошли четыре автомобиля:

• Seagate HMS5C4040BLE640 (4 ТБ)
• Seagate ST8000NM000A (8 ТБ)
• Toshiba MG09ACA16TE (16 ТБ)
• Toshiba MG11ACA24TE (24 ТБ) — и да, это новый диск.

Те из вас, кто внимательно следит за статистикой, наверняка заметят, что Seagate ST8000NM000A (8 ТБ) — частый гость в этом списке. Последний раз он сломался в третьем квартале 2024 года — и это был всего один сбой за весь квартал!

Самые высокие значения AFR были действительно высокими: верхний предел был настолько высоким, что в этом месяце это побудило нас провести анализ выбросов с использованием стандартного квартильного анализа (метод Тьюки). Исходя из этой информации, любой автомобиль с квартальным значением AFR выше 5,88% является выбросом, и таких выбросов три:

• Seagate ST10000NM0086 (10 ТБ): 7,97%
• Seagate ST14000NM0138 (14 ТБ): 6,86%
• Toshiba MG08ACA16TEY (16 ТБ): 16,95%

Что там происходит? Отличный вопрос, и мы поговорим об этом после того, как рассмотрим показатели отказов за весь срок службы.

Показатели отказов жесткого диска за весь срок службы
Для рассмотрения на предмет оценки жизненного цикла модели накопителя требовалось наличие 500 или более накопителей по состоянию на конец второго квартала 2025 года и более 100 000 дней эксплуатации за весь срок службы. После исключения моделей накопителей, не соответствующих критериям оценки жизненного цикла, для анализа остались 27 накопителей, как показано в таблице ниже.

Показатели отказов жестких дисков Backblaze во втором квартале 2025 года
Отчетный период заканчивается 30 сентября 2025 г.
Модели приводов > 500 приводов и > 100 000 дней эксплуатации приводов за весь срок службы


Заметки и наблюдения

• Этот показатель годовых процентных ставок (AFR) за весь срок службы довольно стабилен, не правда ли? Он составляет 1,31%. В прошлом квартале мы сообщали, что он составлял 1,30%, а в предыдущем квартале — 1,31%.
• Средний возраст накопителей объёмом 4 ТБ не изменился: как мы уже сообщали ранее, накопители объёмом 4 ТБ постепенно выводятся из эксплуатации. Сейчас их осталось совсем немного — всего 11 моделей ALE и 187 моделей BLE. Но, поскольку их жизненный цикл сравнительно велик, дополнительных дней эксплуатации накопителей недостаточно, чтобы изменить средний возраст в месяцах. Таким образом, никаких «призраков» в машине нет, и вывод из эксплуатации идёт по плану.
• Стабильный рост числа накопителей большей ёмкости: с прошлого квартала мы добавили 7936 накопителей ёмкостью 20 ТБ и более, соответствующих нашим параметрам по сроку службы. И не забывайте, что наш новый участник этой группы, Toshiba MG11ACA24TE (24 ТБ), пока не попал в эту таблицу — это добавляет ещё 2400 моделей накопителей. В общей сложности, ёмкостью 20 ТБ и более владеют 67 939 накопителями, что составляет около 21% от общего числа накопителей.

Определение отказа — с технической точки зрения
Вопрос, который мы несколько раз поднимали во время вебинаров или в комментариях, — как мы определяем отказ. Хотя это может показаться очевидным, на самом деле это довольно сложная головоломка, к которой мы не обращались с самого начала этой серии. Поиск ответа на этот вопрос затрагивает внутренние инструменты мониторинга парка накопителей (через статистику SMART), саму программу сбора статистики накопителей и наш уровень обработки данных. Я подробно рассмотрю каждый из этих вопросов, а затем мы рассмотрим выбросы за этот квартал.

Отчетность по статистике SMART
Мы используем Smartmontools для сбора SMART-атрибутов дисков и другой инструмент мониторинга, называемый Drive Sentinel, для маркировки ошибок чтения/записи, превышающих определенный порог, а также некоторых других аномалий.

Основным показателем, по которому мы определяем необходимость замены диска, является его реакция на чтение с неисправимыми ошибками носителя. Когда диск считывает данные с диска, но данные не проходят проверку целостности, он пытается восстановить данные, используя внутренние коды коррекции ошибок. Если восстановить данные не удаётся, он уведомляет хост, сообщая об этом как о неисправимой ошибке и помечая соответствующую часть диска как ожидающую перераспределения, что отображается в SMART с атрибутом Current_Pending_Sector.

В модулях хранения данных (Storage Pod), управляющих дисками через каналы SATA, функция Drive Sentinel подсчитывает количество неисправимых ошибок, обнаруженных диском, и, если оно превышает пороговое значение, доступ к диску будет закрыт. Это важно для классических модулей хранения данных Backblaze, где пять дисков совместно используют один канал SATA, и ошибки одного диска влияют на все диски в канале.

На модулях Dell и SMCI, использующих топологию SAS для подключения дисков, функция Drive Sentinel не закрывает доступ к дискам, поскольку сообщения об ошибках выдаются по-разному. Однако это не так критично, поскольку SAS сводит к минимуму влияние проблемного диска на другие.

Программа Drive Stats
Ранее мы уже рассказывали о специальной программе, которую мы используем для сбора статистики поездок, и вот краткий обзор:

Генератор podstats запускается на каждом модуле хранения (Storage Pod), то есть на любом хосте, где хранятся данные клиентов, каждые несколько минут. Это программа на C++, которая собирает статистику SMART и ряд других атрибутов, а затем преобразует их в XML-файл («podstats»). Затем данные отправляются на центральный хост в каждом центре обработки данных и объединяются в пакет. Покидая эти центральные хосты, данные попадают в область, которую мы будем называть Drive Stats.

Логика этой программы относительно проста: сбой в Drive Stats происходит, когда диск исчезает из отчётной совокупности. Он считается «неисправным» до тех пор, пока не появится снова. Диски отслеживаются по серийным номерам, и мы ежедневно отправляем журналы по каждому диску, так что, по сути, мы можем получить довольно подробную информацию.

Уровень инженерии данных
Итак, мы собрали статистику SMART и скомпилировали её с помощью программы podstats. Теперь у нас есть вся информация, и аналитике данных необходимо добавить контекст. Диск может отключиться примерно на день (не вернув ответа тем инструментам, которые ежедневно собирают логи статистики SMART), но это может быть что-то простое, например, отсоединение кабеля. Итак, если диск снова появляется через день или 30, в какой момент этого периода мы классифицируем его как официальный отказ?

Раньше мы вручную создавали перекрёстные ссылки на рабочие тикеты центров обработки данных, но теперь мы автоматизировали этот процесс. На бэкенде это SQL-запрос, но, выражаясь человеческим языком, это выглядит следующим образом:

• Если накопитель регистрирует данные в последний день выбранного периода (в данном случае квартала), то он не вышел из строя.
• Запрос ссылается на три таблицы, созданные пользователем. Если в одной из них есть серийный номер диска, это указывает на наличие неисправности (в зависимости от назначения таблицы).
• Если серийный номер диска является основным серийным номером в тикете Jira на замену диска, то замена не удалась. (Jira — это место, где мы отслеживаем рабочие тикеты нашего центра обработки данных.)
• Если серийный номер накопителя является целевым серийным номером в тикете клонирования Jira или в (временном) заменяющем тикете, то он не является сбоем.
• По сути, когда мы составляем отчеты по статистике накопителей в конце квартала, если накопитель появился в одном из наших различных рабочих трекеров или не был повторно введен в совокупность, то он считается невыполненным.

В редких случаях это может означать, что у нас случаются так называемые «косметические» сбои, когда мы работаем с моделью накопителя, которая служит дольше квартального срока службы. И, спойлер, один из таких случаев отразился в данных этого месяца — наш выдающийся диск Toshiba с показателем отказов 16,9%. Мы расскажем об этом буквально через минуту, но сначала немного контекста.

Связь отказа диска с общей картиной парка дисков
Как мы уже упоминали выше, у некоторых приводов в пуле наблюдались настолько сильные колебания показателя AFR, что нам пришлось провести анализ выбросов с использованием метода квартилей. (Стоит также отметить, что кластерный анализ потенциально может быть более точным, но мы оставим это на другой раз.) Согласно этому анализу, всё, что имеет показатель отказов выше 5,88%, является выбросом.

Основная мотивация была навеяна попыткой визуализировать взаимосвязь между возрастом поездки в месяцах и показателями AFR в этом квартале.

И да, мы прекрасно понимаем, что это… совершенно нечитаемая диаграмма рассеяния. Если убрать подписи, то выглядит она немного лучше:


Нас действительно интересует форма этой зависимости. Если предположить, что чем старше диски, тем выше частота их отказов, можно было бы ожидать большей концентрации в правом верхнем квадранте. Но наши данные следуют гораздо более интересной закономерности: большинство точек данных сосредоточено в нижних областях графика независимо от возраста — чего и следовало ожидать от набора данных, отражающего деятельность группы умных людей, активно работающих над достижением цели поддержания здорового парка дисков. И всё же, у нас есть некоторые данные, которые ломают стереотипы.

Как интуитивно понятно моим коллегам из отдела бизнес-аналитики, процесс выявления выбросов — это тоже практические данные. Как и любая пресса — это хорошая пресса; в нашем мире больше данных — значит лучше. Итак, давайте подробнее рассмотрим эти выбросы. Напоминаю, вот эти три модели мотивации:

• Seagate ST10000NM0086 (10 ТБ): 7,97%
• Seagate ST14000NM0138 (14 ТБ): 6,86%
• Toshiba MG08ACA16TEY (16 ТБ): 16,95%

Seagate ST10000NM0086 (10 ТБ)
Высокая частота отказов этого накопителя вполне объяснима. Ему уже более семи лет (92,35 месяца). Кроме того, поскольку в эксплуатации находится всего 1018 моделей накопителей, отдельные отказы имеют большое значение по сравнению со средним количеством накопителей каждой модели, которое составляет 10 952, если использовать среднее значение этих квартальных данных, и 6177, если использовать медианное значение.
И вы можете увидеть, что это подтверждается тенденцией за последний год:

Seagate ST14000NM0138 (14 ТБ)
Этому накопителю почти пять лет (56,57 месяцев), и, опять же, количество накопителей меньше — 1286. Что ещё важнее, эта модель накопителя исторически имела высокие показатели отказов. В дополнение к вышесказанному, вот квартальные показатели отказов за последний год:

Toshiba MG08ACA16TEY (16 ТБ)
Наконец, наша модель Toshiba — самая интересная из всех. Ей меньше четырёх лет (44,61 месяца), и в её пуле 5145 накопителей. И этот квартал явно отличается от её обычных, приличных показателей годовых отказов (AFR).


Когда мы видим подобные отклонения, это обычно признак того, что что-то происходит.

Не волнуйтесь, поклонники Drive Stats: этот показатель был известен ещё до того, как мы приступили к этому делу. В прошлом квартале, работая с Toshiba, мы внедрили несколько обновлений прошивки, предоставленных компанией для оптимизации производительности этих дисков. Поскольку в некоторых случаях для этого приходилось извлекать диски, в этой группе накопителей оказалось аномально большое количество «сбойных» дисков.

Для этого накопителя это означает, что он на самом деле неплохая модель; и, учитывая нашу совместную работу с Toshiba над решением проблемы, мы должны увидеть нормализацию показателей отказов в ближайшем будущем. И это также возвращает нас к нашему разговору об определении отказа: в данном случае, хотя диски и «вышли из строя», отказ не был механическим, а был связан с чем-то, что мы сможем исправить без замены дисков. Короче говоря, не переживайте из-за скачка производительности и обратите внимание на динамику производительности в этой группе. Мы ожидаем, что эти накопители будут исправно работать долгие годы (и с более высокой производительностью).

Мы рады сообщить, что Backblaze B2 Overdrive был назван победителем премии SiliconANGLE TechForward Awards 2025 в категории «Облачные технологии — Облачные сети».

B2 Overdrive — это высокопроизводительное облачное решение для хранения объектов, обеспечивающее лучшее в отрасли соотношение цены и производительности.

Почему это важно: Премия TechForward Awards — это не просто признание в отрасли, она служит надежным руководством для лиц, принимающих решения в компаниях, предоставляя тщательно отобранные сведения о новейших технологиях, решающих самые насущные бизнес-задачи современности.

Эти решения не просто продвигают свои категории, они определяют возможности, которые открываются, когда передовые инженерные решения встречаются с реальными бизнес-задачами. Каждый победитель доказал свою способность обеспечивать революционные результаты

Дэйв Велланте, соучредитель и содиректор SiliconANGLE Media

С сотнями тысяч жёстких дисков, работающих круглосуточно, наши центры обработки данных больше похожи не на тихие оазисы, а на череду полос препятствий, если бы речь шла об управлении более чем четырьмя эксабайтами данных клиентов — от архивных резервных копий до потокового мультимедиа и наборов данных для обучения ИИ. Конечно, это полосы препятствий, которые мы все (и я включаю вас, пользователей интернета) создаём коллективно, но найти участников (хм, жёстких дисков) — это не менее сложная задача.

И мы, дорогие читатели, можем наблюдать за всем этим. Добро пожаловать в Drive Stats: где неудачи неизбежны, выживание — увлекательно, а каждый квартал приносит новую таблицу лидеров.

По состоянию на 30 июня 2025 года у нас под управлением находилось 321 201 диск. Из них 3971 загрузочный диск и 317 230 дисков с данными. Следите за новостями: мы публикуем стандартный обзор квартальных и общих показателей отказов, а также подробно изучаем диски объёмом более 20 ТБ.

Как всегда, увидимся в комментариях. В этом месяце у вас также будет три (считайте, целых три!) возможности пообщаться с нами лично — виртуально на нашей прямой трансляции Drive Stats LinkedIn Live 5 августа (сегодня) или дважды в Лас-Вегасе на DefCon 7 и 8 августа.

А после DefCon мы задержимся в Вегасе, чтобы посетить выставку Ai4 с 11 по 13 августа. Если вы будете поблизости, загляните на стенд 226 и послушайте выступление нашего коллеги Джеронимо Де Леона о системах хранения данных и искусственном интеллекте, если у вас есть свободное время.

Статистика привода в цифрах: дайджест-версия


оказатели отказов жестких дисков во втором квартале 2025 года
Для тех, кто впервые знаком с отчётом Drive Stats, стоит отметить, что у нас есть определённые критерии, по которым мы отбираем рассматриваемые накопители каждый квартал. Мы обсудим их в следующем разделе, а пока давайте поговорим о данных. В таблице ниже представлены данные о частоте отказов за второй квартал 2025 года.

Показатели отказов жестких дисков Backblaze во втором квартале 2025 года
Отчетный период с 1 апреля 2025 г. по 30 июня 2025 г. включительно.
Модели автомобилей с количеством поездок > 100 по состоянию на 30 июня 2025 г. и количеством дней поездок > 10 000 во II квартале 2025 г.



Заметки и наблюдения
Годовой процент отказов в этом квартале снизился. В прошлом квартале у нас были серьёзные колебания. Цитируем себя (май 2025 года):
Квартальный процент отказов немного выше. Он вырос с 1,35% до 1,42%. Как и в случае с «клубом без отказов», наши показатели годовых отказов (AFR) для более высоких уровней выбросов демонстрируют некоторые типичные признаки:

Сейчас мы снова снизились до 1,36%. Что изменилось?
Значительные колебания в частоте отказов в наших дисках премиум-класса: некоторые диски с более высокой частотой отказов значительно снизились. В частности, это касается модели Seagate ST12000NM0007 ёмкостью 12 ТБ, частота отказов которой в прошлом квартале составила целых 9,47%, а в этом квартале снизилась до всего лишь 3,58%. Учитывая, что количество дисков в этой модели остаётся более-менее стабильным (1038 в первом квартале и 1014 во втором), это означает существенное изменение частоты отказов. Обратите внимание, что в четвёртом квартале 2024 года частота отказов этого диска составляла 8,72%, поэтому стоит следить за этим, чтобы понять, является ли это случайностью или новой тенденцией. Другие значительные снижения продаж коснулись модели HGST HUH721212ALN604 емкостью 12 ТБ (Q1: 4,97%; Q2: 3,39%) и модели Seagate ST14000NM0138 емкостью 14 ТБ (Q1: 6,82%, Q2: 4,37%).
Новая модель накопителя уже на подходе: встречайте Toshiba MG09ACA16TE (16 ТБ).
Ноль неудач за квартал: Поднимаясь на вершину, на этот раз у нас всего две неудачи:

• Seagate ST8000NM000A (8 ТБ)
• Seagate ST16000NM002J (16 ТБ)

Этот 8 ТБ Seagate действительно великолепен, учитывая, что это уже третий квартал без сбоев.

Бонус: один отказавший диск: поскольку у нас всего два отказавших диска (и это выглядит немного уныло, не правда ли?), стоит также упомянуть диски, у которых в этом квартале вышел из строя только один диск:

• HGST HMS5C4040BLE640 (4 ТБ)
• Seagate ST12000NM000J (12 ТБ)
• Seagate ST14000NM000J (14 ТБ)
• Toshiba MG09ACA16TE (16 ТБ)

Критерии модели привода
Ранее мы отмечали, что при составлении приведенной выше таблицы, охватывающей второй квартал 2025 года, мы исключили из рассмотрения 495 накопителей. Существует две основные причины, по которым мы не рассматривали эти модели накопителей.

Тестирование. Это диски определённой модели, которые мы отслеживаем и собираем данные Drive Stats, но в настоящее время они не считаются производственными. Например, диски, проходящие сертификационные испытания для определения их производительности для нашей среды, не учитываются в расчётах Drive Stats.
Недостаточно данных. При расчете среднегодовой интенсивности отказов для модели привода за заданный период времени (ежеквартально, ежегодно или за весь срок службы) мы хотим убедиться, что у нас достаточно данных для надежного расчета. Поэтому мы определили критерии включения модели привода в таблицы и диаграммы за указанный период. Модели, не соответствующие этим критериям, не включаются в таблицы и диаграммы за рассматриваемый период.


Независимо от того, включена ли конкретная модель привода в диаграммы и таблицы, все данные по всем используемым нами приводам включены в наш набор данных Drive Stats, который вы можете загрузить, посетив страницу Drive Stats.

Как и в случае с квартальными результатами за второй квартал, мы применим эти критерии к диаграммам за весь период, представленным в этом отчете.

Показатели отказов жесткого диска за весь срок службы
Для рассмотрения на предмет оценки жизненного цикла модели накопителя требовалось наличие 500 или более накопителей по состоянию на конец второго квартала 2025 года и более 100 000 дней эксплуатации за весь срок службы. После исключения моделей накопителей, не соответствующих критериям оценки жизненного цикла, для анализа осталось 393 907 накопителей, сгруппированных в 27 моделей, как показано в таблице ниже.

Показатели отказов жестких дисков Backblaze во втором квартале 2025 года

Отчетный период заканчивается 30 июня 2025 г.
Модели приводов > 500 приводов и > 100 000 дней эксплуатации приводов за весь срок службы


Заметки и наблюдения
Опять же, показатель AFR за весь срок службы остался стабильным, снизившись с 1,31% в первом квартале 2025 года до 1,30%.

Теперь вы меня видите: в таблице за этот квартал также есть интересный момент, связанный с нашими исключениями дисков, поскольку модель HGST HMS5C4040ALE640 ёмкостью 4 ТБ скоро выйдет из обращения. Она соответствует нашим критериям пожизненного срока службы, поэтому включена во вторую таблицу, но не попала в квартальную таблицу, поскольку к концу квартала у неё было слишком мало работающих дисков. Обычно наблюдается обратная ситуация: модели дисков отображаются в квартальных требованиях, но не в сроке службы. В этом квартале этому стандарту соответствуют четыре модели (модели Seagate ST8000NM000A, ST14000NM000J, ST16000NM002J и Toshiba MG09ACA16TE).
Диски меньшего объёма устаревают: возможно, это неудивительная тенденция — диски Backblaze меньшего объёма устаревают. Всего у нас 13 моделей дисков ёмкостью 12 ТБ и меньше, с общим уровнем отказов 1,54%. См. таблицу ниже:

Диски Backblaze емкостью ≤12 ТБ


Из этих моделей восемь — пятилетние и старше (отмечены фиолетовым цветом). Ещё две модели — четырёхлетние и старше (это ваш оранжевый цвет). Если брать только эти 10 моделей — накопителей, достигших своего «золотого века», — то общая годовая норма годовых составляет 1,42%.

Примечательно, что этот показатель AFR обусловлен некоторыми хорошо работающими моделями с низким уровнем отказов, включая обе модели Seagate емкостью 4 ТБ (0,57% и 0,40%), модель HGST HUH721212ALE600 емкостью 12 ТБ (0,56%) и модель Seagate ST12000NM001G емкостью 12 ТБ (0,99%).

Тем не менее, пожалуй, ещё более впечатляет тот факт, что, когда мы говорим «восемь из них — пятилетние и старше», из этих восьми моделей приводов пять — шестилетние и старше. Их общая годовая частота кадров (AFR) составляет 1,33%.


Это поднимает извечный вопрос: возраст — это всего лишь цифра? Или мы просто наблюдаем несколько исключительных моделей накопителей? В любом случае, это интересная группа накопителей, за которой стоит следить, поскольку она составляет 156 724 из наших 393 907 (~40%) общего пула накопителей за всё время существования.

Клуб 20 ТБ+
В последних нескольких отчётах мы бегло рассматривали диски ёмкостью 20 ТБ и более, но сейчас самое время изучить их более подробно. Сейчас наша группа дисков ёмкостью 20 ТБ и более, соответствующих критериям жизненного цикла, состоит из трёх: Toshiba MG10ACA20TE ёмкостью 20 ТБ, WDC ёмкостью 22 ТБ, WUH722222ALE6L4 ёмкостью 22 ТБ и Seagate ST24000NM002H ёмкостью 24 ТБ. Это довольно точно, что мы получаем по одному диску от каждого производителя, что позволяет проводить своего рода прямое сравнение. Хотя, конечно, учитывая вариабельность, наблюдаемую в отдельных дисках одного производителя, мы не будем придавать этому слишком большого значения.

Давайте рассмотрим каждый из них.

20 ТБ Toshiba MG10ACA20TE
На самом деле, Toshiba находится в нашем парке накопителей уже 22 месяца, но ещё чуть меньше года назад их было всего два. Поэтому для большей значимости мы исключим значительно меньшее количество накопителей — к счастью, у каждой модели есть своего рода естественный предел, когда номера накопителей переходят от однозначных значений к сотням.

Для Toshiba это дает нам следующие данные:

Преобразовав это в график, мы получаем следующее:


На этом графике синяя линия представляет собой годовую частоту (AFR), а красная — количество дисков. С количеством дисков может быть немного сложнее, поскольку ось X — это возраст, и мы начинаем с возраста = 0, что означает, что количество дисков (с нашей точки зрения) уменьшается. То есть, по мере старения дисков их становится меньше по количеству — у вас есть первоначальная когорта покупателей, затем диски добавляются со временем. Можно интерпретировать это как первую точку данных, представляющую диски возрастом от 0 до 1 месяца, следующую точку данных — от 1 до 2 месяцев и т. д.

Мы сделали это, чтобы иметь возможность напрямую сравнивать частоту отказов накопителей в зависимости от их возраста. Те, кто знаком с нашим анализом U-образной кривой, могут узнать нашу методологию: мы просто концентрируемся на конкретных накопителях и их ёмкости.

22 ТБ WDC WUH722222ALE6L4
Теперь давайте взглянем на модель WDC. У нас есть пригодные для использования данные примерно за 21 месяц эксплуатации накопителя:



Интересно, что мы видим гораздо меньшую вариативность в промежутке времени, когда у нас есть прямое сравнение. При этом у модели WDC также было как минимум вдвое больше накопителей, если рассматривать аналогичный период времени: так, в самом раннем возрасте (0 месяцев) у Toshiba было 14 407 накопителей против 37 363 у WDC; а в 11 месяцев у Toshiba было 1034 накопителя против 13 965 у WDC.

Хотя показатели AFR в целом дают нам равные условия в плане возможности сравнения 1:1, важно помнить, что в небольших парках накопителей один сбой может значительно усилить последствия.

24 ТБ Seagate ST24000NM002H
Самая новая модель нашего накопителя, Seagate ST24000NM002H емкостью 24 ТБ, содержит данные всего за полгода.



По сравнению с двумя другими нашими моделями дисков, у Seagate ёмкостью 24 ТБ определённо самый высокий процент отказов. Отчасти это можно объяснить тем, что диск новый — находится ли он на переднем крае традиционной кривой отказов? Поэтому, безусловно, стоит следить за ним со временем, чтобы понять, не усядется ли он по мере старения.

Теперь все вместе: сравнение каждого диска емкостью 20 ТБ+
Мы разработали это представление для непосредственного сравнения в определенные моменты времени, поэтому вот ваш график, на котором каждый диск представлен в одной и той же временной шкале:


Какой вывод? Что ж, как по количеству дисков, так и по сроку службы, пока рано делать однозначные выводы о тенденциях для Seagate и Toshiba. Конечно, мы видим, что Seagate на первых порах демонстрирует более высокую частоту отказов. В то же время, для Toshiba ёмкостью 20 ТБ первый год был довольно нестабильным. Но, опять же, учитывая значительное разнообразие дисков во всех моделях, мы не можем сравнивать всё на равных. (Мы решили не отображать количество дисков на этой диаграмме — она быстро становится запутанной.) К тому же, Seagate, в частности, потенциально находится в начале кривой «ванны», и со временем мы можем увидеть её изменения.

С другой стороны, модель WDC ёмкостью 22 ТБ показала значительно более низкий показатель годового резервирования (AFR) для пула накопителей всех размеров и возрастов, и это модель с наибольшим объёмом данных. Но как это соотносится с другими моделями, которые появятся в продаже?

Сравнение: пул объемом 20 ТБ и более против пула объемом 14–16 ТБ
Когда мы размышляли, будет ли эта информация полезным фрагментом данных, нашим главным вопросом было, как её контекстуализировать по отношению к дискам. Возможно, это немного неточно, но мы решили объединить диски ёмкостью 14–16 ТБ в пул, в основном потому, что они содержат значительное количество точек данных и были последними установленными дисками, то есть, по сути, представляют собой последнее поколение оборудования.

Еще один момент, на который следует обратить внимание, заключается в том, что после объединения дисков емкостью 20 ТБ в пул некоторые данные, которые мы отфильтровали по каждому диску, были добавлены обратно. Таким образом, по истечении 21 месяца, когда у модели Toshiba был только один диск, мы добавили этот единственный диск к 399 дискам, которые использовала наша модель WDC, и рассчитали AFR для всего пула (что дает нам 400 дисков для работы).

Вот цифры для пула дисков емкостью 20 ТБ+:



Теперь сравним их с дисками ёмкостью 14–16 ТБ того же возраста. У нас есть обширные данные по этой группе за почти семь лет, но, чтобы сэкономить вам три страницы, я приведу таблицу с данными, которые напрямую коррелируют с данными за 21 месяц для дисков ёмкостью 20 ТБ и более.



Сравнивая возраст дисков, можно предположить, что наши 20 ТБ соответствуют целевому уровню и, возможно, показывают результаты немного лучше, чем ожидалось. Однако это сравнение определённо не идеальное, учитывая, что диски ёмкостью 14–16 ТБ имеют более стабильное и большое количество дисков. Итак, давайте посмотрим на график за весь период, почти семь лет:



Это представление начинает показывать нам некоторые резкие изменения по мере старения дисков емкостью 14–16 ТБ, которые, конечно, усугубляются уменьшением количества дисков с течением времени.

Так что же все это значит?
Из данных ясно, что нам нужно дать дискам емкостью 20 ТБ и более время, чтобы созреть, и что по мере того, как мы (в зависимости от нашего покупательского поведения, конечно) добавим больше дисков, мы можем увидеть некоторые интересные изменения в данных.

Что касается пула емкостью 14–16 ТБ, то он следует относительно ожидаемым моделям износа в диапазоне от пяти лет и более, но что это значит по сравнению с тем, что мы наблюдаем в нашей текущей статистике по сроку службы, где мы видим, что наш пул дисков емкостью 12 ТБ и меньше работает так хорошо?

Не рассматривая диски ёмкостью 14–16 ТБ более подробно, сложно сказать, что у них нет тех же аномальных тенденций, что и у пула ёмкостью 12 ТБ и меньше, что просто повышает частоту отказов. Даже беглый взгляд на диски ёмкостью 14–16 ТБ в нашей текущей таблице сроков службы подтверждает это (сроки от четырёх лет и старше выделены оранжевым цветом, как и в предыдущем выводе):


Однако эти данные не включают все накопители объёмом 14–16 ТБ, которые у нас когда-либо были, а только те, которые работают в настоящее время. Поэтому, как всегда, предстоит ещё провести исследование.

Данные статистики жесткого диска
Полный набор данных, использованный для создания таблиц и диаграмм в этом отчёте, доступен на нашей странице «Данные для тестирования жёстких дисков». Вы можете бесплатно скачать эти данные и использовать их в своих целях. Мы просим вас лишь о трёх условиях: 1) при использовании данных указывать Backblaze в качестве источника; 2) признавать, что несёте исключительную ответственность за использование данных; и 3) не продавать эти данные кому-либо; они бесплатны.

Удачи, и дайте нам знать, если найдете что-нибудь интересное.

Недавний отчет об экономической проверке, подготовленный независимой аналитической компанией Enterprise Strategy Group (ESG), показал, что Backblaze может помочь предприятиям значительно сократить расходы на облачное хранение данных, одновременно повысив операционную эффективность.

В отчете установлено, что Backblaze B2 может:

• Снижение общей стоимости хранения до 3,2 раз по сравнению с альтернативными поставщиками облачных хранилищ.
• Сократите стоимость загрузок и транзакций до 100% благодаря трехкратному бесплатному выходу Backblaze B2.
• Сокращение ежемесячных расходов на хранение до 56%.
• Сократите время и усилия по управлению данными до 92%.

Ключевые преимущества, подтвержденные ESG, включают:

• Предсказуемая экономия средств: благодаря простому и прозрачному ценообразованию вы можете тратить гораздо меньше на хранение и направлять сэкономленные средства на инновации и рост.
• Простота эксплуатации: легкое развертывание, управление и интеграция Backblaze B2 с вашими существующими рабочими процессами, оборудованием и программным обеспечением. Клиенты сообщили, что все было готово и готово к работе за день или два.
• Повышение гибкости бизнеса и снижение рисков: воспользуйтесь преимуществами более быстрого предоставления ресурсов, простого масштабирования, встроенной высокой доступности, возможностями аварийного восстановления и бесплатным выходом (в 3 раза больше объема хранимых данных), чтобы сделать ваши данные более доступными для приложений и моделей ИИ.
• Если вы устали от сложных счетов за облачное хранилище и ищете экономичное, надежное и производительное решение, пришло время рассмотреть Backblaze B2.

Прочитайте отчет самостоятельно или свяжитесь с нашим отделом продаж уже сегодня.
f001.backblazeb2.com/file/backblaze-b2-collateral/Report_ESG_Economic_Validation_Backblaze_B2_Cloud_Storage.pdf

Добро пожаловать в первый отчет Drive Stats 2025 года. Если вы его пропустили, отчет Drive Stats 2024 года был последним для давнего гуру Drive Stats Энди Кляйна, который счастливо вышел на пенсию — он откладывает «зелень» на более зеленых пастбищах, работая над своей игрой в гольф. Мы — штатный автор Backblaze Стефани Дойл и главный технический евангелист Пэт Паттерсон — продолжаем с того места, на котором остановился Энди, представляя вам метрики и анализ, которые вы знаете и любите. А теперь перейдем к цифрам!

По состоянию на 31 марта 2025 года у нас было 312 831 диск под управлением. Из этого общего числа было 3 970 загрузочных дисков и 308 861 диск с данными. Мы рассмотрим их годовые показатели отказов (AFR) по состоянию на первый квартал 2025 года и изучим средний возраст отказа дисков по моделям, размерам дисков и т. д. По ходу дела мы поделимся нашими наблюдениями и выводами по представленным данным, и на этот раз у нас есть несколько интересных обновлений, которыми мы хотим поделиться о том, как мы создаем статистику дисков. (Оставайтесь с нами, поклонники Snowflake.)

Показатели отказов жестких дисков в первом квартале 2025 г.
Как упоминалось выше, в конце первого квартала 2025 года мы использовали 312 831 диск. Однако в течение квартала в целом мы отслеживали в общей сложности 318 426 дисков; это число включает те, которые были выведены из эксплуатации в течение квартала либо из-за отказа, либо из-за временного использования.

Мы обсудим критерии, которые мы использовали, в следующем разделе этого отчета. Удаление этих дисков оставляет нам 317 833 жестких диска для анализа. В таблице ниже показаны годовые показатели отказов (AFR) за первый квартал 2025 года для этой коллекции дисков.

Показатели отказов жестких дисков Backblaze в первом квартале 2025 г.
Отчетный период с 1 января 2025 г. по 31 марта 2025 г. включительно.
Модели автомобилей с количеством поездок > 100 по состоянию на 31 марта 2025 г. и количеством дней поездок > 10 000 в первом квартале 2025 г.



Заметки и наблюдения
Диски на 4 ТБ держатся и завершают работу. Хорошие новости: у нас есть еще один квартальный объем данных по нашим любимым дискам на 4 ТБ (хотя запланированная миграция уже идет полным ходом). Верные своей истории, диски на 4 ТБ показали удивительно низкие показатели отказов, с очередным кварталом без отказов у ​​модели HMS5C4040ALE640 и 0,34% AFR у модели HMS5C4040BLE640.
Присматриваем за пулом 20 ТБ+. У Seagate 24 ТБ (модель ST24000NM002H) больше нет идеальной записи, с восемью отказами за квартал. Тем не менее, диски показывают приличный AFR в 1,00%. Между тем, диски 20 ТБ+ как пул в среднем показывают AFR 0,72%, что ниже общих показателей отказов — всегда многообещающий знак.
Ноль отказов за квартал. Четыре привода получают золотую звезду за ноль отказов в этом квартале:

• HGST емкостью 4 ТБ (модель HMS5C4040ALE640)
• Seagate 8 ТБ (модель ST8000NM000A)
• Seagate 12 ТБ (модель ST12000NM000J)
• Seagate 14 ТБ (модель ST14000NM000J)

У трех из четырех моделей также не было ни одного отказа в прошлом квартале, за исключением Seagate 12 ТБ.

Квартальный процент отказов немного выше. Квартальный процент отказов вырос с 1,35% до 1,42%. Как и в случае с клубом нулевых отказов, наши более высокие значения AFR-выбросов показывают некоторые из обычных подозреваемых:

• Seagate 10 ТБ (модель ST10000NM0086). 4 квартал 2024 г.: 5,72%. 1 квартал 2025 г.: 4,72%.
• HGST 12 ТБ (модель HUH721212ALN604). IV квартал 2024 г.: 5,15%. 1 квартал 2025 г.: 4,97%.
• Seagate 12 ТБ (модель ST12000NM0007). 4 квартал 2024 г.: 8,72%. 1 квартал 2025 г.: 9,47%.
• Seagate 14 ТБ (модель ST14000NM0138). 4 квартал 2024 г.: 5,95%. 1 квартал 2025 г.: 6,82%.

Критерии модели привода
Ранее мы отметили, что исключили 593 накопителя из рассмотрения при составлении приведенной выше таблицы, охватывающей четвертый квартал 2024 года. Существует две основные причины, по которым мы не рассматривали эти модели накопителей.

Тестирование. Это диски определенной модели, которые мы отслеживаем и собираем данные Drive Stats, но в настоящее время они не считаются производственными дисками. Например, диски, проходящие сертификационные испытания для определения их доста точной производительности для нашей среды, не включаются в наши расчеты Drive Stats.

Недостаточно точек данных. Когда мы вычисляем годовую частоту отказов для модели привода за определенный период времени (ежеквартально, ежегодно или за весь срок службы), мы хотим убедиться, что у нас достаточно данных, чтобы сделать это надежно. Поэтому мы определили критерии для модели привода, которая будет включена в таблицы и диаграммы за указанный период времени. Модели, которые не соответствуют этим критериям, не включаются в таблицы и диаграммы за рассматриваемый период.


Независимо от того, включена ли конкретная модель привода в диаграммы и таблицы, все данные по всем используемым нами приводам включены в наш набор данных Drive Stats, который вы можете загрузить, посетив нашу страницу Drive Stats.

Как и в случае с квартальными результатами четвертого квартала, мы применим эти критерии к годовым и общим графикам, представленным в настоящем отчете.

Показатели отказов жестких дисков за весь срок службы
По состоянию на конец первого квартала 2025 года мы отслеживали 312 831 жесткий диск с данными. Чтобы быть рассмотренной для обзора жизненного цикла, модель накопителя должна была иметь 500 или более накопителей по состоянию на конец первого квартала 2025 года и иметь более 100 000 накопленных дней использования накопителей в течение срока службы. Когда мы удалили те модели накопителей, которые не соответствовали критериям жизненного цикла, у нас осталось 312 493 накопителя, сгруппированных в 26 моделей для анализа, как показано в таблице ниже.

Показатели отказов жестких дисков Backblaze за весь срок службы
Отчетный период, заканчивающийся 31 марта 2025 г. включительно
Модели приводов с > 500 приводами и > 100 000 дней приводов за весь срок службы


Заметки и наблюдения
Показатель AFR за весь срок службы остается стабильным, несмотря на то, что некоторые приводы претерпевают значительные изменения. Мы практически не видим изменений в нашем общем показателе AFR за весь срок службы, который мы в последний раз отслеживали на уровне 1,31% в отчете о статистике приводов за 2024 год. Но, поскольку некоторые модели приводов демонстрируют значительные изменения в показателе AFR из года в год, стоит копнуть немного глубже.

Статистически значимое улучшение показателей AFR:

У 12 ТБ и 14 ТБ было одинаковое количество отказов (или почти одинаковое). Между тем, у Toshiba 20 ТБ и WDC 22 ТБ было больше отказов, но они добавили значительное количество дисков к парку. Оба эти действия увеличивают количество дней дисков, которые мы отслеживали для пула дисков модели, поэтому эти результаты неудивительны.

Статистически значимое ухудшение показателей AFR:

• Между тем, у нас есть несколько вещей, которые происходят для значительно ухудшенных AFR. Модели приводов WDC все являются лучшими с точки зрения отказов, даже изменение с .45 до .48 отображается в числах.
• Остаются два диска HGST 12 ТБ. Оба имеют показатель отказов выше среднего, 1,45% (модель: HUH721212ALE604) и 2,06% (модель: HUH721212ALN604). Мы можем дать HUH721212ALE604 шанс — при среднем возрасте пула дисков 67,1 месяца или около пяти с половиной лет он уверенно следует ожидаемому шаблону, определенному кривой ванны .
• Что это нам дает с моделью HUH721212ALE604? Мы будем за ней следить. Учитывая, что ее показатель AFR не слишком далек от общего показателя AFR парка приводов Backblaze, это не вызывает особого беспокойства, если только мы не увидим, что темпы изменений продолжатся.

Что нового в Drive Stats?
Приступая к работе над этим отчетом, мы в первую очередь сосредоточились на обеспечении преемственности с нашим набором данных, которому уже несколько десятилетий. Тем не менее, мы также увидели некоторые возможности для оптимизации процесса сбора данных, продолжение работы, о которой Дэвид Уайнингс рассказывал в статьях Overload to Overhaul: How We Upgraded the Drive Stats Data и Drive Stats Data Deep Dive: The Architecture. Все это настроило нас не только на более легкое создание этого отчета, но и на более масштабные планы в будущем. (Мы пока не будем раскрывать свои карты, но следите за обновлениями.)

Drive Stats получает обновление Snowflake
Когда мы впервые начали отслеживать Drive Stats в далеком 2013 году, сбор данных был очень ситуативным. В течение первых нескольких лет, когда у руля был Брайан Бич, мы публиковали статистику раз в год. Когда Энди занял пост в 2015 году, он перешел на публикацию квартальных данных (начиная с 2016 года). По мере роста набора данных и того, как коллекция облегченных настольных приложений Энди начала выдыхаться, стало очевидно, что нам нужно перейти на более эффективные аналитические инструменты. По разным операционным причинам Энди храбро запускал SQL-запросы к данным CSV, импортированным в экземпляр MySQL, работающий на его ноутбуке, и ему приходилось выполнять массу ручной очистки данных. (Очевидно, что это был каламбур.)
www.backblaze.com/blog/data-driven-decisions-wwith-snowflake-and-backblaze-b2/

В этом году с помощью наших коллег из команды по проектированию баз данных (спасибо Тому Родену — огромное спасибо!) нам удалось включить данные Drive Stats в экземпляр Backblaze Snowflake. Прошли те времена, когда мы приставали к людям с экспортами, обработка которых занимала часы! Мы можем выполнять легкие запросы к кэшированной структурированной таблице.


Мы начали с SQL-запросов Энди и немного подправили их, чтобы они соответствовали логике и номенклатуре полей Snowflake. Как только мы это проработали, первое, что мы сделали, — это проверили нашу методологию, запустив цифры Q4 Drive Stats и сравнив их с Энди — успех.

Помогает то, что Пэт экспериментировал с нашим набором данных Drive Stats в Trino и другими аналитическими инструментами, такими как Apache Iceberg, так что это, конечно, не первый раз, когда он рассматривает методологию и инструменты для этой проблемы. В дальнейшем мы можем еще больше усовершенствовать процесс, но на данный момент миграция в Snowflake сэкономила нам массу времени и ручной очистки данных.

За последние несколько лет Backblaze расширила свое региональное присутствие, добавив мощности в регионе Запад США, увеличив свое присутствие в регионе Центральная часть ЕС, открыв новое присутствие в регионе Восток США и совсем недавно выйдя в Канаду с CA-East с первоначальной емкостью хранения чуть менее 60 ПБ.

Мы подошли к нашему последнему расширению в Канаду немного по-другому, и сегодня я хочу рассказать о некоторых новых процессах и мерах повышения эффективности, которые мы внедрили для этого проекта, а также о том, как мы позиционируем себя для обслуживания канадского рынка на основе наших сетевых связей.

Фотография, на которой изображена скульптура с кодом аэропорта Торонто — YYZ.
Команда по развертыванию Backblaze прибывает в Торонто.


Масштабирование инфраструктуры и вызов подкрепления
Развертывание региона данных CA-East было самым быстрым на сегодняшний день, сократив жизненный цикл развертывания («чернила подписаны» для работающей производственной системы) на 50%. В этом цикле развертывания мы работали со сторонним интегратором, который помог нам оптимизировать процесс, а также выровняли наши процедуры автоматизации для установки операционных систем и нашего стека программного обеспечения для хранения данных.

Традиционно мы доставляли все наше оборудование, такое как сетевое оборудование, серверы, жесткие диски, кабели и инструменты, на место назначения, чтобы наша команда по развертыванию провела инвентаризацию, распаковала и физически установила. Это весело. Это контролируемый хаос (если вам нравятся такие вещи) — но для этого цикла сборки мы хотели бы еще больше итерировать наш процесс, чтобы упростить и обеспечить будущий рост более предсказуемым и масштабируемым образом, работая со третьей стороной для оказания помощи с первоначальной физической сборкой стоечного оборудования.

С нашей стороны есть время на предварительное проектирование, документирующее, как организованы все оптоволоконные, медные и силовые кабели. У нас есть карта кабелей для каждого устройства, каждого кабеля и каждого местоположения, а также то, как они должны быть подключены. Это тяжело с точки зрения бумажной работы, но это время потрачено не зря. Это позволяет нам легко шаблонизировать и штамповать будущие шкафы. Когда нам нужно больше шкафов, ориентированных на хранение, чтобы развернуть дополнительное хранилище, это стандарт шкафа. Если нам нужно больше вычислений, это также шкаф, который можно легко построить из шаблона.

Рабочая нагрузка на стороне стороннего интегратора состоит из выполнения наших указаний и выполнения всех физических стоек и проводки. Выполнение всех этих задач требует времени. Вы не поверите, сколько картона и упаковочного материала вам нужно обработать! Распаковка более сотни серверов, тысяч жестких дисков и сотен оптоволоконных и медных кабелей — это немалый подвиг. (Оглядываясь назад, извиняюсь за то, что не предоставил вам марафонское видео распаковки.) Они получили всю нашу упаковку, затем разместили и подключили все в соответствии с нашими спецификациями. После осмотра и контроля качества все было надежно запечатано в ящики и отправлено в Канаду.

Первоначальная настройка и начальная загрузка кластера CA-East на сайте интегратора.


Почти готов к контролю качества и окончательной проверке перед отправкой в ​​центр обработки данных.


Автоматизируйте все дела
Выполнить процесс один раз? Конечно. Нужно сделать это больше двух раз? Автоматизируйте это!

Перед отправкой в ​​центр обработки данных мы отправили небольшую команду на площадку интегратора для проведения физической оценки качества сборки и настройки удаленного доступа, что позволило нам запустить платформу, поскольку у нас был доступ к электропитанию и подключению к Интернету.

Внутри у нас есть система, в которой записаны серийные номера машин и их роли (например, хранилище, API, база данных и т.д.). Когда новая машина впервые загружается в нашей сети, она получает простую операционную систему, установленную через наши службы PXE. Все это распараллеливается, что означает, что мы смогли получить системы для входа в течение нескольких часов для всего набора серверов.

Очень весело переключать кнопки питания одну за другой на более чем 90 серверах, при этом сетевое соединение PXE-сервера работает на горячем режиме, и весь парк серверов автоматически устанавливает операционную систему и готов к дальнейшему администрированию в течение нескольких минут. Совсем не похоже на те дни, когда я выполнял установку Windows 95 с дискет!

После окончательной проверки и прохождения программного обеспечения все было одобрено для отправки. Интеграторы надежно упаковали наши шкафы, и они отправились в Канаду.

Настройка CA-East
По прибытии на место назначения все было доставлено на пол центра обработки данных, закреплено, заземлено и подключено к источнику питания. В течение четырех часов у нас было сетевое соединение с нашими интернет-провайдерами и мы настроили защищенные соединения обратно в нашу производственную сеть, чтобы начать установку программного обеспечения Backblaze с нашими различными внутренними командами. В течение нескольких дней у нас было около 90 работающих серверов, готовых к тому, чтобы наша команда по обеспечению качества начала проводить тесты для имитации активности клиентов.

Мы сотрудничали с Cologix, ведущим поставщиком сетевых нейтральных взаимосвязей и гипермасштабных периферийных центров обработки данных в Северной Америке, в качестве нашего канадского оператора центра обработки данных для этого развертывания. Цифровой периферийный центр обработки данных Cologix — это объект Tier III площадью 20 000 квадратных футов с мощностью два мегаватта. Это высокозащищенный и эффективный центр размещения и взаимосвязи, который отличается ведущими в отрасли конструкциями охлаждения, надежной круглосуточной безопасностью с доступом с двойной биометрической аутентификацией и соответствием стандартам SOC 1, SOC 2, HIPAA и PCI-DSS, а также сертификацией ISO 27001 от Schellman.

Модули хранения данных с несколькими вычислительными серверами в верхней части каждого шкафа.


CA-East: Сетевые и вычислительные шкафы с возможностью расширения.


Связность
Наша стандартная позиция подключения заключается в подключении к трем глобальным операторам для максимально широкого охвата каждой возможной сети, а также в присоединении к локальной интернет-бирже (IX) для обмена трафиком между другими участниками IX локально в пределах одного центра обработки данных или метрополии для обеспечения эффективности с низкой задержкой. Кроме того, для этого сайта мы также подключены к крупному канадскому региональному оператору, что позволяет нам быть в непосредственной близости от трафика, поступающего из Канады.

Благодаря низкой задержке и разнообразным темным оптоволоконным соединениям между центрами обработки данных Cologix, включая крупнейший и важнейший в Канаде отель-отель, объект предлагает доступ к более чем 160 сетям, TORIX и более чем 50 провайдерам облачных услуг.

В целом наша карта связей Калифорния-Восток выглядит следующим образом.
Вариант 1: Глобальные операторы. Вариант 2: Региональный интернет-провайдер. Вариант 3: IX-трафик.


Присоединение к TorIX
Локальный интернет-обмен для этого сайта — Toronto Internet Exchange (TorIX), ведущая канадская точка обмена интернет-трафиком (IXP) и одна из крупнейших в мире. На момент написания этой статьи более 250 организаций обмениваются в среднем более 1,3 терабит в секунду (Тбит/с) трафика каждый день между собой локально.

Подключение к TorIX обеспечивает низкую задержку при передаче данных между нами и поставщиками интернет-услуг (ISP), другими облаками, партнерскими сетями доставки контента (CDN), другими корпоративными сетями и поставщиками хостинга, предоставляющими вычислительные услуги.

Выйди в эфир
Я работаю в Backblaze уже четыре года и смог поучаствовать в сборках для расширения наших регионов US-West, US-East, а теперь и CA-East. Включение метафорического «переключателя», чтобы сделать сайт живым, немного разочаровывает — с точки зрения сети, единственный трафик, который мы видим в начале нового региона, — это наш мониторинг, внутренние задания и некоторые тестовые или контрольные (PoC) аккаунты для мягкого запуска.

Ниже представлен пример сетевого трафика, полученного в тот момент, когда мы запустили пиринговое соединение с нашими операторами и выполнили программный запуск региона данных для наших внутренних команд по контролю качества.


Откуда исходит исходный сетевой трафик? Благодаря нашему мониторингу сетевой телеметрии мы можем видеть потоки трафика в нашу сеть и из нее. Эта информация о сетевом трафике обогащается данными, которые добавляют контекст, позволяя нам видеть, сколько трафика поступает к или от конкретного поставщика услуг верхнего уровня или географического региона.

Вот диаграмма Сэнки, которая показывает снимок текущего трафика из канадских провинций через разных поставщиков услуг в сеть Backblaze, где более крупные линии означают, что больше трафика из этой конкретной провинции или сети. Как и ожидалось, Онтарио и Британская Колумбия являются двумя крупнейшими источниками трафика.


Канада открыта для бизнеса
С течением месяцев и по мере того, как все больше клиентов будут создавать свои учетные записи в этом новом регионе данных и направлять свои рабочие нагрузки в это местоположение, мы увидим больше трафика. Мы будем рады узнать, какие интересные идеи мы сможем почерпнуть, и будем держать вас в курсе в нашей серии Network Stats.

Поскольку Backblaze продолжает расширять свою сеть, мы рады продолжить итерацию наших билдов, чтобы сделать их более эффективными. В конечном счете, это позволяет нам быстрее реагировать на потребности клиентов. Та же отличная сеть — просто больше местоположений.

Мы рады иметь присутствие в Канаде и приветствуем ваши потребности в хранении! Если вам интересно узнать больше о хранении ваших данных в Канаде, вы можете прочитать объявление о запуске здесь.