Backblaze Хостинг

Резервные копии и архивы обслуживают разные функции, однако обычно используются термины, используемые в облачном хранилище. Важно понимать разницу между этими двумя, чтобы ваша методология хранения данных соответствовала вашим потребностям в нескольких ключевых областях:

• сохраняются в течение требуемого периода времени
• защищены от потери или несанкционированного доступа
• возможность восстановления или восстановления по мере необходимости
• структурированы или помечены, чтобы разрешить размещение определенных данных
• сохранен в соответствии с вашими требованиями

Наши два варианта можно широко классифицировать:

• резервная копия предназначена для восстановления после сбоя оборудования или недавнего повреждения или потери данных
• архив предназначен для управления пространством и долгосрочного хранения

Что такое резервное копирование?
Резервная копия — это копия ваших данных, созданная для защиты от потери этих данных. Как правило, резервные копии создаются на регулярной основе в соответствии с расписанием или когда исходные данные изменяются. Исходные данные не удаляются, но старые резервные копии часто удаляются в пользу более новых резервных копий.


Настольные компьютеры, серверы, виртуальные машины и мобильные устройства обычно поддерживаются. Резервные копии могут включать данные, файлы ОС и приложений или их комбинацию в соответствии с методологией и целью резервного копирования.

Цель резервного копирования — сделать копию чего-либо в текущем использовании, которое не может быть потеряно. Резервное копирование настольного или мобильного устройства может включать в себя только данные пользователя, чтобы при необходимости можно было восстановить предыдущую версию файла. На этих типах устройств часто делается предположение, что ОС и приложения могут быть легко восстановлены из исходных источников, если это необходимо (и / или восстановление ОС на новом устройстве может привести к значительным проблемам с коррупцией). В виртуальной серверной среде резервная копия может включать файлы .VMDK, содержащие данные и ОС, а также структурированную (базу данных) и неструктурированные данные (файлы), чтобы можно было как можно быстрее вернуть систему в эксплуатацию, если что-то произойдет к исходной виртуальной машине в среде VMware, Hyper-V или другой виртуальной машины.

В случае атаки с вымогательством надежная стратегия резервного копирования может означать разницу между возможностью восстановления взломанной системы и необходимостью выкупа выкупа в неопределенных надеждах на получение ключа дешифрования для получения доступа к файлам, которые больше не доступны, поскольку они были зашифрованы злоумышленником.

Резервные копии могут иметь дополнительные возможности. Пользователь может перейти к резервной копии, чтобы получить более раннюю версию файла, поскольку она содержит что-то больше не в текущем файле или, как это возможно, с некоторыми службами резервного копирования, такими как Backblaze Backup, для совместного использования файла с коллегой или другим человек.

Что такое архив?
Архив представляет собой копию данных, сделанных для долгосрочного хранения и ссылки. Исходные данные могут быть удалены или не удалены из исходной системы после создания и сохранения архивной копии, хотя для архива является единственной копией данных.


В отличие от резервного копирования, целью которого является возможность вернуть компьютер или файловую систему в состояние, существовавшее ранее, архив может иметь несколько целей. Архив может предоставить отдельному лицу или организации постоянную запись важных документов, юридических документов, корреспонденции и других вопросов. Часто архив используется для удовлетворения требований к хранению информации для корпораций и предприятий. Если возникает спор или запрос о деловой практике, контракте, финансовой сделке или сотруднике, записи, относящиеся к этому предмету, могут быть получены из архива.

Архив часто используется для облегчения нагрузки на более быстрые и часто используемые системы хранения данных. Более старые данные, которые вряд ли понадобятся, часто вводятся в системы, которым не требуется скорость и доступность систем, которые содержат данные, которые все еще используются. Архивные системы хранения обычно дешевле, поэтому сильная мотивация заключается в том, чтобы сэкономить деньги на хранении данных.

Архивы часто создаются в зависимости от возраста данных или того, является ли проект, к которому принадлежат данные, все еще активным. Программа архивирования может отправлять данные в архив, если к ней не было доступа за определенное время, когда достиг определенного возраста, если человек больше не связан с организацией, или файлы были помечены для хранения, потому что проект завершен или закрыт.

Архивы также могут быть созданы с использованием метаданных, описывающих проект. Программа архивирования может автоматически добавлять соответствующие метаданные или пользователь может помечать данные вручную, чтобы помочь в будущем поиске. Общие добавленные метаданные могут быть бизнес-информацией, описывающей данные, или в случае фотографий и видео, оборудованием, настройками камеры и географическим положением, где был создан носитель. Искусственный интеллект (AI) может использоваться для идентификации и каталогизации предмета в некоторых данных, таких как фотографии и видео, чтобы облегчить поиск данных позднее. Инструменты AI становятся все более важными, поскольку мы архивируем больше данных и должны иметь возможность находить их на основе параметров, которые могут быть неизвестны на момент архивирования данных.



В чем разница между восстановлением и извлечением?
В общем случае восстанавливаются системы восстановления и архивные системы резервного копирования. Инструменты, необходимые для выполнения этих функций, различны.

Если вы хотите восстановить что-то из резервной копии, это обычно один файл, сервер или структурированные данные, такие как база данных, которая должна быть восстановлена ​​в определенный момент времени. Вы должны знать много о данных, например, где они были расположены, когда они были скопированы, база данных или папка, в которой она была, имя файла, когда оно было скопировано, и так далее.

Когда вы извлекаете данные из архива, данные связаны каким-то образом, например, с датой, получателем электронной почты, периодом времени или с другим набором параметров, которые могут быть указаны при поиске. Типичным поисковым запросом может быть получение всех файлов, связанных с именем проекта, или всеми электронными письмами, отправленными человеком в течение определенного периода времени.

При попытке использовать резервную копию для архива могут возникнуть проблемы. Вам нужно будет хранить строгие записи о том, где и когда были скопированы файлы, на каком носителе они были созданы резервные копии и множество других данных, которые необходимо было записать во время резервного копирования. По определению системы резервного копирования хранят копии данных, используемых в настоящее время, поэтому сохранение резервных копий в течение длительных периодов времени выходит за рамки возможностей систем резервного копирования и требует ручного управления.

В нижней строке не используется резервная копия для архива. Выберите подход, который соответствует вашим потребностям: резервная копия для хранения дополнительных копий данных, используемых в настоящее время, в случае, если что-то случится с вашей основной копией, или в архиве, чтобы сохранить постоянную (и, возможно, только запись) важные данные, которые вы хотите сохранить для личных, деловых или юридических причин.

Почему вам нужны как резервные, так и архивные
Понятно, что резервная копия и архив имеют разные виды использования. Вам нужны оба?

Если вы бизнес, разумный выбор — да. Вам необходимо убедиться, что ваши активные бизнес-данные защищены от случайной или злонамеренной потери и что ваши важные записи поддерживаются до тех пор, пока это необходимо для деловых и юридических причин. Если вы являетесь физическим лицом или малым бизнесом с документами, фотографиями, видео и другими материалами, вам также необходимы как резервное копирование, так и архив, чтобы обеспечить защиту ваших данных как краткосрочными, так и долгосрочными, а также доступными и доступными, когда вам это нужно.



Выбор правильных инструментов и служб для резервного копирования и архивирования имеет важное значение. У каждого есть наборы функций, которые делают их подходящими для их задач. Попытка использовать резервное копирование для архивирования или архивирования для резервного копирования — это похоже на попытку установить круглую привязку в квадратное отверстие. Лучше всего использовать правильный инструмент и службу для требуемой функции хранения данных.

Прошло несколько месяцев с момента нашего последнего сообщения «Что нового в B2», поэтому мы хотели осветить некоторые события, а также представить новую функцию B2!

Повторное внедрение: Java SDK + Compute Partnerships
Мы хотели подчеркнуть официальный Backblaze B2 Java SDK, который можно найти в нашем репозитории GitHub. Официальный Java SDK вышел почти год назад, но мы с тех пор постоянно обновляем его с помощью сообщества.

Мы также объявили о некоторых Compute Partnerships, которые дают людям все преимущества недорогого облачного хранилища Backblaze B2 с вычислительными возможностями Packet и ServerCentral. Backblaze B2 Облачное хранилище напрямую связано с поставщиками вычислений, что обеспечивает клиентам небольшую задержку и бесплатную передачу данных с помощью облачного хранилища B2.

Ключи приложения
Ключи приложений дают разработчикам больше контроля над тем, кто может делать то, что и как долго их данные B2. Некоторое время у нас была документация по ключевому слову B2, и мы готовы снять тег «coming soon».


Что такое Ключи приложения?
В B2 основной ключ приложения имеет корневой доступ ко всему и по существу контролирует каждую операцию, которая может быть выполнена внутри B2. Благодаря внедрению дополнительных ключей приложений разработчики теперь обладают большей гибкостью.

Ключи приложений ограничены тремя вещами: 1) какие операции может выполнять ключ, 2) какой путь внутри B2 может взять ключ, и 3) как долго он способен это сделать. Например, вы можете использовать ключ только для чтения, который имеет доступ только к одному ведро B2. Вы должны использовать этот ключ только для чтения в ситуациях, когда вам действительно не нужно записывать вещи в ведро, только читать или «отображать» их. Или вы можете использовать ключ «только для записи», который может записывать только в определенную папку внутри ведра. Все это приводит к более чистому коду с сегментированными операциями, по сути действуя как брандмауэры, если что-то пойдет наперекосяк.



Использовать случаи для ключей приложений
Одним из примеров использования ключа приложения является стандартная резервная операция. Если вы создаете резервную копию базы данных SQL, для этого вам не нужно использовать свой корневой уровень. Простое создание ключа, который может загружаться только в указанную папку, достаточно хорош.

Другим примером является приложение разработчика, создающее приложения внутри клиента. Этот разработчик хотел бы ограничить доступ и ограничить привилегии каждого клиента конкретными ведрами и папками — обычно на основе клиента, который выполняет операцию. Использование более закрытых ключей приложений ограничивает возможность того, что один из них может повлиять на всю систему.

Последним случаем может быть Управляемый поставщик услуг (MSP), который создает и использует разные ключи приложения для каждого клиента. Таким образом, ни клиент, ни MSP не могут случайно получить доступ к файлам другого клиента. Кроме того, MSP может иметь несколько ключей приложения для данного клиента, которые определяют разные уровни доступа к данным для определенных групп или отдельных лиц в организации клиента.

Надеемся, что это вам понравится
Вы один из тех, кто ждал поддержки ключа приложения? Мы будем рады услышать ваши варианты использования, которые звучат в комментариях ниже, с тем, над чем вы работаете!

www.backblaze.com/b2/docs/application_keys.html

По состоянию на 30 июня 2018 года в центрах обработки данных Backblaze было 100254 вращающихся жестких диска. Из этого числа было 1,989 загрузочных дисков и 98,265 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Мы также рассмотрим сравнение корпоративных и потребительских дисков, сначала рассмотрим наши 14-тонные диски Toshiba и представим вам две новые характеристики SMART. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

Статистика надежности жестких дисков для Q2 2018
Из 98,265 жестких дисков, которые мы наблюдали в конце Q2 2018, мы исключили из рассмотрения те приводы, которые использовались для тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков. Это оставляет нам 98,184 жестких диска. Таблица ниже охватывает только Q2 2018.


Примечания и наблюдения
Если модель привода имеет частоту отказа 0%, это просто означает, что во время Q2 2018 не было сбоев привода этой модели.

Годовой показатель сбоя (AFR) для Q2 составляет всего 1,08%, что значительно ниже АФК Q1 2018 и является нашим самым низким квартальным AFR. Тем не менее, квартальные показатели отказов могут быть нестабильными, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Drive.

Было 81 диск (98,265 минус 98,184), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков. Использование 45 приводов носит исторический характер, так как это количество дисков в наших оригинальных накопителях.

Миграция жестких дисков продолжается
Квартальная диаграмма Q2 2018 выше была основана на 98184 жестких дисках. Это было всего лишь на 138 жестких дисков, чем на Q1 2018, который был основан на 98 046 дисках. Тем не менее, мы добавили около 40 PB облачного хранилища в течение первого квартала. Если бы мы попытались сохранить 40 PB на 138 дополнительных дисках, добавленных в Q2, то каждый новый жесткий диск должен был хранить около 300 ТБ данных. В то время как жесткие диски на 300 ТБ были бы потрясающими, менее опасная реальность заключается в том, что мы заменили более 4 600 приводов 4 ТБ с почти 4 800 приводов 12 ТБ.

Возраст заменяемых приводов 4 ТБ составлял от 3,5 до 4 лет. Во всех случаях их уровень отказов составлял 3% AFR (годовой показатель отказов) или меньше, поэтому зачем их удалять? Простая плотность приводов — в этом случае три раза хранится в одном и том же корпусе. Сегодня четыре года службы — это время, когда финансовый смысл заключается в замене существующих дисков и создании нового объекта с новыми стойками и т. Д. Хотя есть несколько факторов, которые принимают решение о переносе на накопители с более высокой плотностью, сохраняя жесткие диски за пределами этого переломного пункта означают, что мы будем использовать ценную недвижимость для центров обработки данных.

Диски Toshiba 14 ТБ и SMART Stats 23 и 24
Во втором квартале мы добавили к нашему миксу двадцать 14 ТБ Toshiba (модель: MG07ACA14TA) (этого недостаточно, чтобы быть включенными в наши диаграммы), но это изменится, поскольку мы заказали еще 1200 дисков, которые будут развернуты в Q3. Это 9-пластинные накопители с гелием, которые используют технологию записи CMR / PRM (не SMR).

В дополнение к тому, что для нас были новые диски, приводы Toshiba 14 ТБ также добавляют две новые пары SMART stat: SMART 23 (состояние гелия ниже) и SMART 24 (верхнее состояние гелия). Оба атрибута сообщают о нормальных и необработанных значениях, причем исходные значения в настоящее время равны 0, а нормализованные значения равны 100. Когда мы узнаем больше об этих значениях, мы сообщим вам об этом. Тем временем, те из вас, кто использует наши данные теста жесткого диска, должны будут обновить вашу схему данных и загрузить сценарии для чтения в новых атрибутах.

Кстати, ни один из 20 приводов Toshiba 14 ТБ не прошел через 3 недели на службе, но еще слишком рано делать какие-либо выводы.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график отказов по продолжительности жизни для всех моделей жестких дисков, работающих по состоянию на 30 июня 2018 года. Для каждой модели мы вычисляем ее надежность, начиная с того момента, когда она была впервые установлена


Примечания и наблюдения
Комбинированный AFR для всех более крупных приводов (8-, 10- и 12 ТБ) составляет всего 1,02%. Многие из этих дисков были развернуты в прошлом году, поэтому в данных есть некоторая волатильность, но мы ожидаем, что эта общая ставка несколько снизится в течение следующих нескольких лет.

Общая частота отказов для всех жестких дисков в обслуживании составляет 1,80%. Это самый низкий показатель, который мы когда-либо достигали, с предыдущим минимумом 1,84% с 1-го квартала 2018 года.

Корпоративные и потребительские жесткие диски
В нашем обзоре состояния жестких дисков Q3 2017 мы сравнили две модели жестких дисков Seagate 8 ТБ: один диск с потребительским классом (модель: ST8000DM002), а другой — диск корпоративного класса (модель: ST8000NM0055). Давайте сравним показатели годовых убытков в течение всего периода с 3-го квартала 2017 года и 2-го квартала 2018 года:

Пожизненная AFR по состоянию на 3 квартал 2017 года

• 8 ТБ потребителей: 1,1% в год
• 8 корпоративных корпоративных дисков: 1,2% в год

Пожизненная AFR по состоянию на 2 квартал 2018 года

• 8 ТБ потребителей: 1.03% годовой нормы отказа
• 8 корпоративных корпоративных дисков: 0,97%

Хммм, похоже, что корпоративные диски «выигрывают». Но прежде чем мы объявим победу, давайте заглянем в несколько деталей.

Начнем с дней диска, общее количество дней работы всех жестких дисков данной модели.

• 8 ТБ потребителя (модель: ST8000DM002): 6 395 117 дней движения
• Предприятие 8 ТБ (модель: ST8000NM0055): 5 279 564 дня

Обе модели имеют достаточное количество рабочих дней и достаточно близки по общему числу. Пока никаких изменений в нашем заключении.

Затем мы рассмотрим доверительные интервалы для каждой модели, чтобы увидеть диапазон возможностей в двух отклонениях.

• 8 потребителей ТБ (модель: ST8000DM002): диапазон 0,9% до 1,2%
• предприятие 8 ТБ (модель: ST8000NM0055): диапазон 0,8% до 1,1%

Диапазоны близки, но возможны множественные исходы. Например, потребительский диск может быть ниже 0,9%, а корпоративный диск может достигать 1,1%. Это не помогает или не нарушает наш вывод.

Наконец, мы будем смотреть на возраст диска — на самом деле средний возраст, чтобы быть точным. Это среднее время в оперативном обслуживании, в месяцах, всех приводов данной модели. Мы начнем с момента, когда каждый диск достигнет примерно текущего количества дисков. Таким образом, добавление новых дисков (без замены) будет иметь минимальный эффект.


Когда вы ограничиваете количество дисков и средний возраст, AFR (годовая частота отказов) корпоративного диска последовательно ниже, чем у потребительского диска для этих двух моделей накопителей — хотя и не так много.
Является ли каждая модель предприятия лучше, чем любая соответствующая потребительская модель, неизвестна, но ниже приведены несколько причин, по которым вы можете выбрать один класс диска над другим:


Известно, что Backblaze является «экономным» при покупке дисков. Когда вы покупаете 100 дисков за раз или сталкиваетесь с кризисом накопителя, имеет смысл приобретать потребительские приводы. Когда вы начинаете покупать жесткие диски на 100 петабайт за раз, ценовой разрыв между корпоративными и потребительскими дисками сжимается до такой степени, что другие факторы вступают в игру.

Жесткие диски по номерам
С апреля 2013 года Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. В настоящее время более 100 миллионов записей. Полный набор данных, используемый для создания информации, представленной в этом обзоре, доступен на нашей странице данных на жестком диске. Вы можете бесплатно скачать и использовать эти данные для своей собственной цели. Все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze в качестве источника, если используете данные, 2) вы признаете, что несете единоличную ответственность за использование данных, и 3) вы не продаете эти данные никому. Это бесплатно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.

Удачи и сообщите нам, если вы найдете что-нибудь интересное в комментариях ниже или напрямую свяжитесь с нами.

По состоянию на 31 марта 2018 года у нас было 100 110 вращающихся жестких дисков. Из этого числа было 1,922 загрузочных диска и 98,188 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Мы также рассмотрим, почему мы собираем и сообщаем о 10 новых атрибутах SMART и получаем пик подхалима на некоторых дисках Toshiba объемом 8 ТБ. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

С апреля 2013 года Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. В настоящее время около 97 миллионов записей составляют 26 ГБ данных. Вы можете загрузить эти данные с нашего веб-сайта, если вы хотите провести собственное исследование, но для начала мы нашли то, что нашли.

Статистика надежности жестких дисков для Q1 2018
В конце Q1 2018 Backblaze контролировал 98,188 жестких дисков, используемых для хранения данных. Для нашей оценки ниже мы рассмотрим те диски, которые использовались для тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков. Это оставляет нам 98,046 жестких дисков. Таблица ниже охватывает только 1 квартал 2018 года.



Примечания и наблюдения
Если модель привода имеет коэффициент отказа 0%, это означает, что в течение первого квартала 2018 года не было ошибок привода этой модели.

Общая годовая ставка сбоев (AFR) для Q1 составляет всего 1,2%, что значительно ниже показателя QF 2014 года в размере 1,65%. Помните, что ежеквартальные показатели отказов могут быть неустойчивыми, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Drive.

Было 142 диска (98,188 минус 98,046), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков.

Приветствуем диски Toshiba 8TB, почти ...
Мы упомянули диски Toshiba 8 ТБ в первом абзаце, но они не отображаются в диаграмме статистики Q1. Что дает? У нас было только 20 из 8-ти томов Toshiba, работающих в Q1, поэтому они были исключены из графика. Почему у нас всего 20 дисков? Когда мы тестируем новую модель привода, мы начинаем с теста «tome», и для заполнения одного тома требуется 20 дисков. Тома — это одна и та же модель привода в том же логическом положении в каждом из 20 хранилищ, которые составляют хранилище Backblaze. В каждом хранилище есть 60 томов.

В этом тесте мы создали хранилище Backblaze Vault с 8 ТБ дисками, причем 59 из них являются накопителями Seagate 8 ТБ и 1 томом, являющимися дисками Toshiba. Затем мы контролировали производительность хранилища и его томов-членов, чтобы убедиться, что в этом случае диски Toshiba выполняются так, как ожидалось.



Пока что Toshiba работает отлично, но они работают только 20 дней. Следующим шагом является «тест подкачки», где мы заполняем накопитель под накопителями Toshiba и интегрируем его в хранилище Backblaze, состоящее из дисков подобного размера. Мы надеемся, что мы лучше рассмотрим диски Toshiba 8 ТБ в нашем отчете о Q2 — следите за обновлениями.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график коэффициентов сбоя на всю жизнь для всех моделей жестких дисков, в которых с 31 марта 2018 года функционируют 45 или более накопителей. Для каждой модели мы вычисляем их надежность, начиная с момента их первой установки.


Примечания и наблюдения
Частоты отказов всех более крупных приводов (8-, 10- и 12 ТБ) очень хорошие, 1,2% AFR (годовая частота отказов) или меньше. Многие из этих дисков были развернуты в прошлом году, поэтому в данных есть некоторая волатильность, но вы можете использовать интервал доверия, чтобы получить представление о процентном диапазоне отказа.

Общий показатель отказов 1,84% — это самый низкий показатель, который мы когда-либо достигали, с предыдущим минимумом 2,00% с конца 2017 года.

Наши постоянные читатели и владельцы дисков, возможно, заметили значительный скачок количества приводов HGST 8 ТБ (модель: HUH728080ALE600), с 45 в последнем квартале до 1045 в этом квартале. По мере того, как диски с 10 ТБ и 12 ТБ становятся более доступными, цена на терабайт приводов с 8 ТБ снизилась. Это дало возможность приобрести диски HGST по цене в соответствии с нашим бюджетом.

Мы купили и поместили в эксплуатацию 45 оригинальных приводов HGST 8 ТБ во втором квартале 2015 года. Они были нашими первыми накопителями, заполненными гелием, и нашими единственными, пока в Q3 2017 не прибыли диски с 10 ТБ и 12 ТБ Seagate. Мы возьмем первый посмотрите, действительно ли гелий влияет на частоту отказов дисков в предстоящем блоге.

Новые атрибуты SMART
Если вы ранее работали с данными или планировали данные на жестком диске, вы заметите, что мы добавили еще 10 столбцов данных, начиная с 2018 года. Есть 5 новых атрибутов SMART, которые мы отслеживаем с исходным и нормализованным значением:

• 177 — Дельта диапазона износа
• 179 — Используемый запас заблокированного блока Всего
• 181- Количество сбоев программы: общий или нечетный 4K
• 182 — Стереть количество сбоев
• 235 — Хорошее количество блоков и система (бесплатно) Количество блоков
• Все 5 значений связаны с дисками SSD.

Да, SSD-накопители, но прежде чем вы переходите к каким-либо выводам, мы использовали 10 Samsung 850 EVO SSD в качестве загрузочных дисков в течение некоторого периода времени в Q1. Это был эксперимент, чтобы увидеть, можно ли сократить время загрузки для накопителей. В нашем случае улучшенная скорость загрузки не стоила стоимости SSD, но она добавила 10 новых столбцов в данные статистики жесткого диска.

Говоря о данных статистики жесткого диска, полный набор данных, используемый для создания информации, используемой в этом обзоре, доступен на нашей странице данных теста жесткого диска.
Вы можете бесплатно скачивать и использовать эти данные для своей цели, все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze как источник, если используете данные; 2) вы признаете, что несете единоличную ответственность за то, как вы используете данные, и 3) вы не продаете эти данные никому. Это бесплатно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.

Зачем платить меньше за ту же услугу?
В прошлом месяце мы внесли изменения в Backblaze B2. Мы снизили стоимость загрузки B2 пополам, расширив нашу программу восстановления USB-снимков, предлагая возмещение, если жесткие диски будут отправлены нам обратно, и создали нашу программу Backblaze Fireball в модель самообслуживания, где вы можете засеять 70 ТБ данных в вашу учетную запись Backblaze B2. Для любой другой компании облачного хранилища все эти добавочные значения будут достаточными, но мы заметили, что чего-то не хватает.

Мы продолжали слышать от наших клиентов, что мы просто делали слишком много и не заряжали достаточно. Люди были обеспокоены нашей способностью оставаться на рынке, несмотря на нашу репутацию за последние 10 лет, предоставляя недорогое хранилище, все время работая с позитивным бизнесом с денежными потоками. Наши клиенты просто не могли поверить, что мы могли бы сохранить эту шараду намного дольше и потребовали, чтобы мы что-то делали, чтобы укрепить нашу финансовую стабильность и «прекратить отдавать все — практически бесплатно», даже если это означало, что мы будем делать больше денег.

Мы слушали, и сегодня мы с гордостью объявляем о новом сервисе, который дополняет наше дико популярное облачное хранилище B2 Cloud Storage: Backblaze Bling2 Cloud Storage. Он очень похож на Backblaze B2, фактически идентичный, за исключением одного незначительного изменения. Это в 4 раза дороже как для хранения, так и для загрузки, как и наши конкуренты! Мы уверены, что такой же уровень обслуживания для 4х цены понравится нашим пользователям, которые думают, что мы просто недостаточно заряжаем.

Если вы заинтересованы в этом Bling2, мы создали инструмент, который поможет вам рассчитать затраты на хранение с помощью Cloud2 Cloud Storage и сравнить его с ведущими поставщиками облачных хранилищ, такими как Backblaze B2, Amazon S3, Google Cloud Service и Microsoft Azure!



Надеемся, вам понравится этот новый сервис от Backblaze. Если вы считаете, что Backblaze B2 является слишком доступным, вы с удовольствием узнаете, что цены на хранилище Bling2 доступны вам по «отраслевому стандарту» с 4-кратной разметкой.

In Part 1 of HDD vs SSD: What Does the Future for Storage Hold?, we looked at the primary differences between HDDs and SSDs, the history of both of these types of data storage, and we considered the best uses for each.

In Part 2, we take a deeper look at the differences between HDDs and SSDs, how both HDD and SSD technologies are evolving, and how Backblaze takes advantage of SSDs in our operations and data centers.

www.backblaze.com/blog/hdd-vs-ssd-in-data-centers/

Using StarWind VTL


www.backblaze.com/blog/hybrid-cloud-example-veem-vtl-cloud/

Начиная с апреля 2013 года, Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. По состоянию на конец 2017 года около 88 миллионов записей составляют 23 ГБ данных. Вы можете загрузить эти данные с нашего веб-сайта, если вы хотите провести собственное исследование, но для начала мы нашли то, что нашли.

Overview
В конце 2017 года у нас было 93 240 вращающихся жестких дисков. Из этого числа было 1935 загрузочных дисков и 91 305 дисков данных. В этом сообщении просматривается статистика жестких дисков, с которой мы отслеживаем данные. Мы рассмотрим статистику для Q4 2017, всего 2017, а также статистику по времени для всех дисков, которые Backblaze использовала в наших центрах хранения облачных данных, так как мы начали отслеживать. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

Hard Drive Reliability Statistics for Q4 2017
В конце четвертого квартала 2017 года Backblaze контролировала 91,305 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключаем из рассмотрения те приводы, которые использовались для целей тестирования, и те модели привода, для которых у нас не было не менее 45 дисков (читайте, почему после диаграммы). Это оставляет нам 91,243 жестких диска. Таблица ниже представлена ​​на период 4 квартала 2017 года.


A few things to remember when viewing this chart:

• Указанная частота отказов составляет всего лишь четвертый квартал 2017 года. Если модель привода имеет коэффициент отказа 0%, это означает, что в течение Q4 2017 не было отказов дисков этой модели.
• Было 62 диска (91 305 минус 91,243), которые не были включены в список выше, потому что у нас не было по меньшей мере 45 данных модели привода. Самая распространенная причина, по которой у нас было бы менее 45 дисков одной модели, заключается в том, что нам нужно было заменить неисправный диск, и нам пришлось покупать другую модель в качестве замены, потому что оригинальная модель больше не была доступна. Мы используем 45 дисков той же модели, что и минимальное количество, чтобы претендовать на отчетность по квартальной, годовой и пожизненной статистике.
• Квартальные показатели отказов могут быть неустойчивыми, особенно для моделей с небольшим количеством дисков и / или с небольшим количеством дней движения. Например, накопитель Seagate 4 Тбайт, модель ST4000DM005, имеет годовую частоту отказов 29.08%, но это основано только на 1 255 дней на диске и 1 (один) отказ диска.
• AFR означает годовую частоту отказов, которая представляет собой прогнозируемую частоту отказов в течение года на основе данных только за этот квартал.

Bulking Up and Adding On Storage
Оглядываясь назад на 2017 год, мы не только добавили новые диски, но и «накопились», заменив функциональные и меньшие 2, 3 и 4 Тбайт диски с более крупными 8, 10 и 12 ТБ дисками. Изменения количества дисков за квартал показаны в таблице ниже:


В 2017 году мы добавили 25 746 новых дисков и потеряли 6 442 диска для выхода на пенсию для сети из 19 304 дисков. Когда вы смотрите на пространство для хранения, мы добавили 230 петабайт и вышли на пенсию в 19 петабайт, добавив нам 211 петабайт памяти в нашем центре обработки данных в 2017 году.

2017 Hard Drive Failure Stats
Ниже приведены статистические данные о сбое жесткого диска на весь срок службы моделей жестких дисков, которые были введены в эксплуатацию в конце четвертого квартала 2017 года. Как и в квартальных результатах выше, мы удалили все не производственные диски и любые модели, на которых было менее 45 дисков.


Приведенная выше диаграмма дает нам представление о времени жизни различных моделей накопителей в нашем центре обработки данных. Диаграмма Q4 2017 в начале сообщения дает нам снимок последней четверти тех же моделей.

Давайте рассмотрим те же модели с течением времени, в нашем случае за последние 3 года (2015-2017 гг.), Посмотрев на ежегодные показатели отказов за каждый из этих лет.


Частота отказов для каждого года рассчитывается только в этом году. Рассматривая результаты, можно сделать следующие замечания:

• Показатели отказов для обеих моделей 6 ТБ, Seagate и WDC, снизились за эти годы, в то время как количество приводов оставалось довольно последовательным из года в год.
• Несмотря на то, что показатели отказов для 3-вольтовых накопителей WDC также уменьшились, вы заметите, что в 2017 году мы перенесли почти 1000 из этих WDC-накопителей. В то время как остальные 180 WDC 3 ТБ-накопителей работают очень хорошо, уменьшение данных установить, что резко делает анализ тенденций подозрительным.
• Модель Toshiba 5 ТБ и модель HGST 8 TB имели нулевые неудачи за последний год. Это впечатляет, но с использованием всего лишь 45 дисков для каждой модели, а не статистически полезно.
• Модели HGST / Hitachi 4 TB обеспечили уровень отказов на 1,0% за каждый из трех лет. Удивительно.

A Few More Numbers
Чтобы сэкономить вам много часов, мы собрали данные, чтобы выявить следующие лакомые кусочки в отношении нашей постоянно меняющейся фермы на жестком диске.

• 116,833 — Количество жестких дисков, для которых у нас есть данные с апреля 2013 года до конца декабря 2017 года. В настоящее время существует 91 305 приводов (привод данных). Это означает, что 25 528 приводов либо потерпели неудачу, либо были удалены из службы по какой-то другой причине — обычно миграции.
• 29,844 — Количество жестких дисков, которые были установлены в 2017 году. Это включает в себя новые диски, миграции и замены сбоев.
• 81.76 — Количество жестких дисков, которые были установлены каждый день в 2017 году. Это включает в себя новые диски, миграции и замены сбоев.
• 95,638 — количество накопителей, установленных с момента начала ведения учета в апреле 2013 года до конца декабря 2017 года.
• 55.41. Среднее количество жестких дисков, установленных в день с апреля 2013 года до конца декабря 2017 года. Установками могут быть новые диски, замены миграции или замены сбоев.
• 1,508 — Количество жестких дисков, которые были заменены неудачно в 2017 году.
• 4.13. Среднее количество жестких дисков, которые потерпели неудачу каждый день в 2017 году.
• 6,795 — Количество жестких дисков, которые не прошли с апреля 2013 года до конца декабря 2017 года.
• 3.94. Среднее количество жестких дисков, которые потерпели неудачу каждый день с апреля 2013 года до конца декабря 2017 года.

www.backblaze.com/blog/hard-drive-failure-rates-q3-2017/

Our First 10 Petabyte Backblaze Vault
Ken clicked the submit button and 10 Petabytes of Backblaze Cloud Storage came online ready to accept customer data. Ken (aka the Pod Whisperer), is one of our Datacenter Operations Managers at Backblaze, and with that one click he activated Backblaze Vault 1093, which was built with 1,200 Seagate 10 TB drives (model: ST10000NM0086). After formatting and configuration of the disks, there is 10.12 Petabytes of free space remaining for customer data. Back in 2011, when Ken started at Backblaze, he was amazed that we had amassed as much as 10 Petabytes of data storage.

The Seagate 10 TB drives we deployed in vault 1093 are helium-filled drives. We had previously deployed 45 HGST 8 TB helium-filled drives where we learned one of the benefits of using helium drives — they consume less power than traditional air-filled drives. Here’s a quick comparison of the power consumption of several high-density drive models we deploy.


400 Petabytes of Cloud Storage