Backblaze Хостинг

Что не нравится в твердотельных накопителях (SSD)? Они быстрее, чем обычные жесткие диски (HDD), более компактны, не имеют движущихся частей, невосприимчивы к магнитным полям и могут противостоять большему количеству ударов и вибрации, чем обычные диски с магнитным диском. И они становятся доступными в больших и больших мощностях, в то время как их стоимость снижается.

Если вы обновили старый компьютер с помощью SSD, вы, несомненно, сразу же увидели преимущества. Ваш компьютер загружался за меньшее время, ваши приложения загружались быстрее, и даже когда вам не хватало памяти, а приложения и данные приходилось выгружать на диск, казалось, что все гораздо быстрее.

Сейчас мы видим SSD с емкостью, которая раньше была зарезервирована для жестких дисков и по ценам, которые больше не заставляют нас задуматься. SSD-накопители емкостью 500 ГБ теперь доступны по цене (менее 100 долл. США), а накопители емкостью 1 ТБ — по разумной цене (от 100 до 150 долл. США). Даже твердотельные накопители емкостью 2 ТБ попадают в бюджетный диапазон для создания высокопроизводительной настольной системы (от 300 до 400 долларов США).

Мы неоднократно писали в этом блоге о твердотельных накопителях и считали, что они лучше всего подходят для твердотельных накопителей по сравнению с жесткими дисками. Мы также написали о будущем твердотельных накопителей и о том, как мы их используем в наших центрах обработки данных, и планируем ли мы использовать их в будущем.



В этом посте мы рассмотрим вопрос надежности SSD. При всех своих достоинствах можно ли доверять твердотельным накопителям ваши данные, и будут ли они работать так же долго или дольше, чем если бы вы использовали вместо этого жесткий диск? Возможно, вы читали, что твердотельные накопители ограничены конечным числом операций чтения и записи до того, как они потерпят неудачу. О чем это все?

Суть вопроса в том, что диски SSD выходят из строя? Конечно, они делают, как и все диски в конце концов. Важные вопросы, которые нам действительно нужно задать, это: 1) они выходят из строя быстрее, чем жесткие диски, и 2) как долго мы можем разумно ожидать, что они продлятся?

Резервное копирование это здорово сделать
Конечно, как компания по хранению и резервному копированию данных, вы знаете, что мы собираемся сказать сразу. Мы всегда рекомендуем, чтобы независимо от того, какой носитель вы используете, у вас всегда должна быть резервная копия ваших данных. Даже если диск надежен и находится в хорошем состоянии, он не принесет пользы, если ваш компьютер будет украден, затоплен или потерян в результате пожара или другого стихийного бедствия. Возможно, вы слышали, что повреждение водой — самая частая компьютерная авария, и лишь немногие компоненты компьютера могут выдержать тщательное замачивание, особенно при питании.

Факторы надежности SSD для рассмотрения
Как правило, твердотельные накопители более долговечны, чем жесткие, в экстремальных и жестких условиях, поскольку в них нет движущихся частей, таких как рычаги привода. SSD лучше, чем HDD, могут противостоять случайным падениям и другим ударам, вибрации, экстремальным температурам и магнитным полям Добавьте к этому их небольшой размер и низкое энергопотребление, и вы поймете, почему они идеально подходят для ноутбуков и мобильных приложений.

Во-первых, давайте рассмотрим основы. Почти все типы современных твердотельных накопителей используют флэш-память NAND. NAND не является аббревиатурой от многих компьютерных терминов. Вместо этого это имя, которое происходит от логических элементов, называемых «НЕ И».



Термин, следующий за NAND, флэш, относится к энергонезависимой твердотельной памяти, которая сохраняет данные, даже когда источник питания удален. Хранилище NAND имеет особые свойства, которые влияют на его продолжительность. Когда данные записываются в ячейку NAND (также известную как программирование), данные должны быть удалены, прежде чем новые данные могут быть записаны в эту же ячейку. NAND программируется и стирается путем подачи напряжения для отправки электронов через изолятор. Расположение этих электронов (и их количество) определяет, когда ток будет течь между источником и стоком (так называемый порог напряжения), определяя данные, хранящиеся в этой ячейке (1 и 0). При записи и стирании NAND он отправляет электроны через изолятор и обратно, и изолятор начинает изнашиваться — точное число этих циклов в каждой отдельной ячейке зависит от конструкции NAND. В конце концов, изолятор изнашивается до такой степени, что он может испытывать трудности с удержанием электронов в их правильном (запрограммированном) положении, что делает все более трудным определение того, находятся ли электроны там, где они должны быть, или они мигрировали самостоятельно.

Это означает, что ячейки флэш-памяти могут быть запрограммированы и стерты только ограниченное количество раз. Это измеряется в циклах P / E, что означает программирование и стирание.

Циклы P / E являются важным измерением надежности SSD, но есть и другие факторы, которые также необходимо учитывать. Это циклы P / E, TBW (записанные терабайты) и MTBF (среднее время между сбоями).

Производитель SSD предоставит эти спецификации для своих продуктов, и они помогут вам понять, как долго будет работать ваш накопитель и подходит ли конкретный накопитель для вашего приложения.

Циклы P / E — цикл стирания программы в твердотельном хранилище — это последовательность событий, в которой данные записываются в твердотельную ячейку флэш-памяти NAND, затем стираются, а затем перезаписываются. Сколько циклов P / E может выдержать SSD, зависит от используемой технологии, где-то между 500 и 100 000 циклов P / E.

TBW — записанные терабайты — это общий объем данных, которые можно записать на твердотельный накопитель до того, как он может выйти из строя. Например, вот гарантии TBW для популярного твердотельного накопителя Samsung 860 EVO: 150 TBW для модели на 250 ГБ, 300 TBW для модели на 500 ГБ, 600 TBW для модели на 1 ТБ, 1200 TBW для модели на 2 ТБ и 2400 TBW для модели на 4 ТБ, Примечание: на эти модели предоставляется гарантия 5 лет или TBW, в зависимости от того, что наступит раньше.

MTBF — MTBF (среднее время между отказами) — это показатель надежности аппаратного продукта или компонента в течение ожидаемого срока его службы. Для большинства компонентов мера обычно составляет тысячи или даже десятки тысяч часов между отказами. Например, среднее время наработки на отказ жесткого диска может составлять 300 000 часов, а на твердотельном накопителе — 1,5 миллиона часов.

Это не означает, что ваш SSD прослужит столько часов, что означает, что, учитывая набор образцов этой модели SSD, ошибки будут возникать с определенной частотой. MTBF 1,2 миллиона часов означает, что, если диск используется в среднем по 8 часов в день, ожидается, что при выборке из 1000 твердотельных накопителей будет происходить один сбой каждые 150 дней или примерно два раза в год.

Типы SSD
Существует целый ряд различных типов твердотельных накопителей, и развитие технологий продолжается быстрыми темпами. Как правило, твердотельные накопители основаны на четырех различных технологиях ячеек NAND:

SLC (одноуровневая ячейка) — один бит на ячейку
Когда хранится один бит (SLC), нет необходимости держать закрытые вкладки о расположении электронов, поэтому миграция нескольких электронов не представляет большой проблемы. Поскольку сохраняется только 1 или 0, необходимо только точно определить, течет ли напряжение или нет.

MLC (многоуровневая ячейка) — два бита на ячейку
MLC хранит два бита на ячейку, поэтому требуется большая точность (определение порога напряжения является более сложным). Необходимо различать 00, 01, 10 или 11. Мигрирующие электроны оказывают большее влияние, поэтому изолятор нельзя носить так же часто, как с SLC.

TLC (трехуровневая ячейка) — три бита на ячейку
Эта тенденция продолжается с TLC, где хранятся три бита: 001, 010, 100,… 110 и 111. Мигрирующие электроны имеют больший эффект, чем в MLC, что дополнительно снижает допустимый износ изолятора.

QLC (Quad Level Cell) — четыре бита на ячейку
QLC хранит четыре бита (16 возможных комбинаций 1 и 0). С QLC мигрирующие электроны имеют наиболее значительный эффект. Допустимый износ изолятора еще больше уменьшается.

QLC хорошо подходит для рабочих нагрузок, ориентированных на чтение, потому что ячейки NAND изнашиваются пренебрежимо мало при чтении данных, а больше — при записи данных (программирование и стирание). При записи и перезаписи большого количества данных изолятор изнашивается быстрее. Если ячейка NAND может выдержать этот износ, она хорошо подходит для смешанного доступа для чтения / записи. Чем меньше износоустойчивых ячеек NAND, тем лучше они подходят для рабочих нагрузок и приложений, ориентированных на чтение.

Каждая последующая технология для NAND позволяет хранить дополнительный бит. Чем меньше бит на ячейку NAND, тем быстрее, надежнее и энергоэффективнее технология, а также она дороже. Технически твердотельный накопитель SLC будет самым надежным твердотельным накопителем, поскольку он может выдерживать большее количество операций записи, а QLC наименее надежный. Если вы выбираете SSD для приложения, в котором оно будет записано больше, чем прочитано, то выбор технологии ячейки NAND может стать важным фактором в вашем решении. Если ваше приложение предназначено для общего использования на компьютере, оно, скорее всего, будет иметь для вас меньшее значение.

Как факторы надежности влияют на ваш выбор SSD
Насколько эти факторы важны для вас, зависит от того, как используется SSD. Правильный вопрос — как диск будет работать в вашем приложении? Существуют разные критерии производительности и надежности в зависимости от того, будет ли SSD использоваться на домашнем настольном компьютере, в центре обработки данных или на исследовательской машине на Марсе.

Производители иногда указывают тип рабочей нагрузки приложения, для которой предназначен SSD, такой как интенсивная запись, интенсивное чтение или смешанное использование. Некоторые поставщики позволяют заказчику выбрать оптимальный уровень выносливости и емкости для конкретного твердотельного накопителя. Например, корпоративный пользователь с базой данных с большим количеством транзакций может выбрать большее число операций записи на диск за счет емкости. Или пользователь, работающий с базой данных, которая выполняет редкие записи, может выбрать меньшее число записей на диске и большую емкость.

Признаки отказа SSD
SSD в конечном итоге выйдет из строя, но обычно есть предварительные предупреждения о том, когда это произойдет. Вы, вероятно, столкнулись со страшным щелкающим звуком, который исходит от умирающего жесткого диска. SSD не имеет движущихся частей, поэтому мы не получим звукового предупреждения о том, что SSD собирается подвести нас. Вам следует обратить внимание на ряд показателей того, что срок службы вашего SSD приближается к концу, и принять меры, заменив этот диск на новый.

1) Ошибки, связанные с плохими блоками
Подобно плохим секторам на жестких дисках, на SSD есть плохие блоки. Обычно это сценарий, когда компьютер пытается прочитать или сохранить файл, но это занимает необычно много времени и заканчивается неудачей, поэтому система в конечном итоге сдается с сообщением об ошибке.

2) Файлы не могут быть прочитаны или записаны
Существует два способа, которыми плохой блок может повлиять на ваши файлы: 1) система обнаруживает плохой блок при записи данных на диск и, таким образом, отказывается записывать данные, и 2) система обнаруживает плохой блок после того, как данные был написан, и поэтому отказывается читать эти данные.

3) Файловая система нуждается в восстановлении
Получение сообщения об ошибке на экране может происходить просто потому, что компьютер не был выключен должным образом, но это также может быть признаком того, что на SSD возникают плохие блоки или другие проблемы.

4) Сбой во время загрузки
Сбой во время загрузки компьютера является признаком того, что на вашем диске может возникнуть проблема. Вы должны убедиться, что у вас есть текущая резервная копия всех ваших данных, прежде чем она ухудшится и диск выйдет из строя полностью.

5) диск становится только для чтения
Ваш диск может отказаться записывать больше данных на диск и может только читать данные. К счастью, вы все еще можете получить свои данные с диска.

Как правило, твердотельные накопители будут работать столько, сколько вам нужно
Давайте вернемся к двум вопросам, которые мы задали выше.

Вопрос 1: SSD отказывают быстрее, чем HDD?

Ответ: Это зависит от технологии накопителей и от того, как они используются. Жесткие диски лучше подходят для одних приложений и SSD для других. Можно ожидать, что твердотельные накопители будут работать дольше или дольше, чем жесткие диски в большинстве общих приложений.

Вопрос 2: Как долго мы можем ожидать, что SSD будет работать долго?

Ответ: В идеале твердотельный накопитель должен длиться столько, сколько его производитель ожидает (например, пять лет), при условии, что использование накопителя не является чрезмерным для технологии, которую он использует (например, использование QLC в приложении с большим количеством пишет). Ознакомьтесь с рекомендациями производителя, чтобы убедиться, что использование SSD соответствует его наилучшему использованию.

SSD — это другое поколение животных, нежели HDD, и они имеют свои сильные и слабые стороны по сравнению с другими носителями. Хорошей новостью является то, что их сильные стороны — скорость, долговечность, размер, энергопотребление и т. Д. — подкреплены довольно хорошей общей надежностью.

Пользователи твердотельных накопителей гораздо чаще заменяют свои накопители, потому что они готовы перейти на более новую технологию, более высокую емкость или более быстрый накопитель, чем необходимость замены накопителя из-за короткого срока службы. При нормальном использовании мы можем ожидать SSD до последних лет. Если вы заменяете компьютер каждые три года, как это делают большинство пользователей, вам, вероятно, не нужно беспокоиться о том, будет ли ваш SSD работать столько же, сколько и ваш компьютер. Важно то, будет ли SSD достаточно надежным, чтобы вы не потеряли свои данные в течение срока его службы.

Как мы видели выше, если вы будете обращать внимание на свою систему, вы получите достаточно предупреждений о надвигающемся сбое диска, и вы можете заменить диск до того, как данные станут недоступны для чтения.

Merriam-Webster определяет музей как «учреждение, занимающееся приобретением, уходом, изучением и демонстрацией объектов, представляющих длительный интерес или ценность». Учитывая это определение, мы хотели бы представить музей стручков Backblaze Storage. В то время как некоторые люди думают о музее как о месте статичных, устаревших артефактов, другие понимают, что эти артефакты могут рассказать историю со временем экспериментов, эволюции и инноваций. Это, безусловно, имеет место с нашими модулями хранения. Скромность не позволяет нам сказать, что мы изменили индустрию хранения с помощью нашего дизайна Storage Pod, поэтому допустим, что мы добавили много красного на изображение.

На протяжении многих лет Ларри, наш менеджер центра обработки данных, хранил различные версии наших модулей хранения данных после их вывода из эксплуатации. Он также сохранил диски, SATA-карты, источники питания, кабели и многое другое. Слава Богу. С оборудованием, которое сохранили тенденции Ларри, и несколькими текущими модулями хранения, которые мы позаимствовали (тссс, не говори Ларри), мы смогли запустить Музей модулей хранения Backblaze. Давайте сделаем короткое фото-путешествие по годам.

До хранения Pod 1.0
До того, как мы анонсировали Storage Pod 1.0 миру почти 10 лет назад, мы уже создали около двадцати или около того Storage Storage Pod. Эти ранние модули использовали накопители Western Digital 1,0 ТБ Green. Было несколько прототипов, но как только мы начали производство, мы остановились на конструкции с 45 дисками и 3 рядами из 15 вертикально установленных дисков. Мы заказали первую партию из десяти шасси, а затем обнаружили, что у нас нет отверстия для включения / выключения. Мы импровизировали.




Storage Pod 1.0 — петабайты на бюджете
Мы познакомили мир хранения с недорогим облачным хранилищем с помощью Storage Pod 1.0. Забавно, но мы не называли это нововведение версией 1.0 — это просто Backblaze Storage Pod. Мы не только представили Storage Pod, но и открыли дизайн, опубликовали спецификации дизайна, список деталей и многое другое. Люди обратили внимание. Мы представили конструкцию с накопителями Seagate емкостью 1,5 ТБ для общего объема хранения 67 ТБ. Эта версия также имела системную плату Intel для настольных ПК (DG43NB) и 4 ГБ памяти.







Storage Pod 2.0 — больше петабайт в бюджете
Storage Pod 2.0 был в два раза больше системы, чем 1.0. У него было вдвое больше памяти, вдвое больше скорости и вдвое больше памяти, но он был в том же шасси с тем же количеством дисков. Все это в совокупности позволяет снизить стоимость одного гигабайта системы Storage Pod более чем на 50%: с 0,117 долл. США / ГБ в версии 1 до 0,055 долл. США / ГБ в версии 2.


Среди изменений: системная плата для настольных ПК в V1 была обновлена ​​до материнской платы серверного класса, мы упростили использование трех четырехпортовых карт SATA и снизили стоимость самого шасси. Кроме того, мы использовали жесткие диски Hitachi (HGST) объемом 3 ТБ в Storage Pod 2.0, чтобы удвоить общий объем хранилища до 135 ТБ. В течение срока службы эти накопители HGST имели годовой процент отказов 0,82%, причем последний из них был заменен во втором квартале 2017 года.

Storage Pod 3.0 — Хорошие вибрации
Storage Pod 3.0 — это первая значительная модернизация шасси в наших усилиях по упрощению обслуживания и предоставлению возможности использовать более широкий спектр компонентов. Самым заметным изменением стало введение крышек дисков — по одной на каждый ряд из 15 дисков. Каждая крышка удерживалась на месте парой стальных стержней. Крышки дисков удерживали приводы внизу на месте и заменяли ранее использованные ленты дисков. Материнская плата и процессор были обновлены, и мы использовали память, сертифицированную Supermicro. Кроме того, мы добавили стойки в корпус, чтобы можно было использовать материнские платы Micro ATX, если это необходимо, и добавили отверстия, где это необходимо, чтобы кто-то мог использовать один или два 2,5-дюймовых диска в качестве загрузочных — мы используем один 3,5-дюймовый диск.



Storage Pod 4.0 — прямой провод
В рамках Storage Pod 3.0 Protocase помог спроектировать, а затем построить наши модули хранения. За это время они также разработали и выпустили версию с прямым проводом, которая заменила девять объединительных плат прямой проводкой к платам SATA. Storage Pod 4.0 был основан на технологии прямого провода. Мы развернули небольшое количество этих систем, но мы столкнулись с проблемами драйверов между нашим программным обеспечением и новыми картами SATA. В конце концов, мы вернулись к нашим объединительным платам, и Protocase продолжил работу с прямыми проводными системами, которые они продолжили успешно развертывать. Вывод: есть несколько способов добиться успеха с дизайном Storage Pod.


Storage Pod 4.5 — объединительные платы вернулись
Эта версия началась с дизайна Storage Pod 3.0 и представила новые 5-портовые объединительные платы и была обновлена ​​до плат SATA III. Обе эти части были построены на чипсетах Marvell. Задние панели, которые мы ранее использовали, постепенно сокращались, что побудило нас изучить другие альтернативы, такие как прямые проволочные каркасы. Теперь у нас была готовая поставка 5-портовых объединительных плат, и Storage Pod 4.5 был готов к работе.


Мы также начали использовать Evolve Manufacturing для создания этих систем. Они были расположены недалеко от Backblaze и могли масштабироваться для удовлетворения наших постоянно растущих производственных потребностей. Кроме того, они были полны отличных идей о том, как улучшить дизайн Storage Pod.

Storage Pod 5.0 — эволюция от шасси вверх
В то время как Storage Pod 3.0 была первой переработкой шасси, Storage Pod 5.0 на сегодняшний день была наиболее существенной. Работая с Evolve Manufacturing, мы изучили все, вплоть до заклепок и стоек, в поисках лучшего, более экономичного дизайна. Движущей силой многих дизайнерских решений стало внедрение Backblaze B2 Cloud Storage, которое было разработано для работы с нашей архитектурой Backblaze Vault. С точки зрения производительности мы обновили материнскую плату и процессор, увеличили объем памяти в четыре раза, увеличили сетевую плату до 10 ГБ на материнской плате и перешли с SATA II на SATA III. Мы также полностью переделали кожухи дисков, заменив крышки с 15 приводами на девять отсеков с пятью дисками с направляющими.










Storage Pod 6.0 — 60 накопителей
Storage Pod 6.0 увеличил объем хранилища с 45 до 60 дисков. У нас было много вопросов, когда эта идея была впервые предложена, например, что нам нужно: больше блоков питания (ответ: нет), больше памяти (нет), больший процессор (нет) или больше вентиляторов

Еще в 2008 году мы построили наш неограниченное обслуживание компьютеров резервного копирования и предложил всего за $ 5 / месяц. В то время как большинство других безлимитные предложения ушли, мы не только приверженны неограниченное резервное копирование, мы также улучшили наш сервис, обеспечивая более быстрое резервное копирование и больше возможностей. Мы смирились быть поручена более чем 750,000,000 гигабайт данных на сотни тысяч клиентов.

После более чем десяти лет, мы приняли решение о повышении цен в первый раз. Я поделился более подробно на нашем мыслительном процессе и принятия решения в сегодняшнем блоге: Обновления подписки для компьютера резервного копирования.

Эффективен для новых покупок и продлений после 11 марта 2019 года в 5PM Тихого океана, наши цены будут меняться от $ 5 до $ 6 в месяц, $ 50 до $ 60 в год, и $ 95 до $ 110 за планов два года.

Как спасибо наших существующих клиентов, мы предоставляем возможность приобрести продление на 1 год для существующих лицензий на $ 50 за лицензию (наши оригинальные цены от более десяти лет назад).
help.backblaze.com/hc/en-us/articles/360016393473

Мы опубликовали наш первый отчет «Статистика жесткого диска» чуть более 5 лет назад, 21 января 2014 года. Мы назвали этот отчет «Какой жесткий диск мне следует купить». Оглядываясь назад, это могло бы показаться немного чрезмерным, но мы были публиковать данные, которых в принципе не было.

Многим людям нравятся наши отчеты, некоторым нет, а некоторым — нет, и это нормально. С самого начала идея состояла в том, чтобы поделиться нашим опытом и использовать наши данные, чтобы пролить свет на непрозрачный мир жестких дисков. Мы надеемся, что вам понравилось читать наши отчеты, и мы с нетерпением ждем публикации их, пока люди находят их полезными.
Спасибо.

По состоянию на 31 декабря 2018 года у нас было 106 919 вращающихся жестких дисков. Из этого числа было 1 965 загрузочных дисков и 104 954 дисков с данными. В этом обзоре рассматривается частота отказов жесткого диска для моделей дисков данных, работающих в наших центрах обработки данных. Кроме того, мы рассмотрим новые модели жестких дисков, которые мы добавили в 2018 году, в том числе наши жесткие диски Toshiba емкостью 12 ТБ и 14 ТБ. По пути мы поделимся наблюдениями и знаниями по представленным данным, и мы с нетерпением ждем, чтобы вы сделали то же самое в комментариях.

Показатели отказов жестких дисков 2018 года: что говорят нам более 100 000 жестких дисков
В конце 2018 года компания Backblaze провела мониторинг 104 954 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключаем из рассмотрения те диски, которые использовались в целях тестирования, и модели, для которых у нас не было как минимум 45 дисков (см. Почему ниже). Это оставляет нам с 104 778 жестких дисков. В таблице ниже показано, что произошло только в 2018 году.


Примечания и наблюдения
Если в модели накопителя частота отказов составляет 0%, это означает, что в течение 2018 г. не было отказов накопителей этой модели.

В 2018 году заявленный годовой процент отказов (AFR) обычно довольно солидный. Исключение составляют случаи, когда в данной модели накопителей имеется небольшое количество накопителей (менее 500) и / или небольшое количество дней накопителей (менее 50 000). В этих случаях APR может быть слишком шатким, чтобы его можно было надежно использовать для принятия решений о покупке или выходе на пенсию.

Было 176 дисков (104 954 минус 104 778), которые не были включены в список выше. Эти диски либо использовались для тестирования, либо у нас не было как минимум 45 дисков данной модели. Мы используем 45 накопителей той же модели, что и минимальное количество, при составлении квартальной, годовой и пожизненной статистики накопителей. Это историческое число, основанное на количестве дисков, необходимых для заполнения одного модуля хранения Backblaze (версия 5 или более ранняя).

Годовая частота отказов (AFR) для 2018 года для всех моделей приводов составила всего 1,25%, что значительно ниже показателей предыдущих лет, о чем мы поговорим позже в этом обзоре.

Что нового в 2018 году
В 2018 году основной тенденцией стала миграция жестких дисков: замена дисков с меньшей плотностью 2, 3 и 4 ТБ на 8, 10, 12 и в Q4, 14 ТБ. В 2018 году мы перенесли 13 720 жестких дисков и добавили еще 13 389 жестких дисков, увеличив общий объем хранилища с примерно 500 петабайт до более 750 петабайт. Таким образом, в 2018 году специалисты нашего центра обработки данных мигрировали или добавляли 75 дисков в день в среднем каждый день в году.

Вот краткий обзор того, что нового в 2018 году.

• Приводов Western Digital емкостью 4 ТБ не более; последний из них был заменен в 4 квартале. Это оставляет нам только 383 накопителя Western Digital — все диски емкостью 6 ТБ. Это 0,37% нашего парка автомобилей. У нас есть много накопителей от HGST (принадлежащих WDC), но за эти годы мы так и не смогли получить необходимое количество накопителей Western Digital по разумной цене.
• Говоря о дисках HGST, в четвертом квартале мы добавили 1200 дисков HGST объемом 12 ТБ (модель: HUH721212ALN604). Ранее мы тестировали эти диски в Q3 без сбоев, поэтому мы заполнили хранилище Backblaze 1200 дисками. Примерно через месяц у нас был только один сбой, так что они начали хорошо.
• У накопителей HGST есть свои пути, так как в четвертом квартале мы также добавили 6 045 накопителей Seagate 12 ТБ (модель: ST12000NM0007), чтобы довести нас до 31 146 накопителей этой модели. Это 29,7% нашего парка автомобилей.
• Наконец, в четвертом квартале мы добавили 1200 дисков Toshiba объемом 14 ТБ (модель: MG07ACA14TA). Это заполненные гелием приводы PMR (перпендикулярная магнитная запись). Начальная годовая частота отказов (AFR) составляет чуть более 3%, что аналогично другим новым моделям, и мы ожидаем, что AFR будет со временем падать по мере установки накопителей.

Сравнение частоты отказов жесткого диска с течением времени
Когда мы сравним статистику по жестким дискам за 2018 год с предыдущими годами, мы увидим две вещи. Во-первых, переход на более крупные диски, а во-вторых, улучшение общей годовой частоты отказов каждый год. В приведенной ниже таблице сравнивается каждый из последних трех лет. Данные за каждый год включают только этот год.

Примечания и наблюдения

• В 2016 году средний объем используемых жестких дисков составил 4,5 ТБ. К 2018 году средний размер вырос до 7,7 ТБ.
• Годовая частота отказов в 1,28% в 2018 году была самой низкой из всех зарегистрированных за год.
• Ни один из 45 дисков Toshiba объемом 5 ТБ (модель MD04ABA500V) не вышел из строя со второго квартала 2016 года. Несмотря на то, что количество накопителей небольшое, это все еще довольно хороший пробег.
• Диски Seagate 10 ТБ (модель: ST10000NM0086) продолжают впечатлять, поскольку их AFR на 2018 год составлял всего 0,33%. Это основано на 1220 дисках и почти 500 000 гоночных дней, что делает AFR довольно солидным.

Статистика срока службы жесткого диска
Хотя сравнение годовых показателей отказов жестких дисков в течение нескольких лет является отличным способом определения тенденций, мы также смотрим на показатели годичных отказов наших жестких дисков в течение всего срока службы. На приведенной ниже диаграмме представлены показатели годовой частоты отказов всех накопителей, которые в настоящее время находятся в производстве.


Жесткий диск Статистика вебинар
Мы представим вебинар « Backblaze Hard Drive Stats для 2018 года » в четверг, 24 января 2019 года, в 10:00 по тихоокеанскому времени. На вебинаре будут более подробно рассмотрены ежеквартальные, годовые и пожизненные характеристики накопителей на жестких дисках, а также годовая и пожизненная статистика по размеру накопителя и производителю. Для просмотра вебинара вам необходимо подписаться на канал Backblaze BrightTALK. Зарегистрируйтесь сегодня www.brighttalk.com/webcast/14807/346376

Статистика по жесткому диску
Полный набор данных, использованный для создания информации, использованной в этом обзоре, доступен на нашей странице с данными испытаний жесткого диска. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, что мы просим, ​​- это три вещи: 1) вы цитируете Backblaze в качестве источника, если вы используете данные, 2) вы соглашаетесь с тем, что несете полную ответственность за то, как вы используете данные, и 3) вы не продаете эти данные кому-либо; это свободно.

Если вы просто хотите, чтобы сводные данные использовались для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий CSV-файл.

Backblaze отпразднует свой 12-й год в бизнесе уже 20 апреля. Мы неуклонно росли на протяжении многих лет, и в этом году достигли 30 миллионов долларов США (годовой доход). Мы достигли этого с помощью всего лишь 3,1 млн. Долл. США в течение многих лет, с самого начала мы успешно основали компанию с помощью взносов учредителей и движения денежных средств.

В прошлом году наш генеральный директор и соучредитель Глеб Будман написал серию постов по предпринимательству, в которых подробно описывались наши первые годы и некоторые уроки, которые предприниматели могут подать на себя.

Недавно Глеб провел дополнительный вебинар по BrightTALK, посвященный многим основным пунктам серии.
Учитывая временные ограничения, с которыми сталкивается большинство предпринимателей, я остановлюсь на том, что я считаю некоторыми из ключевых уроков для стартапов, которые Глеб изложил как в предпринимательской серии, так и на вебинаре.

Создание вашего продукта
Первая статья Глеба «С чего началась Backblaze: проблема, решение и промежуточный материал» начинается с одного из самых важных аспектов для любой успешной компании: определения реальной проблемы, которую вы пытаетесь решить. По словам Глеба: «Предприниматель строит вещи для решения проблем — своих или чужих».

Итак, вопрос в том, как вы решаете проблему? Самое очевидное место для начала — это посмотреть на болевые точки, которые вы пытаетесь решить, а затем определить конкретные элементы, которые способствуют им. Можете ли вы решить проблему, убрав или заменив один из этих элементов или несколько элементов? Или это вопрос добавления новых элементов, чтобы убрать болевые точки?

В нашем случае на рынке была очевидная потребность в резервном копировании компьютеров. На рынке уже были решения, которые, по крайней мере теоретически, предоставляли решение для резервного копирования, но большинство людей все еще не использовали его. Вопрос был почему?

То, что решения существуют, не означает, что проблема решена. После серии глубоких рассуждений о том, почему люди не создавали резервные копии, мы обнаружили, что основная проблема заключалась в том, что решения для резервного копирования были слишком сложными для большинства людей. Они признали, что должны выполнять резервное копирование, но не хотели тратить время на изучение того, как использовать один из существующих сервисов. Таким образом, проблема, которую Backblaze изначально решала, была не резервным копированием в целом, а устранением кривой обучения для использования решения для резервного копирования.

Как только у вас есть четко определенная проблема, вы можете приступить к разработке решения, которое ее решит. Конечно, само решение, скорее всего, будет определяться рыночными силами, прежде всего ценой. Как Глеб затрагивает в следующем видео ролике, цены должны быть встроены в решение с самого начала.

Выжить свой первый год
После того как вы определили проблему, которую хотите решить, следующим шагом будет создание инфраструктуры, то есть компании, для создания решения. Помня об этом, вашими первостепенными задачами на этот первый год должны быть: правильно настроить компанию, создать и запустить минимально жизнеспособный продукт, а главное — выжить.

Правильная организация компании имеет решающее значение. Компания так же успешна, как и люди в ней. На всех этапах роста важно, чтобы люди имели четкие определения того, что от них ожидается, но вначале особенно важно убедиться, что люди знают, что им нужно делать, и видение, которое движет бизнесом.

С самого начала вам нужно определить необходимые компании, продукты и ресурсы для разработки, определить роли, которые необходимо заполнить, и распределить обязанности, как только ключевые игроки начнут присоединяться к вашей команде. На начальных этапах стартапа очень часто все работают над одними и теми же задачами в демократическом процессе. Это может быть хорошо для морального состояния в начале, но может привести к отсутствию сфокусированного направления. Лидерство должно появиться и помочь направить компанию к общему видению. С четко определенными ролями и обязанностями члены команды могут сотрудничать в достижении определенных этапов, обеспечивая дальнейший импульс.

Гораздо менее интересной, но не менее важной основой для стартапа является юридическое лицо. Легко увлечься созданием продукта и отложить менее интересные юридические аспекты, пока вы не будете готовы к запуску. Тем не менее, попытка установить все законодательные требования задним числом гораздо сложнее.

Коэффициенты владения (долевого участия) должны быть зафиксированы в самом начале компании. Принятие этого может избежать многих потенциальных столкновений в будущем. Если вы планируете собирать деньги, вам нужно будет включить и выпустить акции. Вы также можете создать документ о передаче информации о правах собственности и изобретениях (PIIA), в котором говорится, что все, над чем вы работаете, принадлежит компании.

Как только (по общему признанию, не очень захватывающие) юридические аспекты будут приняты во внимание, фокус действительно сместится на создание вашего минимально жизнеспособного продукта (MVP) и его запуск. Естественно хотеть создать идеальный продукт, но на сегодняшнем рынке лучше сосредоточиться на том, что вы считаете наиболее важными функциями и выпуском. Как пишет Глеб в «Surviving Your First Year», «запуск заставляет ограничиться набором функций, которые имеют решающее значение, сплачивает компанию вокруг цели, начинает повышать осведомленность о вашей компании и решении и продвигает процесс обучения». MVP, вы начнете получать отзывы, а затем начнется процесс итерации: подробнее об этом позже.

Наконец, когда дело доходит до выживания вашего первого года, всегда старайтесь сохранить свои деньги. Может показаться заманчивым масштабирование настолько быстро, насколько это возможно, наняв гораздо больше сотрудников и создав инфраструктуру, но минимизация скорости сгорания обычно важнее для долгосрочного успеха. Например, Backblaze потратила всего 94 тыс. Долларов на создание и запуск своей бета-версии онлайн-сервиса резервного копирования. Если вы слишком быстро масштабируете сотрудников и инфраструктуру своего стартапа, вам, возможно, придется поторопиться, чтобы найти больше средств, что обычно означает большее разбавление и больше посторонних, говорящих вам, что вы должны делать, — не очень хорошо, когда вы только начинаете и пытаетесь достичь ваше видение

Глеб подробнее расскажет об этом видео:

Получение ваших первых клиентов
Когда вы, наконец, готовы к работе, вы должны ориентироваться на людей, которые дадут вам множество отзывов в качестве ваших первых клиентов. Часто это означает, что друзья и даже члены семьи готовы высказать свое мнение о том, что вы делаете. Очень важно, чтобы ваши близкие люди давали честные отзывы, так как комментарии с сахарным покрытием могут на самом деле привести вас к неверным выводам о вашем продукте.

Если у вас есть возможность оценить первоначальный отзыв и повторить его, рассмотрите возможность частного бета-запуска. Первоначальная цель запуска Backblaze заключалась в том, чтобы привлечь к услуге 1000 человек. В своей статье «Как получить первых 1000 клиентов» Глеб подробно рассказывает о том, как Backblaze успешно использовала PR-аутрич для достижения цели запуска бета-версии.

Одной из использованных тактик PR было дать ограниченное количество приглашений на бета-тестирование, таких как Techcrunch, ArsTechnica и SimpleHelp. Это не только повысило осведомленность, но и дало ранним пользователям бета-версии ощущение исключительности, что помогло заставить пользователей бета-версии предоставить честную обратную связь.

Не менее важно иметь систему для сбора контактной информации от всех, кто проявляет интерес, даже если вы не можете обслуживать их в данный момент. Вы всегда хотите построить конвейер для своих клиентов, и наличие механизмов для сбора потенциальных клиентов важно для устойчивого роста.

Стартовые максимумы и минимумы
Неизбежно, что каждому начинающему предпринимателю придется столкнуться с рядом неожиданных минимумов, которые вытеснят то, что кажется все более редкими максимумами. Работа с обоими жизненно важна для поддержания вашего бизнеса (и вашего психического здоровья). Часто то, что на первый взгляд кажется низкой точкой, может вдохновить действия, которые в конечном итоге помогут поднять ваш бизнес на новый уровень.

В следующем ролике Глеб приводит несколько примеров, казалось бы, низких моментов, которые Backblaze в конечном итоге смогла превратить в победы, или, как Глеб говорит, «превращая лимоны в лимонад». Примечание: я недавно написал пост о подобных изменениях в области социальных сетей: Лимонад: важность социальных сетей и сообщества.

Когда Джону нужно было открыть хранилище Backblaze Storage Pod для обслуживания в нашем центре обработки данных Phoenix, это было не так просто, как можно было бы подумать. С стальным корпусом, 60 жесткими дисками, объединительными панелями, двумя блоками питания и другими компонентами, каждый блок может весить до 150 фунтов.

Однако была еще большая проблема, чем вес стручка. Подставка для хранения разделена на две основные секции: секцию привода и секцию обработки, каждая из которых имеет отдельные панели доступа. Чтобы заменить привод, вам необходимо открыть панель доступа спереди, что требует сдвигания Storage Pod спереди. Чтобы заменить источник питания или, возможно, переустановить карту или кабель SATA, вы предпочтете сдвинуть корпус из задней части шкафа, потому что это дает вам лучший доступ к панели на задней панели корпуса.

Backpaze 6.0 Storage Pod с 60 дисками (спереди)

Проблема заключалась в том, что выполнение этого было сложно, если не невозможно, со всеми силовыми кабелями, которые соединяли стручки с блоком распределения питания (PDU) на задней панели шкафа. Это оставило Джона только один выбор: вытащить блок из передней части шкафа, даже когда он хочет получить доступ к задней панели доступа, для чего потребовалось больше времени и часто требовалось два человека.

Идентификация проблемы — PDU
Как менеджер сайта центра обработки данных Феникса Backblaze, Джон понял, что работа будет намного проще, если он сможет изменить один компонент — PDU. В центре данных Phoenix использовались вертикально установленные распределительные устройства (PDU) на задней панели шкафов, которые проходили всю дорогу от верхней части корпуса. Все кабели из десяти контейнеров в PDU заблокировали доступ к задней части контейнеров в шкафу.

Вертикальный PDU, блокирующий задний доступ к Storage Pods

Что такое PDU?
Блок распределения питания (PDU) представляет собой устройство, оснащенное несколькими выходами, предназначенными для распределения электроэнергии на стойки компьютеров и сетевого оборудования, расположенные в центре обработки данных. Некоторые PDU имеют дополнительные возможности, включая фильтрацию мощности, интеллектуальную балансировку нагрузки и дистанционный мониторинг и управление по LAN или SNMP.
ИТ-менеджеры центров обработки данных дистанционно контролируют производительность PDU для обеспечения постоянного обслуживания, повышения эффективности и планирования роста.

Джон знал, что вертикальный PDU заставил свою команду потратить больше времени, чем нужно, чтобы попасть в стручки для обслуживания. Если им нужно было заменить компонент в задней части контейнера, это означало, что полностью отсек для хранения полностью вышел из шкафа, используя подъемник сервера. Если бы Джон мог найти лучший вариант для PDU, у каждого в команде было бы больше времени, чтобы сосредоточиться на других вопросах центра обработки данных, например, настроить дополнительные шкафы для заполнения накопителями и данными клиентов.

Гвидо, оцененный член оперативной группы Backblaze
Гвидо, уважаемый член оперативной команды Backblaze


Иногда нам приходится полностью удалять тяжелые стручки из кабинета, но специальный член команды помогает в этом. Наш серверный подъемник Guido не имеет проблем с подъемом и перемещением 150-фунтовых накопителей и IT-оборудования, когда это необходимо.

Наш серверный подъемник, Гвидо (справа), помог Джо с тяжелым подъемом в нашем дата-центре Phoenix

Подставки и шкафы для хранения данных Backblaze
Подставки Backblaze Storage Pod представляют собой стандартные полноразмерные шкафы для центров обработки данных, которые имеют 42 стойки (U или RU) — стойка составляет 44,50 миллиметра (1,75 дюйма). Оборудование, которое вписывается в эти стойки, обычно имеет высоту 1U, 2U, 3U или 4U. Подставки Backblaze имеют высоту 4U, поэтому десять из них могут входить в одну стойку. С небольшим переключателем наверху, занимающим один из этих блоков стойки, который оставляет всего 1U пространства.

Если бы Джон мог использовать это 1U пространства в шкафу для горизонтально смонтированного PDU, он мог бы избавиться от вертикально смонтированного PDU, который вызывал проблему доступа. В любом случае PDU имел больше выходных сигналов питания, чем необходимо, а также дополнительные схемы мониторинга, которые не требовались для Zabbix, пакета программного обеспечения, который мы используем для отслеживания состояния здоровья всех компонентов в наших центрах обработки данных.

Вертикальный PDU делал его более сложным и дорогостоящим, чем это было необходимо для задачи — два фактора, которые противоречат философии Backblaze о том, чтобы держать вещи такими же простыми и недорогими, насколько это возможно, чтобы снизить издержки для наших клиентов. (Немного истории об этом см. В этом сообщении о том, как началась Backblaze .)

Улучшенный PDU
Джон составил список требований, которые он хотел в PDU, которые соответствовали бы потребностям Backblaze. Ему не показалось, что было бы трудно найти готового бросить в кабинет.

Требования к PDU от Jon's

• 1 стойка высотой
• 3-фазная мощность
• Горизонтально установленный
• Замер для дистанционного мониторинга нагрузки на цепь
• 12 выходов питания C13
• 10 выходов для поддонов хранения
• 1 для малого выключателя
• 1 для аварийной тележки для обслуживания стручков

Поиск PDU, который соответствует списку, оказался сложнее, чем он ожидал. Джон попытался выяснить, не сделал ли кто-то 3-фазный 1U горизонтальный монтируемый PDU, и единственный, который он мог найти, не имел правильного типа выходов питания (C13) или схемы контроля.

Единственным оставшимся вариантом было создание пользовательского PDU. Джон вспомнил, что он и Ларри, менеджер центра обработки данных Backblaze, столкнулись с производителем PDU, Geist, на выставке IT в Сан-Хосе. Джон связался с нашим продавцом Мирапатом, с которым Джон успешно работал в других проектах для Backblaze. Mirapath получил проект, катящийся с Geist, разработал все перегибы и сыграл важную роль в завершении проекта.

Пользовательский PDU
Результатом является настраиваемый PDU, который соответствует требованиям Джона. PDU монтируется горизонтально в центре задней части шкафов и не блокирует доступ с задней панели шкафа. Он занимает всего 1U пространства в шкафу, что позволяет Джону поставить десять ящиков для хранения в каждом шкафу — пять над PDU в центре шкафа и пять ниже. Он имеет правильный тип (C13) и число (12) силовых выходов, которые поддерживают десять стручков, один переключатель и аварийную тележку. Он также содержит схему мониторинга мощности, необходимую для сбора данных для Zabbix.


Пользовательский PDU позволяет Джону и его команде получить доступ к Storage Pods с задней стороны шкафа. Джон оценивает, что новый PDU позволяет ему завершить замену загрузочного диска в Storage Pod в половине случаев, когда он использовался с предыдущим блоком PDU, и ему не нужна помощь нашего сервера, который поднимает Guido для работы. Это экономит время, особенно когда вам нужно заменить загрузочные диски в сорок Storage Pods, как недавно сделал Джон.

Пользовательский PDU в шкафу между двумя накопителями

Хранение под открытым небом в задней части шкафа

Хранение под открытым небом сзади

Мы ценим нашу культуру ведения дел по-разному
Если вы регулярно читаете этот блог, вы уже знакомы с историей Backblaze. Основатели Backblaze основали компанию, потому что считали, что люди должны создавать резервные копии своих компьютеров, и это можно сделать по 5 долларов США в месяц. Проблема заключалась в том, что никакая система хранения, доступная в то время, не обеспечила бы устойчивый бизнес по этой цене. Они сделали то, что должны были сделать: разработали и построили собственное решение. Подсистемы резервного копирования Backblaze, архитектура хранилища и кодировка Рида-Соломона позволили использовать глобально масштабируемую систему хранения. Спустя одиннадцать лет, три центра обработки данных и семьсот петабайт данных клиентов, мы по-прежнему можем обеспечить доступное доступное хранилище в любом месте.

Продолжение традиции Бэкблауза
Инноваторы, работающие в сфере трудовых отношений, такие как Джон и наша операционная группа, ежедневно находят новые способы повышения эффективности наших операций. Это позволяет нам постоянно снижать наши затраты и управлять нашим растущим глобальным охватом.

Спасибо, Джон. Отлично сработано!

Джон с двумя шкафами Backblaze, каждый из которых имеет 10 поддонов хранения, один коммутатор и один собственный PDU

По состоянию на 30 сентября 2018 года у Backblaze было 99,636 вращающихся жестких дисков. Из этого числа было 1,866 загрузочных дисков и 97 770 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Кроме того, мы попрощаемся с последними из наших приводов 3TB, приветствуем наши новые приводы HGST на 12 Тбайт, и мы объясним, как у нас на 584 меньше дисков, чем в прошлом квартале, но они добавили более 40 петабайт памяти. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

Статистика надежности жестких дисков для Q3 2018
В конце третьего квартала 2018 года Backblaze контролировал 97,770 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключили из рассмотрения те диски, которые использовались для целей тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков (см. Почему ниже). Это оставляет нам 97,600 жестких дисков. В приведенной ниже таблице рассказывается, что произошло в третьем квартале 2018 года.


Примечания и наблюдения

• Если модель привода имеет частоту отказа 0%, это означает, что в течение третьего квартала 2018 года не было отказов дисков этой модели.
• Квартальные показатели отказов могут быть неустойчивыми, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Дрейфа .
• Было 170 дисков (97,770 минус 97,600), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков.

Когда заменить жесткий диск
Как уже отмечалось, в конце третьего квартала мы имели на 584 меньше дисков, но более 40 петабайт хранилища. Мы заменили 3TB, 4TB и даже несколько 6TB дисков с 3600 новыми 12TB дисками, использующими ту же инфраструктуру центра обработки данных, то есть стойки Storage Pods. Приводы, которые мы заменяем, составляют около 4 лет. Это плюс или минус несколько месяцев в зависимости от того, сколько мы заплатили за диск и ряд других факторов. Сохранение приводов с более низкой плотностью при эксплуатации, когда приводы с более высокой плотностью доступны и эффективно оценены, не имеет экономического смысла.

Почему миграция диска будет продолжаться
Ожидается, что в ближайшие несколько лет произойдет рост объема данных. Ожидается, что на жестких дисках будет храниться основная часть этих данных, что означает, что компании облачного хранения, такие как Backblaze, должны будут увеличить пропускную способность за счет увеличения существующей плотности хранения и / или создания или создания большего количества центров обработки данных. Производители дисков, такие как Seagate и Western Digital, смотрят на плотность хранения HDD 40 ТБ уже в 2023 году, всего 5 лет. Гораздо дешевле заменять операционные приводы с более низкой плотностью в центре обработки данных по сравнению с созданием нового объекта или даже строительство существующего объекта для размещения накопителей с более высокой плотностью.

Goodbye 3TB WD Drives
За последние пару кварталов у нас осталось 180 накопителей Western Digital 3TB (модель: WD30EFRX) — последний из наших 3TB приводов. В начале третьего квартала они были удалены и заменены приводом 12 ТБ. Эти приводы 3TB были приобретены после кризиса кризиса в Таиланде и установлены в середине 2014 года и все еще были тяжелыми, когда мы их заменили. Когда-нибудь в ближайшие пару лет мы попробуем распрощаться со всеми нашими приводом 4TB и обновим их до 14, 16 или даже 20 Тбайт дисков. После этого пришло время «увеличить плотность» наших 6ТБ-систем, затем наших 8ТБ-систем и так далее.

Привет 12TB Приводы HGST
В Q3 мы добавили 79 ферм HGST 12TB (модель: HUH721212ALN604) в ферму. Хотя 79 может показаться необычным числом дисков для добавления, он представляет собой «этап 2» нашего процесса тестирования дисков. Этап 1 использует 20 дисков, количество жестких дисков в одном макете Backblaze Vault. То есть в хранилище Backblaze хранится 20 поддонов хранения, и в каждом хранилище есть один «тестовый» диск. Это позволяет сравнить производительность и т. Д. Тестового тома с остальными 59 томами производства (в которых работают уже подготовленные диски). В каждом хранилище Backblaze хранится 60 томов. На втором этапе мы заполняем все хранилище с тестовыми дисками, добавляя 59 тестовых приводов к тестируемому в одном из 20 поддонов хранения в хранилище Backblaze.

На сегодняшний день ни один из 79 накопителей HGST не сработал, но по состоянию на 30 сентября они были установлены всего 9 дней. Посмотрим, как они будут работать в течение следующих нескольких месяцев.

Лидер счета нового диска
В течение последних 4 лет модель привода, которую мы развернули больше всего, — это накопитель Seagate 4TB, модель ST4000DM000. В Q3 у нас было 24208 модели привода, которая теперь достаточно хороша для второго места. Привод серии 12TB Seagate, модель ST12000NM0007, стал нашим новым лидером по подсчету дисков с 25,101 дисками в Q3.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график отказов по продолжительности жизни для всех моделей жестких дисков, работающих с 30 сентября 2018 года. Для каждой модели мы вычисляем их надежность, начиная с момента их первой установки.



Примечания и наблюдения

• Частоты отказов всех более крупных приводов (8, 10 и 12 ТБ) очень хорошие: 1,21% AFR (годовая частота отказов) или меньше. В частности, накопители Seagate 10TB, которые работают уже более 1 года, работают очень хорошо, частота отказов составляет 0,48%.
• Общая частота отказов 1,71% является самой низкой, которую мы когда-либо достигали, что обеспечило предыдущий минимум 1,82% по сравнению со вторым кварталом 2018 года .

Данные статистики жесткого диска
Полный набор данных, используемый для создания информации, используемой в этом обзоре, доступен на нашей странице данных на жестком диске. Вы можете бесплатно скачать и использовать эти данные для своей собственной цели. Все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze в качестве источника, если используете данные, 2) вы признаете, что несете единоличную ответственность за использование данных, и 3) вы не продаете эти данные никому. Это свободно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.
www.backblaze.com/b2/hard-drive-test-data.html

Резервные копии и архивы обслуживают разные функции, однако обычно используются термины, используемые в облачном хранилище. Важно понимать разницу между этими двумя, чтобы ваша методология хранения данных соответствовала вашим потребностям в нескольких ключевых областях:

• сохраняются в течение требуемого периода времени
• защищены от потери или несанкционированного доступа
• возможность восстановления или восстановления по мере необходимости
• структурированы или помечены, чтобы разрешить размещение определенных данных
• сохранен в соответствии с вашими требованиями

Наши два варианта можно широко классифицировать:

• резервная копия предназначена для восстановления после сбоя оборудования или недавнего повреждения или потери данных
• архив предназначен для управления пространством и долгосрочного хранения

Что такое резервное копирование?
Резервная копия — это копия ваших данных, созданная для защиты от потери этих данных. Как правило, резервные копии создаются на регулярной основе в соответствии с расписанием или когда исходные данные изменяются. Исходные данные не удаляются, но старые резервные копии часто удаляются в пользу более новых резервных копий.


Настольные компьютеры, серверы, виртуальные машины и мобильные устройства обычно поддерживаются. Резервные копии могут включать данные, файлы ОС и приложений или их комбинацию в соответствии с методологией и целью резервного копирования.

Цель резервного копирования — сделать копию чего-либо в текущем использовании, которое не может быть потеряно. Резервное копирование настольного или мобильного устройства может включать в себя только данные пользователя, чтобы при необходимости можно было восстановить предыдущую версию файла. На этих типах устройств часто делается предположение, что ОС и приложения могут быть легко восстановлены из исходных источников, если это необходимо (и / или восстановление ОС на новом устройстве может привести к значительным проблемам с коррупцией). В виртуальной серверной среде резервная копия может включать файлы .VMDK, содержащие данные и ОС, а также структурированную (базу данных) и неструктурированные данные (файлы), чтобы можно было как можно быстрее вернуть систему в эксплуатацию, если что-то произойдет к исходной виртуальной машине в среде VMware, Hyper-V или другой виртуальной машины.

В случае атаки с вымогательством надежная стратегия резервного копирования может означать разницу между возможностью восстановления взломанной системы и необходимостью выкупа выкупа в неопределенных надеждах на получение ключа дешифрования для получения доступа к файлам, которые больше не доступны, поскольку они были зашифрованы злоумышленником.

Резервные копии могут иметь дополнительные возможности. Пользователь может перейти к резервной копии, чтобы получить более раннюю версию файла, поскольку она содержит что-то больше не в текущем файле или, как это возможно, с некоторыми службами резервного копирования, такими как Backblaze Backup, для совместного использования файла с коллегой или другим человек.

Что такое архив?
Архив представляет собой копию данных, сделанных для долгосрочного хранения и ссылки. Исходные данные могут быть удалены или не удалены из исходной системы после создания и сохранения архивной копии, хотя для архива является единственной копией данных.


В отличие от резервного копирования, целью которого является возможность вернуть компьютер или файловую систему в состояние, существовавшее ранее, архив может иметь несколько целей. Архив может предоставить отдельному лицу или организации постоянную запись важных документов, юридических документов, корреспонденции и других вопросов. Часто архив используется для удовлетворения требований к хранению информации для корпораций и предприятий. Если возникает спор или запрос о деловой практике, контракте, финансовой сделке или сотруднике, записи, относящиеся к этому предмету, могут быть получены из архива.

Архив часто используется для облегчения нагрузки на более быстрые и часто используемые системы хранения данных. Более старые данные, которые вряд ли понадобятся, часто вводятся в системы, которым не требуется скорость и доступность систем, которые содержат данные, которые все еще используются. Архивные системы хранения обычно дешевле, поэтому сильная мотивация заключается в том, чтобы сэкономить деньги на хранении данных.

Архивы часто создаются в зависимости от возраста данных или того, является ли проект, к которому принадлежат данные, все еще активным. Программа архивирования может отправлять данные в архив, если к ней не было доступа за определенное время, когда достиг определенного возраста, если человек больше не связан с организацией, или файлы были помечены для хранения, потому что проект завершен или закрыт.

Архивы также могут быть созданы с использованием метаданных, описывающих проект. Программа архивирования может автоматически добавлять соответствующие метаданные или пользователь может помечать данные вручную, чтобы помочь в будущем поиске. Общие добавленные метаданные могут быть бизнес-информацией, описывающей данные, или в случае фотографий и видео, оборудованием, настройками камеры и географическим положением, где был создан носитель. Искусственный интеллект (AI) может использоваться для идентификации и каталогизации предмета в некоторых данных, таких как фотографии и видео, чтобы облегчить поиск данных позднее. Инструменты AI становятся все более важными, поскольку мы архивируем больше данных и должны иметь возможность находить их на основе параметров, которые могут быть неизвестны на момент архивирования данных.



В чем разница между восстановлением и извлечением?
В общем случае восстанавливаются системы восстановления и архивные системы резервного копирования. Инструменты, необходимые для выполнения этих функций, различны.

Если вы хотите восстановить что-то из резервной копии, это обычно один файл, сервер или структурированные данные, такие как база данных, которая должна быть восстановлена ​​в определенный момент времени. Вы должны знать много о данных, например, где они были расположены, когда они были скопированы, база данных или папка, в которой она была, имя файла, когда оно было скопировано, и так далее.

Когда вы извлекаете данные из архива, данные связаны каким-то образом, например, с датой, получателем электронной почты, периодом времени или с другим набором параметров, которые могут быть указаны при поиске. Типичным поисковым запросом может быть получение всех файлов, связанных с именем проекта, или всеми электронными письмами, отправленными человеком в течение определенного периода времени.

При попытке использовать резервную копию для архива могут возникнуть проблемы. Вам нужно будет хранить строгие записи о том, где и когда были скопированы файлы, на каком носителе они были созданы резервные копии и множество других данных, которые необходимо было записать во время резервного копирования. По определению системы резервного копирования хранят копии данных, используемых в настоящее время, поэтому сохранение резервных копий в течение длительных периодов времени выходит за рамки возможностей систем резервного копирования и требует ручного управления.

В нижней строке не используется резервная копия для архива. Выберите подход, который соответствует вашим потребностям: резервная копия для хранения дополнительных копий данных, используемых в настоящее время, в случае, если что-то случится с вашей основной копией, или в архиве, чтобы сохранить постоянную (и, возможно, только запись) важные данные, которые вы хотите сохранить для личных, деловых или юридических причин.

Почему вам нужны как резервные, так и архивные
Понятно, что резервная копия и архив имеют разные виды использования. Вам нужны оба?

Если вы бизнес, разумный выбор — да. Вам необходимо убедиться, что ваши активные бизнес-данные защищены от случайной или злонамеренной потери и что ваши важные записи поддерживаются до тех пор, пока это необходимо для деловых и юридических причин. Если вы являетесь физическим лицом или малым бизнесом с документами, фотографиями, видео и другими материалами, вам также необходимы как резервное копирование, так и архив, чтобы обеспечить защиту ваших данных как краткосрочными, так и долгосрочными, а также доступными и доступными, когда вам это нужно.



Выбор правильных инструментов и служб для резервного копирования и архивирования имеет важное значение. У каждого есть наборы функций, которые делают их подходящими для их задач. Попытка использовать резервное копирование для архивирования или архивирования для резервного копирования — это похоже на попытку установить круглую привязку в квадратное отверстие. Лучше всего использовать правильный инструмент и службу для требуемой функции хранения данных.

По состоянию на 31 марта 2018 года у нас было 100 110 вращающихся жестких дисков. Из этого числа было 1,922 загрузочных диска и 98,188 дисков данных. В этом обзоре рассматриваются квартальные и пожизненные статистические данные для моделей данных, работающих в наших центрах обработки данных. Мы также рассмотрим, почему мы собираем и сообщаем о 10 новых атрибутах SMART и получаем пик подхалима на некоторых дисках Toshiba объемом 8 ТБ. По пути мы поделимся наблюдениями и представлениями о представленных данных, и мы с нетерпением ожидаем, что вы сделаете то же самое в комментариях.

С апреля 2013 года Backblaze записывает и сохраняет ежедневную статистику жесткого диска с дисков в наших центрах обработки данных. Каждая запись состоит из даты, производителя, модели, серийного номера, статуса (операционного или неудачного) и всех атрибутов SMART, сообщаемых этим диском. В настоящее время около 97 миллионов записей составляют 26 ГБ данных. Вы можете загрузить эти данные с нашего веб-сайта, если вы хотите провести собственное исследование, но для начала мы нашли то, что нашли.

Статистика надежности жестких дисков для Q1 2018
В конце Q1 2018 Backblaze контролировал 98,188 жестких дисков, используемых для хранения данных. Для нашей оценки ниже мы рассмотрим те диски, которые использовались для тестирования, и те модели накопителей, для которых у нас не было не менее 45 дисков. Это оставляет нам 98,046 жестких дисков. Таблица ниже охватывает только 1 квартал 2018 года.



Примечания и наблюдения
Если модель привода имеет коэффициент отказа 0%, это означает, что в течение первого квартала 2018 года не было ошибок привода этой модели.

Общая годовая ставка сбоев (AFR) для Q1 составляет всего 1,2%, что значительно ниже показателя QF 2014 года в размере 1,65%. Помните, что ежеквартальные показатели отказов могут быть неустойчивыми, особенно для моделей с небольшим количеством дисков и / или небольшого количества Дней Drive.

Было 142 диска (98,188 минус 98,046), которые не были включены в список выше, потому что у нас не было, по крайней мере, 45 из данной модели привода. Мы используем 45 дисков той же модели, что и минимальное число, когда мы сообщаем статистику квартальных, ежегодных и пожизненных дисков.

Приветствуем диски Toshiba 8TB, почти ...
Мы упомянули диски Toshiba 8 ТБ в первом абзаце, но они не отображаются в диаграмме статистики Q1. Что дает? У нас было только 20 из 8-ти томов Toshiba, работающих в Q1, поэтому они были исключены из графика. Почему у нас всего 20 дисков? Когда мы тестируем новую модель привода, мы начинаем с теста «tome», и для заполнения одного тома требуется 20 дисков. Тома — это одна и та же модель привода в том же логическом положении в каждом из 20 хранилищ, которые составляют хранилище Backblaze. В каждом хранилище есть 60 томов.

В этом тесте мы создали хранилище Backblaze Vault с 8 ТБ дисками, причем 59 из них являются накопителями Seagate 8 ТБ и 1 томом, являющимися дисками Toshiba. Затем мы контролировали производительность хранилища и его томов-членов, чтобы убедиться, что в этом случае диски Toshiba выполняются так, как ожидалось.



Пока что Toshiba работает отлично, но они работают только 20 дней. Следующим шагом является «тест подкачки», где мы заполняем накопитель под накопителями Toshiba и интегрируем его в хранилище Backblaze, состоящее из дисков подобного размера. Мы надеемся, что мы лучше рассмотрим диски Toshiba 8 ТБ в нашем отчете о Q2 — следите за обновлениями.

Статистика надежности жестких дисков на весь срок службы
Хотя ежеквартальный график, представленный ранее, представляет большой интерес, реальный тест любой модели привода со временем. Ниже приведен график коэффициентов сбоя на всю жизнь для всех моделей жестких дисков, в которых с 31 марта 2018 года функционируют 45 или более накопителей. Для каждой модели мы вычисляем их надежность, начиная с момента их первой установки.


Примечания и наблюдения
Частоты отказов всех более крупных приводов (8-, 10- и 12 ТБ) очень хорошие, 1,2% AFR (годовая частота отказов) или меньше. Многие из этих дисков были развернуты в прошлом году, поэтому в данных есть некоторая волатильность, но вы можете использовать интервал доверия, чтобы получить представление о процентном диапазоне отказа.

Общий показатель отказов 1,84% — это самый низкий показатель, который мы когда-либо достигали, с предыдущим минимумом 2,00% с конца 2017 года.

Наши постоянные читатели и владельцы дисков, возможно, заметили значительный скачок количества приводов HGST 8 ТБ (модель: HUH728080ALE600), с 45 в последнем квартале до 1045 в этом квартале. По мере того, как диски с 10 ТБ и 12 ТБ становятся более доступными, цена на терабайт приводов с 8 ТБ снизилась. Это дало возможность приобрести диски HGST по цене в соответствии с нашим бюджетом.

Мы купили и поместили в эксплуатацию 45 оригинальных приводов HGST 8 ТБ во втором квартале 2015 года. Они были нашими первыми накопителями, заполненными гелием, и нашими единственными, пока в Q3 2017 не прибыли диски с 10 ТБ и 12 ТБ Seagate. Мы возьмем первый посмотрите, действительно ли гелий влияет на частоту отказов дисков в предстоящем блоге.

Новые атрибуты SMART
Если вы ранее работали с данными или планировали данные на жестком диске, вы заметите, что мы добавили еще 10 столбцов данных, начиная с 2018 года. Есть 5 новых атрибутов SMART, которые мы отслеживаем с исходным и нормализованным значением:

• 177 — Дельта диапазона износа
• 179 — Используемый запас заблокированного блока Всего
• 181- Количество сбоев программы: общий или нечетный 4K
• 182 — Стереть количество сбоев
• 235 — Хорошее количество блоков и система (бесплатно) Количество блоков
• Все 5 значений связаны с дисками SSD.

Да, SSD-накопители, но прежде чем вы переходите к каким-либо выводам, мы использовали 10 Samsung 850 EVO SSD в качестве загрузочных дисков в течение некоторого периода времени в Q1. Это был эксперимент, чтобы увидеть, можно ли сократить время загрузки для накопителей. В нашем случае улучшенная скорость загрузки не стоила стоимости SSD, но она добавила 10 новых столбцов в данные статистики жесткого диска.

Говоря о данных статистики жесткого диска, полный набор данных, используемый для создания информации, используемой в этом обзоре, доступен на нашей странице данных теста жесткого диска.
Вы можете бесплатно скачивать и использовать эти данные для своей цели, все, что мы просим, ​​это три вещи: 1) вы цитируете Backblaze как источник, если используете данные; 2) вы признаете, что несете единоличную ответственность за то, как вы используете данные, и 3) вы не продаете эти данные никому. Это бесплатно.

Если вам просто нужны обобщенные данные, используемые для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий электронную таблицу MS Excel.

Зачем платить меньше за ту же услугу?
В прошлом месяце мы внесли изменения в Backblaze B2. Мы снизили стоимость загрузки B2 пополам, расширив нашу программу восстановления USB-снимков, предлагая возмещение, если жесткие диски будут отправлены нам обратно, и создали нашу программу Backblaze Fireball в модель самообслуживания, где вы можете засеять 70 ТБ данных в вашу учетную запись Backblaze B2. Для любой другой компании облачного хранилища все эти добавочные значения будут достаточными, но мы заметили, что чего-то не хватает.

Мы продолжали слышать от наших клиентов, что мы просто делали слишком много и не заряжали достаточно. Люди были обеспокоены нашей способностью оставаться на рынке, несмотря на нашу репутацию за последние 10 лет, предоставляя недорогое хранилище, все время работая с позитивным бизнесом с денежными потоками. Наши клиенты просто не могли поверить, что мы могли бы сохранить эту шараду намного дольше и потребовали, чтобы мы что-то делали, чтобы укрепить нашу финансовую стабильность и «прекратить отдавать все — практически бесплатно», даже если это означало, что мы будем делать больше денег.

Мы слушали, и сегодня мы с гордостью объявляем о новом сервисе, который дополняет наше дико популярное облачное хранилище B2 Cloud Storage: Backblaze Bling2 Cloud Storage. Он очень похож на Backblaze B2, фактически идентичный, за исключением одного незначительного изменения. Это в 4 раза дороже как для хранения, так и для загрузки, как и наши конкуренты! Мы уверены, что такой же уровень обслуживания для 4х цены понравится нашим пользователям, которые думают, что мы просто недостаточно заряжаем.

Если вы заинтересованы в этом Bling2, мы создали инструмент, который поможет вам рассчитать затраты на хранение с помощью Cloud2 Cloud Storage и сравнить его с ведущими поставщиками облачных хранилищ, такими как Backblaze B2, Amazon S3, Google Cloud Service и Microsoft Azure!



Надеемся, вам понравится этот новый сервис от Backblaze. Если вы считаете, что Backblaze B2 является слишком доступным, вы с удовольствием узнаете, что цены на хранилище Bling2 доступны вам по «отраслевому стандарту» с 4-кратной разметкой.