Рейтинг
0.00

Backblaze Хостинг

1 читатель, 34 топика

Backblaze B2 Copy File Beta is Now Public



Внедряя B2 Cloud Storage почти четыре года назад, мы были заняты добавлением улучшений и новых функций в сервис. Мы постоянно ищем способы сделать В2 более полезным для наших клиентов, будь то за счет повышения уровня обслуживания, партнерских отношений с ведущими поставщиками вычислений или снижения самой низкой в ​​отрасли цены на скачивание до 1 GB / ГБ. Сегодня мы рады объявить о выпуске бета-версии нашей новейшей функциональности: Копировать файл.
www.backblaze.com/b2/cloud-storage.html
www.backblaze.com/b2/solutions/compute.html
www.backblaze.com/b2/docs/b2_copy_file.html

Что вы можете сделать с B2 копировать файл
Эта новая возможность позволяет вам создать новый файл (или новую часть большого файла), который является копией существующего файла (или диапазона существующего файла). Вы можете скопировать метаданные исходного файла или указать новые метаданные для нового файла, который создается. Все это происходит без необходимости загрузки или повторной загрузки каких-либо данных.

Это была одна из наших самых востребованных функций, поскольку она разблокирует:
  • Переименовать / реорганизовать. Новые возможности дают клиентам возможность реорганизовывать свои файлы без необходимости загрузки и повторной загрузки. Это особенно полезно при попытке отразить содержимое файловой системы на B2.
  • Синтетическая резервная копия. Благодаря возможности копирования диапазонов файла пользователи теперь могут использовать B2 для синтетического резервного копирования, который загружает полную резервную копию, но затем загружает только добавочные изменения (в отличие от повторной загрузки всего файла с каждым изменением). Это особенно полезно для таких применений, как резервное копирование виртуальных машин, где повторная загрузка файла целиком при каждом его изменении создает неэффективность для пользователя.

Где узнать больше о B2 Copy File
Документацию по конечной точке можно найти здесь:
b2_copy_file: www.backblaze.com/b2/docs/b2_copy_file.html
b2_copy_part: www.backblaze.com/b2/docs/b2_copy_part.html

Подробнее о бета-программе
Мы представляем эти конечные точки в виде бета-версии, чтобы разработчики могли предоставить нам обратную связь до того, как конечные точки будут запущены в производство. В частности, это означает, что API могут развиваться в результате обратной связи, которую мы получаем. Мы рекомендуем вам попробовать Copy File и, если у вас есть какие-либо комментарии, вы можете написать нашей бета-команде B2 по адресу b2beta@backblaze.com. Спасибо!

Миграция 23 ТБ из Amazon S3 в Backblaze B2 всего за семь часов



Как и многие клиенты Backblaze, Nodecraft поняла, что может сэкономить целое состояние, переместив свое облачное хранилище на Backblaze и инвестировав его в другое место для развития своего бизнеса. В этом посте, который первоначально появился в блоге Nodecraft, Грегори Р. Суддерт, старший инженер по разработке приложений для Nodecraft, рассказывает о шагах, которые они предприняли, чтобы сначала проанализировать, протестировать, а затем переместить это хранилище.
Левенс

Nodecraft.com — это многопользовательская облачная платформа, где геймеры могут арендовать и использовать наши серверы для создания и обмена уникальными многопользовательскими онлайн-серверами со своими друзьями и / или публикой. Владельцы серверов, использующие свои игровые серверы, создают резервные копии, включая файлы серверов, игровые резервные копии и другие файлы. Само собой разумеется, что надежность резервного копирования важна для владельцев серверов.

В ноябре 2018 года нам в Nodecraft стало ясно, что мы можем улучшить наши расходы, если пересмотрим нашу стратегию облачного резервного копирования. Изучив текущие предложения, мы решили перенести наши резервные копии с Amazon S3 на сервис Backblaze B2. В этой статье описывается, как наша команда подошла к этому, почему и что произошло, в частности, чтобы мы могли поделиться своим опытом.

Выгоды
Из-за того, что S3 и B2, по крайней мере, в равной степени * доступны, надежны, доступны, а также многих других провайдеров, нашей основной причиной для переноса наших резервных копий стала цена. Когда мы начали работу, начали появляться другие факторы, такие как разнообразие API, качество API, реальная работоспособность и обслуживание клиентов.

Изучив самые разные соображения, мы остановились на услуге Backblaze B2. Большую часть затрат на эту операцию составляет их пропускная способность, которая удивительно доступна.

Ценовой разрыв между двумя системами хранения объектов обусловлен альянсом Bandwidth между Backblaze и Cloudflare, группой провайдеров, которые согласились не взимать (или сильно снижать) плату за данные, оставленные в альянсе сетей («выходные» сборы). Мы в Nodecraft интенсивно используем Cloudflare, и поэтому оставалось беспокоиться только об исходящих затратах от Amazon до Cloudflare.

В обычных условиях наши клиенты постоянно создают резервные копии, а также получают к ним доступ для различных целей, и их возможности по выполнению этих операций не изменились по сравнению с предыдущим поставщиком.

Соображения
Как и в случае любых изменений в поставщиках, переход должен быть продуман с большим вниманием к деталям. Когда ранее не было проблем с качеством, и обстоятельства таковы, что можно рассмотреть широкое поле новых поставщиков, окончательный выбор должен быть тщательно оценен. Наш список проблем включал эти:
  • Безопасность: нам нужно было переместить наши файлы и обеспечить их сохранность, избыточным способом
  • Доступность: служба должна быть надежной, но и широко доступной ** (что означает, что нам нужно было «указать» на нужный файл после его перемещения в течение всего процесса перемещения всех файлов: у разных компаний разные стратегии, одна корзина, много ведер, областей, зон и т. д.)
  • API: у нас есть опыт, поэтому мы не помешаны на проприетарных инструментах передачи файлов
  • Скорость: нам нужно было перемещать файлы навалом, а не тормозить ограничения скорости, и
  • Неправильная настройка может превратить операцию в нашу собственную DDoS.

Все эти факторы в отдельности хороши и важны, но при их совместном создании может произойти значительный сбой в обслуживании. Если все может двигаться легко, быстро и, ненадежно, неправильная настройка может превратить эту операцию в нашу собственную DDoS. Мы предприняли тщательные шаги, чтобы этого не произошло, поэтому было добавлено дополнительное требование:

Настройка: не отказывайтесь от собственных услуг и не вредите соседям
Что это означает для непрофессионала:
У нас много устройств в нашей сети, мы можем сделать это параллельно. Если мы сделаем это на полной скорости, мы сможем сделать так, чтобы наши поставщики услуг не очень-то нравились нам… может быть, мы должны сделать это не на полной скорости

Важные части
Чтобы использовать наши собственные возможности облачной обработки, мы знали, что нам придется использовать двухуровневый подход как на уровне Tactical (переместить файл), так и на уровне Strategic (указать многим узлам, чтобы переместить все файлы).

Cстратегическое
Наши цели здесь просты: мы хотим переместить все файлы, переместить их правильно и только один раз, но также убедиться, что операции могут продолжаться, пока происходит это перемещение. Это важно, потому что если бы мы использовали один компьютер для перемещения файлов, это заняло бы месяцы.

Первым шагом к выполнению этой работы параллельно было создание небольшого веб-сервиса, который позволил бы нам ставить в очередь один целевой файл, который будет одновременно перемещаться на каждый рабочий узел. Эта служба обеспечивала механизм блокировки, чтобы один и тот же файл не мог перемещаться дважды, одновременно или одновременно. Таймер истечения блокировки (с сообщением об ошибке) был установлен на пару часов. Этот сервис был предназначен для доступа с помощью простых инструментов, таких как curl.

Мы развернули каждый рабочий узел в виде контейнера Docker, распределенного по всему нашему Docker Swarm. Используя параметры в файле стека докеров, мы смогли определить, сколько рабочих на узел присоединилось к задаче. Это также гарантировало, что более дорогие регионы пропускной способности, такие как Азиатско-Тихоокеанский регион, не присоединились к рабочему пулу.

Тактический
У Nodecraft есть несколько парков серверов, охватывающих несколько центров обработки данных, и мы планировали использовать запасные ресурсы на большинстве из них для перемещения файлов резервных копий. Мы испытывали постоянный порядок доступа к нашим серверам со стороны наших пользователей в различных дата-центрах по всему миру, и мы знали, что будет доступность для наших целей перемещения файлов.

Наши цели в этой части операции также просты, но имеют больше шагов:
  • Получить имя / идентификатор / URL-адрес файла для перемещения, который блокирует файл и запускает таймер сбоя
  • Получить информацию о файле, включая размер
  • СКАЧАТЬ: Скопировать файл на локальный узел (без ограничения доступности узла сети)
  • Проверьте файл (размер, целостность ZIP, хэш)
  • ЗАГРУЗИТЬ: скопировать файл в новый сервис (опять же, не влияя на узел)
  • Сообщите «готово» с новой информацией о местоположении ID / URL на стратегическом уровне, который
  • Снимает блокировку в веб-сервисе, отменяет таймер и помечает файл как DONE



Переключатель убийства
В случае потенциального побега, когда даже внутриполосный Docker Swarm командует сами, мы решили убедиться, что у нас есть удобный переключатель. В нашем случае это был наш маленький бесстрашный веб-сервис — мы позаботились о том, чтобы приостановить его. Оглядываясь назад, было бы лучше, если бы он использовал расходуемый ресурс, такой как счетчик, или значение в ячейке базы данных. Если бы мы не обновили счетчик, он остановился бы сам по себе. Подробнее о «побегах» позже.

Тюнинг Реальной Жизни
Наш бизнес имеет ежедневные, еженедельные и другие циклы деятельности, которые предсказуемы. Наиболее важным является наш ежедневный цикл, который тянется после Солнца. Мы решили использовать наши узлы, которые находились в областях с низкой активностью, для выполнения работы, и после тестирования мы обнаружили, что, если мы настроимся правильно, это не повлияет на относительно небольшие нагрузки на серверы в этой области с низкой активностью. Это было подтверждено проверкой отсутствия изменений в нагрузке обслуживания клиентов с использованием наших показателей и инструментов CRM. Вернуться к настройке.

Первоначально мы настроили скорость передачи файла DOWN, эквивалентную 3/4 от того, что мог сделать wget (1). Мы подумали: «Ох, сетевой трафик к узлу будет соответствовать этому, так что все в порядке». Это в основном верно, но только в основном. Это проблема в двух отношениях. Причиной проблем является то, что тесты изолированного узла являются просто изолированными. Когда большое количество узлов в центре обработки данных выполняет фактическую передачу рабочих файлов, возникает пропорциональное воздействие, поскольку трафик концентрируется в направлении выходных точек.

Проблема 1: вы плохой сосед на пути к выходным пунктам. Хорошо, вы говорите «хорошо, мы платим за доступ к сети, давайте использовать его», но, конечно, есть только так много всего, но также очевидно, что «все порты коммутатора имеют большую пропускную способность, чем порты восходящей линии связи», поэтому, конечно, будет быть ограниченным, чтобы быть пораженным.

Проблема 2: ты сам себе плохой сосед. Опять же, если в конечном итоге ваши машины будут находиться рядом друг с другом в сети с помощью сетевых координат, ваши попытки «использовать всю пропускную способность, за которую мы заплатили», будут подавлены ближайшей точкой подавления, воздействуя только на почти только ты. Если вы собираетесь использовать большую часть полосы пропускания, которую МОЖЕТЕ использовать, вы должны также помнить об этом и выбирать, куда вы поместите точку засорения, которую создаст вся операция. Если кто-то не знает об этой проблеме, он может снять целые стойки вашего собственного оборудования, подавив коммутатор в верхней части стойки, или другие сетевые устройства.

Уменьшая нашу настройку 3 / 4ths-wget (1) до 50% от того, что wget могла сделать для передачи одного файла, мы увидели, что наши узлы по-прежнему функционируют должным образом. Ваш пробег будет совершенно разным, и есть скрытые проблемы в деталях того, как ваши узлы могут или не могут быть рядом друг с другом, и их влияние на оборудование между ними и Интернетом.

Старые привычки
Возможно, это досадная деталь: основываясь на предыдущем жизненном опыте, я привел некоторые задержки. Мы написали эти инструменты на Python, с помощью оболочки оболочки Bourne для обнаружения сбоев (были), а также потому, что на нашем этапе загрузки мы пошли вразрез с нашей ДНК и использовали утилиту загрузки Backblaze. Кстати, он многопоточный и действительно быстрый. Но в сценарии оболочки оболочки, как само собой разумеющемся, в главном цикле, который впервые говорил с нашим API, я поместил оператор sleep 2. Это создает небольшую паузу «вверху» между файлами.

Это оказалось ключевым, как мы увидим через мгновение.
Как это (служба, почти) все пошли вниз
То, что в прошлом, иногда не является прологом. Независимое тестирование в одном узле или даже в нескольких узлах не было полностью поучительным для того, что действительно должно было произойти, когда мы удушили тест. Теперь, когда я говорю «тест», я действительно имею в виду «операция».

Наше первоначальное тестирование было завершено «Тактически», как и выше, для которого мы использовали тестовые файлы, и были очень осторожны при их проверке. В общем, мы были уверены, что сможем справиться с копированием файла (цикл Python) и проверкой (unzip -T) и работать с утилитой Backblaze b2 без особых проблем… но это стратегический уровень, который научил нас нескольким вещам.

Вспоминая туманное прошлое, когда «6% коллизий в сети 10-BASE-T и ее игра окончена»… да, 6%. Мы сократили количество реплик в Docker Swarm, и у нас не было никаких проблем. Хорошо. “Хорошо.” Тогда мы переместили дроссель, так сказать, к последней задержке.

Мы почти достигли самообороны DDoS.
Это было не так уж и плохо, но мы внезапно были очень, очень довольны нашей настройкой 50% -го-wget (1) и нашими 2-секундными задержками между передачами, и, самое главное, нашим переключателем уничтожения.

Анализ
TL; DR — Все прошло отлично.

Было несколько файлов, которые просто не хотелось передавать (их не было на S3, хм). Были некоторые DDoS-тревоги, которые на мгновение сработали. Было много трафика… и, затем, счет за пропускную способность.

Ваш пробег может отличаться, но есть некоторые вещи, которые нужно учитывать в отношении вашего счета за пропускную способность. Когда я говорю «счет», на самом деле это несколько счетов.


Как показано на диаграмме выше, перемещение файла может привести к многократной загрузке полосы пропускания, особенно когда наши клиенты начали загружать файлы из B2 для развертывания экземпляров и т. Д. В нашем случае у нас теперь был только счет за выход S3. Вот почему это работает:

У нас есть групповые (узловые) дисконтные соглашения о пропускной способности с нашими провайдерами.
B2 является членом Bandwidth Alliance и Cloudflare тоже
Мы обращались к нашему контенту S3 через наши (не бесплатные!) Публичные URL-адреса учетной записи Cloudflare, а не через (частные) S3 URL.
Не говоря уже о наших конфиденциальных договоренностях с нашими партнерами по обслуживанию, в целом верно и следующее: вы можете поговорить с поставщиками, а иногда и договориться о сокращениях. Кроме того, им особенно нравится, когда вы звоните им (заранее) и обсуждаете свои планы по усиленному управлению своей экипировкой. Например, при другом перемещении данных один из провайдеров дал нам способ «пометить» наш трафик определенным образом, и он будет проходить через тихую, но не часто посещаемую часть своей сети; победа победа!

Хочу больше?
Прочитайте пример использования Nodecraft в блоге Cloudflare.
Мы также выпустили наш собственный модуль JavaScript NPM B2-Cloud-Storage, который мы сейчас используем в производстве, чтобы упростить процесс загрузки.
Спасибо за ваше внимание, и удачи с вашим собственным байтовым стропом.

Грегори Р. Sudderth
Nodecraft Старший инженер DevOps
Наука сложна, синие клавиши на калькуляторах хитры, и у нас нет лет, чтобы изучать вещи, прежде чем делать их

Backblaze Hard Drive Stats Q1 2019



По состоянию на 31 марта 2019 года у Backblaze было 106 238 вращающихся жестких дисков в нашей экосистеме облачных хранилищ, распределенных по трем центрам обработки данных. Из этого числа было 1913 загрузочных дисков и 104 325 дисков данных. В этом обзоре рассматриваются показатели первого квартала 2019 года и частоты отказов жестких дисков на моделях накопителей данных, которые в настоящее время используются в наших центрах обработки данных, и приводится несколько полезных идей и наблюдений. Кроме того, у нас есть несколько вопросов для размышления ближе к концу поста. Как всегда, мы с нетерпением ждем ваших комментариев.

Статистика отказов жесткого диска за первый квартал 2019 года
В конце первого квартала 2019 года Backblaze использовала 104 325 жестких дисков для хранения данных. Для нашей оценки мы исключаем из рассмотрения те диски, которые использовались в целях тестирования, и модели, для которых у нас не было как минимум 45 дисков (см. Почему ниже). Это оставляет нам 104 130 жестких дисков. В таблице ниже показано, что произошло в первом квартале 2019 года.


Таблица коэффициентов отказов жесткого диска Q1 2019

Примечания и наблюдения
Если в модели накопителя частота отказов составляет 0%, это означает, что в течение первого квартала 2019 года отказы накопителей этой модели отсутствовали. В первом квартале в списке приводов с нулевыми отказами были модели Toshiba объемом 4 ТБ и 5 ТБ. Ни один из них не имеет достаточно большого количества дней вождения, чтобы быть статистически значимым, но в случае модели объемом 5 ТБ вы должны вернуться ко второму кварталу 2016 года, чтобы найти последний сбой накопителя в этой модели.

Было 195 накопителей (104 325 минус 104 130), которые не были включены в приведенный выше список, поскольку они использовались в качестве тестируемых накопителей или у нас не было по крайней мере 45 данной модели накопителей. Мы используем 45 накопителей той же модели, что и минимальное количество, при составлении квартальной, годовой и пожизненной статистики накопителей. Использование 45 накопителей носит исторический характер, поскольку это было количество накопителей в наших оригинальных накопителях. В следующем квартале этот порог изменится; мы скоро к этому вернемся.

Годовой процент отказов (AFR) за 1 квартал составляет 1,56%. Это столь же высоко, как квартальная ставка с 4 квартала 2017 года, и это часть общей тенденции к повышению, которую мы наблюдаем в квартальных показателях отказов за последние несколько кварталов. Давайте посмотрим поближе.

Квартальные тенденции
В предыдущих отчетах мы отмечали, что использование ежеквартальных отчетов полезно для выявления тенденций в отношении конкретного диска или даже производителя. Тем не менее, вам необходимо иметь достаточно данных (количество и количество дней в году) за каждый наблюдаемый период (квартал), чтобы сделать любой анализ действительным. С этой целью в приведенной ниже таблице используются квартальные данные с дисков Seagate и HGST, но при этом не учитываются диски Toshiba и WDC, поскольку в течение последних трех лет у нас не было достаточно дисков от этих производителей.


Тенденции ежегодных годовых отказов жестких дисков по производителям

За последние три года тенденция к ежегодным показателям отказов Seagate и HGST улучшилась, то есть уменьшилась. В то время как Seagate снизил частоту отказов более чем на 50% за это время, тенденция к росту за последние три квартала требует некоторого рассмотрения. Мы рассмотрим это и сообщим, найдем ли мы что-нибудь интересное в следующем посте.

Изменение порога квалификации
Как сообщалось за последние несколько кварталов, мы перешли с дисков с низкой плотностью, дисков на 2, 3 и 4 ТБ на жесткие диски на 10, 12 и 14 ТБ. В то же время мы заменили наши автономные модули хранения с 45 дисками на блоки хранения с 60 дисками, расположенные в конфигурации Backblaze Vault из 20 блоков хранения на хранилище. В первом квартале последний автономный 45-дисковый накопитель был удален. Поэтому использование 45 накопителей в качестве порога для квалификации в нашем ежеквартальном отчете выглядит устаревшим. Это хорошее время, чтобы перейти к использованию Дней в качестве критериев квалификации. При рассмотрении наших данных мы решили использовать 5000 дней в качестве порога в будущем. Исключение составляют все текущие накопители, о которых мы сообщаем, такие как модель Toshiba 5 ТБ с продолжительностью около 4000 часов в квартал, которые будут по-прежнему включаться в наши отчеты о состоянии жестких дисков.

Меньше дисков = больше данных
Те из вас, кто следит за нашими ежеквартальными отчетами, возможно, заметили, что общее количество жестких дисков в обслуживании сократилось в 1 квартале на 648 дисков по сравнению с 4 кварталом 2018 года, но мы добавили почти 60 петабайт хранилища. Вы можете увидеть, что изменилось на графике ниже.


Backblaze Cloud Storage: количество накопителей и дисковое пространство в таблице Q1 2019

Статистика срока службы жесткого диска
В приведенной ниже таблице показана частота отказов в течение срока службы моделей жестких дисков, которые мы эксплуатировали по состоянию на 31 марта 2019 года. Это за период, начинающийся в апреле 2013 года и заканчивающийся 31 марта 2019 года.


Таблица показателей отказоустойчивости жесткого диска Backblaze

Прогнозы на остаток 2019 года
В 2019 году, вот несколько предположений относительно того, что может произойти в течение года. Давайте посмотрим, что вы думаете.

К концу 2019 года, что, если таковое произойдет, произойдет следующее? Дайте нам знать об этом в комментариях.
  • Backblaze будет продолжать переносить диски емкостью 4 ТБ, и к концу 2019 года их будет менее 15 000: у нас сейчас около 35 000.
  • Для тестирования мы установим как минимум двадцать 20 ТБ накопителей.
  • Backblaze превысит 1 эксабайт (1000 петабайт) доступного облачного хранилища. В настоящее время мы имеем около 850 петабайт доступного хранилища.
  • Для целей тестирования мы установим как минимум 1 накопитель на основе HAMR от Seagate и / или 1 накопитель MAMR от Western Digital.

Данные о жестком диске
Полный набор данных, использованный для создания информации, использованной в этом обзоре, доступен на нашей веб-странице с данными испытаний жесткого диска. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, о чем мы просим, ​​это три вещи: 1) Вы цитируете Backblaze в качестве источника, если вы используете данные, 2) Вы соглашаетесь с тем, что несете единоличную ответственность за то, как вы используете эти данные, и, 3) Вы не продаете эти данные кому-либо — это свободно.

Если вы просто хотите, чтобы обобщенные данные использовались для создания таблиц и диаграмм в этом сообщении в блоге, вы можете скачать ZIP-файл, содержащий электронную таблицу MS Excel.

Удачи и дайте нам знать, если найдете что-нибудь интересное.

Вы спросили нас что-нибудь на Reddit!



Когда вы открываете дверь в Интернет, вы абсолютно не представляете, что произойдет. Это особенно верно для Reddit — главной страницы Интернета и одного из самых популярных в мире веб-сайтов. Поскольку Backblaze гордится прозрачностью нашего бизнеса, решение об участии в IAmA на Reddit было простым. Это была захватывающая возможность рассказать людям о Backblaze и начать разговор с кем-либо в мире, который мог бы привести куда угодно.

Если вы не знакомы с Reddit IAmA (I Am a), это субреддит (/r/IAmA) для интерактивных интервью с вопросами и ответами. Реддиторы могут задавать темы по своему желанию, по этой причине она называется АМА, сокращенно «Спроси меня что-нибудь». Результирующая цепочка комментариев сохраняется в Reddit. Backblaze сделали наш первый AMA в 2012 году, поэтому мы подумали, что пришло время для второго.

Как мы оказались на Reddit?
Двенадцать лет назад, Backblaze была сформирована после того, как друг нашего основателя позвонил, чтобы сказать ему, что ее компьютер сломался. У нее не было резервных копий, и ее данные исчезли. В результате Backblaze была создана, чтобы помочь потребителям и предприятиям создавать резервные копии своих данных самым простым способом, чтобы избежать потери данных.

Всемирный день резервного копирования начался аналогичным образом, когда пользователь Reddit потерял свой жесткий диск и пожелал, чтобы кто-то напомнил им о необходимости его резервного копирования. Небольшая группа в сообществе Reddit осознала важность резервного копирования и растущей тенденции потери данных. В целях повышения осведомленности они создали Всемирный день резервного копирования. С учетом наших целей, в сотрудничестве с World Backup Day и Reddit, Backblaze решила создать IAmA.

В 2012 году Backblaze была небольшой компанией с всего лишь 25 петабайтами данных под управлением и 15 сотрудниками. Большинство из нас участвовали в IAmA в этом году. В то время люди хотели знать о будущем Backblaze и возможности выхода нашей компании из бизнеса. Наш технический директор Брайан Уилсон ответил:
Мы никуда не денемся. Мы счастливы и прибыльны

Семь лет спустя оба эти утверждения все еще остаются в силе.
Конечно, за почти десятилетие многое изменилось. Мы храним более 750 ПБ данных клиентов от клиентов в более чем 150 странах. Наша команда из 15 человек выросла почти до 100. Но некоторые вещи остаются прежними — менее 6% владельцев компьютеров резервируют свои данные один раз в день или больше. Поэтому Backblaze решила вернуться в Reddit, чтобы рекламировать Всемирный день резервного копирования и зарегистрироваться в Интернете.

Еще раз, наиболее одобренный комментарий пришел от нашего технического директора, Брайана. Когда его спросили, почему Backblaze заставляет пользователей делать резервные копии своего диска C, Брайан объяснил, что он написал клиент так, чтобы «решить очень реальную проблему».

Эта проблема
Изначально Backblaze позволяла пользователям отменять выбор своего основного диска. И ужасная проблема появилась почти сразу. Клиенты начали отменять выбор своего диска, потому что они не знали, что диск C содержит данные, которые им могут понадобиться, или просто по ошибке. Затем они обратились бы в нашу службу поддержки и обнаружили, что не смогли восстановить свои данные. Это включало в себя фотографии детей, которые уже скончались (у нас было два случая этой точной ситуации), и другие незаменимые данные, которые теперь ушли навсегда.

Решение
В этот момент Брайан переписал клиент, чтобы принудительно включить основной диск. Это было решение, которое некоторым не нравилось. Однако, по словам Брайана, «исправление сработало потрясающе», и у нас больше нет клиентов, случайно теряющих данные, потому что они отменяют выбор своего накопителя. Основываясь на многочисленных ответах людей, работающих в IT, Брайан понял это правильно. «Программное обеспечение должно быть написано для конечного пользователя», — ответил один из ИТ-специалистов. «Все лучшее и самое популярное программное обеспечение (и оборудование) просты и легки в освоении».

Какие были еще вопросы?
В то время как мы изначально запланировали два часа для IAmA, мы закончили тем, что ушли на пять (наш социальный парень, Yev, может все еще быть там прямо сейчас).

Среди вопросов была пара просьб показать наши хранилища. Мы поговорили о спонсорстве подкастов, прояснили процесс заказа жестких дисков и ответили на сотни вопросов и комментариев. На момент публикации этого поста у нас было более 1300 комментариев.


Интересно было то, как Backblaze продолжает предоставлять действительно неограниченное решение для резервного копирования компьютеров. В нашей отрасли практически все безграничные решения исчезли с рынка. Но Backblaze удвоился за последние несколько лет. Это вызывает вопрос о том, как мы продолжаем устойчиво поддерживать продуктовую линейку. В настоящее время у нас есть один клиент, поддерживающий 430 терабайт за 6 долларов в месяц. По этой цене мы явно теряем деньги на этом клиенте. Тем не менее, большинство наших клиентов имеют гораздо меньше данных. Таким образом, в то время как мы теряем деньги на этом одном клиенте, мы в среднем прибыльны. Есть и другие причины для поддержки выбросов — эти клиенты демонстрируют, что мы действительно безграничны. Ни один сервис, который ограничивал или выборочно создавал резервные копии файлов, не позволил бы создать резервную копию 430 ТБ. Да, это в конечном итоге приводит к издержкам бизнеса, но эти отдаленные клиенты тоже становятся большими евангелистами. Вы не получаете столько данных, не будучи энтузиастом хранилища. Наш технический директор, Брайан, выдвинул еще одну вескую причину: когда продукт работает на действительно большие выбросы, тогда «он будет работать очень гладко для среднего клиента».

Если вы хотите больше узнать о нашей беседе с IAmA, вы можете сделать это на Reddit. Или, если вы хотите сделать резервную копию всех данных ваших конечных пользователей самым простым и надежным способом, мы приглашаем вас попробовать Backblaze Business Backup.

Google+ is Shutting Down: Save Your Content By March 31


Если вы являетесь пользователем Google+, интернет-социальной сети, вы недавно получили уведомление о том, что служба закрывается 2 апреля. Если у вас есть контент в Google+, который вы хотите сохранить, вам нужно получить это к воскресенью, 31 марта.

Если у вас уже есть копии этого контента, у вас все в порядке, но если какой-либо из этих материалов существует только в Google+, вы должны убедиться, что извлекаете его до истечения срока

Никакие другие продукты Google (такие как Gmail, Google Фото, Google Диск, YouTube) не затрагиваются. Все фотографии и видео, уже сохраненные в Google Фото, не будут удалены.

Напоминание, чтобы сохранить ваши данные в безопасности
Это действие Google, а также недавняя авария по удалению контента Myspace являются хорошим напоминанием о том, что вы никогда не захотите оказаться в ситуации, когда единственная копия ваших данных находится в одном месте, если это одно место явно не рассчитано на долгое время. термин безопасное архивирование. Любые данные, которые вы цените — на локальном компьютере, на внешнем диске, на носителе резервного копирования или в облаке — не должны существовать только в одном месте.

Если у вас есть данные в Google+, вот как их получить
Как скачать ваши данные.


Больше информации от Google на Google+ Closure
Для получения дополнительной информации см. Полный FAQ по отключению Google+.
support.google.com/plus/answer/9217723

Пять рекомендаций по безопасному сохранению вашего видео, фото и других данных

Независимо от того, работаете ли вы с видео, фото, аудио или другими данными, сохранение безопасности ваших данных должно быть на первом месте в вашем списке приоритетов. Безопасность данных может показаться сложной задачей, но, следуя лишь небольшому количеству рекомендаций, она становится простой и легко решаемой задачей.

Мы хотели бы поделиться тем, что мы считаем лучшими практиками для обеспечения безопасности ваших данных. Как опытным профессионалам, так и тем, кто только начинает работать с цифровыми медиа, эти передовые практики важно регулярно внедрять и пересматривать. Мы считаем, что, следуя этим правилам, независимо от того, какое конкретное программное обеспечение, услугу или устройство хранения данных вы используете, вы обеспечите максимальную безопасность всех ваших носителей и других данных.

Пять лучших практик для обеспечения безопасности ваших цифровых медиа
1 — Храните несколько копий ваших медиа файлов
К настоящему времени каждый, вероятно, знаком со стратегией 3-2-1 для поддержки нескольких копий ваших данных (видео, фотографии, каталоги управления цифровыми активами и т. Д.). Следование стратегии 3-2-1 просто означает, что у вас всегда должно быть как минимум три копии активных данных, две из которых являются локальными, и как минимум одна находится в другом месте.


Имейте в виду, что это для активных данных, то есть файлов и других данных, над которыми вы в данный момент работаете и хотите создать резервную копию на случай аварии, кражи или сбоя оборудования. Как только вы закончите работу с вашими данными, вам следует подумать об архивировании ваших данных, о чем мы также написали в нашем блоге.

2 — Используйте надежных поставщиков
Есть моменты, когда вы можете законно срезать углы, чтобы сэкономить деньги, и бывают моменты, когда вы не должны. Когда дело доходит до ваших цифровых медиа и услуг, вы хотите идти с лучшим. Это означает использование первоклассных карт памяти, жестких дисков и жестких дисков, программного обеспечения и облачных сервисов.

Что касается аппаратных устройств и программного обеспечения, всегда полезно прочитать обзоры или поговорить с другими, используя устройства, чтобы выяснить, насколько хорошо они работают. Для надежности жесткого диска наши записи в блоге Drive Stats могут быть информативными и являются уникальным источником информации в индустрии хранения данных.

Для облачного хранилища вам нужен поставщик с большим опытом надежности и стабильности затрат. Вы не хотите использовать облачную службу или другого поставщика SaaS, который ранее делал затруднительным или дорогостоящим доступ или загрузку ваших данных из их службы. Поставщик первоклассных услуг будет прозрачен в своей деловой практике, сообщит вам о любых сбоях в их окнах обслуживания или обслуживания и постарается сделать все возможное, чтобы исправить ситуацию в случае возникновения проблем.

3 — Всегда используйте шифрование (самое сильное из доступных)
Шифрование ваших данных дает ряд преимуществ. Он защищает ваши данные независимо от того, где они хранятся, а также когда они перемещаются — потенциально наиболее уязвимая часть ваших данных.

Зашифрованные данные не могут быть изменены или повреждены без обнаружения изменений, что обеспечивает еще одно преимущество. Шифрование также позволяет вам соответствовать требованиям соблюдения конфиденциальности и безопасности и не отставать от меняющихся правил и норм.

Шифрование бывает разных вкусов. Вы всегда должны выбирать самое надежное шифрование и убедиться, что все используемые вами пароли или многофакторная аутентификация являются надежными и уникальными для каждого приложения.

4 — Автоматизировать, когда это возможно
Не полагайтесь только на свою память или личную дисциплину, чтобы не забывать регулярно создавать резервные копии ваших данных. В то время как мы всегда начинаем с лучших побуждений, мы заняты, и мы часто позволяем вещам скользить (очень похоже на решение регулярно заниматься спортом). Лучше иметь регулярное расписание, которое вы выполняете, и лучше всего, если резервное копирование происходит автоматически. Многие приложения для резервного копирования и архивирования позволяют указывать, когда выполняются резервные копии, инкрементные резервные копии или моментальные снимки. Как правило, вы можете указать, сколько копий ваших данных хранить, и будут ли резервные копии запускаться по дате и времени или при изменении данных.

Автоматизация резервного копирования и архивирования означает, что вы не забудете выполнить резервное копирование, и это повысит вероятность того, что ваши данные будут восстановлены не только после аварии или сбоя оборудования, но и в актуальном состоянии. Вы также будете рады снижению стресса и беспокойства в вашей жизни.

5 — Будьте внимательны к безопасности в вашем рабочем процессе
Никто не хочет постоянно беспокоиться о безопасности, но если ее игнорировать, рано или поздно это невнимание настигнет вас. Лучший способ повысить безопасность ваших данных и уменьшить стресс в вашей жизни — это разработать план и реализовать его.

В самом простом смысле концепция внимательности к безопасности означает, что вы должны осознавать, как вы обрабатываете свои данные на всех этапах рабочего процесса. Чтобы быть внимательным, нужно не задумываться, не переживать и не беспокоиться, а просто осознавать возможные результаты ваших решений о том, как вы обрабатываете свои данные.

Если вы будете следовать первым четырем практикам в этом списке, то эта пятая концепция должна исходить из них естественным образом. Вы сделали правильный шаг к долгосрочному плану безопасного хранения ваших данных.

Безопасность данных может быть простой и эффективной
Лучшими методами обеспечения безопасности являются те, которым легко следовать последовательно. Если вы обратите внимание на пять лучших практик, которые мы изложили здесь, то вы уже на пути к обеспечению безопасности данных и спокойствия.

Насколько надежны твердотельные накопители?



Что не нравится в твердотельных накопителях (SSD)? Они быстрее, чем обычные жесткие диски (HDD), более компактны, не имеют движущихся частей, невосприимчивы к магнитным полям и могут противостоять большему количеству ударов и вибрации, чем обычные диски с магнитным диском. И они становятся доступными в больших и больших мощностях, в то время как их стоимость снижается.

Если вы обновили старый компьютер с помощью SSD, вы, несомненно, сразу же увидели преимущества. Ваш компьютер загружался за меньшее время, ваши приложения загружались быстрее, и даже когда вам не хватало памяти, а приложения и данные приходилось выгружать на диск, казалось, что все гораздо быстрее.

Сейчас мы видим SSD с емкостью, которая раньше была зарезервирована для жестких дисков и по ценам, которые больше не заставляют нас задуматься. SSD-накопители емкостью 500 ГБ теперь доступны по цене (менее 100 долл. США), а накопители емкостью 1 ТБ — по разумной цене (от 100 до 150 долл. США). Даже твердотельные накопители емкостью 2 ТБ попадают в бюджетный диапазон для создания высокопроизводительной настольной системы (от 300 до 400 долларов США).

Мы неоднократно писали в этом блоге о твердотельных накопителях и считали, что они лучше всего подходят для твердотельных накопителей по сравнению с жесткими дисками. Мы также написали о будущем твердотельных накопителей и о том, как мы их используем в наших центрах обработки данных, и планируем ли мы использовать их в будущем.



В этом посте мы рассмотрим вопрос надежности SSD. При всех своих достоинствах можно ли доверять твердотельным накопителям ваши данные, и будут ли они работать так же долго или дольше, чем если бы вы использовали вместо этого жесткий диск? Возможно, вы читали, что твердотельные накопители ограничены конечным числом операций чтения и записи до того, как они потерпят неудачу. О чем это все?

Суть вопроса в том, что диски SSD выходят из строя? Конечно, они делают, как и все диски в конце концов. Важные вопросы, которые нам действительно нужно задать, это: 1) они выходят из строя быстрее, чем жесткие диски, и 2) как долго мы можем разумно ожидать, что они продлятся?

Резервное копирование это здорово сделать
Конечно, как компания по хранению и резервному копированию данных, вы знаете, что мы собираемся сказать сразу. Мы всегда рекомендуем, чтобы независимо от того, какой носитель вы используете, у вас всегда должна быть резервная копия ваших данных. Даже если диск надежен и находится в хорошем состоянии, он не принесет пользы, если ваш компьютер будет украден, затоплен или потерян в результате пожара или другого стихийного бедствия. Возможно, вы слышали, что повреждение водой — самая частая компьютерная авария, и лишь немногие компоненты компьютера могут выдержать тщательное замачивание, особенно при питании.

Факторы надежности SSD для рассмотрения
Как правило, твердотельные накопители более долговечны, чем жесткие, в экстремальных и жестких условиях, поскольку в них нет движущихся частей, таких как рычаги привода. SSD лучше, чем HDD, могут противостоять случайным падениям и другим ударам, вибрации, экстремальным температурам и магнитным полям Добавьте к этому их небольшой размер и низкое энергопотребление, и вы поймете, почему они идеально подходят для ноутбуков и мобильных приложений.

Во-первых, давайте рассмотрим основы. Почти все типы современных твердотельных накопителей используют флэш-память NAND. NAND не является аббревиатурой от многих компьютерных терминов. Вместо этого это имя, которое происходит от логических элементов, называемых «НЕ И».



Термин, следующий за NAND, флэш, относится к энергонезависимой твердотельной памяти, которая сохраняет данные, даже когда источник питания удален. Хранилище NAND имеет особые свойства, которые влияют на его продолжительность. Когда данные записываются в ячейку NAND (также известную как программирование), данные должны быть удалены, прежде чем новые данные могут быть записаны в эту же ячейку. NAND программируется и стирается путем подачи напряжения для отправки электронов через изолятор. Расположение этих электронов (и их количество) определяет, когда ток будет течь между источником и стоком (так называемый порог напряжения), определяя данные, хранящиеся в этой ячейке (1 и 0). При записи и стирании NAND он отправляет электроны через изолятор и обратно, и изолятор начинает изнашиваться — точное число этих циклов в каждой отдельной ячейке зависит от конструкции NAND. В конце концов, изолятор изнашивается до такой степени, что он может испытывать трудности с удержанием электронов в их правильном (запрограммированном) положении, что делает все более трудным определение того, находятся ли электроны там, где они должны быть, или они мигрировали самостоятельно.

Это означает, что ячейки флэш-памяти могут быть запрограммированы и стерты только ограниченное количество раз. Это измеряется в циклах P / E, что означает программирование и стирание.

Циклы P / E являются важным измерением надежности SSD, но есть и другие факторы, которые также необходимо учитывать. Это циклы P / E, TBW (записанные терабайты) и MTBF (среднее время между сбоями).

Производитель SSD предоставит эти спецификации для своих продуктов, и они помогут вам понять, как долго будет работать ваш накопитель и подходит ли конкретный накопитель для вашего приложения.

Циклы P / E — цикл стирания программы в твердотельном хранилище — это последовательность событий, в которой данные записываются в твердотельную ячейку флэш-памяти NAND, затем стираются, а затем перезаписываются. Сколько циклов P / E может выдержать SSD, зависит от используемой технологии, где-то между 500 и 100 000 циклов P / E.

TBW — записанные терабайты — это общий объем данных, которые можно записать на твердотельный накопитель до того, как он может выйти из строя. Например, вот гарантии TBW для популярного твердотельного накопителя Samsung 860 EVO: 150 TBW для модели на 250 ГБ, 300 TBW для модели на 500 ГБ, 600 TBW для модели на 1 ТБ, 1200 TBW для модели на 2 ТБ и 2400 TBW для модели на 4 ТБ, Примечание: на эти модели предоставляется гарантия 5 лет или TBW, в зависимости от того, что наступит раньше.

MTBF — MTBF (среднее время между отказами) — это показатель надежности аппаратного продукта или компонента в течение ожидаемого срока его службы. Для большинства компонентов мера обычно составляет тысячи или даже десятки тысяч часов между отказами. Например, среднее время наработки на отказ жесткого диска может составлять 300 000 часов, а на твердотельном накопителе — 1,5 миллиона часов.

Это не означает, что ваш SSD прослужит столько часов, что означает, что, учитывая набор образцов этой модели SSD, ошибки будут возникать с определенной частотой. MTBF 1,2 миллиона часов означает, что, если диск используется в среднем по 8 часов в день, ожидается, что при выборке из 1000 твердотельных накопителей будет происходить один сбой каждые 150 дней или примерно два раза в год.

Типы SSD
Существует целый ряд различных типов твердотельных накопителей, и развитие технологий продолжается быстрыми темпами. Как правило, твердотельные накопители основаны на четырех различных технологиях ячеек NAND:

SLC (одноуровневая ячейка) — один бит на ячейку
Когда хранится один бит (SLC), нет необходимости держать закрытые вкладки о расположении электронов, поэтому миграция нескольких электронов не представляет большой проблемы. Поскольку сохраняется только 1 или 0, необходимо только точно определить, течет ли напряжение или нет.

MLC (многоуровневая ячейка) — два бита на ячейку
MLC хранит два бита на ячейку, поэтому требуется большая точность (определение порога напряжения является более сложным). Необходимо различать 00, 01, 10 или 11. Мигрирующие электроны оказывают большее влияние, поэтому изолятор нельзя носить так же часто, как с SLC.

TLC (трехуровневая ячейка) — три бита на ячейку
Эта тенденция продолжается с TLC, где хранятся три бита: 001, 010, 100,… 110 и 111. Мигрирующие электроны имеют больший эффект, чем в MLC, что дополнительно снижает допустимый износ изолятора.

QLC (Quad Level Cell) — четыре бита на ячейку
QLC хранит четыре бита (16 возможных комбинаций 1 и 0). С QLC мигрирующие электроны имеют наиболее значительный эффект. Допустимый износ изолятора еще больше уменьшается.

QLC хорошо подходит для рабочих нагрузок, ориентированных на чтение, потому что ячейки NAND изнашиваются пренебрежимо мало при чтении данных, а больше — при записи данных (программирование и стирание). При записи и перезаписи большого количества данных изолятор изнашивается быстрее. Если ячейка NAND может выдержать этот износ, она хорошо подходит для смешанного доступа для чтения / записи. Чем меньше износоустойчивых ячеек NAND, тем лучше они подходят для рабочих нагрузок и приложений, ориентированных на чтение.

Каждая последующая технология для NAND позволяет хранить дополнительный бит. Чем меньше бит на ячейку NAND, тем быстрее, надежнее и энергоэффективнее технология, а также она дороже. Технически твердотельный накопитель SLC будет самым надежным твердотельным накопителем, поскольку он может выдерживать большее количество операций записи, а QLC наименее надежный. Если вы выбираете SSD для приложения, в котором оно будет записано больше, чем прочитано, то выбор технологии ячейки NAND может стать важным фактором в вашем решении. Если ваше приложение предназначено для общего использования на компьютере, оно, скорее всего, будет иметь для вас меньшее значение.

Как факторы надежности влияют на ваш выбор SSD
Насколько эти факторы важны для вас, зависит от того, как используется SSD. Правильный вопрос — как диск будет работать в вашем приложении? Существуют разные критерии производительности и надежности в зависимости от того, будет ли SSD использоваться на домашнем настольном компьютере, в центре обработки данных или на исследовательской машине на Марсе.

Производители иногда указывают тип рабочей нагрузки приложения, для которой предназначен SSD, такой как интенсивная запись, интенсивное чтение или смешанное использование. Некоторые поставщики позволяют заказчику выбрать оптимальный уровень выносливости и емкости для конкретного твердотельного накопителя. Например, корпоративный пользователь с базой данных с большим количеством транзакций может выбрать большее число операций записи на диск за счет емкости. Или пользователь, работающий с базой данных, которая выполняет редкие записи, может выбрать меньшее число записей на диске и большую емкость.

Признаки отказа SSD
SSD в конечном итоге выйдет из строя, но обычно есть предварительные предупреждения о том, когда это произойдет. Вы, вероятно, столкнулись со страшным щелкающим звуком, который исходит от умирающего жесткого диска. SSD не имеет движущихся частей, поэтому мы не получим звукового предупреждения о том, что SSD собирается подвести нас. Вам следует обратить внимание на ряд показателей того, что срок службы вашего SSD приближается к концу, и принять меры, заменив этот диск на новый.

1) Ошибки, связанные с плохими блоками
Подобно плохим секторам на жестких дисках, на SSD есть плохие блоки. Обычно это сценарий, когда компьютер пытается прочитать или сохранить файл, но это занимает необычно много времени и заканчивается неудачей, поэтому система в конечном итоге сдается с сообщением об ошибке.

2) Файлы не могут быть прочитаны или записаны
Существует два способа, которыми плохой блок может повлиять на ваши файлы: 1) система обнаруживает плохой блок при записи данных на диск и, таким образом, отказывается записывать данные, и 2) система обнаруживает плохой блок после того, как данные был написан, и поэтому отказывается читать эти данные.

3) Файловая система нуждается в восстановлении
Получение сообщения об ошибке на экране может происходить просто потому, что компьютер не был выключен должным образом, но это также может быть признаком того, что на SSD возникают плохие блоки или другие проблемы.

4) Сбой во время загрузки
Сбой во время загрузки компьютера является признаком того, что на вашем диске может возникнуть проблема. Вы должны убедиться, что у вас есть текущая резервная копия всех ваших данных, прежде чем она ухудшится и диск выйдет из строя полностью.

5) диск становится только для чтения
Ваш диск может отказаться записывать больше данных на диск и может только читать данные. К счастью, вы все еще можете получить свои данные с диска.

Как правило, твердотельные накопители будут работать столько, сколько вам нужно
Давайте вернемся к двум вопросам, которые мы задали выше.

Вопрос 1: SSD отказывают быстрее, чем HDD?
Ответ: Это зависит от технологии накопителей и от того, как они используются. Жесткие диски лучше подходят для одних приложений и SSD для других. Можно ожидать, что твердотельные накопители будут работать дольше или дольше, чем жесткие диски в большинстве общих приложений.

Вопрос 2: Как долго мы можем ожидать, что SSD будет работать долго?
Ответ: В идеале твердотельный накопитель должен длиться столько, сколько его производитель ожидает (например, пять лет), при условии, что использование накопителя не является чрезмерным для технологии, которую он использует (например, использование QLC в приложении с большим количеством пишет). Ознакомьтесь с рекомендациями производителя, чтобы убедиться, что использование SSD соответствует его наилучшему использованию.

SSD — это другое поколение животных, нежели HDD, и они имеют свои сильные и слабые стороны по сравнению с другими носителями. Хорошей новостью является то, что их сильные стороны — скорость, долговечность, размер, энергопотребление и т. Д. — подкреплены довольно хорошей общей надежностью.

Пользователи твердотельных накопителей гораздо чаще заменяют свои накопители, потому что они готовы перейти на более новую технологию, более высокую емкость или более быстрый накопитель, чем необходимость замены накопителя из-за короткого срока службы. При нормальном использовании мы можем ожидать SSD до последних лет. Если вы заменяете компьютер каждые три года, как это делают большинство пользователей, вам, вероятно, не нужно беспокоиться о том, будет ли ваш SSD работать столько же, сколько и ваш компьютер. Важно то, будет ли SSD достаточно надежным, чтобы вы не потеряли свои данные в течение срока его службы.

Как мы видели выше, если вы будете обращать внимание на свою систему, вы получите достаточно предупреждений о надвигающемся сбое диска, и вы можете заменить диск до того, как данные станут недоступны для чтения.

Взгляд изнутри на музей стручков Backblaze



Merriam-Webster определяет музей как «учреждение, занимающееся приобретением, уходом, изучением и демонстрацией объектов, представляющих длительный интерес или ценность». Учитывая это определение, мы хотели бы представить музей стручков Backblaze Storage. В то время как некоторые люди думают о музее как о месте статичных, устаревших артефактов, другие понимают, что эти артефакты могут рассказать историю со временем экспериментов, эволюции и инноваций. Это, безусловно, имеет место с нашими модулями хранения. Скромность не позволяет нам сказать, что мы изменили индустрию хранения с помощью нашего дизайна Storage Pod, поэтому допустим, что мы добавили много красного на изображение.

На протяжении многих лет Ларри, наш менеджер центра обработки данных, хранил различные версии наших модулей хранения данных после их вывода из эксплуатации. Он также сохранил диски, SATA-карты, источники питания, кабели и многое другое. Слава Богу. С оборудованием, которое сохранили тенденции Ларри, и несколькими текущими модулями хранения, которые мы позаимствовали (тссс, не говори Ларри), мы смогли запустить Музей модулей хранения Backblaze. Давайте сделаем короткое фото-путешествие по годам.

До хранения Pod 1.0
До того, как мы анонсировали Storage Pod 1.0 миру почти 10 лет назад, мы уже создали около двадцати или около того Storage Storage Pod. Эти ранние модули использовали накопители Western Digital 1,0 ТБ Green. Было несколько прототипов, но как только мы начали производство, мы остановились на конструкции с 45 дисками и 3 рядами из 15 вертикально установленных дисков. Мы заказали первую партию из десяти шасси, а затем обнаружили, что у нас нет отверстия для включения / выключения. Мы импровизировали.




Storage Pod 1.0 — петабайты на бюджете
Мы познакомили мир хранения с недорогим облачным хранилищем с помощью Storage Pod 1.0. Забавно, но мы не называли это нововведение версией 1.0 — это просто Backblaze Storage Pod. Мы не только представили Storage Pod, но и открыли дизайн, опубликовали спецификации дизайна, список деталей и многое другое. Люди обратили внимание. Мы представили конструкцию с накопителями Seagate емкостью 1,5 ТБ для общего объема хранения 67 ТБ. Эта версия также имела системную плату Intel для настольных ПК (DG43NB) и 4 ГБ памяти.







Storage Pod 2.0 — больше петабайт в бюджете
Storage Pod 2.0 был в два раза больше системы, чем 1.0. У него было вдвое больше памяти, вдвое больше скорости и вдвое больше памяти, но он был в том же шасси с тем же количеством дисков. Все это в совокупности позволяет снизить стоимость одного гигабайта системы Storage Pod более чем на 50%: с 0,117 долл. США / ГБ в версии 1 до 0,055 долл. США / ГБ в версии 2.


Среди изменений: системная плата для настольных ПК в V1 была обновлена ​​до материнской платы серверного класса, мы упростили использование трех четырехпортовых карт SATA и снизили стоимость самого шасси. Кроме того, мы использовали жесткие диски Hitachi (HGST) объемом 3 ТБ в Storage Pod 2.0, чтобы удвоить общий объем хранилища до 135 ТБ. В течение срока службы эти накопители HGST имели годовой процент отказов 0,82%, причем последний из них был заменен во втором квартале 2017 года.

Storage Pod 3.0 — Хорошие вибрации
Storage Pod 3.0 — это первая значительная модернизация шасси в наших усилиях по упрощению обслуживания и предоставлению возможности использовать более широкий спектр компонентов. Самым заметным изменением стало введение крышек дисков — по одной на каждый ряд из 15 дисков. Каждая крышка удерживалась на месте парой стальных стержней. Крышки дисков удерживали приводы внизу на месте и заменяли ранее использованные ленты дисков. Материнская плата и процессор были обновлены, и мы использовали память, сертифицированную Supermicro. Кроме того, мы добавили стойки в корпус, чтобы можно было использовать материнские платы Micro ATX, если это необходимо, и добавили отверстия, где это необходимо, чтобы кто-то мог использовать один или два 2,5-дюймовых диска в качестве загрузочных — мы используем один 3,5-дюймовый диск.



Storage Pod 4.0 — прямой провод
В рамках Storage Pod 3.0 Protocase помог спроектировать, а затем построить наши модули хранения. За это время они также разработали и выпустили версию с прямым проводом, которая заменила девять объединительных плат прямой проводкой к платам SATA. Storage Pod 4.0 был основан на технологии прямого провода. Мы развернули небольшое количество этих систем, но мы столкнулись с проблемами драйверов между нашим программным обеспечением и новыми картами SATA. В конце концов, мы вернулись к нашим объединительным платам, и Protocase продолжил работу с прямыми проводными системами, которые они продолжили успешно развертывать. Вывод: есть несколько способов добиться успеха с дизайном Storage Pod.


Storage Pod 4.5 — объединительные платы вернулись
Эта версия началась с дизайна Storage Pod 3.0 и представила новые 5-портовые объединительные платы и была обновлена ​​до плат SATA III. Обе эти части были построены на чипсетах Marvell. Задние панели, которые мы ранее использовали, постепенно сокращались, что побудило нас изучить другие альтернативы, такие как прямые проволочные каркасы. Теперь у нас была готовая поставка 5-портовых объединительных плат, и Storage Pod 4.5 был готов к работе.


Мы также начали использовать Evolve Manufacturing для создания этих систем. Они были расположены недалеко от Backblaze и могли масштабироваться для удовлетворения наших постоянно растущих производственных потребностей. Кроме того, они были полны отличных идей о том, как улучшить дизайн Storage Pod.

Storage Pod 5.0 — эволюция от шасси вверх
В то время как Storage Pod 3.0 была первой переработкой шасси, Storage Pod 5.0 на сегодняшний день была наиболее существенной. Работая с Evolve Manufacturing, мы изучили все, вплоть до заклепок и стоек, в поисках лучшего, более экономичного дизайна. Движущей силой многих дизайнерских решений стало внедрение Backblaze B2 Cloud Storage, которое было разработано для работы с нашей архитектурой Backblaze Vault. С точки зрения производительности мы обновили материнскую плату и процессор, увеличили объем памяти в четыре раза, увеличили сетевую плату до 10 ГБ на материнской плате и перешли с SATA II на SATA III. Мы также полностью переделали кожухи дисков, заменив крышки с 15 приводами на девять отсеков с пятью дисками с направляющими.










Storage Pod 6.0 — 60 накопителей
Storage Pod 6.0 увеличил объем хранилища с 45 до 60 дисков. У нас было много вопросов, когда эта идея была впервые предложена, например, что нам нужно: больше блоков питания (ответ: нет), больше памяти (нет), больший процессор (нет) или больше вентиляторов

A Message From Our CEO: Subscription Plan Changes



Еще в 2008 году мы построили наш неограниченное обслуживание компьютеров резервного копирования и предложил всего за $ 5 / месяц. В то время как большинство других безлимитные предложения ушли, мы не только приверженны неограниченное резервное копирование, мы также улучшили наш сервис, обеспечивая более быстрое резервное копирование и больше возможностей. Мы смирились быть поручена более чем 750,000,000 гигабайт данных на сотни тысяч клиентов.

После более чем десяти лет, мы приняли решение о повышении цен в первый раз. Я поделился более подробно на нашем мыслительном процессе и принятия решения в сегодняшнем блоге: Обновления подписки для компьютера резервного копирования.

Эффективен для новых покупок и продлений после 11 марта 2019 года в 5PM Тихого океана, наши цены будут меняться от $ 5 до $ 6 в месяц, $ 50 до $ 60 в год, и $ 95 до $ 110 за планов два года.

Как спасибо наших существующих клиентов, мы предоставляем возможность приобрести продление на 1 год для существующих лицензий на $ 50 за лицензию (наши оригинальные цены от более десяти лет назад).
help.backblaze.com/hc/en-us/articles/360016393473

Backblaze Hard Drive Stats for 2018



Мы опубликовали наш первый отчет «Статистика жесткого диска» чуть более 5 лет назад, 21 января 2014 года. Мы назвали этот отчет «Какой жесткий диск мне следует купить». Оглядываясь назад, это могло бы показаться немного чрезмерным, но мы были публиковать данные, которых в принципе не было.

Многим людям нравятся наши отчеты, некоторым нет, а некоторым — нет, и это нормально. С самого начала идея состояла в том, чтобы поделиться нашим опытом и использовать наши данные, чтобы пролить свет на непрозрачный мир жестких дисков. Мы надеемся, что вам понравилось читать наши отчеты, и мы с нетерпением ждем публикации их, пока люди находят их полезными.
Спасибо.

По состоянию на 31 декабря 2018 года у нас было 106 919 вращающихся жестких дисков. Из этого числа было 1 965 загрузочных дисков и 104 954 дисков с данными. В этом обзоре рассматривается частота отказов жесткого диска для моделей дисков данных, работающих в наших центрах обработки данных. Кроме того, мы рассмотрим новые модели жестких дисков, которые мы добавили в 2018 году, в том числе наши жесткие диски Toshiba емкостью 12 ТБ и 14 ТБ. По пути мы поделимся наблюдениями и знаниями по представленным данным, и мы с нетерпением ждем, чтобы вы сделали то же самое в комментариях.

Показатели отказов жестких дисков 2018 года: что говорят нам более 100 000 жестких дисков
В конце 2018 года компания Backblaze провела мониторинг 104 954 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключаем из рассмотрения те диски, которые использовались в целях тестирования, и модели, для которых у нас не было как минимум 45 дисков (см. Почему ниже). Это оставляет нам с 104 778 жестких дисков. В таблице ниже показано, что произошло только в 2018 году.


Примечания и наблюдения
Если в модели накопителя частота отказов составляет 0%, это означает, что в течение 2018 г. не было отказов накопителей этой модели.

В 2018 году заявленный годовой процент отказов (AFR) обычно довольно солидный. Исключение составляют случаи, когда в данной модели накопителей имеется небольшое количество накопителей (менее 500) и / или небольшое количество дней накопителей (менее 50 000). В этих случаях APR может быть слишком шатким, чтобы его можно было надежно использовать для принятия решений о покупке или выходе на пенсию.

Было 176 дисков (104 954 минус 104 778), которые не были включены в список выше. Эти диски либо использовались для тестирования, либо у нас не было как минимум 45 дисков данной модели. Мы используем 45 накопителей той же модели, что и минимальное количество, при составлении квартальной, годовой и пожизненной статистики накопителей. Это историческое число, основанное на количестве дисков, необходимых для заполнения одного модуля хранения Backblaze (версия 5 или более ранняя).

Годовая частота отказов (AFR) для 2018 года для всех моделей приводов составила всего 1,25%, что значительно ниже показателей предыдущих лет, о чем мы поговорим позже в этом обзоре.

Что нового в 2018 году
В 2018 году основной тенденцией стала миграция жестких дисков: замена дисков с меньшей плотностью 2, 3 и 4 ТБ на 8, 10, 12 и в Q4, 14 ТБ. В 2018 году мы перенесли 13 720 жестких дисков и добавили еще 13 389 жестких дисков, увеличив общий объем хранилища с примерно 500 петабайт до более 750 петабайт. Таким образом, в 2018 году специалисты нашего центра обработки данных мигрировали или добавляли 75 дисков в день в среднем каждый день в году.

Вот краткий обзор того, что нового в 2018 году.
  • Приводов Western Digital емкостью 4 ТБ не более; последний из них был заменен в 4 квартале. Это оставляет нам только 383 накопителя Western Digital — все диски емкостью 6 ТБ. Это 0,37% нашего парка автомобилей. У нас есть много накопителей от HGST (принадлежащих WDC), но за эти годы мы так и не смогли получить необходимое количество накопителей Western Digital по разумной цене.
  • Говоря о дисках HGST, в четвертом квартале мы добавили 1200 дисков HGST объемом 12 ТБ (модель: HUH721212ALN604). Ранее мы тестировали эти диски в Q3 без сбоев, поэтому мы заполнили хранилище Backblaze 1200 дисками. Примерно через месяц у нас был только один сбой, так что они начали хорошо.
  • У накопителей HGST есть свои пути, так как в четвертом квартале мы также добавили 6 045 накопителей Seagate 12 ТБ (модель: ST12000NM0007), чтобы довести нас до 31 146 накопителей этой модели. Это 29,7% нашего парка автомобилей.
  • Наконец, в четвертом квартале мы добавили 1200 дисков Toshiba объемом 14 ТБ (модель: MG07ACA14TA). Это заполненные гелием приводы PMR (перпендикулярная магнитная запись). Начальная годовая частота отказов (AFR) составляет чуть более 3%, что аналогично другим новым моделям, и мы ожидаем, что AFR будет со временем падать по мере установки накопителей.

Сравнение частоты отказов жесткого диска с течением времени
Когда мы сравним статистику по жестким дискам за 2018 год с предыдущими годами, мы увидим две вещи. Во-первых, переход на более крупные диски, а во-вторых, улучшение общей годовой частоты отказов каждый год. В приведенной ниже таблице сравнивается каждый из последних трех лет. Данные за каждый год включают только этот год.

Примечания и наблюдения
  • В 2016 году средний объем используемых жестких дисков составил 4,5 ТБ. К 2018 году средний размер вырос до 7,7 ТБ.
  • Годовая частота отказов в 1,28% в 2018 году была самой низкой из всех зарегистрированных за год.
  • Ни один из 45 дисков Toshiba объемом 5 ТБ (модель MD04ABA500V) не вышел из строя со второго квартала 2016 года. Несмотря на то, что количество накопителей небольшое, это все еще довольно хороший пробег.
  • Диски Seagate 10 ТБ (модель: ST10000NM0086) продолжают впечатлять, поскольку их AFR на 2018 год составлял всего 0,33%. Это основано на 1220 дисках и почти 500 000 гоночных дней, что делает AFR довольно солидным.

Статистика срока службы жесткого диска
Хотя сравнение годовых показателей отказов жестких дисков в течение нескольких лет является отличным способом определения тенденций, мы также смотрим на показатели годичных отказов наших жестких дисков в течение всего срока службы. На приведенной ниже диаграмме представлены показатели годовой частоты отказов всех накопителей, которые в настоящее время находятся в производстве.


Жесткий диск Статистика вебинар
Мы представим вебинар « Backblaze Hard Drive Stats для 2018 года » в четверг, 24 января 2019 года, в 10:00 по тихоокеанскому времени. На вебинаре будут более подробно рассмотрены ежеквартальные, годовые и пожизненные характеристики накопителей на жестких дисках, а также годовая и пожизненная статистика по размеру накопителя и производителю. Для просмотра вебинара вам необходимо подписаться на канал Backblaze BrightTALK. Зарегистрируйтесь сегодня www.brighttalk.com/webcast/14807/346376

Статистика по жесткому диску
Полный набор данных, использованный для создания информации, использованной в этом обзоре, доступен на нашей странице с данными испытаний жесткого диска. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, что мы просим, ​​- это три вещи: 1) вы цитируете Backblaze в качестве источника, если вы используете данные, 2) вы соглашаетесь с тем, что несете полную ответственность за то, как вы используете данные, и 3) вы не продаете эти данные кому-либо; это свободно.

Если вы просто хотите, чтобы сводные данные использовались для создания таблиц и диаграмм в этом сообщении в блоге, вы можете загрузить ZIP-файл, содержащий CSV-файл.