Любой, кто обращает внимание на рынок жестких дисков так же внимательно, как Backblaze, уже знает все о быстром росте популярности Chia — «зеленой» альтернативы Биткойну — и о том, какое влияние она оказывает на мировые поставки жестких дисков. Если вы еще не слышали о Чиа, ознакомьтесь с краткой записью ниже, чтобы получить дополнительную информацию. Но этот пост предназначен для многих фермеров чиа, которые уже погрузились в сельское хозяйство и теперь сталкиваются с пустыми полками в поисках решений для хранения на своих участках.

Помня об этой нехватке, наша команда приступила к изучению экспериментального решения, которое позволит обрабатывать участки Chia, хранящиеся в облачном хранилище B2. Мы рады сообщить, что теперь фермеры чиа могут хранить и обрабатывать свои участки в Backblaze B2.

Итак, если вы хотите принять участие в сенсации Chia, не тратя много средств на труднодоступные жесткие диски большой емкости, теперь есть инновационный способ начать работу с доступным масштабируемым облачным решением.

Chia против биткойнов: Chia — это новая криптовалюта, в которой используется алгоритм доказательства свободного места. В отличие от алгоритма доказательства работы, поддерживающего Биткойн, который требует больших затрат ресурсов и ресурсов процессора, и энергии, Chia был разработан для минимизации энергопотребления. В результате мы получаем блокчейн с интенсивным хранением. Если вы хотите узнать больше, рекомендуем обратиться к первоисточнику.

Ключи к победе в испытаниях чиа
Участки Чиа не просто бездействуют. Сеть Chia регулярно выдает запросы на соответствие и проверки качества. Проверки качества важны для достижения успеха, но проблемы — когда каждые 512 участков проверяется каждые 10 минут — являются причиной того, что вы занимаетесь сельским хозяйством.

Если один из ваших сюжетов выбран для матча, вам необходимо получить «полное доказательство», чтобы получить вознаграждение, что требует около 64 поисков жесткого диска и доставки полного доказательства остальной части одноранговой сети. менее чем за 30 секунд, прежде чем «повелители времени» Чиа двинут блокчейн дальше.

Это создает две проблемы, которые могут мешать вам спать по ночам, если вы пытаетесь фармить чиа:

• Проблема 1: Где хранить участки в масштабе.
• Учитывая, что текущее расчетное сетевое пространство, занятое участками Chia, составляет 20 эксабайт (и растет экспоненциально!), Случай показывает, что только один из ваших участков будет выигрывать примерно раз в 96 лет. Это все равно, что ждать всю жизнь кукурузного початка, а не весело. Итак, вы хотите иметь много участков, чтобы улучшить свои шансы, но вам нужно где-то их хранить, что вы можете себе позволить и которое может расти вместе с вашим сельским хозяйством.
• Проблема 2: Управление сложностью масштабирования хранилища.
• Если вы решите проблему хранения, вам также понадобится способ быстро и надежно сделать все графики доступными для чтения и быстрого представления в сети, когда вы выиграете испытание. Вам нужно будет уметь управлять этой сложностью каждую секунду каждый день, пока вы хотите быть фермером. Если вы ждете 96 лет, чтобы получить хоть один кукурузный початок, пропустить день сбора урожая было бы обидно.

Это ключи к победе в матче: достижение масштаба и умелое управление им.

Статус-кво: отдельные фермеры чиа используют жесткие диски для хранения
Для жесткого диска 7200 об / мин с задержкой чтения примерно 10 мс получение проверки качества или полной проверки занимает около 70 мс на подходящую диаграмму. Поскольку ядро ​​Chia кэширует первые семь операций чтения, жесткий диск должен выполнить только 64 поиска при выдаче запроса.

Если диск емкостью 18 ТБ, который может содержать 166 графиков по 108 ГБ на график (при k = 32), достаточно удачлив, чтобы содержать график, который является тем волшебным «одним из 512», жесткий диск достаточно быстро выполняет необходимые операции чтения, потому что Chia была разработана для использования жестких дисков для земледелия. Но жесткие диски могут выполнять только одну из этих операций за раз, поэтому рабочий стол должен выполнять операции последовательно. Даже если вы используете твердотельный накопитель, вам все равно придется выполнять операции последовательно. Опять же, это не проблема для отдельных дисков, поскольку жесткие диски и твердотельные накопители могут выполнять операции очень быстро в отведенное время.

Но даже для тех, кому посчастливилось найти запас готовых дисков емкостью 18 ТБ, которые не были дважды размечены, обеспечение хранилища для количества участков, необходимых фермеру Чиа для обеспечения разумных шансов на успех, будет трудом и капиталом. интенсивный.


Как использовать облачное хранилище для масштабирования участков
Программное обеспечение Chia не было разработано для ведения сельского хозяйства с использованием общедоступного облачного объектного хранилища, и первые тесты, которые мы провели на графиках Chia, хранящихся в облачном хранилище B2, подтвердили это: требуется несколько минут, а не 30 секунд, необходимых для своевременного прохождения проверки качества. В отличие от решения с локальным хранилищем, где данные проверки качества могут кэшироваться ядром, при настройке облачного хранилища производительность снижается до такой степени, что это влияет на вероятность успешного выполнения пользователями задач.

Backblaze B2 Cloud Storage предоставляет объектное хранилище, в котором данные хранятся в виде дискретных объектов, что исключает необходимость использования какой-либо вложенной или иерархической файловой структуры. Это делает B2 Cloud Storage идеальным для масштабирования и использования в качестве исходного хранилища, но как отдельный продукт хранилище объектов не подходит для хранения графиков Chia. Без оптимизации кэширования для повышения производительности и способа одновременного чтения графиков B2 Cloud Storage не смог бы эффективно служить в случае фермерского хозяйства Chia. Но B2 Cloud Storage спроектировано так, чтобы использовать преимущества параллельных операций или потоков, предлагая некоторые преимущества по сравнению со стандартным физическим диском, если они правильно настроены для этого варианта использования (кашля * я писал здесь про потоки! Кашля *).

Наша команда подумала, что было бы интересно создать инструмент, обеспечивающий обходной путь для варианта использования Chia, по четырем веским причинам:

• Во-первых: потому что Backblaze Storage Cloud предоставляет оба ключа для успешного выращивания чиа: нет необходимости в выделении ресурсов, и фермеры из чиа могут загружать новые участки с высокой скоростью и масштабом. Backblaze Storage Cloud обслуживает почти 500 миллиардов файлов с исключительной надежностью и доступностью.
• Во-вторых: стоимость хранения участков Chia в Backblaze B2 является привлекательной с финансовой точки зрения и составляет 5 долларов США за ТБ в месяц. Согласно Chia Calculator, использование облачного хранилища B2 для хранения участков было бы прибыльным, в зависимости от темпов роста сетевого пространства и текущей цены монеты Chia.
• В-третьих: команда инженеров и инженеров Tiger, включая меня, думала, что это будет интересным и полезным (и увлекательным) экспериментом.
• Наконец: та же команда считала, что мы могли бы включить Chia-сельское хозяйство участков, хранящихся в B2 Cloud Storage, взломав код того, как распараллеливать операции в Chia.
• Помня об этом, наша команда Tiger приступила к работе. Инструмент для монтирования Backblaze B2 в качестве файловой системы был необходим, поскольку Chia изначально не поддерживает API Backblaze B2 Native или S3 Compatible. После некоторого тестирования наша команда остановилась на B2_fuse, поскольку наши инженеры, которые будут над этим работать, уже были знакомы с исходным кодом.

Выбрав B2_fuse, наши инженеры добавили алгоритм предварительной выборки для кэширования операций чтения, чтобы решить проблему ядра, упомянутую выше. Это улучшило бы производительность, но поскольку считывание с жесткого диска по-прежнему выполнялось по одному, оставалось место для дополнительных улучшений. Очевидно, что параллельное выполнение операций значительно повысило бы вероятность успеха, и после некоторых копаний один из наших инженеров нашел PR (запрос на вытягивание), который добавлял параллельное чтение и еще не был объединен в проект Chia.

Благодаря оптимизации кэширования в B2_fuse и добавленной функциональности параллельного чтения время проверки для графика Chia, хранящегося в облачном хранилище B2, сократилось до секунд. Это обеспечивает загрузку участков Chia в Backblaze B2 и их представление в сети Chia для ведения сельского хозяйства без необходимости использования дорогостоящего сервера в центре обработки данных.

Наши успешные тесты были проведены с использованием вычислительного экземпляра, работающего в регионе Запада США, с учетной записью Backblaze B2, который также находится в регионе Запада США. Попробуйте, и вы увидите целое поле метафорических культур — все готово к тому, когда придет вызов «один из 512».
Если вы хотите попробовать это решение, настройте учетную запись Backblaze B2 сейчас и получите обновленную версию B2_fuse (или внесите свой вклад в проект) вместе с инструкциями о том, как получить PR с параллельными чтениями здесь: github.com/Backblaze-B2-Samples/b2fs4chia

Поскольку эта поддержка носит экспериментальный характер и команда Backblaze знает, что многие фермеры Chia будут рады ее опробовать, мы просим фермеров ограничить хранение делянок Chia до 100 ТБ или связаться с нашим отделом продаж, чтобы обсудить что-то более крупное.

Облако — это мир, в котором каждый день бесконтрольно происходит много всего к лучшему, а иногда и к худшему.

Рынок хранилищ данных готовился к волне, но она ударила намного сильнее, чем, возможно, ожидалось.

Chia — это криптовалюта, основанная на Proof of Space.

Короче говоря, чтобы получить монеты Чиа, вам понадобится Proof of Space. Чем больше у вас хранилища, тем выше ваши шансы получить Proof of Space, тем больше монет Chia вы можете заработать.

Первоначально Chia предназначалась для использования неиспользуемого места для хранения на вашем ноутбуке, но теперь ситуация выходит из-под контроля. Фермеры приобретают все хранилища, доступные на рынке, чтобы повысить свои шансы на получение монет и, следовательно, реальных денег.

Общий объем складских помещений, используемых фермерами чиа на сегодняшний день, можно увидеть ниже:


Как видите (масштаб в петабайтах), используемое пространство бесконтрольно растет и уже достигло 7 эксабайт.

Несмотря на то, что Chia должна быть «экологичнее», чем биткойн или другие криптовалюты, основанные на Proof of Work (требующие очень энергоемких вычислительных ресурсов), ее сеть теперь составляет в общей сложности семь тысяч петабайт во всем мире.

Если учесть, что один жесткий диск в среднем составляет 8 ТБ, Chia на сегодняшний день потребляет около миллиона жестких дисков в мире. Один миллион жестких дисков, основанный на предположениях, основан на цене монеты Chia.

Как вы понимаете, такое поведение оказывает сильное влияние на рынок поставок жестких дисков, что приводит к росту цен и чрезвычайно долгим и неконтролируемым срокам выполнения заказов. Не говоря уже о пандемии, которая уже оказала значительное влияние на цены на компоненты и сроки выполнения заказа. В какой-то момент, поскольку цены на оборудование растут, это затронет всех, от частных лиц, покупающих жесткий диск для хранения фотографий, до компаний, фактически использующих облако для создания резервных копий или в качестве ключевого актива для своего бизнеса.

Этой криптовалюте несколько месяцев, и в Scaleway мы уже наблюдаем влияние Chia на все наши продукты, от объектных хранилищ и экземпляров до выделенных серверов. Фермеры-спекулянты пробиваются, чтобы заработать как можно больше денег и как можно быстрее.

Нам необходимо внимательно следить за этой тенденцией и оценивать износ оборудования, вызываемый этой интенсивной операцией чтения и записи.

Облако, которое имеет смысл.

Чтобы обслужить как можно больше клиентов, мы решили, что с сегодняшнего дня:

• Построение Chia запрещено на всех экземплярах SSD и NVMe, выделенных серверах, службах RPN-SAN, BMaaS и блочных хранилищах. Планирование Chia требует чрезвычайно интенсивного ввода-вывода и разрушает большинство твердотельных накопителей менее чем за несколько недель.
• Важное примечание: Chia plotting влечет за собой ответственность клиента в соответствии с разделом 9 нашего контракта. Мы будем выставлять счет клиентам за любые SSD и NVM, уничтоженные из-за заговора Chia.
• Фермерство Chia разрешено на всех BMaaS, выделенных серверах и сервисах блочного хранилища без каких-либо ограничений.
• Выращивание чиа разрешено в хранилище объектов Scaleway при условии, что наш отдел продаж сделал предварительный запрос и одобрил его.
• Важное примечание: выращивание Chia в Scaleway Object Storage без предварительного разрешения будет ограничено до 250 ТБ и будет оплачено из расчета 0,08 евро за ГБ.
• Это первая мера, которая будет реализована в Scaleway, и мы тщательно следим за тем, чтобы Chia не повлияла на компании, предпринимателей или стартапы, которые доверяют нам предоставление наилучшего возможного обслуживания.

Наши группы IaaS, Trust & Safety и Excellence работают вместе, чтобы отслеживать действия, связанные с вредоносными или оскорбительными заговорами и сельским хозяйством Chia, чтобы гарантировать, что это не повлияет на качество наших услуг для других клиентов.

За дополнительной информацией обращайтесь к нашим отделам продаж или совершенствованию.

Гаспар Плантроу, вице-президент PaaS.

E3-1245v5 4c/8t 3.5 GHz+
32 GB DDR4 ECC 2400MHz
2x 6 TB SATA3 (можно установить ОС на диск1 и потом диск2 отдельно)

5000р/мес
Канада ОВХ
bill.ovh/billmgr

+
W-2295 18-Core
128 ddr4
3.84 TB NVMe SSD Datacenter Edition
20000р/мес

W-2295 18-Core
128 ddr4
480 GB NVMe SSD 3D XPoint
20000р/мес

W-2295 18-Core
128 ddr4
3840 GB NVMe SSD 3D XPoint
65000р

W-2295 18-Core
128 ddr4
30.72 TB NVMe SSD Datacenter Edition (raid0)
55000р

Так как в последнее время участились случаи попыток майнинга криптовалюты на выделенных серверах FirstDEDIC, мы вынуждены напомнить о нашей официальной позиции по этому поводу.

Любой майнинг криптовалюты потребляет те или иные ресурсы сервера. В случае с криптовалютой Chia Coin ситуация особенно напряженная, так как её добыча не просто занимает ресурсы сервера, но по сути «убивает» оборудование — сильно сокращается срок эксплуатации, происходит сверхбыстрый износ накопителей (ssd/hdd). Кроме того, майнеры используют для своих целей конфигурации с большим количеством накопителей, что уже спровоцировало дефицит SSD/HDD на мировом уровне и коснулось некоторых наших поставщиков, которые испытывают проблемы с доступностью «жестких дисков». Мы вынуждены опираться на жесткие квоты, которые расписаны до конца года. Поэтому, если мы не будем контролировать, как клиенты используют ресурсы серверов сейчас, в том числе жесткие диски и твердотельные накопители, то в будущем это может привести к тому, что часть конфигураций будет недоступна для клиентов FirstDEDIC.

Ввиду этого майнинг криптовалют (в том числе Chia Coin) запрещен на серверах FirstDEDIC. Данное ограничение отражено в Правилах предоставления услуг (пункт 2.5.7):

2.5.7. запрещается использовать Услуги Провайдера для размещения систем или элементов систем для обслуживания, расчета и эксплуатации цифровых валют (mining, майнинг, «добыча» криптовалют, распределённые платформы, создание новых блоков с возможностью получить вознаграждение в форме новых единиц и комиссионных сборов и др.)

При выявлении случая майнинга криптовалюты на наших серверах FirstDEDIC оставляет за собой право не только удалить серверы клиента, но и не возвращать абонентскую плату за аренду сервера (серверов) — см. Правила предоставления услуг (пункт 2.6.) и Договор-оферту. (пункт 5.10):

2.6. В случае нарушения Абонентом положений настоящих Правил, Провайдер вправе незамедлительно, приостановить оказание Услуг Абоненту, отключить и/или удалить данные и объекты, созданные Абонентом с помощью Услуг Провайдера, аннулировать доступ Абонента в Личный кабинет, о чем Абоненту незамедлительно направляется уведомление через Личный кабинет;

5.10. При расторжении Договора или прекращения Услуги в случае наличия фактов нарушения Абонентом условий Договора и Приложений к нему, Провайдер вправе взыскать с Абонента штраф в размере 100% остатка денежных средств на Лицевом счете Абонента на момент расторжения/прекращения.