Зиму перезимовали, теперь берем курс на весну! Синоптики обещают море новых задач, временами что-то будет гореть, а кто-то — подгорать… Но мы-то знаем, что у работы нет плохой погоды, а все дедлайны растают, как прошлогодний снег. О том, чем горели в марте, рассказываем в новом дайджесте.



Статьи и инструкции
Частые ошибки «1С-Битрикс»
«1С-Битрикс: Управление сайтом» — одна из самых популярных коммерческих CMS. Как и в случае с любой другой CMS, при работе с Битриксом возникают разные ошибки, мешающие нормальной работе сайта. В новой статье мы разобрали шесть распространённых ошибок и рассказали, как их исправить.
Ошибки CMS «1С-Битрикс: Управление сайтом» и способы их устранения

Habr: самое интересное за март
В марте мы подняли на Хабре много новых тем: рассказали о техниках запоминания, провели ликбез по кабелям и обсудили, почему большие данные мертвы, а дискеты ни в какую не хотят умирать. В общем, у нас, как всегда, интересно. Подписывайтесь, если ещё не :)

• Смотрю в книгу — вижу «фигу». Техника «абсорбирования» учебников SQ3R вместо пассивного чтения
• Почему дискеты отказываются умирать
• Какие кабели можно встретить в стойке дата-центра?
• Большие данные мертвы. Это нужно принять

Новые статьи на VC.ru
Не Хабром единым, как говорится. Опубликовали две новых статьи на VC.ru. Рассказываем, какие неочевидные ошибки может совершить HR при найме сотрудников, особенно IT-специалистов, а также делимся историей нашего сотрудника о том, как он попал в IT и что в этой сфере делать гуманитарию.

• Не такие очевидные ошибки компаний при трудоустройстве новых сотрудников
• Осторожно, двери открываются! Как попасть в айти, если ты не айтишник

Новости
А теперь к новостям марта.

Почтовый сервис на базе Exchange доступен для заказа
Добавили новую услугу для создания корпоративной почты по модели SaaS — почтовый сервис на базе Exchange. Управлять услугой можно из любой точки мира, а сам сервис удобен в использовании и защищён от вирусов и спама. Для заказа доступны почтовые ящики на 2, 10 и 50 Гб, при этом объём можно увеличить в любой момент.
firstvds.ru/services/exchange


Обновили рекламные баннеры для реферальной программы
Если у вас есть свой сайт — вы можете разместить на нём рекламный баннер со встроенной партнёрской ссылкой и получать 10% от расходов привлечённых клиентов. Клиенты, в свою очередь, получат скидку 25% на первый месяц аренды сервера. Баннеры доступны в разных размерах и подойдут для размещения на любом сайте.
firstvds.ru/partner/referral

Оставьте честный отзыв о нас и получите скидку до 25%
Напоминаем, что у нас действует акция — скидка за отзыв. Поделитесь честным мнением о нас на одном из хостинг-ресурсов, и мы подарим вам скидку до 25% на один месяц аренды сервера. Благодаря вашей обратной связи мы сможем проработать моменты, которые требуют особого внимания, и сделать наш сервис ещё лучше.
firstvds.ru/blog/skidka-do-25-kazhdomu

Уязвимости и релизы
Релиз криптографической библиотеки OpenSSL 3.1.0
Опубликован новый релиз библиотеки OpenSSL 3.1.0. Среди главных обновлений: реализована поддержка криптографических алгоритмов, соответствующих стандарту безопасности FIPS 140-3, улучшена производительность фреймворков кодировщика и декодировщика, повышена скорость генерации RSA-ключей в режиме FIPS.
www.opennet.ru/opennews/art.shtml?num=58797

Релиз системы управления исходными текстами Git 2.40
Выпущен новый релиз распределенной системы управления исходными текстами Git 2.40, в рамках которого принято 472 изменения. В скрипт git-jump добавлена поддержка редактора Emacs, в подсистеме учётных записей реализована поддержка паролей с ограниченным сроком действия, также разработчики добавили новые опции для различных команд.
www.opennet.ru/opennews/art.shtml?num=58790

Две критические уязвимости в Wordpress-плагине Houzez
Эксперты сообщают, что хакеры начали активно эксплуатировать две критические уязвимости в плагине Houzez для Wordpress, они позволяют им создать на уязвимом сайте нового пользователя-администратора и полностью перехватить контроль. Патчи с исправлениями были опубликованы ещё в прошлом году, но многие сайты до сих пор не установили обновления.
xakep.ru/2023/03/01/houzez-bugs/

Уязвимость в OverlayFS
Обнаружена уязвимость в реализации файловой системы OverlayFS ядра Linux. Злоумышленники могут использовать её, чтобы получить root-доступ к системам, в которых установлена подсистема FUSЕ и разрешено монтирование разделов OverlayFS непривилегированным пользователем. Проблема устранена в ветке ядра 6.2.
www.opennet.ru/opennews/art.shtml?num=58857

Нужна почта, но не хочется много платить? Переходи на ispmanager

28 марта в бета-версии 6.71.0 в панели ispmanager появилась новая возможность по переносу почтовых доменов и ящиков с любых сторонних сервисов. В том числе с дополнительным, облегченным, функционалом для миграции с сервиса Яндекс 360.

С помощью функциональности можно проводить импорт через IMAP, CSV файл и напрямую через токен, сгенерированный в личном кабинете почты Яндекс 360.

Почта с ispmanager – это:

• легкое управление всеми почтовыми ящиками и доменами через удобный интерфейс;
• полный контроль над почтой с помощью одного сервиса;
• неограниченное количество почтовых доменов и ящиков;
• бесплатный набор инструментов для безопасности;
• активное экспертное сообщество в телеграм
• постоянное улучшение продукта и добавление новых классных возможностей

Еще специально для тех, кто спешит перенести свою почту с сервисов Яндекса ispmanager облегчили процесс миграции и подготовили релиз стейбл-версии ispmanager уже к 5-6 апреля. Обычно стейбл-версия выходит только через месяц после беты. Таким образом все пользователи смогут перенести почтовые домены и ящики в уже проверенную и стабилизированную версию продукта.

Читайте подробнее о подключении и настройке своего почтового домена и настройке импорта почты в документации.

selectel.ru/blog/events/zakat_imperii/

С той же осторожностью, что и при его внедрении, OVHcloud только что отпраздновал 20-летие водяного охлаждения, примененного к его серверам. Маленькая технологическая революция, которая имеет значение уже 20 лет и может быть только началом.

Между Лиллем и Рубе мы находим Круа, город, где кирпичные стены севера контрастируют с меняющимся небом, голубым для вздоха или усеянным более чем пятьюдесятью оттенками серого. В промышленной зоне, которых много во Франции, но особенно в этом бывшем крупном промышленном бассейне, находится фабрика OVHcloud в Круа. Мы могли бы смахнуть информацию тыльной стороной ладони, но это было бы упущением сути. Именно на этой площадке производятся, собираются, разбираются и тестируются серверы, которые будут работать или эксплуатировали центры обработки данных группы по всему миру, за исключением тех, что в Северной Америке, поскольку еще один завод такого же типа существует в Канаде.

Водоохлаждение, мрачная равнина?
Фабрика Cross выглядит не очень. Здания функционируют и вполне могут быть заняты соседним производителем тракторов. Лишь вывеска OVHcloud, установленная на скудной лужайке, да, пожалуй, несколько симпатичных автомобилей, в том числе сверкающая Тесла, и электрические зарядные станции на парковке указывают на то, что мы находимся в одном из нервных центров французского облачного гиганта.

01net уже имел возможность посетить эту фабрику в прошлом году, и если мы вернулись, то по особому юбилею. Это 20 лет водяного охлаждения или водяного охлаждения с соусом OVHcloud. Несколько нелогичная технология, поскольку вода и электричество, питающие компьютеры, на самом деле несовместимы. Тем не менее, OVHcloud сделал его своим авангардом, технологическим и экологическим аргументом.


Этот юбилей прошел без свечей и сувениров, как и рождение этой техники, которая пришла в мир без фанфар и труб, исподтишка. «У нас был доверительный подход, мы не объявили на старте, что делаем водяное охлаждение», — с детской улыбкой на губах вспоминает Мирослав Клаба тех, кто хорошо пошутил. Брат Октава, генеральный директор и основатель OVH, в основном отвечает за небольшую команду группы по исследованиям и разработкам, которая занимает часть помещений завода Croix. Он продолжает: «В какой-то момент Октав разослал пресс-релиз, в котором сообщалось, что мы используем водяное охлаждение, прежде чем отступить и спрятаться за предлогом Дня дурака. »За что? Потому что мир не был готов сделать решительный шаг.

Надо сказать, что подход OVHcloud к водяному охлаждению, каким бы блестящим он ни был, выглядит как DIY, ставший строжайшим промышленным секретом, защищенным несколькими десятками патентов, некоторые из которых до сих пор проходят валидацию.


Вода, которой не хватает воздуха
Потому что OVHcloud делает все по-своему, между чрезвычайно контролируемыми и воспроизводимыми промышленными процессами, гиковскими хаками со звездами в глазах и научным подходом под руководством доктора гидромеханики и тепловой энергии Али Чехаде, который недавно подписал захватывающий пост на OVHcloud блог, в котором среди прочего подчеркивается важность повышения эффективности потребления воды в центрах обработки данных.
Таким образом, медные водяные радиаторы, разработанные командами OVH и произведенные партнером, специализирующимся на металлургии, изготавливаются по запросу и изготавливаются на заказ для различных типов серверов, которые OVHcloud готовит или ремонтирует.

Эти серверы полагаются не только на циркуляцию воздуха для охлаждения своих компонентов, но и ни в коем случае не на два основных элемента — ЦП и ГП, на долю которых приходится от 40 до 70% производимых калорий. Серверы OVHcloud используют внутреннюю замкнутую гидравлическую сеть, которая циркулирует по всей стойке и выходит наружу, чтобы присоединиться к системе заднего рассеивателя. По принципу радиаторов автомобиля или холодильника он используется, в частности, для охлаждения горячего воздуха, производимого Ram или источником питания серверов, который всасывается сзади сервера и охлаждается медными змеевиками, заполненными водой, снова. Воздух и вода сосуществуют для охлаждения конфигураций, которым злоупотребляют наши требования как пользователей Интернета.

А для тех, кто переживает, увидев цветение медных труб в дата-центре, обратите внимание, что каждую стойку можно собирать и разбирать без риска протечек благодаря системе уплотнительных колец, которые не пропускают ни малейшего падения, сказали мы. Гийом Хошар, директор по производству серверов OVHcloud.

Этот бывший специалист по безопасности в атомной, газовой и нефтяной промышленности явно понимает, что утечки могут быть. Тем не менее, он следит за тем, чтобы они были редкими и сокращались благодаря процессу проверки на утечку в разное время в процессе производства и сборки — таким образом, контур, который будет содержать воду, многократно подвергается давлению в пять-шесть бар, чтобы убедиться, что он держится. up – в то время как новые методы сварки были внедрены для предотвращения утечек, когда несколько деталей соединяются вместе.
Чуть дальше Гийом Хошар довольно гордо показал нам собранный и почти готовый к отправке сервер в дата- центр группы — «ЦД», как называют их менеджеры OVHcloud, с которыми мы общались.«Мы единственные, кто делает это », — сказал он. Это предложение наполнено гордостью Давида, который мог бы противостоять многим Голиафам, мы часто слышали это во время нашего посещения OVHcloud. Так или иначе, «это» в данном случае была графической картой Nvidia последнего поколения, полностью раздетой, лишенной корпуса, закрепленной голой на конструкции. Карта с трудом узнаваемая и, конечно же, покрыта самодельным радиатором, охлаждаемым водой.


Полностью индивидуальный
Таким образом, на заводе Croix ежедневно производится не менее 300 серверов с водяным охлаждением. Плод продуманного и утонченного тейлоризма, а также плод вертикальной интеграции, поскольку компания, производящая стойки для серверов под заказ, арендует часть помещений фабрики Croix, чтобы быть рядом со своим клиентом. Эта близость, очевидно, стала возможной благодаря тому факту, что рассматриваемая компания «принадлежит г-ну Клабе», — объяснил Гийом Хошар. Если Октав и Мирослав являются Октавом и Миро почти для всех встреченных нами сотрудников, то г-н Клаба обозначает отца Октава и Мирослава. Хороший способ помнить, что, каким бы большим ни был OVH сейчас, он по-прежнему отмечен семьей Клаба. Семья и новая династия из Рубе, после королей текстиля 19-го века, чьи гигантские резиденции до сих пор выстроены вдоль авеню Жана Жореса, которая граничит с великолепным парком Барбье в Рубе.

Эта близость, очевидно, позволяет сократить расходы, но также и гораздо более реактивно. Таким образом, уже не раз случалось, что у члена команды была идея плана прототипа сервера утром, и чтобы иметь возможность протестировать его в тот же вечер, нам сказали во время посещения сайта.


зеленая вода
Внедрение водяного охлаждения сначала было мотивировано желанием снизить затраты. Никто из наших собеседников в OVHcloud этого не скрывал. Уменьшение количества вентиляторов, необходимых для работы сервера, возможность штабелирования до четырех ярусов стоек, вмещающих 48 или 96 стоек, без необходимости больших затрат на охлаждение центров обработки данных, все это сопровождается значительным снижением счет для OVHcloud и его клиентов.
Но, что еще лучше, в то время, когда внимание все больше приковано к зеленой линии, это снижение потребления электроэнергии является первоклассным экологическим аргументом. Это даже своего рода экологическая осколочная бомба, где нагромождаются разные слои.

Таким образом, использование водяного охлаждения позволяет дата-центрам OVHcloud быть очень далекими от нашего представления о дата-центре с чистым помещением и охлажденным кондиционером. «ДЦ» французского облачного гиганта — это ангары «из воды и из воздуха», которые работают в режиме естественного охлаждения, без энергозатратного кондиционирования воздуха, поэтому нам пояснил Грегори Лебур, директор экологических программ в глобальном масштабе, и бывший руководитель группы инфраструктуры.

«Здания не должны быть водонепроницаемыми, не должны подвергаться гидрометрическому контролю и т.д. — продолжил он. Когда OVHcloud приходится строить новый дата-центр, «для меня это очень легко, я беру максимально ветхие здания из возможных», — пошутил он, чтобы было понятно, что водяное охлаждениегарантирует, что серверы работают при комнатной температуре, в помещении, где зимой около 20 градусов. Конечно, будут проведены работы, чтобы убедиться, что крыша водонепроницаема, что земля абсолютно горизонтальна и что все это соответствует стандартам безопасности, в частности против вторжений… и пожаров. Но, в отличие от большинства DC, нет необходимости строить огромные здания с огромными площадями. Таким образом, дата-центр Roubaix 8 занимает старые кирпичные здания, которые, безусловно, жили раньше один или несколько раз.
Хотя ЦОДы OVHcloud, очевидно, должны быть рядом с источником производства электроэнергии, их не обязательно строить рядом с источником воды, как в некоторых экологически чистых центрах обработки данных Google. Эти здания берут воду из реки, например, чтобы помочь охладить тысячи машин, которые они содержат, прежде чем отказаться от нее после того, как она охладится настолько хорошо, насколько это возможно. В OVHcloud через каждые два-три прохода в дата-центрах расставлены емкости емкостью в несколько сотен литров, и все работает по замкнутому контуру.
Единственная потеря воды происходит в «жаркие дни», грубо говоря летом, когда стоит палящая температура. Затем вода испаряется или выливается каплями на адиабатические радиаторы, расположенные снаружи зданий, где вода, нагретая при прохождении через серверы, направляется на охлаждение перед возвращением для водяного охлаждения компьютеров, работающих 24 часа в сутки.


Факт «электричества»
«Большое преимущество этого устройства [de watercooling, NDLR] заключается в том, что оно позволяет нам уплотнить количество серверов на квадратный метр», — заявил Грегори Лебур, а также позволяет отображать PUE (Эффективность использования энергии, определяется с апреля 2016 года международным стандартом ISO 30134-2) чрезвычайно низким. Схематично говоря, PUE, равный 2, означает, что один ватт потребляется для охлаждения ИТ-оборудования на один ватт питания для этого же ИТ-оборудования.
Однако PUE центров обработки данных OVHcloud в среднем составит 1,28 по сравнению с 1,57 в среднем по отрасли в 2021 году, согласно отчету Uptime Institute, который является справочным по этому вопросу.
Этот показатель PUE, равный 1,28, является исключительным — даже несмотря на то, что гиганты, включая Google, с удовольствием отображают в своих отчетах значения PUE менее 1,1. Таким образом, OVHcloud достигает 50% экономии энергии по сравнению с обычным центром обработки данных.
Но PUE — не единственный критерий, выдвинутый OVHcloud, эффективность использования воды, или эффективность использования воды, также имеет значение. В то время как обычные центры обработки данных используют в среднем 1,8 литра воды на кВтч, центры OVHcloud используют в среднем только 0,26 литра. Меньше электричества, меньше воды, водяное охлаждение — чудесное решение. И эти первые двадцать лет будут только началом.


Будущее водяного охлаждения за масляным
Потому что модная в настоящее время в OVHcloud пара водяного и воздушного охлаждения вскоре может быть заменена новым подходом, над которым облачный специалист работал некоторое время и который он представил в октябре прошлого года: Hybrid Immersion Liquid Cooling. Этот подход, который французская компания представляет как будущее дата-центров, по-прежнему предполагает водяное охлаждение самых горячих компонентов, но воздух здесь заменен диэлектрической жидкостью — иными словами, не проводящей электричество, «своего рода масло», — объяснил нам Мирослав Клаба.
Таким образом, компоненты, расположенные в вертикальных стойках, будут погружены в эту жидкость, которая за счет естественной конвекции будет охлаждать их, в то время как медные трубы будут продолжать транспортировать воду к процессору и графическому процессору серверов, чтобы снизить их температуру при работе.

По данным OVHcloud, эти новые отсеки, которые могут вмещать до 48 серверов, расположенных подобно книгам в библиотеке, позволят машинам работать при входной температуре в центре обработки данных до 45°C. Это означает, что при более низких температурах можно будет требовать больше от той же конфигурации или потреблять меньше на их охлаждение. Более того, общее потребление инфраструктуры охлаждения дата-центров OVHcloud может быть снижено как минимум на 20,7% по сравнению с тем, что в настоящее время получается благодаря водяному охлаждению, считают специалисты французской компании. Таким образом, OVHcloud обещает частичный PUE 1,004.

После 20 лет разработки своего изобретения и убеждения людей в его достоинствах гибридное водяное охлаждение с погружением кажется новым технологическим Эльдорадо, позволяющим сделать центры обработки данных эффективными и потреблять меньше энергии или воды. В то время, когда взрыв генеративного искусственного интеллекта явно ставит вопрос о чрезмерном использовании облака, у OVHcloud, похоже, есть зеленое решение. Будущее, где все плавает в масле?

история
hosting.kitchen/blog/not-install/
hosting.kitchen/tag/skladchik.ovh/

Снова теже самые ноды, все еще работает VMmanager 5 KVM без обновлений с 2020 года прямиком. И будет работать — думаю до 2025 еще смело.



Так вот, накопилось достаточно много остатков, все того же старого тарифа.

• E3-1245v2 2vCore / 4 ddr3 / 50 SSD — 600р (4 штуки)
• E3-1245v2 2vCore / 4 ddr3 / 200 HDD — 600р (3 штуки)
• E3-1245v2 4vCore / 8 ddr3 / 100 SSD — 1200р (2 штуки на 8 озу есть места)
• E3-1245v2 2vCore / 4 ddr3 / 200 HDD — 600р (WAW Poland OVH — 32 озу с HDD свободно)
• E3-1245v2 2vCore / 2 ddr3 / 25 SSD — 300р (на 2 озу всего 5 штук)

Желательно забирать эти доли чисто для личного пользования, HDD для бекапов, SSD под впн или что-ниб свое, чтобы не отказываться потом, а именно «работает пока не сгорит».
Писать тикет тут
panel.skladchik.ovh/billmgr
bill.ovh/billmgr

Так же в наличии новые уже на VMmanager KVM 6

• Epyc-7351p на постоянке
• Ryzen 7 3800X на постоянке
• 9900k на постоянке
• R9-5950X на постоянке
• R9-7950X на постоянке

Мы регулярно развиваем не только возможности наших VPS, но и дизайн панели управления, поэтому сегодня рады сообщить об обновлении дашбордов.

Теперь вся информация о сервере доступна уже с первого экрана – дашборд стал модульным и состоит из виджетов. Это значит, что все необходимые данные у вас перед глазами, больше не нужно переключаться между вкладками.



Мы обновили дизайн сайдбара и добавили в блок статистики возможность выбрать нужный период. Кроме того, теперь прямо с дашборда можно создать снапшот или купить дополнительный IP-адрес для виртуального сервера.




cp.beget.com/login

По состоянию на 31 декабря 2022 года у нас в управлении было 235 608 дисков. Из этого числа было 4 299 загрузочных дисков и 231 309 дисков с данными. Этот отчет будет посвящен нашим дискам данных. Мы рассмотрим частоту отказов жестких дисков за 2022 г., сравним эти показатели с предыдущими годами и представим статистику отказов за весь срок службы для всех моделей жестких дисков, используемых в нашем центре обработки данных по состоянию на конец 2022 г. Попутно мы поделитесь своими наблюдениями и выводами о представленных данных, и, как всегда, мы надеемся, что вы сделаете то же самое в разделе комментариев в конце поста.

Частота отказов жестких дисков в 2022г.
В конце 2022 года Backblaze отслеживала 231 309 жестких дисков, используемых для хранения данных. Для нашей оценки мы исключили из рассмотрения 388 дисков, которые использовались либо для целей тестирования, либо для моделей дисков, для которых у нас не было по крайней мере 60 дисков. Это оставляет нам 230 921 жесткий диск для анализа для этого отчета.


Наблюдения и примечания
Один ноль за год
В 2022 году только один накопитель Seagate емкостью 8 ТБ (модель: ST8000NM000A) не имел сбоев. Этот «ноль» имеет некоторые оговорки: у нас в эксплуатации всего 79 накопителей, а срок службы накопителя ограничен — 22 839 дней. Эти диски используются в качестве запасных для замены вышедших из строя дисков емкостью 8 ТБ.

Как насчет старых парней?

• Жесткий диск Seagate емкостью 6 ТБ (модель: ST6000DX000) — самый старый в нашем парке со средним возрастом 92,5 месяца. В 2021 году его годовая частота отказов (AFR) составляла всего 0,11%, но к 2022 году он немного снизился до 0,68%. Очень приличный показатель в любое время, но особенно после почти восьми лет службы.
• Средний возраст накопителей Toshiba емкостью 4 ТБ (модель: MD04ABA400V) составляет 91,3 месяца. В 2021 году этот диск имеет AFR 2,04%, а в 2022 году он подскочил до 3,13%, включая три отказа диска. Учитывая ограниченное количество дисков и дней вождения для этой модели, если бы в 2022 году произошло только два отказа дисков, AFR составил бы 2,08%, или почти такой же, как в 2021 году.
• Обе эти модели дисков имеют относительно небольшое количество дней вождения, поэтому достоверность показателей AFR является спорной. Тем не менее, оба диска хорошо себя зарекомендовали на протяжении всего срока службы.

Новые модели
В 2022 году мы добавили пять новых моделей, отказавшись от нуля, что дало нам в общей сложности 29 различных моделей, которые мы отслеживаем. Вот пять новых моделей:

• HUH728080ALE604–8 ТБ
• ST8000NM000A–8 ТБ
• ST16000NM002J–16ТБ
• MG08ACA16TA–16ТБ
• WUH721816ALE6L4–16 ТБ

Две модели дисков емкостью 8 ТБ используются для замены неисправных дисков емкостью 8 ТБ. Три модели накопителей емкостью 16 ТБ дополняют ассортимент.

Сравнение статистики дисков за 2020, 2021 и 2022 годы
На приведенной ниже диаграмме сравниваются AFR за каждый из последних трех лет. Данные за каждый год включают только этот год и рабочие модели приводов, представленные на конец каждого года.


Выход из строя привода произошел в 2022 году
После небольшого увеличения AFR с 2020 по 2021 год произошло более заметное увеличение AFR в 2022 году с 1,01% в 2021 году до 1,37%. Что случилось? В наших ежеквартальных отчетах о статистике накопителей за второй квартал 2022 г. и третий квартал 2022 г. мы отметили увеличение общего показателя AFR по сравнению с предыдущим кварталом и объяснили это старением парка накопителей. Но так ли это на самом деле? Давайте рассмотрим некоторые действующие факторы, которые могут вызвать рост AFR в 2022 году. Начнем с размера диска.

Размер диска и сбой диска
На приведенной ниже диаграмме сравниваются AFR 2021 и 2022 для наших больших дисков (которые мы определили как диски емкостью 12 ТБ, 14 ТБ и 16 ТБ) с нашими меньшими дисками (которые мы определили как диски емкостью 4 ТБ, 6 ТБ, 8 ТБ и 10 ТБ).


За исключением дисков емкостью 16 ТБ, AFR каждого размера увеличился с 2021 по 2022 год. В случае с небольшими дисками увеличение было заметным, и 2,12% значительно превышают AFR 1,37% для 2022 года для всех дисков. диски.

Кроме того, хотя на когорту небольших дисков приходится всего 28,7% дней работы в 2022 году, на них приходится 44,5% отказов дисков. Наши меньшие диски выходят из строя чаще, но они также старше, поэтому давайте рассмотрим это подробнее.

Возраст диска и сбой диска
При изучении корреляции возраста диска и отказа диска мы должны начать с нашего предыдущего взгляда на кривую ванны отказа жесткого диска. Там мы пришли к выводу, что диски, как правило, чаще выходят из строя по мере их старения. Чтобы увидеть, имеет ли это значение здесь, мы начнем с таблицы ниже, в которой показан средний возраст каждой модели дисков по размеру.


За исключением дисков Seagate емкостью 8 ТБ (модель: ST8000NM000A), которые мы недавно приобрели в качестве замены вышедшим из строя дискам емкостью 8 ТБ, диски аккуратно попадают в две указанные выше группы — 10 ТБ и меньше и 12 ТБ и выше.

Теперь давайте сгруппируем отдельные модели накопителей в когорты, определяемые размером накопителя. Но прежде чем мы это сделаем, мы должны помнить, что модели дисков емкостью 6 ТБ и 10 ТБ имеют относительно небольшое количество дисков и дисковых дней по сравнению с остальными группами дисков. Кроме того, когорты дисков емкостью 6 ТБ и 10 ТБ состоят из одной модели дисков, а в другие группы дисков входят как минимум четыре разные модели дисков. Тем не менее их исключение кажется неполным, поэтому мы включили таблицы с когортами дисков 6 ТБ и 10 ТБ и без них.


В каждой таблице показано соотношение для каждого размера диска между средним возрастом дисков и связанным с ними AFR. Диаграмма справа (V2) ясно показывает, что старые диски, сгруппированные по размеру, выходят из строя чаще. Это увеличение по мере старения модели привода соответствует кривой ванны, о которой мы говорили ранее.

Итак, что вызвало увеличение отказов дисков и имеет ли это значение?
Старение нашего парка жестких дисков кажется наиболее логичной причиной увеличения AFR в 2022 году. Мы могли бы копнуть глубже, но на данный момент это, вероятно, спорно. Видите ли, мы потратили 2022 год на развитие нашего присутствия в двух новых центрах обработки данных: объекте Nautilus в Стоктоне, штат Калифорния, и объекте CoreSite в Рестоне, штат Вирджиния. Ожидается, что в 2023 году мы сосредоточимся на замене старых дисков на жесткие диски емкостью 16 ТБ и больше. Диски на 4 ТБ и да, даже наш O.G. Диски Seagate емкостью 6 ТБ могут пойти. Мы будем держать вас в курсе.

Отказы дисков по производителям
Мы рассмотрели отказы дисков по возрасту и размеру дисков, поэтому правильнее рассматривать отказы дисков по производителям. Ниже мы нанесли ежеквартальный AFR за последние три года по производителям.


Начиная с первого квартала 2021 г. и до конца 2022 г., мы видим, что общий рост общего показателя AFR за это время, по-видимому, обусловлен Seagate и, в меньшей степени, Toshiba, хотя HGST вносит значительный вклад в первый квартал 2022 г. рост. В случае с Seagate это имеет смысл, поскольку большинство наших дисков Seagate значительно старше, чем диски любых других производителей.

Прежде чем выбросить свои диски Seagate и Toshiba в мусорное ведро, вы можете рассмотреть стоимость жизненного цикла данной модели жесткого диска по сравнению с частотой его отказов. Мы рассмотрели это в нашем отчете о статистике накопителей за третий квартал 2022 года и обрисовали компромиссы между стоимостью накопителей и количеством отказов. Например, в целом диски Seagate дешевле, а частота их отказов в нашей среде обычно выше. Но частота их отказов, как правило, недостаточно высока, чтобы сделать их менее рентабельными в течение всего срока службы. Вы могли бы привести убедительные доводы в пользу того, что для нас многие модели накопителей Seagate так же экономичны, как и более дорогие накопители. Помогает то, что наша платформа облачного хранилища B2 создана с учетом отказа дисков, но мы признаем, что меньшее количество отказов дисков никогда не бывает плохим.

Статистика жесткого диска за весь срок службы
В таблице ниже указан срок службы AFR всех моделей приводов, находящихся в производстве по состоянию на 31 декабря 2022 г.


Текущий показатель AFR за весь срок службы составляет 1,39%, что меньше, чем год назад (1,40%), а также меньше, чем в прошлом квартале (1,41%). AFR за весь срок службы менее подвержен быстрым изменениям из-за временных колебаний отказов накопителя и является хорошим индикатором AFR модели накопителя. Но чтобы быть уверенным в этом, требуется немало наблюдений (в нашем случае — дней езды). С этой целью в приведенной ниже таблице показаны только те модели дисков, которые накопили один миллион дней работы или более за свой срок службы. Мы упорядочили список по дням поездки.


Наконец, мы собираемся здесь немного раскрыться и поделиться результатами 388 дисков, которые мы исключили из нашего анализа, поскольку они были тестовыми дисками или моделями дисков с 60 или менее дисками. Эти диски разделены на 20 различных моделей дисков, и в таблице ниже перечислены модели дисков, которые работали в наших центрах обработки данных по состоянию на 31 декабря 2022 года. Большое предостережение: это всего лишь тестовые диски и так далее, так что будьте осторожны. Мы обычно игнорируем их в отчетах, так что это их шанс проявить себя или нет. Мы с нетерпением ждем ваших комментариев.


Есть много причин, по которым эти накопители дошли до этого момента в карьере Backblaze, но мы сохраним эти истории для другого раза. На данный момент мы просто делимся данными, чтобы быть откровенными, но, безусловно, есть что рассказать. Следите за обновлениями.

Добро пожаловать в выпуск SSD 2022 из серии Backblaze Drive Stats. Версия SSD ориентирована на твердотельные накопители (SSD), которые мы используем в качестве загрузочных дисков для серверов хранения данных на нашей платформе облачного хранения. Это отличается от наших традиционных отчетов Drive Stats, в которых основное внимание уделяется нашим жестким дискам (HDD), используемым для хранения данных клиентов.

Мы начали использовать твердотельные накопители в качестве загрузочных дисков, начиная с четвертого квартала 2018 года. С тех пор твердотельные накопители были установлены на всех новых серверах хранения и на всех неисправных загрузочных жестких дисках. Загрузочные диски в нашей среде выполняют гораздо больше функций, чем просто загружают серверы хранения. Каждый день они также читают, записывают и удаляют файлы журналов и временные файлы, создаваемые самим сервером хранения. Рабочая нагрузка одинакова для всех SSD, включенных в этот отчет.

В этом отчете мы рассматриваем частоту отказов твердотельных накопителей, которые мы используем в наших серверах хранения, на 2022 год, за последние 3 года и на весь срок службы твердотельных накопителей. Кроме того, мы впервые рассматриваем температуру наших твердотельных накопителей на 2022 год и сравниваем температуру твердотельных накопителей и жестких дисков, чтобы увидеть, действительно ли твердотельные накопители работают медленнее.

По состоянию на 31 декабря 2022 г. в качестве загрузочных дисков на наших серверах хранения использовалось 2906 твердотельных накопителей. Было использовано 13 различных моделей, большинство из которых считаются потребительскими твердотельными накопителями, и мы коснемся того, почему мы используем потребительские твердотельные накопители, чуть позже. В этом отчете мы покажем годовую частоту отказов (AFR) для этих моделей приводов за различные периоды времени, сделав наблюдения и сделав оговорки, чтобы помочь интерпретировать представленные данные.

Набор данных, на котором основан этот отчет, доступен для загрузки на нашей веб-странице тестовых данных Drive Stats. Данные SSD объединяются с данными HDD в одних и тех же файлах. К сожалению, сами данные не различают типы дисков SSD и HDD, поэтому вам нужно использовать поле модели, чтобы сделать это различие. Если вы просто ищете данные SSD, начните с Q4 2018 и продолжайте.

Ежегодная частота отказов твердотельных накопителей за 2022
Как уже отмечалось, на конец 2022 года в наших серверах хранения в эксплуатации находилось 2 906 твердотельных накопителей. В таблице ниже приведены данные за 2022 год. Позже мы сравним данные за 2022 год с предыдущими годами.


Наблюдения и предостережения

• На 2022 год у семи из 13 моделей накопителей не было сбоев. Шесть из семи моделей имели ограниченное количество дней эксплуатации — менее 10 000 — а это означает, что данных недостаточно, чтобы сделать надежный прогноз частоты отказов этих моделей дисков.
• Твердотельный накопитель Dell (модель: DELLBOSS VD) не имеет сбоев в 2022 году и имеет более 100 000 рабочих дней в году. Полученный AFR превосходен, но это твердотельный накопитель M.2, установленный на карту PCIe (форм-фактор половинной длины и половинной высоты), предназначенный для серверных развертываний, и поэтому он может быть недоступен. Кстати, BOSS расшифровывается как Boot Optimized Storage Solution.
• Помимо твердотельного накопителя Dell, еще три модели накопителей имеют более 100 000 рабочих дней в году, поэтому данных достаточно, чтобы оценить интенсивность их отказов. Из трех моделей Seagate (модель: ZA250CM10003, он же: Seagate BarraCuda 120 SSD ZA250CM10003) имеет самый низкий AFR — 0,73%, Crucial (модель: CT250MX500SSD1) — следующий с AFR 1,04% и, наконец, Seagate (( модель: ZA250CM10002, она же: Seagate BarraCuda SSD ZA250CM10002) обеспечивает AFR 1,98% на 2022 год.

Ежегодная частота отказов твердотельных накопителей на 2020, 2021 и 2022 годы
На приведенной выше годовой диаграмме за 2022 год представлены данные о событиях, которые произошли только в 2022 году. Ниже мы сравниваем годовые данные за 2022 год с годовыми данными за 2020 и 2021 годы (соответственно), где данные за каждый год представляют только события, произошедшие в этот период.


Наблюдения и предостережения

• Как и ожидалось, диски Crucial (модель: CT250MX500SSD1) хорошо восстановились в 2022 году после нескольких ранних сбоев в 2021 году. Мы ожидаем, что эта тенденция сохранится.
• В 2022 году были представлены четыре новые модели, хотя ни у одной из них не было достаточного количества дней вождения, чтобы выявить какие-либо закономерности, хотя по состоянию на конец 2022 года ни одна из четырех моделей не вышла из строя.
• Два из 250-гигабайтных дисков Seagate использовались все три года, но они развивались в разных направлениях. Жесткий диск Seagate (модель: ZA250CM10003) за все три года показал показатель AFR менее 1%. В то время как AFR для диска Seagate (модель: ZA250CM10002) снизился в 2022 году почти до 2%. Модель ZA250CM10003 новее двух примерно на год. В остальном разница незначительна, за исключением того, что ZA250CM10003 потребляет меньше энергии в режиме ожидания, 116 мВт против 185 мВт у ZA250CM10002. Будет интересно посмотреть, как поведет себя младшая модель в следующем году. Будет ли он следовать тенденции своего старшего брата и начнет чаще терпеть неудачи, или же он проложит свой собственный курс?

Температура SSD и AFR: первый взгляд
Прежде чем мы перейдем к частоте отказов SSD за весь срок службы, давайте поговорим о статистике SSD SMART. Здесь, в Backblaze, мы уже несколько месяцев боремся со статистикой SSD SMART, и одна вещь, которую мы обнаружили, заключается в том, что атрибуты или даже названия, которые производители SSD используют для записи своих различных данных SMART, не очень последовательны. Например, такие термины, как выравнивание износа, выносливость, срок службы, срок службы, записанные LBA, прочитанные LBA и т. д., используются разными производителями непоследовательно, часто с использованием разных атрибутов SMART, а иногда они вообще не записываются.

Одним из атрибутов SMART, который кажется постоянным (почти), является температура диска. SMART 194 (необработанное значение) записывает внутреннюю температуру SSD в градусах Цельсия. Мы говорим «почти», потому что твердотельный накопитель Dell (модель: DELLBOSS VD) не сообщает необработанные или нормализованные значения для SMART 194. На приведенной ниже диаграмме показана среднемесячная температура для остальных твердотельных накопителей, находящихся в эксплуатации в течение 2022 года.



Наблюдения и предостережения

• В среднем в месяц производилось 67 724 наблюдения, от 57 015 в феврале до 77 174 в декабре. В 2022 году средняя температура за этот период изменилась всего на один градус Цельсия от минимального значения 34,4 градуса Цельсия до максимального значения 35,4 градуса Цельсия.
• В 2022 году средняя температура составила 34,9 градуса по Цельсию. Средняя температура жестких дисков в тех же серверах хранения за тот же период составила 29,1 градуса Цельсия. Эта разница, кажется, идет вразрез с общепринятым мнением, согласно которому твердотельные накопители работают холоднее, чем жесткие диски. Одна из возможных причин заключается в том, что на всех наших серверах хранения загрузочные диски находятся дальше от холодного прохода, чем диски с данными. То есть диски с данными первыми получают холодный воздух. Если у вас есть какие-либо мысли, дайте нам знать в комментариях.
• Колебание температуры на всех дисках в 2022 году колебалось от 20 градусов Цельсия (четыре наблюдения) до 61 градуса Цельсия (одно наблюдение). На приведенной ниже диаграмме показаны наблюдения за твердотельными накопителями в этом диапазоне температур.

Форма кривой должна выглядеть знакомо: это колоколообразная кривая. Мы видели тот же тип кривой при построении графика температуры жестких дисков сервера хранения. Кривая SSD предназначена для всех работающих SSD-накопителей, кроме SSD-накопителей Dell. Мы попытались построить такую же кривую для отказавших твердотельных накопителей, но с учетом всего 25 отказов в 2022 году кривая была бессмысленной.

Частота отказов твердотельных накопителей за весь срок службы
Частота отказов за весь срок службы основана на данных за все время эксплуатации данной модели диска в нашей системе. Эти данные относятся к четвертому кварталу 2018 года, хотя большая часть накопителей была введена в эксплуатацию за последние три года. В таблице ниже показан срок службы AFR для всех моделей SSD-накопителей, находящихся в эксплуатации по состоянию на конец 2022 года.


Наблюдения и предостережения
Общий AFR за весь срок службы составлял 0,89% на конец 2022 г. Это ниже, чем AFR за весь срок службы, составлявший 1,04% на конец 2021 г.
Существует несколько очень больших доверительных интервалов. Это связано с ограниченным объемом данных (дней вождения) для этих моделей дисков. Например, для модели WDC WD Blue SA510 2.5 всего 104 дня вождения. По мере накопления большего количества данных эти доверительные интервалы должны становиться более точными.
Нам нравится видеть доверительный интервал 1,0% или меньше для данной модели привода. Только три модели приводов соответствовали этому критерию:

• Модель Dell DELLBOSS VD: срок службы AFR–0,00 %
• Модель Seagate ZA250CM10003: срок службы AFR–0,66 %
• Модель Seagate ZA250CM10002: срок службы AFR–0,96 %

Твердотельный накопитель Dell, как отмечалось ранее в этом отчете, представляет собой твердотельный накопитель M.2, установленный на карту PCIe, и может быть недоступен в широкой продаже. Два диска Seagate являются твердотельными накопителями потребительского уровня. В нашем случае для наших нужд подойдет менее дорогой SSD потребительского уровня, так как на загрузочном диске нет данных клиента, только загрузочные файлы, а также файлы журнала и временные файлы. Совсем недавно, когда мы приобрели серверы хранения у Supermicro и Dell, они объединяют все компоненты вместе по цене за единицу за сервер хранения. Если этот комплект включает твердотельные накопители корпоративного класса или твердотельный накопитель M.2 на карте PCIe, нас это устраивает.

Данные статистики SSD
Мы признаем, что 2906 твердотельных накопителей — это относительно небольшое количество дисков, на которых можно проводить наш анализ, и хотя это число приводит к более широким, чем хотелось бы, доверительным интервалам, это только начало. Разумеется, мы продолжим добавлять в учебную группу загрузочные SSD-накопители, что повысит достоверность представленных данных. Тем временем мы ожидаем, что наши читатели оценят представленные данные со своей обычной скептической точки зрения и будут использовать их соответствующим образом.

Полный набор данных, использованный для создания информации, используемой в этом обзоре, доступен на нашей странице данных тестирования жесткого диска. Как отмечалось ранее, вы найдете данные SSD и HDD в одних и тех же файлах, и вам придется использовать номер модели, чтобы отличить одну запись от другой. Вы можете скачать и использовать эти данные бесплатно в своих целях. Все, что мы просим, это три вещи: 1) вы указываете Backblaze в качестве источника, если вы используете данные, 2) вы соглашаетесь с тем, что вы несете единоличную ответственность за то, как вы используете данные, и 3) вы никому не продаете эти данные; это бесплатно.
www.backblaze.com/b2/hard-drive-test-data.html

Удачи, и дайте нам знать, если вы найдете что-нибудь интересное.

• 1) Перенос оборудование в новую стойку, поскольку старую ЦОД ММТС-9 решил у нас забрать под собственные нужды, чем уже осложнил жизнь нашей компании
• 2) По факту переноса: вывоз лишних серверов по другим стойкам, модернизация ряда оборудования, которому это уже требовалось провести планово, для дальнейшей стабильной работы
• 3) Переключение сети всех остальных стоек в ММТС-9 от ядра сети в новой стойки, отключение от старого более не существующего ядра

1-й и 2-й этапы прошли штатно, а вот перед третьим, было подано питание в стойку, в результате чего, из-за перегруза выбило автоматы (поскольку они были всего рассчитаны на 16А, а должны были быть мощнее), первоначально вылетел АВР от нагрузки и сразу же пытался перезапуститься, из-за чего вся масса и моментный ток превысили порог, произошёл щелчок автомата и остаточный ток вышел по ряду розеток в блоки питания серверов, из-за чего множество блоков питания были выведены из строя, а также в некоторых случаях, ряд других комплектующих.
Также были добавлены ИБП на новую стойку, в целях дополнительного резервирования, они оказались разряженными и начали заряжаться в момент подачи питания.

Работы начались 7 марта ночью, планировались завершиться уже 7 марта до 05:00 МСК, но в связи с произошедшей ситуацией, основная масса серверов лишь была введена в строй к 08:00 МСК утра, в том числе из-за нерабочих кроссировок

Нерабочие кроссировки — история отдельная, до каждой нашей другой стойки заказываются протяжки от основной, чтобы соединить их по локальной сети с сердцем сети — основным маршрутизатором. Как выяснилось при подключении, 2 кроссировки из всех АО «ММТС-9» предоставил нам нерабочие, в связи с чем ряд стоек мы смогли завести в работу лишь к 12:00 МСК.

Что касается остальных серверов — они нуждались в обслуживании: блоки питания, материнские платы, сетевые карты, основная загвоздка оказалась в блоках питания: резервов не хватило, а докупить новые нужной модели оперативно не получилось, также на некоторых серверах пришла в непригодность файловая система и на всё это потребовалось время. Инженеры работали круглосуточно, спали буквально в ДЦ, в связи с чем КПД спустя второй день начал падать.

Как итог: руководство нашей компании посчитало, что в возникшей ситуации виновна халатность наших инженеров и их «коллег по цеху» из ММТС-9. К виновным инженерам приняты штрафные санкции, а на будущее закуплены резервы и сформирован четкий план аварийно-восстановительных работ любого типа.

Мы приносим еще раз свои глубочайшие извинения за данную ситуацию.
Более подробный разбор ситуации ждите на Habr до конца квартала!

Ко всем серверам, которые были запущены до 9 утра МСК — добавлена неделя аренды

К серверам, запущенным позже — от 1-го месяца до 1-го года аренды

Также вчерашний день наблюдались трудности в работе панели управления VMManager6 из-за «некорректно отработавшего модуля», цитата главы технической поддержки ISPSystem. Совместными усилиями причина была устранена. Дополнительные подробности мы ожидаем от их команды и обязательно ими поделимся.

telegra.ph/Raboty-v-Moskve-i-neudachi-s-VMManager6-03-25

Заказать можно через биллинг
asuka.onl