Хранилище S3-бакетов и сетевых дисков в Петербурге перевалило за 6 петабайт

В прошлых новостях про инфраструктуру рассказали, как облако устроено изнутри. Сегодня спускаемся уровнем ниже — в кластер, где физически лежат ваши бакеты и сетевые диски. Повод подходящий — после ввода двух новых нод общая емкость кластера превысила 6 петабайт.

Две трети этого объема занимают запасные копии, и так задумано. Все объекты реплицируются трижды — на разных серверах и в разных стойках.

Зачем столько копий? Диски — расходник и ломаются без расписания: бывают месяцы без единой замены, а в прошлом поменяли сразу три из 436 накопителей кластера.

Каждая замена проходит незаметно для ваших проектов: вышел из строя диск → кластер за пару часов восстанавливает копии на соседних нодах, и данные все это время можно читать и записывать.

Что под капотом. Ceph-кластер из 27 серверов с двумя тирами: быстрые NVMe-ноды — под активные данные, емкие HDD — под архивы и объекты, к которым обращаются редко. Между уровнями данные распределяются автоматически.

Кластер растет быстро. В феврале 2024 года в нем было три ноды и 70 терабайт под данные клиентов, сейчас — 27 нод и 2 петабайта. В 30 раз больше за два с половиной года.

Недавно добавили еще две ноды — одну в горячий тир, одну в холодный, ввели без окон обслуживания, данные перераспределились фоном.

6 петабайт — не предел. Про новые отметки расскажем в следующих постах.

https://timeweb.cloud