До конца года осталась всего неделя, а значит, пришло время подвести итоги уходящего года.
2024 год был непростым, но очень продуктивным для CLO. Мы внесли значительные изменения в систему, чтобы повысить стабильность и производительность сервиса:
- Обновили инфраструктуру личного кабинета;
- Добавили новое, более мощное серверное и сетевое оборудование;
- Внедрили более быструю и надёжную альтернативу Ceph;
- Подготовили сетевую инфраструктуру к переезду на DPDK.
В процессе мы столкнулись с рядом сложностей, которые не проявили себя в предварительных тестах. Инфраструктуры пользователей сильно отличаются, как и нагрузка, которую они создают, поэтому ни один синтетический тест не может на 100% предсказать поведение реальной системы.
Изменения были серьёзные, что не могло не сказаться на работе личного кабинета и доступности услуг в моменте. Расскажем подробнее, как и почему это было.
Обновление инфраструктуры ЛК
- Ускорили доставку нового функционала в прод и повысили стабильность инфраструктуры
- Провели большой рефакторинг кодовой базы проекта — предыдущая реализация была написана 4 года назад и обросла легаси-кодом, который мешал развитию сервиса. Учли ошибки, с которыми столкнулись на ранних этапах и значительно переработали логику взаимодействия с оборудованием.
- После обновления некоторые механизмы пришлось отлаживать уже в продакшене, например, систему уведомлений и автоплатёж. Сейчас все работы по обновлению инфраструктуры завершены — мы увеличили скорость доставки нового функционала в прод и повысили стабильность инфраструктуры в целом.
Новое оборудование
Добавили более мощные серверы и ввели в эксплуатацию новое сетевое оборудование
Серверы с процессором AMD EPYC
В течение года мы добавили в инфраструктуру несколько новых нод на процессорах AMD Epyc. Эти процессоры обладают большей частотой ядер и высокой пропускной способностью шины памяти, что значительно повышает производительность инстансов — приятные изменения в скорости вычислений заметили и наши клиенты.
Не всё прошло гладко — добавление новых нод в кластер вызывало внезапные перезагрузки других серверов. Эти проблемы невозможно было предсказать — на тестовых стендах серверы вели себя стабильно. Да и сам переезд клиентских машин на новые серверы не мог произойти без простоя, перезапуск был необходим из-за смены платформы.
Сейчас, уже столкнувшись с перечисленными проблемами, мы научились «готовить эпики» так, чтобы они работали действительно хорошо и давали большую производительность для клиентских инфраструктур, а переезд происходил с минимальным простоем. В 2025 году планируем заменить все серверы в инфраструктуре на новые.
Новое сетевое оборудование
Сетевая архитектура CLO сложнее, чем сети других наших проектов, и обладает значительно большим потенциалом и гибкостью. Поэтому работу над улучшением качества сети мы ведём непрерывно с самого старта проекта.
Мы регулярно добавляем новое оборудование и обновляем программное обеспечение. Это особенно сложно сейчас, без поддержки западных вендоров — мы вынуждены обновлять и настраивать сетевое ПО без возможности получить правки от производителей.
В этом году добавили два новых физических роутера для обеспечения резервирования канала и провели большую подготовительную работу к переезду на DPDK. Это позволит нам повысить производительность и надёжность сети в будущем.
Linstor вместо Ceph
Увеличили скорость работы сетевых дисков благодаря новому решению для управления распределённым хранилищем
С марта 2024 мы тестировали новое решение для управления распределённым хранилищем данных — Linstor. Linstor значительно проще в обслуживании и почти не страдает от просадок производительности при синхронизации реплик, вызванных добавлением новых дисков.
В декабре запустили постепенный перенос сетевых дисков клиентов на Linstor, внимательно мониторя состояние системы. Это пока новое решение для нас, поэтому мы не торопимся переезжать сразу. Как только убедимся в 100% стабильности системы, перевезём на Linstor все сетевые диски, существующие в сервисе — они станут работать быстрее.
clo.ru/help/drive/general/linstor
Небольшие продуктовые улучшения
Объектное хранилище S3
В начале года избавились от тенантов — пользователи и бакеты теперь создаются в общем пространстве, что обеспечивает лучшую совместимость сервиса S3 с другим ПО и добавляет возможность обращаться к объектам в S3 по ссылке в domain-style (Amazon называет это virtual-hosted-style).
Базы данных
Добавили возможность менять параметры СУБД прямо из личного кабинета. В отличие от изменений, внесённых через консоль, эти значения параметров сохраняются при перезагрузке кластера.
Public API v2
Упростили структуру API для более удобного взаимодействия с инфраструктурой без использования личного кабинета — унифицировали форматы ответов и избавились от лишней вложенности в структуре. Документация API на сайте и подробный список изменений по сравнению с v1.
Что будет в 2025
В новом году мы завершим начатые в 2024 работы над улучшением качества сервиса:
- В первом квартале 2025 заменим все серверные процессоры на AMD EPYC и мигрируем сетевые диски виртуальных машин на Linstor — ядра процессора и диски станут работать значительно быстрее.
- Во второй половине года завершим обновление архитектуры сети и переедем на DPDK — сеть станет более стабильной и производительной.
Параллельно с этим добавим новые полезные фичи:
- Мультипроектность — возможность создавать различные проекты в рамках одной инфраструктуры для удобства управления большим количеством услуг.
- Реселлинг — механизм для тех, кто хочет перепродавать услуги облака или предоставлять клиентам удобный способ управления инфраструктурой.
- TLS для LBaaS — SSL-сертификат для балансировщика.
- Улучшения в работе DBaaS — расширения для PostgreSQL и SSL-сертификаты для баз данных.
- Обновлённая система уведомлений с возможностью выбора каналов связи и настройки критичных уведомлений.
Праздничный бонус
Опять 25 — кешбэк 25% на все платежи на месяц
С 25 декабря 2024 и до 25 января 2025 дарим кешбэк 25% на все платежи при использовании промокода NEWYEAR25
Как получить кешбэк:
- Введите промокод NEWYEAR25 на странице Баланс и расходы → «Активировать промокод или сертификат».
- Пополните баланс на любую сумму с 10:00 25.12.2024, по 23:59 25.01.2025 (время московское).
- Получайте кешбэк 25% на все пополнения баланса до 25 января 2025.
С наступающим! Команда CLO <3
clo.ru
