OVH представляет Olala mini 7A1B



OVH — первая семейная LLM. Первый представитель этой семьи, Olala mini 7A1B, — компактная модель, построенная на новой архитектуре.

Olala: инновационная модель с гибридным вниманием
Olala mini основана на архитектуре с 7 миллиардами параметров (7B), из которых 1 миллиард активируется в каждом слое и распределяется между 256 экспертами, с гибридным вниманием на основе Differential-TPA и Mamba-3, в формате BF16. При каждом запросе задействуется лишь часть модели, что делает её быстрее и менее требовательной к памяти. Прямое следствие: модель работает на GPU с объёмом памяти не менее 8 ГБ, достигает 160 токенов в секунду на RTX A4500 и даже без GPU, на обычном процессоре, — 50 токенов в секунду. На сегодняшний день её контекстное окно составляет 32 000 токенов. Olala mini будет доступна с открытым исходным кодом на Hugging Face под лицензией Apache 2.0.

Обучена при поддержке европейских государственных структур и уже работает в Qwant
Olala mini была обучена на трёх европейских суперкомпьютерах общего пользования — Jupiter, MeluXina и Jean Zay, оснащённых GPU GH200, A100 и H100. Эта поддержка, эквивалентная 7 млн евро в расчётных часах, сыграла решающую роль, и OVH выражает благодарность государственным органам. Государственная инициатива оказалась успешной во многих отношениях: она позволила сформировать выдающуюся команду в области искусственного интеллекта и привела к созданию агентного подразделения OVH — OVHai LLM. Olala mini публикуется вместе с весами, базовой предобученной моделью, техническим отчётом и документацией о соответствии AI Act. Qwant уже внедрила её в функцию мгновенных ответов, добившись значительных улучшений: ответы стали на 20 % быстрее, а эксплуатационные расходы сократились втрое по сравнению с ранее использовавшейся моделью.

На пути к v1.1, а затем и v2.0
Ожидаемая к концу года версия 1.1 увеличит контекстное окно до 128 000 токенов и улучшит способности модели к математическим рассуждениям. С выходом версии 2.0 OVHai LLM намерена разработать специализированные модели для трёх направлений. Во-первых, агентные решения для бизнеса: в перспективе Olala будет обеспечивать работу OVHai Workspace, для зашифрованной версии которого потребуются модели, способные работать локально, непосредственно на рабочем компьютере. Во-вторых, облачный DevOps — с вариантами, адаптированными для разработчиков, архитекторов и команд эксплуатации, обеспечивающих непрерывность работы сервисов 24 часа в сутки. В-третьих, кибербезопасность — как в оборонительном, так и в наступательном аспектах. Olala v2.0 будет насчитывать более 100 миллиардов параметров.