Чат-бот: Задайте любой вопрос об OVHcloud

chat.di2amp.ovh

Вопросы:

• коммерческий (сколько стоит, что мне нужно)
• методы (как это работает, как настроить)
• инцидент (он больше не работает, у меня поломка)

Цель — использовать этот инструмент для начала обсуждения со службой поддержки.

Как это работает?

3 фрагмента кода:
1) Я индексирую все страницы OVHcloud раз в неделю, используя RAG и LLM (LLama 3.3 70B), 100 тыс. страниц, 1,2 млн строк в PG, внедряю ME5_Large (1024).
Ответы поступают только с сайта OVHcloud. Если ответ неверный, страницы с правильным контентом не существует. Для индексации её необходимо создать. Всё просто.

2) В chat.di2amp.ovh вы можете задать вопрос напрямую в RAG (поиск) или получить доступ к RAG через LLM (чат). В этом случае я добавляю переформулировку вопроса + выдержку через Llama 4 17B (800-900 мс) и доступ к RAG через DeepSeek 3.1 (2,5-3,5 с).

3) Оценка «вопроса/ответа» с помощью Mistral-medium для оценки качества ответа и определения того, какие страницы/текст следует добавить на веб-сайт, чтобы восполнить недостающую информацию и должным образом ответить на все вопросы наших клиентов.

Это ALPHA-инструмент, созданный за несколько вечеров/недель на виртуальной машине за 30 евро/мес., DBaaS за 120 евро/мес., встроенной виртуальной машине V100 (она будет использоваться в конечной точке за 10 евро/мес.) и вызовах API конечной точки ИИ (Llama DeepSeek Mistral) за 50 евро в сентябре.

Ничего выдающегося, всё ещё немного медленно, но уже лучше, чем на «стандартных» видеокартах.