В Selectel доступно потребление LLM по токенам

В Selectel вы уже могли развернуть модели на нашей инфраструктуре через Foundation Models Catalog. А сейчас мы добавили возможность запускать инферес вендорских моделей с оплатой по токенам через ИИ-роутер.

ИИ-роутер — это единая точка доступа к ведущим языковым моделям, которая позволяет компаниям быстро запускать их и контролировать расходы без необходимости строить собственную инфраструктуру.

Преимущества ИИ-роутера

• Доступ к каталогу из 300+ LLM-моделей. Не нужно настраивать отдельную интеграцию с каждым провайдером — выбирайте модель из каталога, интегрируйте через API-ключ и платите за фактическое использование каждой модели.
• Управление бюджетом. Устанавливайте ограничение бюджетов на API-ключ, сотрудника и команду. Обеспечьте контроль расходов и защиту от нецелевого использования.
• Единое окно оплаты. Все расходы на иностранные LLM аккумулируются на одном балансе — не нужны отдельные контракты с вендорами и иностранные корпоративные карты.
• Надежность. Нет риска блокировки API-ключей и аккаунтов.
• Аналитика и метрики в реальном времени
• Мониторинг доступности моделей, средней задержки и других показателей — в любой момент можно увидеть полную картину использования ИИ по моделям и ключам.
• Интеграция за минуты. Настраивайте быстро благодаря стандартному формату запросов, который поддерживается популярными SDK и фреймворками.

https://selectel.ru