Куда ходит модельный запрос
Провайдеры моделей
В пилоте базово рассматриваются Cloud.ru и Yandex Cloud как провайдеры LLM.
Объяснение простыми словами
Провайдер модели - это сервис, где доступна LLM через API. Для пилота важны endpoint, ключ доступа, выбранная модель и правила, какой контекст можно отправлять.
Схема движения
1
CLI-агент
2
API key
3
Cloud.ru / Yandex Cloud
4
LLM response
Как это работает
1
Администратор выбирает провайдера.
2
Настраиваются endpoint, API key и модель.
3
CLI-агент отправляет запрос в выбранный API.
4
Ответ модели возвращается в плагин.
Что важно в пилоте
Нужно заранее зафиксировать, какой контекст можно отправлять в модель.
Для разных контуров могут быть разные endpoints и политики.
Стоимость зависит от провайдера, модели, токенов и нагрузки.