vLLM и другие совместимые серверы

Многие серверы совместимы с API OpenAI: vLLM и другие, например text-generation-webui, LocalAI или шлюз перед несколькими моделями. Приложение работает с любым из них через Свой сервер, если сервер перечисляет свои модели и поддерживает вызов инструментов. На свой сервер ключ не отправляется, если сервер его не просит.

#vLLM

1. Запустите vLLM с моделью, которая умеет вызывать инструменты, с включёнными инструментами и достаточно длинным контекстом (--max-model-len 16384 или больше). По умолчанию он отвечает на http://127.0.0.1:8000.
2. В приложении: «Настройки ▸ Помощник» ▸ Свой сервер. Приложение само найдёт vLLM по адресу http://127.0.0.1:8000/v1; или впишите адрес.
3. Выберите Модель, Проверить связь (приложение прочитает max_model_len и скажет, хватает ли), Сохранить настройки.

#Любой другой совместимый сервер

1. Узнайте адрес его конечной точки, совместимой с OpenAI; обычно он заканчивается на /v1.
2. Впишите его в поле Адрес сервера. Если не написать http://, приложение попробует так и подставит адрес, который сработал.
3. Выберите Модель из списка или впишите название, если сервер списка не даёт («Списка пока нет. Впишите название модели»).
4. Проверить связь, Сохранить настройки.

#Ограничения

• Сервер, который просит ключ (vLLM, запущенный с --api-key, LiteLLM): вставьте его в Ключ для этого сервера (необязательно). Он уходит только на этот адрес. Без него чат напишет «Ваш сервер просит ключ. Вставьте его в настройках помощника в поле «Ключ для этого сервера».»
• Облачный сервис с интерфейсом OpenAI (не на ваших компьютерах) настраивается как Совместимый с OpenAI: см. Сервисы, совместимые с OpenAI.
• Если сервер не сообщает окно контекста, приложение берёт его по названию модели или 32 000 токенов; если знаете настоящее, укажите его в Окно контекста (токены).
• Сервер на другом компьютере получает ваши сообщения и граф; по http они идут без шифрования.

#Что может пойти не так

• «Сервер ответил, но не как модель. Проверьте адрес в настройках помощника.»
• «Сервер ответил HTTP 404 на запрос списка моделей.» Адрес не ведёт к корню API.
• «Сервер прислал ответ, который не удалось прочитать.»

#См. также

• Сервер llama.cpp
• Ollama
• Окно контекста
• Неудачные ответы