Сервер llama.cpp

llama.cpp это программа, которая запускает модели в формате GGUF; её llama-server совместим с OpenAI. Ничего не уходит с компьютера, ключ не нужен.

#Как настроить

1. Запустите сервер с моделью, которая умеет вызывать инструменты, с контекстом не меньше 16 384 токенов и с включёнными инструментами, например: llama-server -m model.gguf -c 16384 --jinja По умолчанию он отвечает на http://127.0.0.1:8080.
2. В приложении: «Настройки ▸ Помощник» ▸ Свой сервер. Найти локальные серверы проверяет порт 8080 этого компьютера и показывает найденный сервер; выберите его или впишите http://127.0.0.1:8080/v1 в поле Адрес сервера.
3. Модель: сервер называет модель, которую запустил; выберите её.
4. Проверить связь. Приложение прочитает, с каким размером контекста запущен сервер (-c), и скажет, хватает ли его.
5. Сохранить настройки.

#Окно контекста

Это параметр -c (или --ctx-size) у llama-server. Если приложение пишет «Этого мало», перезапустите сервер с большим числом. См. Окно контекста.

#Что может пойти не так

• «Сервер модели не отвечает.» Сервер не запущен или работает на другом порту.
• Вызовы инструментов не получаются или приходят текстом: сервер запущен без инструментов или шаблон чата модели их не поддерживает.

Сервер нужно запускать с --jinja: без него вызовы инструментов не работают. То же самое говорит «Настройки ▸ Помощник» ▸ Как задать окно вручную.

#См. также

• vLLM и другие совместимые серверы
• Окно контекста
• Кто отвечает