LM Studio

LM Studio это настольная программа, которая скачивает и запускает языковые модели, с локальным сервером, совместимым с OpenAI. Ничего не уходит с компьютера, и ключ не нужен, если вы не включили проверку в LM Studio: тогда вставьте её ключ в Ключ для этого сервера (необязательно).

#Как настроить

1. В LM Studio скачайте модель, которая умеет вызывать инструменты (LM Studio такие отмечает), и загрузите её с длиной контекста не меньше 16 384.
2. Запустите её локальный сервер (в разделе разработчика или сервера LM Studio). По умолчанию он отвечает на http://127.0.0.1:1234.
3. В приложении: «Настройки ▸ Помощник» ▸ Свой сервер. Приложение само найдёт LM Studio по адресу http://127.0.0.1:1234/v1 («найден на этом компьютере»); или впишите адрес.
4. Модель: выберите загруженную модель из списка.
5. Проверить связь. Приложение прочитает, с какой длиной контекста LM Studio загрузила модель, и скажет, хватает ли её.
6. Сохранить настройки.

#Окно контекста

LM Studio задаёт его при загрузке модели. Если приложение пишет «Этого мало», загрузите модель в LM Studio заново с большей длиной контекста. См. Окно контекста.

#Что может пойти не так

• «Сервер модели не отвечает.» Сервер в LM Studio не запущен или работает на другом порту.
• «Сервер ответил, но не как модель. Проверьте адрес в настройках помощника.» В адресе нет /v1 или он ведёт не туда.
• «Эта модель не умеет вызывать инструменты.» Выберите другую модель.

#См. также

• Кто отвечает
• Ollama
• Окно контекста
• Неудачные ответы