Окно контекста
Окно контекста это сколько текста модель может прочитать за раз: указания, ваш граф, описания инструментов помощника, разговор и собственный ответ, всё в токенах (токен это кусочек слова). Один только запрос помощника занимает от 3 до 6 тысяч токенов. У облачной модели места гораздо больше. Модель на своём сервере загружается с постоянным окном, часто маленьким, и сервер молча отбрасывает то, что не поместилось: тогда модель отвечает, не прочитав вопроса.
Что с этим делает приложение
- Читает настоящее окно у вашего сервера (Ollama, LM Studio, сервер llama.cpp, vLLM) по кнопке Проверить связь и во время ответа.
- Держит последние сообщения в пределах 70 % окна и сообщает модели, сколько ранних сообщений не вошло.
- Если окно меньше 16 000 токенов, экономит место: предлагает модели меньше инструментов. «Со следующего вопроса помощник экономит место: предлагает модели меньше инструментов.»
- Если окно маленькое или неизвестно, с первого вопроса отправляет более короткий план графа, а данные, которые отправляет, держит примерно в трети окна.
- Говорит, когда окно слишком маленькое.
Что пишет приложение
| Где | Текст | Что значит |
|---|---|---|
| Проверить связь | «Окно контекста на сервере (в токенах): 32768. Запросы помощника помещаются.» | всё хорошо |
| Проверить связь | «… Помощник будет экономить место: предложит модели меньше инструментов. Для длинных сборок и поиска в интернете лучше 16384 или больше» | работает, но длинные сборки могут не поместиться |
| Проверить связь | «… Этого мало: запрос помощника вместе с инструментами занимает от 3 до 6 тысяч, и на ответ и шаги сборки места не остаётся.» | увеличьте окно до того, как спрашивать |
| Над ответом | «Окно контекста модели почти заполнено» | для длинной сборки места мало |
| Над ответом | «Модель прочитала только часть запроса … поэтому этот ответ может быть случайным.» | ответу нельзя верить; увеличьте окно и спросите снова |
Что делать, если окно маленькое
- Увеличьте окно на сервере хотя бы до 16 384 токенов:
- Ollama: переменная
OLLAMA_CONTEXT_LENGTHпри запуске сервера или параметрnum_ctxу модели. Шаги с командами: Ollama. Приложение тоже их показывает в блоке «Как это сделать (Ollama на Linux)» с кнопкой Скопировать. Проще: после Проверить связь кнопка Сделать копию с окном 16 384 токенов в «Настройки ▸ Помощник» делает копию модели с бо́льшим окном, ничего не скачивая. - LM Studio: загрузите модель заново с бо́льшим «Context Length» или задайте его в настройках модели по умолчанию.
- llama.cpp: запустите
llama-serverс бо́льшим-cи с--jinja, без которого не работают инструменты. - vLLM: больший
--max-model-len.
- Ollama: переменная
- Большему окну нужно больше памяти. Если модель стала медленной или не загружается, выберите окно поменьше или модель поменьше.
- Спросите снова.
Если увеличить нельзя: задавайте короткие вопросы, вместо длинных сборок пользуйтесь режимом «Спросить», начните разговор заново («Настройки ▸ Приватность» ▸ Очистить историю чата) или возьмите облачную модель.
Настройка
«Настройки ▸ Помощник» ▸ Окно контекста (токены): 0 значит «авто» («так модель загружена на вашем сервере», «известная модель» или 32 000 для неизвестной модели). Ваше число главнее, но если сервер сообщает окно меньше, приложение верит серверу.