Промпт: как модель читает текст
Как написать промпт, который модель поймёт: теги или предложения, порядок, длина, язык.
Простыми словами
Промпт (prompt) это текст, который вы даёте модели. Модель понимает его не так, как человек. Её учили на картинках с подписями, и она запомнила, какие слова стоят рядом с какими картинками. Ваш промпт тянет результат к картинкам, подписи которых были на него похожи. Отсюда:
- слово, которое редко встречалось в подписях, почти ничего не делает, как бы точно оно ни звучало;
- промпт это не приказ: каждое слово тянет в свою сторону, и сильные слова перетягивают слабые;
- то, о чём вы промолчали, модель решает сама.
Два способа чтения
Как писать, зависит от текстового энкодера вашей модели.
- Теги и короткие фразы (читает CLIP): SD 1.5, SDXL и линии на его основе. Пример:
portrait of a woman, red coat, night street, rain, soft light. Аниме-линии Pony и Illustrious учили на тегах в стиле booru (1girl, red coat, outdoors, night, rain), а Pony ещё ждёт в начале свои теги качества (score_9, score_8_up, ...). Их перечисляет страница модели. - Целые предложения (читает T5 или языковая модель): Flux, SD3, Qwen-Image, Z-Image, Wan, HunyuanVideo, LTX. Пример:
A woman in a red coat stands on a night street in the rain. Soft light from a shop window falls on her face.Такие модели понимают, кто что делает и где. Qwen-Image и Flux умеют даже писать на картинке короткий текст, если взять его в кавычки.
Порядок и длина
- Главное в начало: кто или что в кадре, потом действие, потом место, свет, стиль.
- CLIP читает кусками по 75 токенов (около 50 английских слов). Слова из следующего куска хуже держатся вместе с началом.
- Модели, читающие предложения, берут несколько сотен токенов, но и они слабее держат конец.
- Десять точных слов работают лучше сорока случайных. Каждое лишнее слово отнимает внимание у остальных.
- Большинство моделей учили на английских подписях. Wan и Qwen-Image хорошо понимают и китайский. Другие языки работают заметно хуже.
Для видео
Ролику нужно ещё и то, что меняется: одно действие, движение камеры, темп. См. урок Промпт для видео и Модели для видео.
Частые ошибки
- Отрицания в основном промпте:
no hatскорее добавит шляпу. Нежелательное пишите в негативный промпт. - Синтаксис других программ:
<lora:name:1>,BREAK,[word]в ComfyUI ничего не делают. См. Синтаксис промпта и веса. - Список тегов для модели, читающей предложения, или роман для CLIP.
- Цвета и детали перетекают между предметами у моделей с тегами: опишите каждый предмет своей фразой.
Как помогает приложение
Вкладка Проверка читает промпты так, как прочтёт ComfyUI, и выводит раздел «Промпты: что стоит поправить»: синтаксис других программ, непарные скобки, веса больше 1.5, одно слово в обоих промптах, отрицания, не английский текст, промпт длиннее, чем читает энкодер, нет слова-триггера LoRA. Карточка во вкладке Модели показывает слова-триггеры и примеры промптов, которые автор записал в файл.