Промпт для видео

<!-- lesson: prompt-video -->

Урок «prompt-video» в группе Видео списка уроков. Шагов: 10.

#Чему вы научитесь

Научитесь описывать ролик так, чтобы модель поняла движение и камеру.

#Что понадобится

• Урок продолжает Видео из текста. Карточка говорит об этом; это подсказка, а не замок.
• Ноды: CLIP Text Encode (Prompt), WanImageToVideo / KSampler (Advanced).
• Приложение ничего не скачивает и не устанавливает. Тексты шагов ниже говорят, какие файлы, в какие папки и какой шаблон ComfyUI их называет.

#Шаги

Слова каждого шага, как их показывает урок. Имена нод выделены.

1. Чем промпт ролика отличается (чтение)

   Видео-модели читают связные предложения. Wan 2.2 учили на длинных подробных подписях, поэтому короткий промпт он понимает хуже длинного: недосказанное он додумывает сам, и ролик выходит случайным.

   Картинке хватает ответа на вопрос «что в кадре». Ролику нужно ещё «что меняется»: кто двигается, куда, как быстро и что делает камера. О чём не сказано, то либо стоит на месте, либо двигается как попало.

   Wan понимает английский и китайский. Веса в скобках на него почти не действуют: важное говорят словами.

2. Нужен граф для видео

   Этот урок продолжает граф из урока «Видео из текста» или «Видео из картинки». На холсте должна быть нода CLIP Text Encode (Prompt), выход которой идёт во вход positive.

   Если её нет, сначала пройдите один из этих уроков.

3. Из чего состоит промпт (чтение)

   Хороший промпт ролика отвечает на пять вопросов, обычно в таком порядке:

   • кто или что в кадре и как выглядит;
   • что происходит: одно действие;
   • где это происходит;
   • что делает камера;
   • какой свет и какое настроение.

   Пример: A young woman in a red coat walks slowly along a wet city street at night. Neon signs reflect in the puddles. The camera follows her from the side at walking pace. Soft cinematic light, shallow depth of field.

   Длина в три-пять предложений в самый раз. Совсем короткий промпт оставляет модели слишком много свободы, а в очень длинном она теряет главное.

4. Напишите промпт по этой схеме

   В поле text ноды CLIP Text Encode (Prompt) напишите промпт из нескольких предложений: кто в кадре, что происходит, где, что делает камера, какой свет. Нужно не меньше 80 знаков.

   Пишите по-английски и в настоящем времени: walks, а не will walk.

5. Одно действие на ролик (чтение)

   Ролик из урока длится пять секунд: 81 кадр при 16 кадрах в секунду. За это время помещается одно действие. Если описать три подряд, модель сожмёт их, перемешает или сделает только первое.

   Движение называют глаголом и уточняют: как быстро, в какую сторону, какой частью тела. She turns her head to the left and smiles работает. She is happy не работает: это состояние, а не движение.

   Если в кадре несколько человек, скажите о каждом, что он делает. Без этого двигаться будет кто-то один, а остальные замрут.

   Длинную сцену собирают из нескольких роликов, а не из одного длинного промпта.

6. Слова для камеры (чтение)

   Камеру описывают отдельным предложением. Wan знает язык кино, и эти слова на него действуют:

   • static shot: камера стоит на месте;
   • pan left, pan right: поворот в сторону;
   • tilt up, tilt down: наклон вверх или вниз;
   • push in, pull back: наезд и отъезд;
   • tracking shot: камера движется вместе с героем;
   • orbit: облёт вокруг;
   • handheld: съёмка с рук, лёгкая дрожь.

   Крупность тоже задают словами: close-up, medium shot, wide shot. Ракурс: low angle, high angle.

   На ролик берите одно движение камеры. Если камера должна стоять, скажите это прямо: без указания модель часто двигает её сама.

7. Если ролик начинается с картинки (чтение)

   В графе из урока «Видео из картинки» внешний вид уже задан картинкой. Описывать его заново не нужно: назовите героя двумя-тремя словами, чтобы модель поняла, о ком речь, и опишите, что меняется.

   Пример: The woman in the red coat slowly turns around and looks at the camera. Her hair moves in the wind. Static shot.

   Промпт не должен спорить с картинкой. Если на картинке ночь, а в тексте день, модель будет ломать кадр, чтобы угодить обоим.

   То, что в промпте не названо, модель старается оставить как на картинке. Поэтому для видео из картинки промпт может быть короче.

8. Второй текст у видео (чтение)

   Второй текст, который идёт во вход negative, у видео перечисляет дефекты ролика. В готовых шаблонах ComfyUI для Wan в нём стоит длинный список на китайском: пересвет, неподвижный кадр, размытые детали, субтитры, лишние пальцы, искажённые лица и руки. Его можно оставить как есть или написать то же по-английски: overexposed, static, blurry details, subtitles, extra fingers, deformed hands.

   Второй текст действует, только когда cfg в сэмплерах больше 1. В уроке «Видео из текста» стоит 3.5, и текст работает. С ускоряющей LoRA из урока «Быстрое видео за четыре шага» стоит cfg 1, и второй текст не действует совсем. Тогда всё важное должно быть в основном промпте.

9. Если ролик не слушается (чтение)

   Что менять и в каком порядке:

   • ролик стоит на месте: в промпте нет действия. Добавьте глагол и движение камеры;
   • движение вялое, как в замедленной съёмке: это частая цена ускоряющей LoRA. Опишите движение энергичнее или сделайте ролик без ускорения, на двадцати шагах;
   • камера двигается, хотя не должна: напишите static shot;
   • лицо и фигура плывут к концу: слишком много движения для пяти секунд. Оставьте одно действие или уменьшите length;
   • модель делает не то, что написано: поставьте это первым предложением и уберите всё второстепенное;
   • герой меняется от ролика к ролику: описывайте его одними и теми же словами или начинайте с картинки;
   • всё мимо: смените noise_seed в первом сэмплере.

10. Что подскажет приложение (чтение)

Кнопка «Проверить» на верхней панели читает и промпта ролика. Она скажет, если промпт пустой, если в нём остались записи из других программ, если оно написано не по-английски, если второй текст не действует из-за cfg 1 и если в промпте нет слов вашей LoRA.

Слова LoRA и промпты, которыми пользовался её автор, показаны в карточке файла во вкладке «Модели». Для LoRA движения это особенно важно: без своих слов она часто не включается.

#Что проверяет урок

Шаг для чтения сделан, когда вы нажимаете Понятно, дальше. Шаг с делом отмечается сам, когда на холсте есть:

• Шаг 2, Нужен граф для видео:
  • нода CLIP Text Encode (Prompt).
  • нода WanImageToVideo или KSampler (Advanced).
  • CONDITIONING ноды CLIP Text Encode (Prompt) во вход positive ноды WanImageToVideo или KSampler (Advanced).
• Шаг 4, Напишите промпт по этой схеме:
  • text ноды CLIP Text Encode (Prompt): не меньше 80 знаков и 10 настоящих слов, текст по-английски.

#Частые ошибки

• Три действия на пять секунд: модель их сжимает или выбрасывает.
• Состояние вместо движения («she is happy» вместо «she turns and smiles»).
• Нет предложения о камере: модель двигает камеру сама. Напишите static shot, если она должна стоять.
• Ждать действия негативного промпта с LoRA-ускорителем (cfg 1).

#См. также

• Как устроены уроки
• Промпт
• Негативный промпт
• Модели для видео