Говорящие портреты
Лицо на картинке произносит слова записи голоса, губы в такт.
Правило согласия
Озвучивайте и оживляйте только тех, кто согласен, их собственным голосом или голосом, на который у вас есть разрешение. Никогда не вкладывайте слова в уста реального человека без его согласия. Получите разрешение на исходные материалы и учитывайте местные законы. каждый урок о говорящих портретах начинается с этого правила. См. Правила содержания.
Простыми словами
Модель речи (обычно модель wav2vec) превращает звук в числа, которые миг за мигом описывают, что должен делать рот. Видеомодель, которую научили слушать (через модуль или LoRA), рисует портрет, говорящий в такт. Потом звуковой файл вставляется в ролик как его дорожка.
Какие бывают способы
| Способ | Заметки |
|---|---|
| InfiniteTalk (WanVideoWrapper) | Wan 2.1 i2v 14B с модулем InfiniteTalk; долгая речь сшиванием окон; один или два говорящих; 25 fps |
| MultiTalk (WanVideoWrapper) | Предшественник InfiniteTalk; несколько говорящих |
| FantasyTalking (WanVideoWrapper) | Граф проще, ролики короткие; 23 fps |
| Wan 2.2 S2V | Модель «звук в видео» со встроенными нодами в свежем ComfyUI |
| HuMo (встроенные ноды) | Модель 17B рисует по картинке-образцу и двигает губы по звуку; 25 кадров в секунду |
| Ovi, LTX-2 | Сами создают голос вместе с картинкой; запись не нужна |
Значения и что они меняют
- Чистая запись голоса без музыки и шума работает гораздо лучше.
audio_scale(около 1 до 1.2) для более заметного движения губ;audio_cfg_scaleоколо 2 для более живого лица, ценой времени.- Частота кадров ролика должна совпадать с тем, что ждёт способ, иначе губы уплывают.
- Портрет анфас, лицо крупно, рот закрыт или чуть приоткрыт.
Частые ошибки
- Забыть подключить звук к Create Video: немой ролик.
- Двое перепутаны: в InfiniteTalk первый голос достаётся левой половине картинки, если маски не говорят иного.
- Длинные записи, пока идёт подбор: берите пять до десяти секунд.
Как помогает приложение
Уроки Говорящее видео: InfiniteTalk, Разговор двоих, Говорящий портрет: FantasyTalking, Видео со звуком: Ovi, Портрет, который говорит: HuMo и Видео со звуком: LTX-2.5. Голос для них может дать урок Речь из текста: Chatterbox. Каждый урок с лицом или голосом человека начинается с согласия.