Звук
Звук в ComfyUI: загрузка и сохранение, музыка из текста и видеомодели, которые делают свой звук.
Простыми словами
ComfyUI обращается со звуком так же, как с картинками: значение AUDIO идёт по связям, звуковые модели работают со звуковым латентом, а звуковой VAE превращает его в волну. Звук встречается в графах трёх видов:
- Звук как вход: запись голоса ведёт говорящий портрет.
- Звук из текста: музыка или эффекты по промпту.
- Звук вместе с видео: модели, которые рисуют ролик и его звук сразу.
Где встречается в графе
- Load Audio читает файл из
input, Save Audio пишет вoutput, Preview Audio играет звук на ноде. - Get Video Components отдаёт
audioвидео, Create Video берётaudioи вставляет его в ролик. - Музыка и эффекты из текста: у ACE-Step (песни со словами) и Stable Audio Open (короткие звуки и петли) есть встроенные шаблоны; они берут пустой звуковой латент (например EmptyLatentAudio или ноду латента ACE-Step), сэмплер и VAE Decode Audio.
- Видео со звуком: LTX-2 (встроенные шаблоны) и Ovi (WanVideoWrapper) создают речь и звук вместе с кадрами.
- Речь в текст, клонирование голоса, текст в речь: через паки нод; следуйте README пака и правилу согласия для голосов.
Значения и что они меняют
Длина задаётся в секундах на пустом звуковом латенте; длиннее звук, дольше работа. Музыкальные модели читают жанр, инструменты, настроение и темп из промпта, а слова песни из отдельного поля.
Частые ошибки
- Ролик сохранился без звука:
audioне подключён к Create Video. - Частота кадров видео не совпадает с речью: губы уплывают.
- Клонировать голос реального человека без согласия: см. Правила содержания.
Как помогает приложение
Уроки группы Звук и речь собирают графы звука: Музыка из текста: ACE-Step 1.5, Звук из текста: Stable Audio, Речь из текста: Chatterbox, Звук для немого видео: MMAudio и Речь в текст: Whisper. Уроки о говорящих портретах, урок Ovi и Видео со звуком: LTX-2.5 добавляют звук в ролики. На карточке ноды в библиотеке наведите указатель на метку типа у порта AUDIO или VIDEO, чтобы прочитать встроенную заметку об этом типе.