Звук

Звук в ComfyUI: загрузка и сохранение, музыка из текста и видеомодели, которые делают свой звук.

Простыми словами

ComfyUI обращается со звуком так же, как с картинками: значение AUDIO идёт по связям, звуковые модели работают со звуковым латентом, а звуковой VAE превращает его в волну. Звук встречается в графах трёх видов:

  • Звук как вход: запись голоса ведёт говорящий портрет.
  • Звук из текста: музыка или эффекты по промпту.
  • Звук вместе с видео: модели, которые рисуют ролик и его звук сразу.

Где встречается в графе

  • Load Audio читает файл из input, Save Audio пишет в output, Preview Audio играет звук на ноде.
  • Get Video Components отдаёт audio видео, Create Video берёт audio и вставляет его в ролик.
  • Музыка и эффекты из текста: у ACE-Step (песни со словами) и Stable Audio Open (короткие звуки и петли) есть встроенные шаблоны; они берут пустой звуковой латент (например EmptyLatentAudio или ноду латента ACE-Step), сэмплер и VAE Decode Audio.
  • Видео со звуком: LTX-2 (встроенные шаблоны) и Ovi (WanVideoWrapper) создают речь и звук вместе с кадрами.
  • Речь в текст, клонирование голоса, текст в речь: через паки нод; следуйте README пака и правилу согласия для голосов.

Значения и что они меняют

Длина задаётся в секундах на пустом звуковом латенте; длиннее звук, дольше работа. Музыкальные модели читают жанр, инструменты, настроение и темп из промпта, а слова песни из отдельного поля.

Частые ошибки

  • Ролик сохранился без звука: audio не подключён к Create Video.
  • Частота кадров видео не совпадает с речью: губы уплывают.
  • Клонировать голос реального человека без согласия: см. Правила содержания.

Как помогает приложение

Уроки группы Звук и речь собирают графы звука: Музыка из текста: ACE-Step 1.5, Звук из текста: Stable Audio, Речь из текста: Chatterbox, Звук для немого видео: MMAudio и Речь в текст: Whisper. Уроки о говорящих портретах, урок Ovi и Видео со звуком: LTX-2.5 добавляют звук в ролики. На карточке ноды в библиотеке наведите указатель на метку типа у порта AUDIO или VIDEO, чтобы прочитать встроенную заметку об этом типе.

См. также

Страница перенесена из wiki репозитория приложения (docs/wiki/concepts/Audio.ru.md, ревизия b8e3f71). То же руководство встроено в приложение: «Справка ▸ Руководство».

Чтобы обновить её, выполните npm run import, а затем npm run build в папке сайта.