Речь из текста: Chatterbox

<!-- lesson: audio-speech -->

Урок «audio-speech» в группе Звук и речь списка уроков. Шагов: 7.

#Сначала согласие

Озвучивать так можно только того, кто на это согласен, и его собственным голосом или голосом, на который у вас есть разрешение. Получите согласие говорящего и разрешение на исходные материалы, учитывайте местные законы. Не помещайте голос реального человека в откровенное содержимое и исключайте тех, кто несовершеннолетний или выглядит несовершеннолетним. См. Правила содержимого.

#Чему вы научитесь

Вы соберёте граф, который читает ваш текст вслух голосом с короткой записи.

#Что понадобится

• Паки нод: ComfyUI_Fill-ChatterBox. Их вы ставите в ComfyUI сами, потом выбираете Синхронизация ▸ Синхронизировать сейчас. До тех пор карточка говорит, что урок не подходит, и называет пак.
• Ноды: Load Audio, FL Chatterbox TTS, Save Audio (Advanced) / SaveAudio / SaveAudioMP3 / PreviewAudio.
• Приложение ничего не скачивает и не устанавливает. Тексты шагов ниже говорят, какие файлы, в какие папки и какой шаблон ComfyUI их называет.

#Шаги

Слова каждого шага, как их показывает урок. Имена нод выделены.

1. Сначала о голосах (чтение)

   Chatterbox читает текст вслух. Если дать ему запись голоса, он говорит этим голосом.

   Озвучивать так можно только того, кто на это согласен, и его собственным голосом или голосом, на который у вас есть разрешение. Получите согласие говорящего и разрешение на исходные материалы, учитывайте местные законы. Не помещайте голос реального человека в откровенное содержимое и исключайте тех, кто несовершеннолетний или выглядит несовершеннолетним.

   Ноды этого урока даёт пак ComfyUI_Fill-ChatterBox. Пак запускает на вашем компьютере чужой код: ставьте его сами через менеджер ComfyUI и только тот, которому доверяете. Свои модели пак сам скачивает в models/chatterbox при первом запуске графа в ComfyUI.

   Урок собирает граф с пустого холста: «Файл ▸ Новый проект».

2. Загрузите голос

   Добавьте ноду Load Audio и выберите запись в её поле audio. Проще всего взять свой голос.

   Авторы пака советуют хотя бы от 5 до 6 секунд чистой речи: один голос, без музыки и без эха. Модель копирует всё, что слышит, шум тоже.

3. Напишите, что сказать

   Добавьте ноду FL Chatterbox TTS. Соедините выход Load Audio с её входом audio_prompt и напишите слова в поле text.

   Без записи нода говорит своим голосом. С записью подражает ей.

   Пишите так, как говорят: знаки препинания задают паузы. Эта нода говорит по-английски. Для других языков в паке есть многоязычная нода с теми же входами.

4. Задайте манеру речи

   Поставьте в ноде FL Chatterbox TTS три числа:

   • exaggeration: 0.5, насколько живая речь; выше выразительнее и менее ровно;
   • cfg_weight: 0.5, насколько точно модель следует записи; ниже медленнее и спокойнее;
   • temperature: 0.8, насколько прочтения отличаются от запуска к запуску.

   Шаблон держит все три на этих значениях. Начните с них и двигайте по одному числу.

5. Сохраните речь

   Добавьте ноду Save Audio (Advanced) и соедините выход audio ноды FL Chatterbox TTS с её входом audio. В ComfyUI файл попадёт в output/audio.

6. Если речь не удалась (чтение)

   • Голос не похож: возьмите запись длиннее и чище.
   • Слова проглатываются: делите длинные фразы, добавьте запятые.
   • Речь звучит натужно: уменьшите exaggeration и cfg_weight.
   • Длинный текст ломается: авторы пака называют около 40 секунд как предел за один запуск; делите текст на части и склеивайте их нодой Concatenate Audio.

   Поставьте keep_model_loaded в true, когда делаете много реплик подряд: модель останется в памяти между запусками.

7. Граф готов (чтение)

   Сохраните граф через «Файл ▸ Сохранить workflow для ComfyUI…», откройте файл в ComfyUI и запустите там. Само приложение в ComfyUI ничего не запускает.

   Если публикуете речь, скажите, что голос сделан моделью.

#Что проверяет урок

Шаг для чтения сделан, когда вы нажимаете Понятно, дальше. Шаг с делом отмечается сам, когда на холсте есть:

• Шаг 2, Загрузите голос:
  • нода Load Audio.
  • audio ноды Load Audio: значение выбрано.
• Шаг 3, Напишите, что сказать:
  • нода FL Chatterbox TTS.
  • AUDIO ноды Load Audio во вход audio_prompt ноды FL Chatterbox TTS.
  • text ноды FL Chatterbox TTS: не меньше 10 знаков.
• Шаг 4, Задайте манеру речи:
  • exaggeration ноды FL Chatterbox TTS: от 0.25 до 1; «Сделать за меня» ставит 0.5.
  • cfg_weight ноды FL Chatterbox TTS: от 0.2 до 1; «Сделать за меня» ставит 0.5.
  • temperature ноды FL Chatterbox TTS: от 0.5 до 1.2; «Сделать за меня» ставит 0.8.
• Шаг 5, Сохраните речь:
  • нода Save Audio (Advanced) или SaveAudio или SaveAudioMP3 или PreviewAudio.
  • audio ноды FL Chatterbox TTS во вход audio ноды Save Audio (Advanced) или SaveAudio или SaveAudioMP3 или PreviewAudio.

#См. также

• Звук
• Правила содержимого
• Как устроены уроки