Речь в текст: Whisper

<!-- lesson: audio-transcribe -->

Урок «audio-transcribe» в группе Звук и речь списка уроков. Шагов: 7.

#Чему вы научитесь

Вы соберёте граф, который записывает сказанное в записи и сохраняет субтитры.

#Что понадобится

• Паки нод: ComfyUI-Whisper. Их вы ставите в ComfyUI сами, потом выбираете Синхронизация ▸ Синхронизировать сейчас. До тех пор карточка говорит, что урок не подходит, и называет пак.
• Ноды: Load Audio, Apply Whisper, Preview as Text, Save SRT.
• Приложение ничего не скачивает и не устанавливает. Тексты шагов ниже говорят, какие файлы, в какие папки и какой шаблон ComfyUI их называет.

#Шаги

Слова каждого шага, как их показывает урок. Имена нод выделены.

1. Что делает Whisper (чтение)

   Whisper слушает речь и записывает её, со временем каждой фразы и каждого слова. Из этого получаются простой текст и субтитры.

   Ноды этого урока даёт пак ComfyUI-Whisper. Пак запускает на вашем компьютере чужой код: ставьте его сами через менеджер ComfyUI и только тот, которому доверяете. Выбранную модель пак сам скачивает в models/stt/whisper при первом запуске в ComfyUI.

   Урок собирает граф с пустого холста: «Файл ▸ Новый проект».

2. Загрузите запись

   Добавьте ноду Load Audio и выберите файл в её поле audio.

   Чем чище речь, тем меньше ошибок. Музыка под голосом сбивает модель.

3. Добавьте Whisper

   Добавьте ноду Apply Whisper. Соедините выход Load Audio с её входом audio и выберите модель в model.

   Маленькие модели (tiny, base) быстрые и ошибаются чаще, большие (large-v3, turbo) медленнее и намного точнее. Имена, которые кончаются на .en, знают только английский. Начать хорошо с turbo.

   В language выберите язык речи или оставьте auto. В prompt можно перечислить имена и редкие слова, которые встречаются в записи.

4. Покажите текст

   Добавьте ноду Preview as Text и соедините выход text ноды Apply Whisper с её входом source.

   В ComfyUI нода показывает записанный текст прямо на холсте.

5. Сохраните субтитры

   Добавьте ноду Save SRT и соедините выход segments_alignment ноды Apply Whisper с её входом alignment. В её поле name напишите имя файла.

   Файл попадёт в output/srt в формате SRT, который читает любой видеоплеер и редактор. Выход words_alignment даёт строку на каждое слово, для субтитров, которые загораются по слову.

6. Видео и ошибки (чтение)

   • Чтобы записать речь из видео, загрузите его нодой Load Video из Video Helper Suite: её выход audio идёт в тот же вход ноды Apply Whisper, как в примере пака.
   • Имена написаны неверно: впишите их в prompt.
   • Текст на другом языке: поставьте language вместо auto.

   Лицензия пака не разрешает коммерческое использование. Прочитайте её, прежде чем брать пак для работы.

7. Граф готов (чтение)

   Сохраните граф через «Файл ▸ Сохранить workflow для ComfyUI…», откройте файл в ComfyUI и запустите там. Само приложение в ComfyUI ничего не запускает.

#Что проверяет урок

Шаг для чтения сделан, когда вы нажимаете Понятно, дальше. Шаг с делом отмечается сам, когда на холсте есть:

• Шаг 2, Загрузите запись:
  • нода Load Audio.
  • audio ноды Load Audio: значение выбрано.
• Шаг 3, Добавьте Whisper:
  • нода Apply Whisper.
  • AUDIO ноды Load Audio во вход audio ноды Apply Whisper.
  • model ноды Apply Whisper: значение выбрано.
• Шаг 4, Покажите текст:
  • нода Preview as Text.
  • text ноды Apply Whisper во вход source ноды Preview as Text.
• Шаг 5, Сохраните субтитры:
  • нода Save SRT.
  • segments_alignment ноды Apply Whisper во вход alignment ноды Save SRT.
  • name ноды Save SRT: значение выбрано.

#См. также

• Звук
• Как устроены уроки