Понятия ComfyUI
Энциклопедия ComfyUI для новичка, по одной идее на страницу. Впервые здесь? Сначала прочитайте С чего начать: там эти страницы стоят по порядку и рядом с уроками.
Основа
- С чего начать: Страницы в том порядке, в каком они нужны новичку.
- Что такое ComfyUI: Сервер, редактор, очередь, выходные ноды и где появляется результат.
- Ноды и связи: Как граф складывается из нод и связей.
- Типы данных: MODEL, CLIP, VAE, LATENT, IMAGE, CONDITIONING и другие.
- Форматы workflow: Файл workflow, формат API и картинки с workflow внутри.
- Где лежат файлы ComfyUI: models/, input/, output/ и custom_nodes/.
Как делается картинка
- Картинка из текста: Основной граф из семи нод.
- Чекпойнт: Главный файл модели.
- Отдельные загрузчики: Диффузионная модель, текстовый энкодер и VAE отдельными файлами.
- Текстовые энкодеры: CLIP, T5 и почему у некоторых моделей их два.
- Conditioning: Закодированный промпт, по которому идёт сэмплер.
- Промпт: Как модель читает текст: теги или предложения, порядок, длина.
- Синтаксис промпта и веса: Что ComfyUI понимает в промпте и чего не понимает.
- Негативный промпт: Как сказать, чего не нужно.
- Латент: Сжатая картинка, с которой работает модель.
- VAE: Превращение латента в картинку и обратно.
- Сэмплер: Нода, которая шаг за шагом делает картинку, и имена сэмплеров.
- Планировщик: Как шум убирается по шагам.
- Шаги: Сколько шагов и что меняется, если их больше.
- CFG: Насколько строго модель следует промпту; guidance у Flux.
- Seed: Число, от которого результат повторяется.
- Denoise: Какая часть исходной картинки перерисовывается.
- Размер и пропорции: Размеры картинки, которые любит каждое семейство.
- Пачка (batch): Несколько картинок за один запуск.
Приёмы с картинками
- Картинка из картинки: Начать с картинки вместо шума.
- Инпейнтинг: Перерисовать только часть картинки, и маски.
- Аутпейнтинг: Продолжить картинку за её края.
- LoRA: Небольшая добавка, которая меняет стиль или тему.
- ControlNet: Управление картинкой позой, глубиной или контурами; препроцессоры.
- Картинки-образцы: IP-Adapter, Redux и модели правки.
- Увеличение: Как увеличить картинку.
Семейства моделей
- Семейства моделей: SD 1.5, SDXL, Pony, Flux, Wan и другие; что с чем сочетается.
- Почему семейства не смешиваются: Что бывает, когда встречаются файлы разных семейств.
- SD 1.5: Классическая модель на 512 пикселей.
- SDXL: Модель на 1024 пикселя с двумя текстовыми энкодерами.
- Pony: Линия на SDXL со score-тегами.
- Illustrious: Аниме-линия на SDXL.
- SD 3 и 3.5: Три текстовых энкодера, 16-канальный латент.
- Flux.1: dev, schnell и модели-инструменты.
- Krea 2: своя модель картинок от Krea AI; не FLUX.1 Krea [dev].
- Flux.2: Второе поколение Flux, dev и Klein.
- Chroma: Открытая модель из Flux.1 schnell.
- Qwen-Image: Текст на картинках и правка.
- Z-Image: Быстрая модель картинок 6B.
- Kolors: Модель вроде SDXL с энкодером ChatGLM.
- AuraFlow: Открытая модель на методе flow.
- Stable Cascade: Модель, которая работает ступенями.
- Wan 2.1: Открытое видео, 1.3B и 14B.
- Wan 2.2: Видеомодель уроков.
- HunyuanVideo: Видеомодель Tencent.
- LTX-2: Видео со звуком.
Видео и звук
- Модели для видео: Чем видео отличается от картинок.
- Длина видео и частота кадров: Кадры, длина и fps по моделям.
- Два прохода Wan 2.2: Два эксперта, два сэмплера, одна генерация.
- LoRA-ускорители: Четыре шага вместо двадцати.
- Первый и последний кадр: Ролик между двумя картинками.
- Видео из видео: Движение, глубина или камера из другого видео.
- Анимация по позе: Герой двигается, как человек в видео.
- Говорящие портреты: Лицо произносит запись, с согласием.
- Звук: Звук в ComfyUI.
Практика
- Память видеокарты: Почему не хватает памяти и что помогает.
- Паки нод: Сторонние ноды, установка через ComfyUI Manager и риск.
- Опасные форматы моделей: Почему .safetensors и почему старые форматы могут выполнять код.
- Платные API-ноды: Partner Nodes, которые отправляют данные наружу и стоят кредитов.
- Заметки, reroute и primitive: Вспомогательные ноды и группы.
- Обход и выключение нод: Выключить ноду, не удаляя её.
- Субграфы: Несколько нод, упакованных в одну.
- Как читать чужой workflow: Способ разобрать чужой граф.