Квантованная модель: GGUF

<!-- lesson: gguf -->

Урок «gguf» в группе Картинки: модели списка уроков. Шагов: 7.

#Чему вы научитесь

Поставите модель GGUF в граф из отдельных файлов, чтобы большая модель поместилась в видеокарту поменьше.

#Что понадобится

• Урок продолжает Flux.1: картинка из отдельных файлов, Z-Image Turbo: картинка за восемь шагов. Карточка говорит об этом; это подсказка, а не замок.
• Паки нод: ComfyUI-GGUF. Их вы ставите в ComfyUI сами, потом выбираете Синхронизация ▸ Синхронизировать сейчас. До тех пор карточка говорит, что урок не подходит, и называет пак.
• Файлы моделей, которые урок проверяет:
  • файл .gguf того же семейства, что граф (Flux.1 или Z-Image): models/diffusion_models, например flux1-dev-Q4_K_S.gguf.
• Ноды: CLIP Text Encode (Prompt), KSampler, VAE Decode, Save Image / Preview Image, Unet Loader (GGUF) / UnetLoaderGGUFAdvanced.
• Приложение ничего не скачивает и не устанавливает. Тексты шагов ниже говорят, какие файлы, в какие папки и какой шаблон ComfyUI их называет.

#Шаги

Слова каждого шага, как их показывает урок. Имена нод выделены.

1. Сначала правила (чтение)

   Файлы GGUF загружаются через пак нод ComfyUI-GGUF. Пак нод запускает на вашем компьютере чужой код: ставьте его сами через менеджер ComfyUI, перезапустите ComfyUI и выберите здесь «Синхронизация ▸ Синхронизировать сейчас». Файлы моделей берите только с официальной страницы модели или того, кто её квантовал.

   Квантованная модель это та же модель, у которой числа хранятся меньшим числом бит. Файл и нужная видеопамять уменьшаются, качество немного падает. Автор пака пишет, что это хорошо работает для моделей-трансформеров вроде Flux, Z-Image, Qwen-Image и SD 3.5 и плохо для старых SD 1.5 и SDXL.

2. Нужен граф из отдельных файлов

   Этот урок продолжает граф из урока «Flux.1: картинка из отдельных файлов» или «Z-Image Turbo: картинка за восемь шагов». На холсте должны быть CLIP Text Encode (Prompt), KSampler, VAE Decode и Save Image со связями между ними.

   Если их нет, сначала пройдите один из этих уроков.

3. Как читать имя файла GGUF (чтение)

   Буквы после Q говорят, как сжали модель. Число примерно равно битам на вес:

   • Q8_0: почти как оригинал, около половины 16-битного файла;
   • Q6_K и Q5_K_M: хорошее равновесие;
   • Q4_K_S и Q4_0: около четверти размера, детали становятся проще;
   • Q3 и Q2: только когда больше ничего не помещается.

   Выбирайте самый большой, который помещается в видеокарту вместе с текстовым энкодером.

4. Поставьте загрузчик GGUF

   Добавьте ноду Unet Loader (GGUF) и выберите свой файл .gguf в поле unet_name. Пак ищет такие файлы в models/unet и models/diffusion_models и показывает только файлы с окончанием .gguf.

   Подключите её выход MODEL туда, куда шёл выход старого загрузчика: ко входу model ноды KSampler или, в графе Z-Image, ко входу model ноды сдвига перед сэмплером.

5. Старый загрузчик (чтение)

   Обычный загрузчик модели больше не нужен: удалите его. Ноду, выход которой никуда не ведёт, ComfyUI всё равно не запускает.

   Текстовые энкодеры, VAE и все настройки остаются как были. Файл GGUF должен быть того же семейства, что и остальной граф: GGUF от Flux требует энкодеров и VAE от Flux.

6. Текстовый энкодер в GGUF (чтение)

   Большие текстовые энкодеры вроде T5-XXL тоже бывают в файлах .gguf. У пака есть для них загрузчики, которые встают вместо обычных: CLIPLoader (GGUF) и DualCLIPLoader (GGUF), с тем же type. Они читают и файлы .gguf, и .safetensors.

   LoRA идут через обычные загрузчики LoRA; автор пака называет это пробной возможностью.

7. Граф готов (чтение)

   Сохраните граф через «Файл ▸ Сохранить workflow для ComfyUI…», откройте файл в ComfyUI и запустите там. Само приложение в ComfyUI ничего не запускает.

   Если не работает:

   • в ComfyUI нет ноды GGUF: пак не установлен или ComfyUI не перезапущен;
   • файла нет в списке: он не в models/unet или models/diffusion_models или не оканчивается на .gguf;
   • ошибка про тип модели: файл другого семейства, чем граф.

   GGUF работает немного медленнее, чем распакованный файл того же размера: числа распаковываются на каждом шаге.

#Что проверяет урок

Шаг для чтения сделан, когда вы нажимаете Понятно, дальше. Шаг с делом отмечается сам, когда на холсте есть:

• Шаг 2, Нужен граф из отдельных файлов:
  • нода CLIP Text Encode (Prompt).
  • нода KSampler.
  • нода VAE Decode.
  • нода Save Image или Preview Image.
  • CONDITIONING ноды CLIP Text Encode (Prompt) во вход positive ноды KSampler (можно через FluxGuidance).
  • LATENT ноды KSampler во вход samples ноды VAE Decode.
  • IMAGE ноды VAE Decode во вход images ноды Save Image или Preview Image.
• Шаг 4, Поставьте загрузчик GGUF:
  • нода Unet Loader (GGUF) или UnetLoaderGGUFAdvanced.
  • MODEL ноды Unet Loader (GGUF) или UnetLoaderGGUFAdvanced во вход model ноды KSampler (можно через LoraLoaderModelOnly или ModelSamplingAuraFlow или ModelSamplingFlux или ModelSamplingSD3).
  • в поле unet_name ноды Unet Loader (GGUF) или UnetLoaderGGUFAdvanced стоит файл такого вида: файл .gguf того же семейства, что граф (Flux.1 или Z-Image); такой файл лежит в models/diffusion_models, например flux1-dev-Q4_K_S.gguf.

#См. также

• Память видеокарты
• Отдельные загрузчики: диффузионная модель, текстовый энкодер, VAE
• Паки нод
• Как устроены уроки