Почему файлы разных семейств не смешиваются

Почему LoRA для SDXL ничего не делает на Flux, а VAE от Flux ломает картинку SDXL.

#Простыми словами

У каждого семейства свой внутренний язык:

• Его латент имеет своё число каналов и свой смысл каждого числа. Латент SDXL для Flux как страница на языке, которому Flux не учили.
• Его текстовый энкодер по-своему превращает слова в числа. Рисующая модель научилась следовать именно этим числам.
• Его веса состоят из своих слоёв своей формы. LoRA это набор небольших изменений в названных слоях одной модели; у другой модели таких слоёв нет или они значат иное.
• Его VAE сжимает и раскрывает свой формат латента.

Дообученные модели остаются в своём семействе. Поэтому Pony и Illustrious внутри это SDXL: LoRA для SDXL на них грузятся, хотя лучше подходят LoRA, обученные для Pony или Illustrious.

#Что видно, если смешать

#Что работает между семействами

Картинка. Пиксели значат одно и то же для любой модели. Раскройте VAE первого семейства, сожмите VAE второго и продолжайте. Так модель картинок делает первый кадр видео Wan, а одна модель доводит картинку другой.

Внутри семейства некоторые версии делят части: Wan 2.2 14B берёт VAE от Wan 2.1, и многие LoRA для Wan 2.1 14B работают на Wan 2.2 14B (проверяйте, результат бывает разный).

#Как помогает приложение

Вкладка Модели показывает семейство каждого файла; карточка LoRA говорит, к каким вашим моделям она подходит и что моделей её семейства у вас нет. Проверка сообщает «Модели разных семейств» в одном пути и называет оба файла.

#См. также

• Семейства моделей
• LoRA
• VAE
• Латент
• Урок: Две модели в одном графе