Генерация изображений на основе текстовых описаний с сохранением уникальных характеристик субъекта

Выполнила: Баркина Анастасия Сергеевна

Персонализация диффузионных моделей, такая как DreamBooth [2], часто приводит к тому, что модель запоминает детали освещения, позы или фона вместо запоминания самого объекта. В итоге точность передачи уникальных характеристик значительно снижается, а возможности редактирования через текстовые запросы становятся ограниченными.

В данной работе исследуется мало изученный ранее метод - распределение временных шагов диффузии, выбираемых в ходе дообучения. Предлагается метод P-LoRA (Probability LoRA), который использует смещенную выборку временных шагов и вводит специальные важностные веса (importance sampling), не меняя итоговую функцию оптимизации. Ключевая идея метода - обучаться на шагах с низким уровнем шума, поскольку именно там, предположительно, лучше различимы уникальные характеристики объекта.

Для более корректной оценки усвоения именно объекта, а не контекстной информации, предлагается метрика, основанная на сравнении только переднего плана: сначала выделяется сам объект, после чего вычисляется сходство с использованием CLIP.

Презентация