Генерация изображений на основе текстовых описаний с сохранением уникальных характеристик субъекта

Выполнил: Теплов Андрей Романович

Персонализация в стиле DreamBooth по одному или нескольким изображениям часто приводит к запоминанию контекста (фон, поза, освещение) вместо обучения идентичности объекта, что снижает точность восстановления и ограничивает редактирование по текстовому запросу. Мы предлагаем P-LoRA (Probability LoRA) - это модификация этапа обучения, которая смещает выбор временных шагов (timestep) в диффузионной модели, сохраняя исходную целевую функцию неизменной. Ключевая идея состоит в том, чтобы чаще выбирать шаги с низким уровнем шума, где детали, определяющие идентичность, наиболее заметны, тем самым побуждая модель учить признаки конкретного объекта, а не контекстные подсказки.

В режимах one-shot и few-shot умеренное смещение в сторону низкошумных шагов повышает точность реконструкции объекта при сохранении редактируемости на уровне DreamBooth. Напротив, смещение в сторону более шумных шагов уменьшает запоминание фона, но стабильно снижает точность восстановления объекта и ослабляет следование текстовому промпту, что демонстрирует компромисс между сохранением идентичности и управляемостью. В целом, пере-взвешивание временных шагов дает простой инструмент для управления компромиссом «точность–редактируемость» в условиях крайне малого объема данных.

Презентация (Теплов) (PDF, 41,26 Мб)

Итоговая документация