Семинар BayesLab «T-LoRA: дообучение диффузионной модели по одному изображению без переобучения»

Во вторник, 10 марта 2026 г. в 18:00 Вера Соболева, научный сотрудник Института AIRI и стажёр-исследователь Центра глубинного обучения и байесовских методов ФКН НИУ ВШЭ, выступит с докладом «T-LoRA: дообучение диффузионной модели по одному изображению без переобучения», посвящённым методу T-LoRA – адаптации низкоранговой параметризации к временным шагам диффузии, которая позволяет дообучать модели на одном изображении.

Дообучение диффузионных моделей – это мощный инструмент для кастомизации предварительно обученных моделей. Оно позволяет интегрировать в модель знания о новом объекте, который отсутствовал в исходной обучающей выборке, и генерировать его в разнообразных сценах. Однако данный подход часто сталкивается с проблемой переобучения, особенно при ограниченном количестве обучающих примеров. Это негативно влияет как на способность модели к обобщению, так и на разнообразие создаваемых изображений. Проблема становится особенно острой, когда дообучение проводится на одном единственном изображении целевого объекта. Такой сценарий является наиболее сложным, но одновременно и наиболее практически значимым, поскольку пользователи зачастую не располагают большим количеством фотографий объекта на разных фонах.

Для решения этой задачи мы представляем T-LoRA – метод дообучения, использующий низкоранговую параметризацию, адаптирующуюся к временным шагам диффузии (Timestep-Dependent Low-Rank Adaptation). В нашей работе мы показываем, что временные шаги диффузии имеют различную чувствительность к переобучению: более шумные шаги подвержены ему сильнее, чем низкие. Это требует внедрения стратегии дообучения, учитывающей временные шаги.

T-LoRA включает два ключевых нововведения:  
1. Динамическая стратегия дообучения, которая ограничивает ранг адаптеров в зависимости от временных шагов диффузии.  
2. Техника параметризации весов, обеспечивающая независимость между компонентами адаптера благодаря ортогональной инициализации.

Эксперименты демонстрируют, что T-LoRA и её отдельные компоненты превосходят стандартную LoRA и другие легковесные методы дообучения диффузионных моделей. Метод позволяет достичь оптимального баланса между точностью передачи концепции и соответствием текстовому промпту, даже в условиях ограниченных данных и вычислительных ресурсов.

Выступление пройдёт в аудитории 503 корпуса D НИУ ВШЭ (Покровский бульвар, д. 11),  с возможностью онлайн-участия в Zoom. Начало состоится в 18:00 по Московскому времени.