• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Семинар BayesLab «Прислушиваясь к внутреннему голосу: согласование обучения ControlNet посредством обратной связи по промежуточным признакам»

16+

Нина Коновалова расскажет о новой работе, посвящённой улучшению обучения модели для контролируемой генерации.

Во вторник, 8 июля 2025 г. в 18:00 Нина Коновалова, исследователь Научно-исследовательского института AIRI, руководитель Deep Learning School, выступит с докладом «Прислушиваясь к внутреннему голосу: согласование обучения ControlNet посредством обратной связи по промежуточным признакам», посвящённую улучшению обучения модели для контролируемой генерации.

 

Популярным методом для решения задачи контролируемой генерации является ControlNet, который вводит дополнительный модуль для обработки и учёта входного контроля. ControlNet++ улучшает согласованность контроля и генерации за счёт дополнительной cycle функции потерь, которая, однако, применяется только на последних шагах расшумления, в то время как именно на первых шагах генерации закладывается геометрия и основная семантика изображения.
В данной работе мы предлагаем InnerControl — стратегию обучения, которая обеспечивает пространственную согласованность на всех этапах диффузионного процесса. Для этого мы используем  легковесные свёрточные модели, которые восстанавливают входные сигналы генерации (например, границы или глубину) из промежуточных фичей диффузионного UNet на каждом шаге денойзинга. Затем минимизируется разница между этими предсказаниями и входным контролем. Данный подход улучшает aligning на всей траектории диффузионной генерации, что позволяет получить лучше качество генерации и соответствие входному контролю.

Аудитория выступления будет сообщена позднее. Начало состоится в 18:00 по Московскому времени.

Zoom

Статья «Heeding the Inner Voice: Aligning ControlNet Training via Intermediate Features Feedback»

ProjectPage

Код на GitHub

Hugging Face Papers

Добавить в календарь