В НУЛ компании Яндекс прошел семинар "Пошаговая дистилляция диффузионных моделей"

17 октября прошел семинар Научно-учебной лаборатории компании Яндекс.

Докладчик: Стародубцев Никита, стажер-исследователь Научно-учебной лаборатории компании Яндекс

Стародубцев Никита Олегович,
Научно-учебная лаборатория компании Яндекс: Стажер-исследователь

Несмотря на большую популярность диффузионных моделей, их основным недостатком остается долгий инференс. На сегодняшний день существуют две основные техники ускорения - эффективные солверы и пошаговая дистилляция. Первая техника имеет ограничение в виде предела допустимого ускорения. В то время как вторая способна давать более существенные ускорения с минимальной потерей качества.
Основной задачей дистилляции является приближение всего процесса семплирования за один шаг прямого прохода по нейронной сети. На семинаре мы познакомились с основными техниками дистилляции (progressive, consistency, knowledge), обсудили их преимущества и недостатки. Кроме того, были рассмотрены интересные свойства, которые удалось обнаружить в ходе исследований.

Запись семинара представлена ниже.