Семинар Научно-учебной лаборатории компании Яндекс "Пошаговая дистилляция диффузионных моделей"

Дата: 17 октября 2023 г., 16:00

Докладчик: Стародубцев Никита, стажер-исследователь Научно-учебной лаборатории компании Яндекс

Аннотация: Несмотря на большую популярность диффузионных моделей, их основным недостатком остается долгий инференс. На сегодняшний день существуют две основные техники ускорения - эффективные солверы и пошаговая дистилляция. Первая техника имеет ограничение в виде предела допустимого ускорения. В то время как вторая способна давать более существенные ускорения с минимальной потерей качества.

Основной задачей дистилляции является приближение всего процесса семплирования за один шаг прямого прохода по нейронной сети. На семинаре мы познакомимся с основными техниками дистилляции (progressive, consistency, knowledge), обсудим их преимущества и недостатки. Кроме того, будут рассмотрены интересные свойства, которые удалось обнаружить в ходе исследований.

Место проведения: Zoom

Идентификатор конференции: 853 0856 2281
Код доступа: 802624