В НУЛ компании Яндекс прошел семинар "Методы дистилляции диффузионных моделей"

25 марта 2024 года прошел семинар Научно-учебной лаборатории компании Яндекс.

Докладчик: Баранчук Дмитрий, исследователь Yandex Research, аспирант ФКН

Баранчук Дмитрий Александрович,
Исследователь Yandex Research, аспирант ФКН

Многие знают про диффузионные модели и их основную боль - долгая многошаговая генерация. Есть разные направлений, которые адресуют скорость инференса диффузионок. Одно из наиболее популярных - дистиллировать многошагового учителя в малошагового студента. На семинаре мы постарались разобраться в разных семействах методов дистилляции диффузионок и понять их преимущества и недостатки. В конце обсуждали, куда можно двигаться дальше в этом направлении, докладчик рассказал про свои интересные наблюдения во время проведения исследования.

С презентацией вы можете ознакомиться в приложенном файле

Презентация (PDF, 3,58 Мб)

Запись семинара представлена ниже.