Семинар BayesLab «Сжатое и гладкое скрытое пространство для диффузионных текстовых моделей»

Во вторник, 11 ноября 2025 г. в 18:00 Егор Чимбулатов, стажёр-исследователь Центра глубинного обучения и байесовских методов, выступит с докладом «Сжатое и гладкое скрытое пространство для диффузионных текстовых моделей», посвящённым новому исследованию, где разработан метод непрерывной диффузии для генерации текста, который превосходит существующие модели благодаря оптимизации скрытого пространства и демонстрирует возможность масштабирования.

Большинство современных диффузионных моделей для текста основаны на маскированной (то есть дискретной) диффузии. Альтернативным направлением является непрерывная диффузия в скрытом пространстве. В данной работе исследуются принципы построения эффективного «диффузабельного» пространства для генерации текста. Продемонстрирована важность гладкости скрытого пространства и приемы для ее обеспечения. В работе был подробно исследован компромисс между сжатостью пространства, увеличивающей скорость генерации, и качеством текста. Предложенная модель обходит бейзлайновые модели и демонстрирует возможность масштабирования.

Выступление пройдёт в аудитории 503 корпуса D НИУ ВШЭ (Покровский бульвар, д. 11) с возможностью онлайн-участия в Zoom. Начало состоится в 18:00 по Московскому времени.