Семинар НУЛ Яндекс х Yandex Research Reading Group (Яндекс Ресерч Риддинг Групп)

На новом семинаре стажер-исследователь научно-учебной лаборатории компании Яндекс Никита Стародубцев расскажет про их новую статью "Registers Matter for Pixel-Space Diffusion Transformers" ("Регистры имеют значение для диффузионных трансформаторов в пиксельном пространстве") про регистры в картиночных диффузионках.

* Регистры — пустые токены, которые были предложены, чтобы пофиксить артефакты в визуальных трансформерах (ViTs)
* Мы обнаружили, что подобных артефактов нет в диффузионных трансформерах (DiTs) —> регистры не должны помогать.
* Несмотря на отсутствие артефактов, регистры сильно бустят картиночные диффузионки
* Эффект от регистров в DiTs отличается от ViTs: регистры не просто смещают артефакты, а улучшают внутренние фичи DiTs, упрощая обучение модели.

Далее будут рассмотрены статьи https://arxiv.org/abs/2602.22538 про LLM merging и https://arxiv.org/abs/2601.19897 про self-distillation и continual learning.

Дата проведения: 21 июля 2026 г.