Семинар MTML Lab «OrthoFuse: Training-free Riemannian Fusion of Orthogonal Style-Concept Adapters for Diffusion Models»

На семинаре:
- Будут рассмотрены основные подходы к малопараметрическому дообучению (PEFT) моделей.
- В качестве примера будет проанализирован класс матричных разложений, который при определённых условиях образует гладкое многообразие.
- Обсудим геометрические свойства этого разложения и подумаем, как они могут быть использованы в задачах глубокого обучения.
- Основной практический результат - training‑free слияние моделей путём построения кривых на многообразии, позволяющее комбинировать свойства двух предварительно обученных моделей с затратами, несущественными по сравнению с инференсом.