Семинар MTML: Эффективная структурированная ортогональная параметризация на основе GS-матриц
4 июня, в 16:00 состоится очередной семинар нашей лаборатории. С докладом выступят Михаил Горбунов и Николай Юдин (ВШЭ)
Эффективная структурированная ортогональная параметризация на основе GS-матриц
В докладе мы расскажем про предложенный нами класс структурированных GS-матриц (Group-and-Shuffle matrices), который является обобщением монархических матриц, и его использование для построения структурированной ортогональной параметриазции. Мы рассмотрим применение этой параметризации в рамках парадигмы ортогонального файн-тьюнинга (Orthogonal Fine-Tuning), ее адаптацию к сверточным архитектурам и сделаем обзор предшествующих методов.