Семинар MTML: Эффективная структурированная ортогональная параметризация на основе GS-матриц
Мероприятие завершено
4 июня, в 16:00 состоится очередной семинар нашей лаборатории. С докладом выступят Михаил Горбунов и Николай Юдин (ВШЭ)
Эффективная структурированная ортогональная параметризация на основе GS-матриц
В докладе мы расскажем про предложенный нами класс структурированных GS-матриц (Group-and-Shuffle matrices), который является обобщением монархических матриц, и его использование для построения структурированной ортогональной параметриазции. Мы рассмотрим применение этой параметризации в рамках парадигмы ортогонального файн-тьюнинга (Orthogonal Fine-Tuning), ее адаптацию к сверточным архитектурам и сделаем обзор предшествующих методов.
Аудитория D206
По вопросам оформления пропусков обращаться к: ealyamovskaya@hse.ru
Дата
4 июня
16:00
Адрес
Покровский бульвар, д.11, D206