Семинар BayesLab «Новый метод сжатия больших языковых моделей с помощью структурированных матричных разложений»
Екатерина Гришина, сотрудница НУЛ матричных и тензорных методов в машинном обучении НИУ ВШЭ расскажет о новом методе для сжатия больших языковых моделей без использования файнтьюнинга и обратного распространения ошибки.
В понедельник, 24 марта 2025 г. в 18:00 Екатерина Гришина, сотрудница НУЛ матричных и тензорных методов в машинном обучении НИУ ВШЭ, выступит с докладом «Новый метод сжатия больших языковых моделей с помощью структурированных матричных разложений», в котором расскажет об исследовании нового метода сжатия больших языковых моделей без использования файнтьюнинга и обратного распространения ошибки.
В докладе будет представлен метод для сжатия больших языковых моделей без использования файнтьюнинга и обратного распространения ошибки. Мы рассмотрим подход для эффективного сжатия линейных слоев с помощью структурированных матричных разложений, таких как кронекерово произведение и монархические (GS) матрицы.
Выступление пройдёт в аудитории 319 корпуса S НИУ ВШЭ (Покровский бульвар, д. 11) с возможностью онлайн-участия в Zoom. Начало состоится в 18:00 по Московскому времени.
Научно-учебная лаборатория матричных и тензорных методов в машинном обучении: Стажер-исследователь