Семинар BayesLab «COALA: численно устойчивый и эффективный алгоритм для контекстно-ориентированной низкоранговой аппроксимации»

Во вторник, 25 ноября 2025 г. в 18:00 Ульяна Паркина, стажёр-исследователь НУЛ матричных и тензорных методов в машинном обучении ФКН НИУ ВШЭ, выступит с докладом «COALA: Численно устойчивая и оптимальная вычислительная схема для контекстно-ориентированной низкоранговой аппроксимации», посвящённым своему исследованию, где представлен новый устойчивый метод сжатия и тонкой настройки больших языковых моделей, который решает проблему численной нестабильности существующих подходов.

Недавние исследования показывают, что контекстно-ориентированная низкоранговая аппроксимация являются мощным инструментом для сжатия и тонкой настройки современных больших языковых моделей. В таком типе аппроксимации норма взвешивается матрицей входных активаций, что существенно улучшает метрики по сравнению с невзвешенным случаем. Тем не менее существующие методы для нейронных сетей страдают от численной нестабильности, поскольку опираются на классические формулы, предполагающие явное вычисление матриц Грама и их последующее обращение. Мы показываем, что это может ухудшать качество аппроксимации и приводить к численно вырожденным матрицам.
Чтобы устранить эти ограничения, мы предлагаем новый регуляризованный подход, не требующий обращения матриц, который полностью основан на устойчивых разложениях и устраняет численные проблемы предыдущих методов. Наш метод корректно работает даже в сложных сценариях: (1) когда калибровочные матрицы не помещаются в память GPU, (2) когда матрицы входных активаций почти вырождены, и даже (3) когда объёма данных недостаточно для единственности аппроксимации. Для последнего случая мы доказываем, что наше решение сходится к требуемой аппроксимации, и выводим явные оценки погрешности.

Выступление пройдёт в аудитории 503 корпуса D НИУ ВШЭ (Покровский бульвар, д. 11) с возможностью онлайн-участия в Zoom. Начало состоится в 18:00 по Московскому времени.