Результаты Центра ИИ НИУ ВШЭ опубликованы на конференции ICLR

Freepik

12-ая международная конференция — International Conference on Learning Representations (ICLR), посвященная глубинному обучению, проходит c 7 по 11 мая в Вене, Австрия. На конференцию приняты публикации ученых Центра ИИ.

Денис Кузнеделев, стажер-исследователь Научно-учебной лаборатории компании Яндекс, один из соавторов принятой на ICLR публикации — SpQR: A Sparse-Quantized Representation for Near-Lossless LLM Weight Compression, рассказал о проведенном исследовании. Также среди соавторов статьи аналитик Научно-учебной лаборатории компании Яндекс Руслан Свирщевский, Александр Борзунов и др.

 

Последние достижения в области предварительного обучения больших языковых моделей привели к созданию высококачественных моделей с впечатляющими возможностями. Сжатие больших языковых моделей путем квантования до 3-4 бит на параметр позволяет поместить их в устройства с ограниченным объемом памяти, такие как ноутбуки и мобильные телефоны, что позволяет запускать их на мобильном устройстве даже в отсутствие доступа в интернет. Но квантование моделей до 3-4 бит на параметр может привести к умеренным или высоким потерям точности, особенно для небольших моделей. Для решения этой проблемы в статье представлен Sparse-Quantized Representation (SpQR) – новый метод квантования, который позволяет сжимать большие языковые модели значительно лучше, сохраняя качество исходной модели при том же уровне сжатия, что и предыдущие методы.

 

Кузнеделев Денис Денисович
Научно-учебная лаборатория компании Яндекс: Стажер-исследователь

Предложенный нами метод позволяет запускать большие языковые модели на обычных устройствах без снижения их производительности, что делает мощные модели доступными для потребителей без значительной просадки качества. SpQR позволяет добиться 4-кратной экономии памяти при аналогичной точности решения широкого круга задач.

 

Также ученые Центра ИИ опубликовали на конфренции ICLR статью —  Demonstration-Regularized RL. Авторы: Даниил Тяпкин, Денис Беломестный, Алексей Наумов, Эрик Мулине и др. 

Конференция ICLR посвящена  передовым исследованиям различных аспектов глубинного обучения, применяемого в области искусственного интеллекта, статистики и науки о данных, а также в таких прикладных областях, как машинное зрение, вычислительная биология, распознавание речи и текста, игры и робототехника.