Семинар Научно-учебной лаборатории компании Яндекс "Квантизация больших языковых моделей"

Дата: 22 сентября 2023 г., 15:00

Докладчик: Егиазарян Ваге, стажер-исследователь Научно-учебной лаборатории компании Яндекс

Аннотация: Вместе с быстрым развитием глубокого обучения и растущими размерами языковых моделей, таких как GPT, LLama, OPT и Bloom, возникла необходимость оптимизации и сжатия этих моделей. Сжатие языковых моделей включает различные техники, такие как квантизация, прунинг (удаление ненужных параметров) и дистилляция (передача знаний из большой модели в более компактную). Цель этих техник - уменьшить размер и вычислительную сложность моделей, сохраняя при этом их точность и выразительность. Сжатие языковых моделей открывает новые возможности для их применения в различных областях, включая мобильные устройства, робототехнику, автономные системы и другие, позволяя достичь более быстрой инференции на ресурсно ограниченных устройствах и снизить требования к объему памяти.
На семинаре мы познакомимся ближе с одним из направлений сжатия - квантизацией. Основная идея квантизации заключается в замене точных чисел с плавающей запятой на более простые и компактные представления, такие как целочисленные или числа фиксированной точности с меньшей битностью. Мы ознакомимся с текущим состоянием дел в этой области и представим последние достижения в данном направлении.

Место проведения: Zoom 

Идентификатор конференции: 837 9129 7025
Код доступа: 417240