Семинар ММИТ "Адаптация больших языковых моделей для русского языка "

19 марта 2025 г. в 15:00  в рамках семинара "Математические модели информационных технологий" департамента анализа данных и искусственного интеллекта и МЛ "Интеллектуальных систем и структурного анализа" под руководством С.О. Кузнецова состоится доклад  к.ф.-м.н., научный сотрудник НИВЦ МГУ, Тихомирова Михаила Михайловича по теме "Адаптация больших языковых моделей для русского языка " в формате онлайн конференции.

Аннотация:
Несмотря на бурное развитие больших языковых моделей, в частности, в направлении мультиязычности, качество и эффективность работы подобных LLM на русском языке все еще хуже, чем на английском. Для решения этих проблем есть два основных пути: 1. обучение LLM с нуля, что требует миллионов долларов, или 2. адаптация уже существующих моделей на русский язык.

 В рамках проекта Ruadapt мы развиваем методологию адаптации мультиязычных LLM на русский язык с заменой токенизации, что приводит к ускорению генерации текста (в символах) до 30-100% без существенной потери качества, относительно исходных версий моделей (а иногда и с повышением качества в ряде задач). Среди успешных адаптаций: RuadaptQwen2.5-32B-Pro, RuadaptQwen2.5-7B-Lite, RuadaptQwen2.5-14B-Instruct-1M, а также и модели с глубокими размышлениями, например, RuadaptQwen2.5-32B-QWQ-Preview и др.

В докладе будет описана история развития проекта и методологии, будут рассмотрены основные шаги, а также плюсы и текущие минусы получаемых Ruadapt моделей.

Ссылка на видеовстречу: https://telemost.yandex.ru/j/03436253140943

Время и дата
Среда, 19 марта в 15:00
Название: Адаптация больших языковых моделей для русского языка
Докладчик: к.ф.-м.н., научный сотрудник НИВЦ МГУ, Тихомиров Михаил Михайлович