Бенчмаркинг больших языковых моделей на русском: что, как и зачем измерять?

Аннотация

Как выбрать языковую модель для своей задачи? Какие существуют бенчмарки для оценки больших языковых моделей на русском языке и как понять, какой из них подходит именно вам? Почему модель, лидирующая в одном рейтинге, может показывать слабые результаты в другом?

На воркшопе разберем современные подходы к оценке больших языковых моделей и ИИ-агентов: какие русскоязычные бенчмарки доступны, чем они отличаются, как выбирать подходящие тесты и метрики и интерпретировать полученные результаты.

Особое внимание уделим MERA Text 2.0 — новому поколению русскоязычного бенчмарка, охватывающему сложные рассуждения, агентные навыки, культурно-языковую специфику и человекоцентричность. На примере WebPageBench также покажем, как оценивать ИИ-агентов в интерактивных веб-средах и проверять успешность выполнения реальных задач.

Обсудим, как организовать воспроизводимое тестирование, избежать типичных ошибок при сравнении моделей и использовать результаты бенчмаркинга для выбора и улучшения систем больших языковых моделей.