Семинар NLP Power!

В настоящее время оценка качества языковых моделей осуществляется на материале бенчмарков — стандартизованных наборах задач. Бенчмарки играют ключевую роль в развитии современной автоматической обработки текстов и покрывают широкий спектр тем: понимание естественного языка (GLUE, SuperGLUE), генерация текста на естественном языке (GEM), перенос обучения между языками (XGLUE, XTREME), диагностическое тестирование и интерпретация языковых моделей (LINSPECTOR, SentEval), определение ненависти и стереотипов в текстах (HateCheck, StereoSet, HONEST) и устойчивость к атакам (RobustnessGym, AdvGLUE).  Несмотря на то, что парадигма тестирования на материале бенчмарков уже устоялась и стала стандартной для сравнения и оценки новых языковых моделей между собой и с уровнем, на котором задачи выполняют люди, существует ряд все еще неразрешенных методологических проблем.

Основным задачами семинара являются:

1) создание площадки для обсуждения и критической переоценки существующих бенчмарков,

2) определение стратегий улучшения и развития бенчмарков и способов оценки языковых моделей,

3) разработка новых стратегий ранжирования моделей,

4) исследование способов построения бенчмарков, которые могли учитывать вычислительные затраты, энергетические и этические соображения и потребности целевых пользователей.