Онлайн-семинар «RussianSuperGLUE»

3 сентября 2020 г. прошел шестой онлайн-семинар по автоматической обработке текстов в Научно-учебной лаборатории моделей и методов вычислительной прагматики.

В этом докладе был представлен большой бенчмарк для оценки языковых моделей – Russian SuperGLUE. Последние достжения в автоматической обработке текстов – универсальные языковые модели и трансформеры – требуют разработки методологии оценивания и тестирования их обобщающей способности. С этой целью разрабатываются новые наборы диагностических тестов, направленные на определение логического следования, общей логики, способности выполнять простые логические связи. Впервые такой бенчмарк, состоящий из девяти наборов диагностических текстов, собран для русского языка в соответствии со стандартом SuperGLUE. Были представлены как наборы данных, так и экспертные оценки и базовые решения соответствующих задач.
Докладчик: Алена Феногенова.
Chief specialist NLP R&D, CDS office, Sberbank