Онлайн-семинар НУЛ ММВП "Четыре соревнования Dialogue Evaluation 2021"

RuNormAS

В рамках соревнования RuNormAS (Russian Normalization of Annotated Spans) к решению предлагается задача нормализации – приведение части текста (именованной сущности, словосочетания) в нормальную (начальную) форму.

Основная часть задачи состоит в том, чтобы правильно нормализовать нужные слова из группы, не меняя остальных (зависимых и т. п.), а также в грамотном использовании контекста. Последнее особенно важно, т. к. начальную форму для многих слов можно определить только в контексте – так, слово "Иванова" в зависимости от окружающего контекста может иметь как нормальную форму "Иванова", так и "Иванов".

Иван Смуров, ABBYY, МФТИ

Кластеризация, выбор и генерация заголовков для новостей.

Цель соревнования – собрать и сравнить подходы к кластеризации и выбору наилучшего заголовка для получившихся кластеров. Кластеризация новостей выглядит достаточно сложной задачей для современных моделей, и из-за этого является хорошим бенчмарком. Кроме того, кластеризация текстов как задача достаточно часто встречается в индустрии. Выбор или генерация лучшего заголовка - логичное её продолжение.

Илья Гусев, МФТИ

SemSketches  

Наше соревнование – это возможность поработать с объектом, дающим наглядное представление о семантике слова и его сочетаемости, – с семантическим скетчем. Цель соревнования – оценить иллюстративность скетчей, попробовав по контексту слова предсказать соответствующий слову скетч из заданного набора.

Мария Пономарева, ABBYY, ВШЭ

RuSimpleSentEval, RSSE

Задача упрощения тестов  (text simplification) предполагает несколько постановок, из которых мы выбираем самую популярную: упрощение на уровне предложений. В такой постановке задача заключается в том, чтобы из сложного предложения получить упрощенное.

Екатерина Артемова, ВШЭ

Для участия в семинаре необходимо зарегистрироваться до 16.00 25 февраля.