Семинар МЛ ИССА "Методы переноса знаний для нейросетевых моделей обработки естественного языка"

В среду, 6 июля 2022 г. в 15:00 в рамках семинара "Математические модели информационных технологий" департамента анализа данных и искусственного интеллекта и МЛ "Интеллектуальных систем и структурного анализа" под руководством С.О. Кузнецова состоится семинар по теме "Методы переноса знаний для нейросетевых моделей обработки естественного языка". 

Докладчик: Коновалов Василий Павлович, Лаборатория нейронных систем и глубокого обучения, МФТИ.

Аннотация: Традиционная парадигма машинного обучения с учителем сталкивается с трудностями, когда нет достаточного количества размеченных данных для обучения целевой задачи на целевом домене. Перенос знаний позволяет использовать результаты, полученные при решении некоторой исходной задачи на исходном домене, для решения целевой задачи на целевом домене. Применение последовательного переноса знаний, путем использования векторных представлений слов, является стандартной практикой при решении задач NLP. В работе сравниваются нейросетевые и частотные методы создания векторных представлений слов для малоресурсных языков, для которых доступна лишь ограниченная обучающая выборка. В работе показано, что межъязыковой перенос позволяет использовать общедоступные обучающие данные английского языка при дообучении M-BERT для вопросно-ответной задачи, таким образом, отсутствует необходимость в сборе полноценного обучающего датасета целевого языка. Экспериментально установлено, что применяя метод межъязыкового переноса, M-BERT, дообученный с применением многоязычной обучающей выборки, имеет сопоставимое качество с языко-специфичными BERT для вопросно-ответной задачи, тем самым отпадает необходимость в вычислительных ресурсах для предобучения языко-специфичных BERT. Разработана оригинальная модель отслеживания состояния диалога GOLOMB, используя последовательный перенос вопросно-ответной модели.