Новые методы машинного обучения для оценки и интерпретации языковых моделей

Проект посвящен исследованию новых подходов к оценке качества, эффективности и производительность нейросетевых языковых моделей. Такие модели де-факто являются основой любой технологии обработки языка. Однако в настоящее время возможности оценки и интерпретации нейросетевых языковых моделей представляются ограниченными. Существующие методы оценки и интерпретации привязаны к решению конкретных целевых задач или оценивают чувствительность языковых моделей к отдельно стоящим языковым феноменами (например, только к синтаксическим особенностям конкретного языка, устойчивости к опечаткам или только к способности детектировать токсичные комментарии).

Разрабатываемый в проекте аппарат оценки и интерпретации должен быть совместим с архитектурами различных моделей (GPT, BERT, T5 и др.), быть либо полностью независимым от языка, либо поддерживать большое количество языков и поддерживать мультимодальные (текст + аудио, текст + изображение модели).

Полученные результаты на практике могут использоваться по следующему сценарию: столкнувшись с необходимостью выбрать языковую модель для своих нужд, пользователь сможет просмотреть каталог моделей и их характеристик и самостоятельно выбрать наиболее подходящую модель. Кроме того, пользователь сможет задать свои требования в языковой модели в формализованном виде. В этом случае, разработанная платформа сможет представить пользователю список моделей, удовлетворяющих его требованиям. Подбор оптимальных моделей будет осуществляться с использованием теории многокритериального выбора.

С теоретической точки зрения, предлагаемый аппарат позволяет выявить недостатки существующих языковых моделей и задает новые направления для развития методов обучения и подготовки языковых моделей.

Предлагаемая методология оценки и интерпретации языковых моделей позволит создать широкий спектр автоматизированных, объективных стандартизированных тестов, применимых к языковым моделям. Такой набор тестов позволит алгоритмизировать процесс принятия решения: в каких ситуациях какую языковую модель стоит использовать, задаст новые перспективы для развития и усовершенствования языковых моделей. Разработанное программное обеспечение выведет процедуру оценивания языковых моделей на новый уровень по сравнению с текущими разработками, прямолинейно учитывающими только один из параметра качества языковых моделей.

Проект реализуется совместно со Сбером.