Новые методы машинного обучения для оценки и интерпретации языковых моделей

Цель проекта:

исследование новых подходов к оценке качества, эффективности и производительности нейросетевых языковых моделей.

Актуальность

В настоящее время возможности оценки и интерпретации нейросетевых языковых моделей представляются ограниченными. Существующие методы оценки и интерпретации привязаны к решению конкретных целевых задач или оценивают чувствительность языковых моделей к отдельно стоящим языковым феноменами (например, только к синтаксическим особенностям конкретного языка, устойчивости к опечаткам или только к способности детектировать токсичные комментарии).

Преимущества

– Разрабатываемый в проекте аппарат оценки и интерпретации совместим с архитектурами различных моделей (GPT, BERT, T5 и др.).

– Предлагаемый аппарат позволяет выявить недостатки существующих языковых моделей и задает новые направления для развития методов обучения и подготовки языковых моделей.

– Методология оценки и интерпретации языковых моделей позволит создать широкий спектр автоматизированных, объективных стандартизированных тестов, применимых к языковым моделям.

– Подбор оптимальных моделей осуществляется с использованием теории многокритериального выбора.

Сценарий применения на практике:

Столкнувшись с необходимостью выбрать языковую модель для своих нужд, пользователь просматривает каталог моделей и их характеристик и самостоятельно выбирает наиболее подходящую модель.

Пользователь задает свои требования в языковой модели в формализованном виде.

Разработанная платформа предоставляет пользователю список моделей, удовлетворяющих его требованиям.