Институт образования НИУ ВШЭ и Государственный институт русского языка им. А. С. Пушкина в рамках программы Центра ИИ займутся автоматической генерацией тестовых заданий

Photo by Olia Danilevich: Pexels

Образование является одной из приоритетных сфер применения технологий искусственного интеллекта в России. Большое внимание уделяется персонализированному адаптивному обучению, оцениванию и педагогическому дизайну. Цель одного из направлений научных разработок исследователей Центра ИИ НИУ ВШЭ – повышение качества образования на всех ступенях обучения. Важным этапом исследовательской деятельности становится использование современных методов для сбора и обработки данных оценивания в образовании. Благодаря инновационным подходам преподаватель получает новые возможности проектирования «умного» курса, таким образом возможно осуществление персонализированного обучения. Перестройка и систематическое совершенствование программ необходимы для достижения учащимися высоких образовательных результатов, чему способствует внедрение современных технологий, в том числе на основе технологий искусственного интеллекта.

В рамках работы над проектом «Искусственный интеллект в образовании» под руководством к.т.н. Ивана Карлова в Центре ИИ с марта 2022 года Центр психометрики и измерений в образовании Института образования НИУ ВШЭ занимается автоматической генерацией тестовых заданий с помощью методов машинного обучения. Сотрудники центра используют корпус текстов из учебников русского языка для детей младшего школьного возраста, подготовленный Лабораторией когнитивных и лингвистических исследований Государственного института русского языка им. А. С. Пушкина. Соглашение о совместной работе было достигнуто в ходе переговоров между исследователями научных организаций.

«Несмотря на то, что подобные разработки уже существуют на рынке решений машинного обучения, для них характерен один существенный недостаток: они не привязаны к определенной теоретической рамке теста, – сообщает директор Центра психометрики и измерений в образовании Елена Карданова. – В открытом доступе есть алгоритмы, которые могут, например, автоматически формировать вопросы на фактологическое понимание текста. Но не принципиально, какой тест при этом используется. Это приводит к тому, что такие программы не измеряют конкретные поведенческие индикаторы, укорененные в какую-либо теоретическую рамку теста, измеряющего черту или способность с четким определением. Мы имеем дело не с таксономией предметной области. Соответственно, такие фреймворки невозможно использовать для того, чтобы делать по ним выводы об образовательных достижениях учеников ни на индивидуальном, ни на групповом уровне. Цель наших исследований сейчас – это разработать методы автоматической генерации заданий с использованием технологий обработки естественного языка, которые позволили бы нам сохранить целостность определения измеряемых способностей учеников и ясность интерпретации тестовых баллов».

К числу наиболее значимых научных результатов проекта «Искусственный интеллект в образовании» относится адаптация сверхмощных моделей анализа текстов к задачам автоматической проверки коротких и развернутых текстовых ответов и автоматической генерации заданий, содержащих текстовые элементы.

Современные инструменты измерения в образовании стремительно становятся компьютеризированными, это обуславливает актуальность использования методов искусственного интеллекта для сбора и обработки данных. Технологии искусственного интеллекта позволяют увеличить масштабируемость и повысить качество массового тестирования, использовать автоматическую генерацию заданий для того, чтобы подготавливать задания, которые не повторяются, но достоверно обладают заранее известными психометрическими характеристиками. Такой подход позволяет снизить временные и экономические затраты на разработку тестирования, автоматизировать рутинные задачи по генерации и проверке широкого спектра типовых учебных заданий, повысить безопасность тестовых материалов, естественность ситуации измерения, а также справедливость оценки и предоставлять мгновенную обратную связь по результатам тестирования.