Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения

В проекте исследуются решения актуальной для области e-learning задачи автоматического анализа вовлеченности в онлайн-занятие учеников и их эмоций по данным видеонаблюдения. На основе обработки изображений лиц разрабатываются новые алгоритмы классификации индивидуальных и групповых эмоций учеников по коротким фрагментам видеоизображений лиц, метод предсказания вовлеченности учеников на основе анализа видеозаписи урока, алгоритм визуализации фрагментов видеоурока с наиболее ярко-выраженными эмоциями ученика. Особое внимание уделяется защите персональных данных, в том числе дообучению разработанных нейросетевых моделей и классификаторов для набора видеоизображений лиц учеников, а также созданию вычислительно эффективных алгоритмов и нейросетевых моделей, приемлемых для реализации на мобильных устройствах.

В ходе работы над проектом исследуется возможность реализация основных алгоритмов на мобильных платформах. В результате решения поставленных в проекте задач появится возможность как определить наиболее и наименее интересные части занятия, выявлять динамику вовлеченности ученика в течение одного занятия и среднюю вовлеченность всех учеников в каждое занятие курса, что позволит, в свою очередь, оценить качество восприятия преподавателя слушателями и определить педагогический приемы, вызывающие наибольший интерес учеников. Реализация проекта приведет к повышению эффективности процессов планирования, прогнозирования и принятия управленческих решений в области организации онлайн-обучения, в том числе и прогнозирование оттока учеников. Своевременное автоматическое выявление проблем с усвоением материала при онлайн обучении позволит повысить лояльность и удовлетворенность учеников, в том числе за счет оперативного направления им персонализированных предложений и рекомендаций.

Проект реализуется совместно со Сбером.