Исследователи и студенты ФКН представили работы на конференции EMNLP

С 24 по 29 октября в Будапеште прошла конференция EMNLP — Empirical Methods in Natural Language Processing — одно из крупнейших международных мероприятий по компьютерной лингвистике и обработке естественного языка. Здесь исследователи факультета компьютерных наук НИУ ВШЭ представили свои работы о моделях для робототехники, ИИ-агентах и обработке текстов.
Специальной темой EMNLP 2026 стали New Missions for NLP Research — новые цели исследований в области обработки естественного языка. Организаторы конференции предложили обсудить, как меняется научная работа в условиях широкого распространения больших языковых моделей; особое внимание уделили оценке их реальных возможностей и надежности, развитию ИИ-агентов, работе с данными и использованию языковых моделей как инструментов научного исследования.
Работы исследователей ФКН вошли в основной и индустриальный треки конференции, сборник Findings of EMNLP и программу тематических семинаров.
В основном треке была представлена статья Does VLA Even Know the Basics? Limitations in Commonsense and World Knowledge of VLA Models. Она была подготовлена при участии младшего научного сотрудника научно-учебной лаборатории моделей и методов вычислительной прагматики Альбины Бурловой и старшего научного сотрудника лаборатории профессора Елены Тутубалиной, научного сотрудника научно-учебной лаборатории методов анализа больших данных Дарьи Пугачёвой, студента третьего курса бакалавриата «Прикладная математика и информатика» Никиты Курлаева, а также исследователей научно-исследовательского института AIRI.
Авторы проверили, насколько зрительно-языковые модели действий (vision–language–action model, VLA) сохраняют знания о мире после обучения управлению роботом. Такие модели создают на основе зрительно-языковых, которые дообучают на робототехнических данных. Исследованные модели лучше справлялись с цветом и формой, а в более сложных категориях знаний заметно уступали исходным программам.
Бурлова Альбина Сергеевна
Научно-учебная лаборатория моделей и методов вычислительной прагматики: Младший научный сотрудник
Задачам оценки ИИ-агентов была посвящена представленная в индустриальном треке работа GRACE-DS: a Guarded Reward-guided Agent Correction Environment in Data Science выпускника ПМИ Артёма Епифанова и студентки третьего курса ПМИ Анастасии Палиенко, а также исследователей из Университета ИТМО Даниса Зарипова и Александра Цымбалова (выпускник ПМИ). Разработанная ими среда проверяет весь процесс решения задачи машинного обучения от изучения данных до готовой модели. Она позволяет установить, корректно ли агент проверяет результат, избегает ли утечек данных и можно ли воспроизвести его решение.
В сборнике Findings of EMNLP было опубликовано исследование What Attention Recalls and Recurrence Controls in Hybrid Language Models студента четвертого курса ПМИ Алексея Донцова, Елены Тутубалиной, аспиранта аспирантской школы по компьютерным наукам Антона Корзникова и исследователя AIRI Кирилла Афендульева. Авторы изучили два механизма памяти гибридных языковых моделей. В рассмотренных примерах внимание помогало точно извлекать сведения из контекста, а рекуррентное состояние, обновляющееся по мере чтения, — соблюдать заданный язык и манеру ответа. Объединив внутренние состояния двух текстов, авторы показали, что модель может брать сведения из одного, а язык ответа — из другого.
Алексей Донцов
Студент четвертого курса бакалавриата «Прикладная математика и информатика»
Наша работа посвящена гибридным языковым моделям, в которых механизм внимания (attention) сочетается с рекуррентным блоком внимания. Такие архитектуры используют меньше памяти и вычислений, и все больше используются в современных моделях (Qwen3.5, Kimi-K3, Nemotron 3), но до сих пор было неясно, какую роль играет каждая из двух частей.
Мы разделили «память» модели на две части и проверили, как она отвечает, если оставить только одну из них или взять их из разных текстов. Эксперименты на Qwen3.5 и Falcon-H1 показали четкое разделение ролей: attention отвечает за точное извлечение фактов из контекста, а рекуррентное состояние задает язык ответа и манеру речи.
На конференции было довольно мало познавательных и смелых статей, большая часть — поверхностные и неинтересныe. Я связываю это с кризисом рецензирования — присылается много статей, и у сообщества не хватает ресурсов толком их оценить. Из-за этого проходят скучные, но хорошо подтвержденные статьи (мы повысили качество на 3 % или показали что механизм X переносится на другие условия и т. д.). Кажется, что наука теперь делается не на конференциях а в небольших командах, объединенных идеей, благо с ИИ-агентами это делать проще. А на конференции больше приезжают пообщаться со знакомыми.
Будапешт мне очень понравился — невероятная архитектура, высокая пешеходная доступность, вкусная еда, приветливые люди и легкий налет Восточной Европы. Умилило, что там нужно до сих пор компостировать билеты в метро.
Еще две работы, принятые на семинары конференции, выросли из студенческих исследований в магистратуре «Искусственный интеллект». Лучшие проектные работы первого года обучения и выпускные работы могли участвовать в конкурсе проектов EMNLP и продолжить исследование. В рамках этого конкурса студенты вместе с Альбиной Бурловой подготовили две статьи для семинаров конференции.
На семинаре Web-as-Corpus Workshop была представлена работа PAWN++ in the Wild: Evaluating AI-Generated Text Detection on the Web, подготовленная студентами второго курса магистратуры ИИ Олегом Черниковым и Евгением Птицыным и старшим преподавателем программы Альбиной Бурловой. Авторы разработали детектор сгенерированных текстов и собрали набор WATTLE из 41 300 текстов для проверки методов на веб-контенте. На текстах, переписанных нейросетью, качество детекторов резко падало по сравнению со стандартными тестами. Работа показывает, почему методы важно оценивать в условиях, близких к их практическому применению.
Выпускник магистратуры ИИ Артём Черепанов и Альбина Бурлова в статье What Should Occupy the Context Budget? Latent Compression versus Budget-Matched Truncation in Document QA для семинара DocInsights сравнили способы использования ограниченного контекста модели при ответах на вопросы по документам. Они сопоставили передачу отдельных фрагментов текста и компактных числовых представлений документа. В экспериментах при одинаковом бюджете контекста простой компрессор показал лучшие результаты, чем проверенные способы обрезки и отбора текста. Работа помогает выбирать, в каком виде передавать модели документ, который не помещается в доступный контекст целиком.
Студентам такое продолжение проекта дает опыт исследовательской работы: нужно сформулировать вклад, проверить выводы, подготовить статью и ответить на замечания рецензентов. Публикация и обсуждение результатов на конференции могут стать следующим шагом для тех, кто планирует заниматься наукой и поступать в аспирантуру.
Кантонистова Елена Олеговна
Академический руководитель магистратуры «Искусственный интеллект»
На магистерской программе «Искусственный интеллект» мы поддерживаем студентов с лучшими проектными и дипломными работами. Если студент получил хорошие результаты в рамках учебной или выпускной работы и хочет развиваться как исследователь, мы поможем ему — для этого мы создали специальную научную комиссию, куда вошли сотрудники факультета компьютерных наук. Студент может довести свои результаты до публикации или выступления на конференции с поддержкой членов комиссии.
Студенты и выпускники магистратуры Олег Черников, Евгений Птицын и Артём Черепанов работали с Альбиной как раз в рамках данного проекта и, благодаря ее менторским и исследовательским навыкам, смогли довести до ума начатые в процессе учебы исследования и попасть с полученными результатами на конференцию EMNLP.
Мы на программе надеемся, что все больше наших студентов будет идти в науку, а наши менторы им помогут!