План по валу: как публикационная активность приводит к кризису
В рамках конференции Fall into ML в ВШЭ прошла дискуссия «Академия в кризисе: что готовит будущее». Ее участники обсудили, почему растет количество научных публикаций, каково качество этих работ, чего требовать от ученых и какова роль искусственного интеллекта в подготовке статей.
Директор Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Алексей Наумов отметил, что в последние годы в научном мире наблюдается «взрывной рост публикационной активности». «Рост за последние несколько лет — в три раза. Но есть ощущение, что в процентном содержании науки в таких публикациях, в которых часто используется искусственный интеллект, все меньше и меньше. Открываешь статью и видишь, что это (написано. — Ред.) с использованием ChatGPT», — сказал он. Такие процессы объясняются установленными KPI, когда от университета нужно больше процитированных статей, пояснил он. «В связи с этим и возникает вопрос, что делать современному университету?» — задал он тему дискуссии. Другая проблема, которую обозначил Алексей Наумов, такова: информация сегодня очень быстро устаревает.
В связи с ростом публикаций часто стоит вопрос о том, как понять, что перед тобой, «настоящая наука или нет», согласился научный руководитель Лаборатории теоретических основ моделей искусственного интеллекта Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Владимир Спокойный. «Мы открываем законы природы. А может ли ChatGPT открыть законы природы? — задал он вопрос аудитории. — Сомневаюсь. Мы позиционируем себя как люди, пытающиеся открыть законы природы. Если информация быстро устарела, значит, ты не открыл законы природы».
По словам Владимира Спокойного, если есть KPI по публикациям, то студент, который обеспечивает их количество, «это то, что нужно, независимо от их качества». При этом он поделился собственным опытом в рекрутинге, когда студент, который приносит публикации, потом делает доклад и в течение 15 минут рассказывает о своих достижениях. И этого достаточно, чтобы оценить его научные достижения. «Мы должны об этом думать, и не надо что-то изобретать. Есть научная традиция, она отработана десятилетиями и даже столетиями. Это и поможет выжить в эпоху информационного потопа, — подытожил Владимир Спокойный. — При этом соревноваться с Китаем (по количеству научных публикаций. — Ред.) все равно не получится, они нас забьют».
«Государству нужна независимая экспертиза, но нужно и оценивать носителя экспертизы, кто ее представляет. То есть нужно понять, что ученый, который представил работу, не просто написал ее для собственного удовольствия, а что-то реально полезное сделал. Это привело к тому, что люди начали больше писать, и в этом и кроется ответ на вопрос, откуда возник, условно, миллион публикаций по искусственному интеллекту. Это раскрутило спираль публикаций. Мы сами эту инфляцию и подогрели», — отметил заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных НИУ ВШЭ Сергей Самсонов.
Тему продолжил директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев. Он поделился своим методом, как он различает, насколько полезна вышедшая публикация. «Научная статья должна чему-то научить. В ней должна быть новизна. Если я прочитал статью и никаких выводов сделать не могу, то это не научная статья», — отметил он. Существующие программы искусственного интеллекта не позволяют «докопаться до сути статьи», однако они помогают сделать саммари, поделился он своим опытом.
Глеб Гусев отметил, что собеседования действительно помогают очень многое прояснить. Есть практика, когда на собеседовании просят назвать три ключевых научных достижения. «Ты не можешь назвать больше. У тебя может быть сто пятьсот статей, но если все они так себе, то ты проигрываешь», — согласился Глеб Гусев с Владимиром Спокойным.
«Хорошо бы гонка за статьями не превратилась в то, что происходит в спорте. Спортсмену нужно все время тренироваться, чтобы показать результат, а в науке — чтобы выполнить KPI к дедлайну. В результате этой гонки фигуристы после 18 лет как отработанный материал, мы же не хотим так с учеными», — отметил в свою очередь Александр Коротин, руководитель исследовательской группы GenAI Сколтеха, старший научный сотрудник института AIRI.
Но если не будет конкуренции, дедлайнов, то ученые могут по пять лет писать статьи, возразил Иван Стельмах, руководитель курсов по математике и компьютерным наукам Центрального университета. «Вы хотите прогресса или чтобы ученым было комфортно? — задал он вопрос. — Компаниям нужно как можно больше фруктов съесть и в будущем новые поляны открыть, поэтому они поддерживают университеты. Я бы поспорил, что академия в кризисе. Следующую поляну компании открывают за счет того, что делают в академии».