ФКН на NeurIPS 2019

C 8 по 14 декабря 2019 года в Ванкувере состоялась конференця NeurIPS, на которой выступали сотрудники и студенты факультета.

Neural Information Processing Systems (NeurIPS) является некоммерческой ассоциацией, цель которой – содействие обмену результатами исследований по системам обработки нейронной информации в их биологическом, технологическом, математическом и теоретическом аспектах. Обработка нейронной информации – это область, которая выигрывает от комбинированного взгляда на биологические, физические, математические и вычислительные науки. 

Ежегодно NeurIPS собирает тысячи исследователей в области машинного обучении, которые представляют свои научные результаты в области глубинного обучения, обучения с подкреплением, масштабируемой оптимизации, байесовских методов и других подразделов машинного обучения. Это крупнейшая и наиболее престижная конференция в области искусственного интеллекта и машинного обучения в мире. Число желающих попасть на эту конференцию столь велико, что в этом году принято решение разыграть оставшиеся (после регистрации авторов принятых статей и лучших рецензентов) места в лотерею среди изъявивших желание поехать на конференцию.

В 2019 году на конференцию было подано рекордное число работ, из которых принято примерно 20% (1428 из 6743). Среди принятых статей – сотрудники факультета компьютерных наук – Арсений Ашуха, Дмитрий Ветров, Никита Казеев, Артем Маевский, Дмитрий Молчанов, Кирилл Неклюдов, Андрей Устюжанин, Надежда Чиркова.

Ирина Сапарина, приглашенный преподаватель Департамента больших данных и информационного поиска. Cost-Sensitive Training for Autoregressive Models

NeurIPS 2019 была для меня первой поездкой на конференцию. Меня очень впечатлили масштабы этого мероприятия – большое количество участников со всего мира, представленных докладов и постеров. При этом конференция была очень хорошо организована, никаких сбоев в расписании или задержек. Единственным минусом было то, что иногда количество желающих посмотреть популярный постер было настолько большим, что образовывались очереди.

Наша работа “Cost-sensitive training for autoregressive models” основана на  learning-to-search подходе к обучению авторегрессионных моделей, который, в отличие от стандартного подхода, позволяет включить в обучение метрики качества (например, BLEU, METEOR в задаче машинного перевода). Мы исследовали чувствительность такого подхода к различным метрикам, а также обнаружили интересное поведение стандартной функции потерь. Постер с нашими результатами я представляла на WiML workshop, который проходил в один из первых дней конференции. На воркшопе можно было не только послушать интересные доклады из разных областей машинного обучения, но и получить советы по научным, карьерным и жизненным вопросам от известных исследователей и исследовательниц.

На конференции у меня была возможность пообщаться с авторами наиболее интересных работ и напрямую задать им вопросы. Это можно было сделать как во время постерных сессий, так и во время неформальных мероприятий, которых было достаточно много. Посещение таких конференций, как NeurIPS, даёт понимание тенденций в области. Хотя многие работы публикуются в открытом доступе заранее, на самой конференции можно узнать о текущих, ещё не законченных исследованиях.

Дмитрий Емельяненко, студент 3 курса ПИ. "Sequence Modelling with Unconstrained Generation Order"

Конференция проходила в Ванкувере и толпу людей с постерами (очевидно, тоже летящих с докладами) можно было заметить ещё во время пересадки во Франкфурте.

Первый день (8 декабря) был посвящен индустрии, начиная с него работали стенды компаний, где можно было пообщаться с разработчиками и учёными из всемирно известных компаний, таких как Amazon, Google, Netflix, Intel и пр., российские компании тоже были представлены — например, Яндекс и Сбербанк. 

Далее началась основная конференция. В понедельник были туториалы и приглашённые доклады, в перерыве между которыми можно было полетать над ванкувером на гидроплане. 

Со вторника начались доклады основных статей конференции. Типичный день выглядел так: завтрак, слушаешь Oral и Spotlight'ы на одном из четырёх параллельных треков, идешь на постерную сессию (возможно приходится стоять в пробке из людей чтобы пройти в здание — слишком много участников конференции и постеров, которые они хотят посмотреть), на постерной сессии ищешь заранее выбранные тобой постеры (краем глаза смотришь на остальные, но их слишком много — мозг не успевает переварить все) и общаешься с авторами интересных тебе работ, дальше обед, после которого идут большие приглашенные доклады. Далее вечерние оралы и спотлайты, после которых вечерние постеры (те что были до этого уже сняли, иначе места бы просто не хватило). Завершается день социальными ивентами на различные темы, на которых можно пообщаться с другими людьми, которых эти темы как-то касаются или волнуют, также вечером проходят различные вечеринки, на которых можно в менее формальной, более расслабленной обстановке пообщаться с коллегами. 

В пятницу и субботу идут воркшопы, на которых обычно покрыты более узкие темы и которых очень много, но на которых обычно более свежие, хоть иногда и чуть менее качественные статьи (дедлайн отправки статей на воркшопы всего примерно за месяц до конференции, в то время как основные статьи должны быть отправлены за пол года — основную их часть ты уже либо видел, либо даже сам рассказывал кому-либо).

Самое классное в конференции помимо самих докладов – это возможность познакомиться и пообщаться с большим количеством очень умных людей, получить полезный фидбек о своей работе и много клевых инсайтов о том как всё устроено плюс-минус во всем научном сообществе, индустрии и около них. Отдельно хочу отметить что русскоязычное сообщество на NeurIPS очень большое и разнообразное. Изначально это не очень заметно, но потом оказывается, что на русскоговорящие вечеринки Яндекса и Сбербанка приходит несколько сотен человек (живущих и работающих в России и не только). 

По итогу понимаешь что конференция очень большая: около 1500 статей и более 13000 участников — надо очень хорошо спланировать своё расписание чтобы максимизировать пользу поездки.