Два доклада от ФКН представлены на международной конференции NIPS 2017

NIPS

Сотрудники Факультета компьютерных наук представили свои доклады на ежегодной конференции Neural Information Processing Systems (NIPS), которая проходила с 4 по 9 декабря в Лонг Бич, США.

В этом году ФКН был представлен двумя докладами: пленарным «On Structured Prediction Theory with Calibrated Convex Surrogate Losses» доцента Департамента больших данных и информационного поиска  Антона Осокина и постерным «Structured Bayesian Pruning via Log-Normal Multiplicative Noise» от коллектива Международной лаборатории глубинного обучения и байесовских методов.

На сегодняшний день существует две крупнейшие международные конференции в области машинного обучения – Neural Information Processing Systems (NIPS) и International Conference on Machine Learning (ICML). Большинство значимых научных работ в данной сфере впервые представляются именно на этих конференциях. NIPS проводится ежегодно, начиная с 1986 года. Основными элементами программы традиционно являются лекции приглашенных гостей, пленарные выступления (15 минут) и постерные доклады. Как правило, не более 1% от поданных работ получают статус пленарных докладов. Всего в этом году из 3240 присланных было принято 678, из них только 40 были заявлены как пленарные. Кроме того, в 2017 поставлен новый рекорд по количеству участников – 7850 человек, в то время как в 2016 году их было 5600.

В отличие от большинства работ, представленных на конференции, которые носили практический характер, пленарный доклад Антона Осокина был посвящен теоретическим вопросам в одной из областей машинного обучения – структурном предсказании. В представленном им исследовании впервые три такие задачи, как consistency, сложность решения задач оптимизации и количественные характеристики сложности структуры были объединены в рамках одного формализма.

Осокин Антон Александрович

Доцент Департамента больших данных и информационного поиска

«Наша работа создает теоретическую основу для практических исследований в области структурного предсказания. Фактически мы определяем свойства задач, которые могут быть использованы для создания эффективных решений».

Не менее важную роль для эффективного решения задач играют и методы настройки нейронных сетей, применимые на практике. Использование нейронных сетей де-факто перевернуло такие области как анализ изображений и обработка естественного языка. Но у нейронных сетей есть и ряд недостатков, к примеру, сравнительно медленные и требующие много памяти алгоритмы обучения. В постерном докладе «Structured Bayesian Pruning via Log-Normal Multiplicative Noise» («Байесовский структурный прунинг нейросетей через мультипликативный Лог-Нормальный шум») сотрудников Международной лаборатории глубинного обучения и байесовских методов был представлен новый метод, позволяющий настроить нейронную сеть существенно меньшего размера без потери качества, а также ускорить модель в несколько раз. Стоит отметить, что байесовские методы для обучения разреженных моделей в машинном обучении применяли очень давно, но только недавно эти результаты удалось перенести на современные нейросетевые архитектуры.

Ветров Дмитрий Петрович

Международная лаборатория глубинного обучения и байесовских методов: Заведующий лабораторией

«Это исследование мы провели с моими аспирантами Кириллом Неклюдовым, Дмитрием Молчановым и Арсением Ашухой, которые сейчас работают исследователями в Международной лаборатории глубинного обучения и байесовских методов, созданной на ФКН в январе 2017 года.  У Кирилла, новобранца группы и первого автора статьи, это был первый опыт подготовки научной публикации на столь высоком уровне и я очень рад и горд, что ему сразу удалось достичь такого успеха. К сожалению, Кирилл и Дмитрий не смогли попасть на конференцию из-за проблем с получением американской визы».

 

Аржанцев Иван Владимирович

Декан факультета компьютерных наук

 «Два доклада от сотрудников ФКН на одной из важнейших конференций в области нейросетей и машинного обучения – это серьезное достижение. И мы гордимся нашими коллегами, чья научная экспертиза так высоко ценится международным  профессиональным сообществом».

В рамках дополнительной секции (workshop) OPT 2017: Optimization for Machine Learning с докладом выступил профессор-исследователь Департамента больших данных и информационного поиска Юрий Нестеров. Кроме того, с постерным докладом «Recycling Privileged Learning and Distribution Matching for Fairness»  выступил научный руководитель Международной лаборатории глубинного обучения и байесовских методов Нови Квадрианто. Также в дополнительных секциях выступили представители МФТИ и Яндекса.

Новость на сайте Вышки: https://www.hse.ru/science/news/213458890.html