• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Новости

Два доклада от ФКН представлены на международной конференции NIPS 2017

NIPS

Сотрудники Факультета компьютерных наук представили свои доклады на ежегодной конференции Neural Information Processing Systems (NIPS), которая проходила с 4 по 9 декабря в Лонг Бич, США.

В этом году ФКН был представлен двумя докладами: пленарным «On Structured Prediction Theory with Calibrated Convex Surrogate Losses» доцента Департамента больших данных и информационного поиска  Антона Осокина и постерным «Structured Bayesian Pruning via Log-Normal Multiplicative Noise» от коллектива Международной лаборатории глубинного обучения и байесовских методов.

На сегодняшний день существует две крупнейшие международные конференции в области машинного обучения – Neural Information Processing Systems (NIPS) и International Conference on Machine Learning (ICML). Большинство значимых научных работ в данной сфере впервые представляются именно на этих конференциях. NIPS проводится ежегодно, начиная с 1986 года. Основными элементами программы традиционно являются лекции приглашенных гостей, пленарные выступления (15 минут) и постерные доклады. Как правило, не более 1% от поданных работ получают статус пленарных докладов. Всего в этом году из 3240 присланных было принято 678, из них только 40 были заявлены как пленарные. Кроме того, в 2017 поставлен новый рекорд по количеству участников – 7850 человек, в то время как в 2016 году их было 5600.

В отличие от большинства работ, представленных на конференции, которые носили практический характер, пленарный доклад Антона Осокина был посвящен теоретическим вопросам в одной из областей машинного обучения – структурном предсказании. В представленном им исследовании впервые три такие задачи, как consistency, сложность решения задач оптимизации и количественные характеристики сложности структуры были объединены в рамках одного формализма.

Осокин Антон Александрович

Доцент Департамента больших данных и информационного поиска


«Наша работа создает теоретическую основу для практических исследований в области структурного предсказания. Фактически мы определяем свойства задач, которые могут быть использованы для создания эффективных решений».
Не менее важную роль для эффективного решения задач играют и методы настройки нейронных сетей, применимые на практике. Использование нейронных сетей де-факто перевернуло такие области как анализ изображений и обработка естественного языка. Но у нейронных сетей есть и ряд недостатков, к примеру, сравнительно медленные и требующие много памяти алгоритмы обучения. В постерном докладе «Structured Bayesian Pruning via Log-Normal Multiplicative Noise» («Байесовский структурный прунинг нейросетей через мультипликативный Лог-Нормальный шум») сотрудников Международной лаборатории глубинного обучения и байесовских методов был представлен новый метод, позволяющий настроить нейронную сеть существенно меньшего размера без потери качества, а также ускорить модель в несколько раз. Стоит отметить, что байесовские методы для обучения разреженных моделей в машинном обучении применяли очень давно, но только недавно эти результаты удалось перенести на современные нейросетевые архитектуры.
Ветров Дмитрий Петрович

Международная лаборатория глубинного обучения и байесовских методов: Заведующий лабораторией

«Это исследование мы провели с моими аспирантами Кириллом Неклюдовым, Дмитрием Молчановым и Арсением Ашухой, которые сейчас работают исследователями в Международной лаборатории глубинного обучения и байесовских методов, созданной на ФКН в январе 2017 года.  У Кирилла, новобранца группы и первого автора статьи, это был первый опыт подготовки научной публикации на столь высоком уровне и я очень рад и горд, что ему сразу удалось достичь такого успеха. К сожалению, Кирилл и Дмитрий не смогли попасть на конференцию из-за проблем с получением американской визы».
 
Аржанцев Иван Владимирович

Декан факультета компьютерных наук

 «Два доклада от сотрудников ФКН на одной из важнейших конференций в области нейросетей и машинного обучения – это серьезное достижение. И мы гордимся нашими коллегами, чья научная экспертиза так высоко ценится международным  профессиональным сообществом».

В рамках дополнительной секции (workshop) OPT 2017: Optimization for Machine Learning с докладом выступил профессор-исследователь Департамента больших данных и информационного поиска Юрий Нестеров. Кроме того, с постерным докладом «Recycling Privileged Learning and Distribution Matching for Fairness»  выступил научный руководитель Международной лаборатории глубинного обучения и байесовских методов Нови Квадрианто. Также в дополнительных секциях выступили представители МФТИ и Яндекса.

Новость на сайте Вышки: https://www.hse.ru/science/news/213458890.html