Шесть работ сотрудников факультета и аспирантов школы представлено на конференции NIPS 2016

С 5 по 10 декабря в Барселоне прошла конференция Neural Information Processing Systems (NIPS), собравшая ведущих мировых специалистов по машинному обучению, анализу данных и искусственному интеллекту.

Международная конференция по машинному обучению NIPS проводится с 1989 года. Конференции присвоен высший рейтинг A* по международному классификатору CORE. В последние годы на NIPS публикуются новые прорывные работы в области глубинного обучения. Число участников в этом году увеличилось практически вдвое и составило 5680 человек. На основную секцию было подано 2500 статей, из них принято для докладов 568 работ.

В основной секции конференции был представлен постерный доклад профессора-исследователя департамента больших данных и информационного поиска Юрия Нестерова, написанный в соавторстве с сотрудниками Яндекса Львом Боголюбским, Глебом Гусевым и Алексеем Тихоновым и сотрудниками МФТИ Александром Гасниковым, Павлом Двуреченским, Максимом Жуковским и Андреем Райгородским. Работа по теме “Learning Supervised PageRank with Gradient-Based and Gradient-Free Optimization Methods” посвящена эффективному вычислению ссылочного ранжирования.

Также в данной секции состоялся постерный доклад стажёра-исследователя Научно-учебной лаборатории методов анализа больших данных Михаила Фигурнова и профессора-исследователя Дмитрия Ветрова. Работа была выполнена в соавторстве с Айжан Ибрагимовой, на момент выполнения работы магистром Сколтеха, и Пушмитом Коли, ведущим исследователем Microsoft Research. Доклад носит название "PerforatedCNNs: Acceleration through Elimination of Redundant Convolutions" и посвящён ускорению свёрточных нейронных сетей. Тема работы очень актуальна и вызывает интерес среди представителей индустрии, поскольку ускорение нейронных сетей применяется в мобильных устройствах.

Михаил Фигурнов также выступил соавтором приглашенного доклада исследователя DeepMind Алекса Грейвса на тему "Learning When to Halt With Adaptive Computation Time" на воркшопе “Neural Abstract Machines & Program Induction”. В работе были подробно освещены последние результаты, полученные Михаилом совместно с Дмитрием Ветровым, исследователями из Google и профессором Carnegie Mellon University Русланом Салахутдиновым, по использованию адаптивного времени вычислений для ускорения остаточных нейронных сетей (Residual Neural Networks). Данные результаты опубликованы в препринте "Spatially Adaptive Computation Time for Residual Networks".

На воркшопе “Advances in Approximate Bayesian Inference” была представлена работа "Robust Variational Inference” Михаила Фигурнова, аспиранта школы по компьютерным наукам Кирилла Струминского и профессора-исследователя Дмитрия Ветрова. В этой статье предлагается простой способ повышения устойчивости моделей байесовского вывода к шумовым объектам в данных.

Результаты двух статей сотрудников факультета были сообщены на воркшопе "Learning with Tensors". Первая – "Ultimate Tensorization: Convolutions and FC alike", написанная стажёром-исследователем Научно-учебной лаборатории методов анализа больших данных  Александром Новиковым и профессором-исследователем Дмитрием Ветровым, студентом бакалавриата МГУ Тимуром Гариповым и аспирантом МГУ Дмитрием Подоприхиным. В данной работе предложена техника, позволяющая заменять свёрточные слои нейронных сетей на тензорные, которые требуют намного меньше параметров и обладают большей выразительной способностью. Вторая статья – "Searching for optimal patterns in Boolean tensors" профессора департамента анализа данных и искусственного интеллекта Сергея Кузнецова, доцента департамента анализа данных и искусственного интеллекта Дмитрия Игнатова и аспиранта школы по компьютерным наукам Дмитрия Гнатышака. Соавтором работы является доцент Политехнического университета Каталонии Жауме Башерье (Jaume Baixeries). В статье предлагается альтернативный тензорной факторизации взгляд на поиск закономерностей в виде плотных мультимодальных кластеров в булевых тензорах и подчеркивается их прямая связь с бинарными отношениями, а также предлагаются вычислительно эффективные методы поиска.

На воркшопе Bayesian Deep Learning была представлена работа "Dropout-based Automatic Relevance Determination" профессора-исследователя факультета Дмитрия Ветрова, магистра МФТИ Арсением Ашухой и магистра Сколтеха Дмитрия Молчанова. В статье предложен байесовский метод прореживания линейных моделей, что позволяет сжать однослойные нейронные сети.

После завершения основной части конференции были проведены симпозиумы. На симпозиуме по  глубинному обучению был представлен постерный доклад старшего преподавателя департамента больших данных и информационного поиска Сергея Бартунова в соавторстве с исследователями из DeepMind "One-shot learning with memory-augmented neural networks". Статья посвящена актуальной задачи обучения по сверхмалым выборкам данных. Эта работа была прежде представлена на международной конференции ICML 2016.