Две статьи представителей ФКН приняты на конференцию ICML 2016

На международную конференцию по машинному обучению ICML 2016 приняты две статьи: от старшего преподавателя Департамента больших данных и информационного поиска Сергея Бартунова и студента магистерской программы «Математические методы оптимизации и стохастики» Антона Родоманова.

Конференция ICML является одной из ведущих мировых конференций по машинному обучению и имеет наивысший рейтинг A* по международному классификатору CORE. В этом году конференция пройдет в Нью-Йорке. Всего было подано 1327 работ, но принято из них только 322. Каждая статья будет представляется 15-минутным докладом.

Статья «Meta-Learning with Memory-Augmented Neural Networks» стала результатом сотрудничества Сергея Бартунова и исследователей из Google DeepMind. В этой статье исследуется новая нейросетевая архитектура, способная обучаться по всего нескольким примерам благодаря использованию двух механизмов обучения - традиционного метода обратного распространения ошибки и аппарата внешней адресуемой памяти. Предложенная архитектура продемонстрировала высокую эффективность в задачах регрессии и классификации, где в экспериментальном сравнении на наборе данных Omniglot превзошла результаты не только других архитектур, но и испытуемых людей.

Статья Антона Родоманова в соавторстве с Дмитрием Кропотовым называется «A Superlinearly-Convergent Proximal Newton-type Method for the Optimization of Finite Sums». В ней предлагается новый метод оптимизации типа Ньютона для решения задачи минимизации конечной суммы большого числа функций, часто возникающей в машинном обучении. Обычно эту задачу решают с помощью инкрементальных/стохастических методов оптимизации. Однако скорость сходимости всех этих методов максимум линейная. Скорость сходимости метода, предлагаемого Антоном, является суперлинейной, что на порядок выше, чем у всех остальных методов.