NeurIPS 2019

С 8 по 14 декабря в Ванкувере пройдет 33-я конференция Neural Information Processing Systems (NeurIPS).

Neural Information Processing Systems (NeurIPS) является некоммерческой ассоциацией, цель которой – содействие обмену результатами исследований по системам обработки нейронной информации в их биологическом, технологическом, математическом и теоретическом аспектах. Обработка нейронной информации – это область, которая выигрывает от комбинированного взгляда на биологические, физические, математические и вычислительные науки. 

Ежегодно NeurIPS собирает тысячи исследователей в области машинного обучении, которые представляют свои научные результаты в области глубинного обучения, обучения с подкреплением, масштабируемой оптимизации, байесовских методов и других подразделов машинного обучения. Это крупнейшая и наиболее престижная конференция в области искусственного интеллекта и машинного обучения в мире. Число желающих попасть на эту конференцию столь велико, что в этом году принято решение разыграть оставшиеся (после регистрации авторов принятых статей и лучших рецензентов) места в лотерею среди изъявивших желание поехать на конференцию.

В 2019 году на конференцию было подано рекордное число работ, из которых принято примерно 20% (1428 из 6743) работ. Среди принятых статей – четыре работы членов исследовательской группы байесовских методов, в авторах которых есть два сотрудника факультета компьютерных наук – Дмитрий Ветров и Кирилл Неклюдов.

Importance Weighted Hierarchical Variational Inference 

Авторы: Артём Соболев (Samsung AI Center Moscow) и Дмитрий Ветров.

В этой работе мы предлагаем способ обучения более выразительных вариационных аппроксимаций апостериорного распределения латентных переменных в нейросетевых генеративных моделях, а также обобщаем и улучшаем несколько ранее известных методов.

The Implicit Metropolis-Hastings Algorithm

Авторы: Кирилл Неклюдов, Евгений Егоров (Skoltech) и Дмитрий Ветров.

В недавних работах было предложено использовать дискриминатор GAN-а (генеративных соревновательных нейросетей) для фильтрации нереалистичных сэмплов генератора. В нашей работе мы обобщаем эту идею, предлагая неявный алгоритм Метрополиса-Гастингса. Для любой неявной вероятностной модели и целевого распределения, представленного в виде выборки, неявный Метрополис-Гастингс обучает дискриминатор для оценки отношения плотностей, а затем генерирует цепочку сэмплов. Поскольку аппроксимация отношения плотностей вносит ошибку на каждом шаге цепочки, крайне важно проанализировать стационарное распределение такой цепочки. С этой целью мы приводим теоретический результат, утверждающий, что верхняя оценка на функцию потерь дискриминатора ограничивает расстояние между целевым распределением и стационарным распределением сгенерированной цепочки. Наконец, мы проверяем предложенный алгоритм как для независимых, так и для Марковских предложных распределений на реальных наборах данных CIFAR-10 и CelebA.

A Simple Baseline for Bayesian Uncertainty in Deep Learning

Авторы: Уэлси Мэддокс (Cornell University), Тимур Гарипов (Samsung AI Center Moscow), Павел Измайлов (Cornell University), Дмитрий Ветров, Эндрю Гордон Уилсон (Cornell University).

В работе предложен метод SWA-Gaussian (SWAG) — масштабируемый метод построения оценок неопределенности предсказаний для глубинных нейронных сетей. Метод приближает траекторию стохастического градиентного спуска низкоранговым нормальным распределением над весами нейронной сети. На этапе предсказания сэмплы из построенного распределение используются в байесовском усреднении моделей для оценки неопределенности предсказаний. В экспериментах на CIFAR-10 и ImageNet показано, что SWAG позволяет добиться лучшего качества в задачах out of sample detection, calibration, и transfer learning.

A Prior of a Googol Gaussians: a Tensor Ring Induced Prior for Generative Models

Авторы: Максим Кузнецов (Insilico Medicine), Даниил Полыковский (Insilico Medicine), Дмитрий Ветров, Александр Жебрак (Insilico Medicine)

В статье был предложен новый класс обучаемых априорных распределений, названный Tensor Ring Induced Prior (TRIP). Экспериментально было показано, что замена стандартного нормального априорного распределения на TRIP в генеративных моделях позволяет значимо повысить качество: в GAN улучшается визуальное качество сгенерированных изображений, а в VAE замена априорного распределения приводит к более высокому значению ELBO при том же количестве параметров модели.

Кроме того, у группы байесовских методов есть еще один, связанный с конференцией, результат: все члены группы, рецензировавшие статьи - Арсений Ашуха, приглашенный преподаватель Департамента больших данных и информационного поиска,  а также сотрудники центра глубинного обучения и байесовских методов Дмитрий Ветров, Екатерина Лобачева, Дмитрий Молчанов, Кирилл Струминский и Дмитрий Кропотов попали в число лучших рецензентов и получили возможность гарантированной регистрации на конференцию.