Статья сотрудников лаборатории принята на конференцию ICML

Статья ‘Variational Dropout Sparsifies Deep Neural Networks’ («Вариационный дропаут разреживает глубинные нейронные сети») принята на крупнейшую мировую конференцию по машинному обучению ICML'17. Это совместная работа лаборатории, компании «Яндекс», Сколтеха и МФТИ. Авторы статьи — стажеры-исследователи лаборатории Дмитрий Молчанов и Арсений Ашуха и заведующий лабораторией Дмитрий Ветров. В ходе данного исследования был получен самый современный результат в области разреживания нейронных сетей без существенной потери качества их работы. Это стало возможным благодаря использованию байесовского подхода к обучению нейронных сетей. 

Нейронные сети показывают очень высокое качество при решении самых разных задач анализа данных, однако часто такая модель занимает много оперативной памяти и работает недостаточно быстро. Поэтому разреживание и ускорение нейронных сетей — важная и активно развивающаяся сегодня тема исследований. Успехи в данной области позволяют использовать нейросети на устройствах с ограничеными вычислительными ресурсами, в первую очередь, на смартфонах. В принятой на ICML'17 статье описывается теоретически обоснованная модель, опирающаяся на байесовский подход, сжимающая нейронную сеть в несколько десятков или сотен раз. В подобных результатах заинтересованы многие российские и зарубежные IT-компании.