Лабораторная ФКН: Использование вариационного дропаута для разреживания нейронных сетей. Докладчик: Арсений Ашуха, Лаборатория глубинного обучения и байесовских методов

В докладе будет рассказано об одной только что принятой на ICML2017 статье сотрудников группы байесовских методов , в которой байесовские методы успешно применены для разреживания современных нейронных сетей. Это достигнуто благодаря недавно открытой байесовской интерпретации процедуры дропаута, которая много лет рассматривалась как эвристический метод, предотвращающий переобучение. В докладе будет показано, как, используя эту интерпретацию, можно автоматически устанавливать гиперпараметры, отвечающие за интенсивность процедуры дропаута, и как переход к индивидуальным гиперпараметрам для каждого веса позволяет получить разреженность, превышающую 99% от всех весов нейронной сети без потери качества. От слушателей требуется владение университетским курсом по теории вероятностей и общее представление о современных методах глубинного обучения.

Время и место:

23 мая, 18.10 - 19.30
Кочновский проезд, 3, ауд.205