Коллоквиум ФКН "Стохастическая аппроксимация, современный взгляд"
Гасников Александр Владимирович
Международная лаборатория стохастических алгоритмов и анализа многомерных данных: Старший научный сотрудник
Тема: Стохастическая аппроксимация, современный взгляд
Аннотация: В докладе планируется сделать обзор основных результатов по стохастической аппроксимации — теоремах о сходимости процедур типа SGD к нормальному предельному распределению с асимптотически наименьшей корреляционной матрицей. В частности, мы начнем с классических результатов Невельсона-Хасьминского (70-е годы), продолжим результатами типа Поляка-Юдицкого-Рупперта (80-е — 90-е годы), в которых устраняется привязка в оптимальных процедурах к специфике оптимизируемой функции. Ну и закончим мы обзором современных результатов (Баха—Мулена, М. Джордана и др.). Доклад в основном будет носить обзорный характер. В самом конце доклада, возможно, немного поговорим про некоторые современные течения, которые вызвали новую волну интереса к этому направлению (клиппированые варианты SGD, седловые постановки задач, SGD с невеклидовой проекцией и т.д.).
Дополнительные материалы можно посмотреть ниже:
Литература (PDF, 691 Кб)
Литература (PDF, 3,35 Мб)