Семинар МЛАТиП: Вероятностное моделирование на многообразиях, задаваемых нейросетями.

Генеративное моделирование – раздел машинного обучения, посвященный задаче генерации новых “правдоподобных” выборок разных естественных данных (чаще всего – изображений) после обучения модели на большой обучающей выборке. По сути такие модели – а сегодня все успешные такие модели основаны на глубоких нейросетях – занимаются аппроксимацией выборочного распределения некоторой параметризованной (нейросетью) плотностью. Все это происходит, конечно, в пространстве (евклидовом) высокой размерности, где лежат данные. Широко известна гипотеза (manifold hypothesis) о том, что “естественные” данные в таких пространстах (признаков) лежат вблизи каких-то (вложенных в это пространство) многообразий – если многообразие существенно меньшей размерности, чем объемлющее пространство – это может давать выигрыш в работе с такими данными. (Не говоря уже о том, что изучение таких многообразий может пролить свет на структуру данных.) В последнее время сформировалось целое направление исследований, посвященных генеративному моделированию на многообразиях: как для данных, когда их многообразие-носитель заведомо известно (сферы / торы / многообразия Штифеля); так и для случая, когда это многообразие “выучивается” (аппроксимируется нейросетью) из самих данных (следующим шагом “выучивается” плотность распределения данных “на многообразии / вблизи него”). Диссертационные исследования докладчика в основном следуют второму направлению. Будут вкратце рассказаны основные идеи современных моделей генеративного моделирования (вариационные автокодировщики и нормализующие потоки), а затем успехи (и неуспехи) этих моделей в данной задаче. Будет также рассказано о некоторых недавних находках, касающихся представления “многообразия данных” нейросетью, очень важных в контексте данной задачи, и о задумках по улучшению этих результатов.