Открытое заседание Ученого совета Факультета компьютерных наук

Открытое заседание Ученого совета Факультета компьютерных наук.

Дата проведения: 24 июня 2021 года
Время проведения: 18:00-19:00
Место проведения: Zoom.

Повестка открытого заседания:

1. Научный доклад заведующего Центром глубинного обучения и байесовских методов 
Дмитрия Петровича Ветрова.

Тема доклада: "Необычные свойства рельефа функции потерь в глубинном обучении".

Аннотация:

В докладе мы рассмотрим несколько необычных эффектов, возникающих при обучении современных нейронных сетей и свидетельствующих о том, что рельеф оптимизируемой функции обладает рядом необычных свойств. Также мы обсудим динамику процесса обучения нейросетей и влияние, которое оказывают на нее L2-регуляризация и батч-нормализация весов. В частности, будет показано регуляризация и нормализация весов совместно приводят к стабилизации процесса обучения и делают нейросеть слабозависящей от выбора конкретных гиперпараметров.

2. Научный доклад заведующего Международной лабораторией стохастических алгоритмов и анализа многомерных данных
Алексея Александровича Наумова .

Тема доклада:"Model-Free Approach to Evaluate Reinforcement Learning Algorithms".

Аннотация:

Policy evaluation  is an important instrument  for the comparison of different algorithms in Reinforcement Learning (RL). Yet even a precise knowledge of the value function V^{\pi} corresponding to a policy \pi does not provide reliable information on how far is the  policy \pi from the optimal one. We present a novel model-free upper value iteration procedure (UVIP) that allows us to estimate the suboptimality gap V^{\star}- V^{\pi} from above and to construct confidence intervals for V^\star. Our approach relies on upper bounds to the solution of the Bellman optimality equation via martingale approach. We provide theoretical guarantees for UVIP under general assumptions and illustrate its performance on a number of benchmark RL problems. The talk is based on the join work https://arxiv.org/abs/2105.02135 with Denis Belomestny, Ilya Levin, Eric Moulines, Sergey Samsonov and Veronika Zorina.