Статья сотрудников HDI Lab принята на конференцию ICLR-2025
Статья «Nonasymptotic Analysis of Stochastic Gradient Descent with the Richardson-Romberg Extrapolation», написанная учёными Международной лаборатории стохастических алгоритмов и анализа многомерных данных: Сергеей Самсонов, Денис Беломестный, Алексей Наумов, Марина Шешукова совместно с Eric Moulines и Alain Durmus принята в программу 13-й Международной конференции по обучению представлениям (ICLR).
В ходе исследования был разработан новый подход к анализу Стохастического градиентного спуска с постоянным шагом на основе экстраполяции Ричардсона–Ромберга. Авторы показали, что применение данной техники позволяет значительно уменьшить асимптотическое смещение оценок стохастического градиентного спуска. Кроме того, в работе исследуются неассимтотические оценки для моментов ошибки представленной процедуры с применением теории Марковских цепей.
International Conference on Learning Representations (ICLR) – престижная международная конференция в области машинного обучения и искусственного интеллекта, проводящаяся на ежегодной основе с 2013 г. Нынешняя, 13-я по счёту, конференция ICLR будет проходить с 24 по 28 апреля в г. Сингапуре. Статьи, опубликованные в рамках ICLR, имеют рейтинг A*.
Авторы
Professeur, Ecole Polytechnique, Membre de l'Académie des Sciences Verified email at polytechnique.edu
Professor at Ecole Polytechnique and a member of the applied mathematics department (CMAP)
Международная лаборатория стохастических алгоритмов и анализа многомерных данных: Научный руководитель
Международная лаборатория стохастических алгоритмов и анализа многомерных данных: Заведующий лабораторией
Международная лаборатория стохастических алгоритмов и анализа многомерных данных: Ведущий научный сотрудник
Международная лаборатория стохастических алгоритмов и анализа многомерных данных: Младший научный сотрудник