Семинар HDI&TFAIM Lab «Функциональные многорукие бандиты»

В стохастических многоруких бандитах есть фиксированный набор случайных величин (ручек) с неизвестным распределением. На каждом шаге алгоритм выбирает (сэмплирует) одну из них и наблюдает ее реализованное значение (выигрыш). Целью является максимизация математического ожидания выигрыша, накопленного за отведенное время. Эта и многие другие связанные постановки относятся к классу задач о последовательном принятии решений. Основным лейтмотивом выступает поиск баланса затрат на оценку качества ручек и использование полученных оценок. Функциональные многорукие бандиты предполагают, что ручкой выступает не случайная величина, а неизвестная функция. Когда алгоритм выбирает ручку, он получает оценку значения функции в выбранной точке. Хотя это делает процесс “изучения” ручки существенно более сложным, полученный класс моделей удивительно интересен и богат на приложения. Он позволяет моделировать такие задачи, как конкурентное обучение моделей машинного обучения, персонализированные генеративные модели в рекламе и многие другие.
Доклад структурно разбит на три части. В вводной части я дам краткое введение, в основном посвященное стохастическим многоруким бандитам, задачам и алгоритмам онлайн-оптимизации. После этого расскажу о том, как сводить задачу о стохастических многоруких бандитах к набору задач стохастической оптимизации. Наконец, в последней части расскажу про функциональные многорукие бандиты и приведу один из алгоритмов их решения. 

По всем вопросам обращайтесь к Зеленовой Карине Михайловне kzelenova@hse.ru или к Горностаевой Екатерине Дмитриевне egornostaeva@hse.ru