Второй запуск летней школы DeepBayes: еще больше байесовских методов в глубинном обучении

С 27 августа по 1 сентября в Москве прошла вторая Летняя школа по байесовским методам в глубинном обучении (DeepBayes 2018). Летняя школа была организована Центром глубинного обучения и байесовских методов НИУ ВШЭ и Исследовательским центром Samsung. Лекторами и семинаристами летней школы выступили сотрудники двух центров-организаторов, а также Сколтеха и МГУ им. М. В. Ломоносова. Руководитель летней школы — профессор-исследователь Дмитрий Ветров.



В этом году летняя школа проводилась на английском языке и приняла участников из 24 стран, включая европейские страны, Великобританию, Индию, Канаду и США. Больше всего участников летней школы учатся или работают в России (51 участник), Германии (11 участников) и Нидерландах (6 участников). Участники школы прошли серьезный отбор, одним из требований которого было уверенное знание машинного и глубинного обучения.

В течение 6 дней участники постигали байесовские методы и учились комбинировать их с нейронными сетями. Подобный симбиоз позволяет расширить возможности моделей глубинного обучения и повышает качество решения прикладных задач. К таким задачам относится, например, использование нейросетей на мобильных устройствах или создание роботов, выполняющих сложные составные действия. 

Отличительная особенность летней школы DeepBayes состоит в том, что материал, освоенный на одном занятии, становится основой для следующего занятия. Это позволяет давать темы на глубоком уровне и разбирать новейшие методы, совмещающие байесовскую и глубинную парадигмы.


Лекция профессора Макса Веллинга

В общую канву были вписаны и выступления приглашенных лекторов. Профессор Университета Амстердама и один из ведущих мировых специалистов по нейробайесовским методам Макс Веллинг продемонстрировал взаимосвязи между подходами, рассмотренными в предшествующих лекциях. Во второй части лекции он объяснил несколько популярных сегодня продвинутых методов приближенного вариационного вывода. Доцент исследовательского центра EURECOM Мауриццио Филиппоне прочитал лекцию про глубинные гауссовские процессы. Аспирант Университета Калифорнии Алессандро Ачилле по видеосвязи рассказал про Information bottleneck — теорию, анализирующую преобразования входного сигнала нейросетью.

С приглашенными лекциями также выступили два сотрудника британской AI компании DeepMind. Сергей Бартунов рассказал о нейробайесовских методах в обучении с подкреплением, а Михаил Фигурнов — о том, как применять популярный в нейробайесовских методах трюк репараметризации практически к любому непрерывному распределению. Видеозаписи всех занятий летней школы размещены в открытом доступе.

В вечере настольных игр участвовали в том числе и приглашенные лекторы (на фото Михаил Фигурнов)

Еще одна отличительная особенность школы — большое количество практических занятий. Разобраться с множеством рассказанных методов и понять границы их применимости невозможно без самостоятельной реализации и экспериментов с этими методами. Например, в первый день участники реализовывали EM-алгоритм, чтобы по восстановленной фотографии опознать преподавателя, который, согласно легенде, пытается помешать проведению вечера настольных игр. В последний день семинар был посвящен реализации разработанных в 2017 году байесовских техник сжатия нейронных сетей. Материалы практических занятий доступны по ссылке.

Летняя школа— это не только возможность получить новые знания, но и найти новых друзей, обменяться опытом и обсудить исследовательские идеи. Этому способствовали два неформальных мероприятия: вечер настольных игр и финальный фуршет школы. Вечер настольных игр проводился в середине летней школы, чтобы участники могли отдохнуть от бесконечных формул и набраться сил для оставшихся двух дней. Кульминацией вечера стало спонтанное соревнование на самую оригинальную конструкцию, построенную из большой полутораметровой дженги.



Последний день школы завершился фуршетом. На нем уже стало традицией фотографироваться у юмористического стенда, обыгрывающего название DeepBayes.

Все материалы DeepBayes 2018 доступны на сайте летней школы, фотографии можно посмотреть в фотоальбоме.

Дмитрий Ветров
Руководитель летней школы

“
Мы проделали большой объем работы, чтобы организовать эту летнюю школу, причем организовать на максимально высоком уровне как по условиям для участников, так и по уровню лекций и семинаров. Большое число иностранных участников вместе с приглашенными докладчиками сделали атмосферу на летней школе чем-то похожей на обстановку на ведущих мировых конференциях, например, ICML.

Макс Веллинг
Приглашенный лектор

“
Я хочу поблагодарить Дмитрия Ветрова и его команду за отличную организацию моей поездки. Мои студенты и постдок очень впечатлены занятиями и порекомендуют школу своим коллегам в следующем году. Единственное, с их точки зрения, изменение, которое могло бы быть внесено в следующем году, это то, что они тоже хотели бы рассказать о своей работе другим участникам.

Сергей Бартунов
Приглашенный лектор

“

С моей точки зрения, в рамках школы удалось составить очень удачную учебную программу, которая хорошо подходит для формирования основ вероятностного мышления и их применения в реальных задачах машинного обучения, так что студентам и молодым исследователям, попавшим на нее, очень повезло. Я бы и сам был рад N лет назад, когда только начинал всем этим заниматься, побывать на такой школе.

Михаил Фигурнов
Приглашенный лектор 

“
Было здорово встретить на летней школе так много талантливых студентов, интересующихся вероятностным глубинным обучением! Совет будущим слушателям: повторите основы статистики перед началом школы. Это должно помочь в освоении лекций.

Лук Тоннайр
Участник

“
Спасибо за отлично проведенную летнюю школу! У меня накопилось много материалов для подробного изучения... Но лекционное наполнение школы было действительно замечательным, а организация великолепной. В частности, понравилось, что отзывы об одном дне школы сразу учитывались при организации следующего дня.

Александр Губин
Участник

“

Я не был детально осведомлен о последних трендах в области машинного обучения, так как занимаюсь математической статистикой. В этом смысле летняя школа стала прекрасным местом для оперативного получения знаний о глубинном байесовском выводе в видении представителей машинного обучения. Лекции были понятными, емкими и по делу. Кроме того, я смог посмотреть на некоторые вопросы с несколько необычного, нового для меня угла. У меня рождались вопросы и комментарии практически после каждой лекции и занятия, и в итоге все это вдохновило меня начать работу над новой статьей. Кофе-брейки и неформальные мероприятия также были прекрасными. Я определенно порекомендую следующую школу своим друзьям и коллегам. Мое пожелание на будущее: было бы здорово включить в программу постерную сессию для участников, чтобы они могли узнать еще больше об исследованиях друг друга.