Статистическая теория обучения – первый выпуск

Магистерская программа «Статистическая теория обучения»/«Statistical Learning Theory» была создана в 2017 году, и осуществляется совместно с Сколковским институтом науки и технологий. Программа готовит научные кадры, которые смогут совмещать на самом высоком уровне фундаментальные исследования и решение сложных практических задач в одном из самых перспективных направлений науки – теории машинного обучения. Эта область находится на стыке дисциплин математики и компьютерных наук: математической статистики, машинного обучения, оптимизации, теории информации, теории сложности и других. Студенты уже на уровне подготовки магистерских работ вовлекаются в активную научную деятельность в рабочих группах. По результатам освоения магистерской программы выдается два диплома. 

В 2019 году “Статистическая теория обучения” выпустила своих первых магистров, семь из них получили красные дипломы. 

Выпускники Юрий Кемаев и Максим Каледин рассказали об обучении на программе, дали советы абитуриентам и поделились планами на будущее:

       
Юрий Кемаев


Максим Каледин

Что вам дало обучение на этой программе?

Юрий: Я поступил на нее после окончания бакалавриата ВМК МГУ, где учился на кафедре Системного Программирования. За время обучения на программе СТО я получил знания, которые позволяют мне вести исследовательскую работу в области искусственного интеллекта.

Максим: До прихода сюда я имел лишь некоторое представление, чем хочу заниматься в будущем, здесь я всё решил окончательно: я буду делать исследование в современной стохастике и многомерной статистике. Во многом на мой выбор повлиял коллектив преподавателей из вышки, вместе с которыми мы вскоре стали работать в HDI Lab. Коллеги меня всегда поддерживают, мы вместе организуем семинары и встречи – так идёт активная научная жизнь. Эта программа – отличный способ влиться в настоящую научную работу.

Каково это – учиться в двух университетах?

Юрий: Это оказалось весьма удобно, так как можно было получать поддержку от обоих учреждений. Самое важное, пожалуй, что Сколтех предложил хорошую стипендию, а Вышка предоставила общежитие. Есть и другие приятные детали. Например, Вышка позволила пройти интересные курсы на Курсере и возместила затраты на участие в конференции. Организация учебного процесса была идеальной, на мой взгляд, потому что можно было набирать кредиты в любом из университетов, а также в ШАДе, чем я и другие ребята активно пользовались. Если вы понимаете, что конкретный курс вам не потребуется и, как следствие, быстро забудется, вы можете заменить его на что-то другое, пусть даже также не столь востребованное, но зато менее затратное по времени и усилиям. Также можно собраться группой и предложить замену одного курса другим, как это было с Нейробайесовскими Методами в нашем потоке. Что-что, а данную возможность управлять своим временем и ресурсами нельзя недооценивать, на мой взгляд, и особенно в магистратуре.

Максим: Это одновременно вызов и в бюрократическом плане, и в содержательном. У нас бывали несостыковки в расписаниях, нужно было делать перезачет кредитов, договариваться о разных формальностях. Приятно, что нам всегда шли навстречу и все подобные вопросы совместимости решались по мере сил. Разумеется, хотя это и совместная программа, требований в два раза больше: нужно быть буквально студентом в двух местах. Нужно посещать обязательные курсы (которые присутствуют первый год и там, и там), отчитываться по курсовым. На втором году программа была по выбору, поэтому там можно было более гибко подойти к своему расписанию. В целом, это не так сложно, как может показаться, некоторые успевали даже работать.

Вышка и Сколтех – принципиально разные университеты с разными взглядами на обучение и содержание программы. Со стороны Вышки у нас были более математические курсы, связанные с вероятностью и статистикой, я бы особенно выделил Modern Stochastics (Денис Беломестный и Алексей Наумов), High-Dimensional Statistics (Кентан Пари). В Сколтехе нам читали более прикладные курсы, например, мне особенно понравились курсы Ивана Оселедеца Numerical Linear Algebra и Fast and Efficient Solvers. Часть моих однокурсников предпочла более практическую работу, часть, как и я, стали заниматься теоретической наукой. Кому-то был ближе Сколтех, кому-то – Вышка. Но все мы много узнали как про современную теорию, так и про приложения.

Что бы вы посоветовали абитуриентам программы?

Юрий: Подумать о том, чего они хотят добиться за 2 года магистратуры и нужно ли это им. Провести мысленный эксперимент: вот он, я, через неделю после выпускного. Что я умею и какие возможности у меня есть теперь? Действительно ли я хочу этого? Почему и зачем? Как я буду это достигать в течение этих двух лет? У меня не было четких ответов на все эти вопросы на тот момент, но общий вектор движения это помогает определить, а это, в свою очередь, позволяет расставлять приоритеты.

Максим: Абитуриентам я бы советовал проявлять большую активность, общаться с профессорами, ходить на научные семинары и искать конференции и школы по своей тематике. Обязательно нужно найти научный коллектив по своим интересам. Перебирая в памяти сейчас лаборатории, которые мне известны, я могу сказать, что можно заниматься, чем угодно: от распознавания объектов и change detection на картинках до стохастики и финансовой математики. Я бы сказал, основное преимущество этой программы – это наличие по-настоящему живых научных семинаров. Всё открыто, надо только понять, что вам интересно, и изучать. Всегда найдутся люди, которые будут рады с вами работать.

Можете немного рассказать про научные группы?

Юрий: Мне повезло состоять в группе Байесовских методов под руководством Дмитрия Ветрова. Там я познакомился с очень талантливыми и мотивированными ребятами и получил представление о том, как правильно организовывать процесс научных исследований. Пожалуй, работа в рамках группы была самой главной деятельностью за время магистратуры, и я считаю это правильным решением. Есть и другие очень сильные группы как со стороны Сколтеха, так и Вышки, о них лучше узнавать от их участников.

Максим: На этой программе учебные курсы не так важны, как семинары и научные группы. Я помню, что во втором семестре второго курса у меня был один предмет, а в первом семестре – два. При этом я полный рабочий день проводил в лаборатории и был занят решением задач, которые потом частично оформились в диплом. Это основная занятость, по сути выглядит как стажировка. Есть несколько сложившихся групп, часть их них оформлена в свои лаборатории, я перечислю несколько, которые я хорошо знаю. Например, есть HDI Lab, где люди занимаются статистикой, MCMC и методами Монте-Карло, оптимальным транспортом. Несколько моих однокурсников работали в центре Байесовских методов у Дмитрия Ветрова. В Сколтехе есть группа Ивана Оселедеца, занимающаяся многомерной вычислительной математикой (как теоретическими, так и практическими вопросами) и приложениями тензорных методов к разным инженерным задачам; у них много совместных проектов с индустрией. В Sk ещё есть ещё несколько групп по приложениям машинного обучения. В каждом таком коллективе проходят научные семинары, приглашаются гости читать лекции и мини-курсы. Думаю, каждый, кто себя хоть как-то связывает со статистикой или Data Science определенно найдет себе коллектив людей, разделяющих его интересы.

Ваши дальнейшие планы?

Юрий: С сентября я присоединяюсь к научной команде Google DeepMind в роли Research Engineer, где буду и далее работать над технологиями искусственного интеллекта.

Максим: Мы с моими двумя научными руководителями (Денис Беломестный и Эрик Мулине) планируем совместную аспирантуру ФКН и École Polytechnique, сейчас занимаемся оформлением. На практике это означает, что я в течение трех лет буду проводить полгода в Париже и полгода в Москве, работая над своей диссертацией и посещая аспирантские спецкурсы. Я буду заниматься теорией для Reinforcement Learning и статистикой на многообразиях – работы там хватит на много лет. Мы хотим понять, как можно оценивать надежность алгоритмов RL и как можно ускорять обучение (нынешние алгоритмы требуют очень много данных, терпения и трюков). В области многообразий нас интересует, как можно оценивать распределения и семплировать нетривиальные объекты, лежащие на многообразиях (например, ковариационные матрицы специальной структуры, их нужно оценивать для Frequency Division Duplex в базовых станциях). Оба моих научных руководителя и лаборатории (HDI Lab в ВШЭ и CMAP в Polytechnique) являются экспертами в области статистики и стохастики, я очень горжусь тем, что буду с ними работать. Сложно строить планы на время после аспирантуры, но надеюсь, что я и дальше буду заниматься наукой и сотрудничать со своими коллегами из HDI Lab.

О поступлении на программу "Статистическая теория обучения"

Чтобы являться студентами и Вышки, и Сколтеха, абитуриентам необходимо поступить в оба вуза. Также абитуриенты имеют возможность поступить только в ВШЭ и являться  вольнослушателями в Сколтехе, что дает право изучать все курсы трека SLT. Приемная кампания в ВШЭ заканчивается 31 июля.

Подробнее о поступлении