Выпускники рассказывают: Полина Кириченко

В 2018 году Полина окончила бакалаврскую программу факультета компьютерных наук “Прикладная математика и информатика” с красным дипломом. Во время учебы она три года работала в научной группе Байесовских методов ФКН. Полина начала учебу в аспирантуре год назад на факультете Operations Research and Information Engineering в Корнелльском университете (США), который входит в Лигу плюща. Сейчас работает в исследовательской группе профессора Andrew Gordon Wilson. Летом 2019 года лаборатория перевелась в New York University, и теперь Полина продолжает учиться в аспирантуре Center for Data Science NYU. В интервью Полина рассказывает о своей исследовательской работе, об особенностях учебы на PhD и о том, почему стоит идти в науку. 

 

Что тебе запомнилось во время учебы?

В отличие от большинства других российских университетов, в Вышке и на ФКН большой упор идет на промежуточную активность во время семестра: домашки, контрольные, коллоквиумы. Больше всего мне запомнилась атмосфера того, как мы с одногруппниками вместе решали задачи и готовились к экзаменам. У нас была группа ребят, которым было все это очень интересно, и кто хотел сделать проекты и домашки как можно лучше. Мы помогали друг другу больше узнать и понимать материал. Было очень здорово. 

Первое время, когда я стала учиться на PhD, я почувствовала, что мне этого не хватает. Здесь немного другая атмосфера и менталитет. Не принято, чтобы ты обсуждал задания с кем-то другим. Эта академическая ответственность у нас, мне кажется, соблюдалась при том, что мы оперативно вместе учились, вместе подавались на стажировки, друг друга подталкивали и вдохновляли. 

 

Чем ты сейчас занимаешься?

Сразу после окончания бакалавриата я поступила на PhD в Корнелльский университет, где закончила первый курс аспирантуры. Потом наш профессор, глава лаборатории, перешел в Нью-Йоркский университет, а с ним и сама лаборатория. Аспирантские программы в Корнелле и NYU немного отличаются. В Корнелле был большой фокус на учебе, я брала много курсов по прикладной математике. Мне было довольно тяжело, потому что на ФКН на третьем-четвертом курсе у нас скорее был упор на практику, на программирование и на более прикладные задачи, а там я снова вернулась к математике. Сейчас в NYU у меня курсов почти нет, и я в основном занимаюсь исследованиями и нашими research проектами.

Когда я училась на ФКН, я работала с профессором Дмитрием Ветровым. Дмитрий Петрович был моим научным руководителем со второго курса. Сначала я занималась deep learning проектами, а потом с большим упором на байесовские и нейро-байесовские методы – то есть подходом к обучению нейронных сетей, когда мы не просто находим параметры, которые хорошо работают для нашей задачи, а находим приближенное распределение на параметры. Это позволяет нам учитывать неопределенность в условиях ограниченного числа данных. Эту неопределенность в параметрах нашей нейросети мы можем транслировать в неопределенность предсказаний этой нейросети. В приложениях, где нам очень важно понимать, насколько модель уверена в своих предсказаниях, например, self-driving cars или медицине, нам важно калибровать эту неуверенность, когда у нас было ограниченное число данных во время обучения. На PhD я продолжаю работать над байесовскими и вероятностными методами в глубинном обучении.

Сейчас мы занимаемся применением вероятностных нейронных сетей для задачи распознавания аномалий или out-of-distribution detection. Например, пусть мы хотим обучить нейросеть классифицировать кошек и собак, соответственно обучаем сеть на базе их изображений. Если вдруг потом во время тестирования этой модели нам подают на вход утку, модель должна просигнализировать, что это не кошка и не собака. Так как модель не знает, что это такое, она должна выдать максимальную неуверенность в своем предсказании. То есть распознать этот вход как аномальный для того набора данных, на которых она обучалась. 

 

Как происходит учеба на PhD?  

Учеба на PhD немного отличается в зависимости от того, проходит ли она в Европе или в Америке. В Европе учеба больше похожа на аспирантуру в России, в том смысле, что скорее предполагается, что человек окончил и бакалавриат, и магистратуру, и он идет в аспирантуру именно для того, чтобы заниматься научным проектом, который длится примерно три-четыре года. 

В Америке PhD дольше, и чаще всего люди идут туда после бакалавриата. То есть оно совмещает в себе магистратуру и в европейском смысле аспирантуру. Первые два года есть довольно много требований по курсам: чаще всего, если ты учишься в сфере Computer Science или Machine Learning, то нужно будет сдать курсы по статистике, машинному обучению, алгоритмам, базам данных, и другим смежным курсам, чтобы подтвердить, что у тебя достаточно экспертизы, чтобы являться PhD (российский эквивалент – кандидатом наук) в этой области, это обязательное требование. Часто требуют один или несколько раз преподавать, вести семинары на курсах, которые релевантны для тебя. И параллельно со всем этим заниматься исследованиями. Понятно, что из-за того, что ты занимаешься ресерчем на фул-тайм, прогресс будет не таким быстрым. А вот после первых двух лет, когда ты уже закрыл все требования по курсам и преподаванию, начинается настоящая полностью научная аспирантура, где ты занимаешься проектами, пишешь статьи, ездишь на конференции, выступаешь, ездишь на научные стажировки.

Потом в американском PhD в среднем чуть-чуть больше гибкости: ты приходишь учиться в аспирантуру, именно поступая на факультет, а не привязываясь к конкретной лаборатории. Иными словами, если ты пришел в университет и за первые полгода или год понял, что ты хочешь заниматься чем-то другим, то можно без больших потерь поменять научного руководителя, поменять лабораторию внутри своего факультета. В Европе по-другому. Ты приходишь как будто на работу. Ты устраиваешься в конкретную лабораторию – финансирование у тебя идет от гранта этой лаборатории, поэтому не так просто может быть поменять проект и тем более научника. 

 

Ты могла пойти работать в индустрию. Чем тебя привлекла научная деятельность?

Во время учебы в бакалавриате я съездила на две стажировки в Google. Это были software engineering стажировки, и по итогу я примерно понимала, как устроена такая деятельность в компаниях. В то же время у меня во время учебы на ФКН был опыт работы над исследовательскими проектами с Дмитрием Петровичем Ветровым. И в какой-то момент я поняла, что исследовательская деятельность меня привлекает больше.

Понятное дело, что в обоих направлениях – индустрии и научной есть плюсы и минусы. В research направлении меня привлекало то, что ты заранее не знаешь ответа на вопрос. Чаще всего во время инженерных проектов ты ставишь перед собой какую-то задачу, и примерно понимаешь, какие шаги ты должен сделать, чтобы ее достигнуть, и заранее понимаешь возможно это реализовать или нет. В исследовательской деятельности, когда ты ставишь перед собой вопрос, может быть непонятно ничего до такой степени, что непонятно правилен ли даже вопрос, который ты перед собой поставил, или может через несколько месяцев ты поймешь, что это бессмысленно и надо решать другую задачу. Такая неопределенность может немного пугать, но на самом деле это очень интересно. В процессе того, как ты разбираешься в каком-то вопросе, ты изучаешь очень много всего нового: и программируешь, и читаешь статьи, и пытаешься с точки зрения теории понять, как подходить к этой задаче, обсуждаешь свой проект с другими людьми. То есть эта деятельность очень-очень разнообразная.

 

С какими сложностями ты сталкиваешься сейчас на PhD?

Их немало. Наверно, что особенно релевантно для области машинного обучения – это какая-то просто сумасшедшая скорость развития области. В других направлениях computer science и математики немного другой стиль работы. Люди чаще публикуются в журналах, и один проект длится несколько лет, в то время как в машинном обучении каждую неделю по твоей теме выходит, может быть, несколько статей. И может быть кто-то уже реализовал ту идею, над которой ты работал последние пару месяцев. 

Этот безумный темп немного давит в том смысле, что нужно все время очень много работать и быть в курсе новых статей. Причем все нужно делать качественно, и, конечно, это непросто. Чтобы защитить PhD, есть некое негласное требование, что у тебя за все время обучения должно быть как минимум три статьи с первым авторством. На самом деле это не так просто сделать.

У нас в лаборатории часто есть командные проекты, где над одной статьей работают несколько студентов. В таком случае проще распределять эту нагрузку: кто-то делает одни эксперименты, кто-то думает над новым направлением и как улучшить модель. Так легче двигать проекты вперед. Если ты работаешь сам, то довольно тяжело с такой скоростью развития области успевать из-за этого давления. 

 

Ты часто выступаешь на конференциях. Расскажи чем полезен такой опыт?

Один из важных моментов – познакомиться с людьми, которые работают над похожими задачами. Поговорить с ними иногда бывает в десятки раз полезнее, чем сидеть самой неделями, пытаясь решить какую-то проблему и не находя решения. В мире много людей, которые занимаются машинным обучением, и есть, наверное, еще несколько групп, которые занимаются очень похожими задачами. Очень полезно лично познакомиться с ними, пообщаться и узнать что-то полезное и новое, поделиться своим опытом. Во-вторых, мне кажется, студенты-магистры могут на конференциях познакомиться с людьми, с которыми они возможно будут работать в аспирантуре в будущем. Или же это может быть полезно, для того, чтобы найти себе научную стажировку. На последней конференции я очень активно знакомилась с людьми, собеседовалась в компании, потому что я искала себе стажировку на лето. Кажется, за пять дней конференции у меня было около пяти собеседований.

В плане опыта выступления на конференции – это тоже очень здорово. Одно дело когда ты сидишь в офисе, работаешь над задачей, пишешь статью, и ее, может, принимают на конференцию. Другое дело, когда тебе нужно донести идею до научного сообщества и показать, что эта задача и этот метод, который ты предлагаешь, действительно важный, интересный, и стоит в этом направлении дальше развиваться. 

 

Какие навыки и знания, полученные на ФКН, тебе пригодились сейчас?

Я все больше и больше понимаю, что бакалаврское образование – это про выстроенный фундамент. Безусловно, на ФКН курсы и преподаватели во многом заложили именно математические и программистские знания, на которых дальше строится все остальное.

Но очень важный аспект бакалаврского образования для меня – это научиться учиться. Научиться структурировать для себя новую информацию и открывать новые области. Именно навык обучения себя чему-то новому оказался не таким простым в освоении. Когда студенты приходят на ФКН, для них уже, грубо говоря, все готово: есть преподаватель, эксперт в этой области, у него есть подготовленный курс, и он нам все на блюдечке подает. Студентам нужно это только брать и усваивать для себя уже структурированные знания. В Вышке есть очень четкая и понятная структура с дедлайнами, которая помогает легко понять, как получать знания. А когда ты дальше идешь на работу или заниматься наукой, то нужно этот подход устраивать себе самостоятельно. Я сама для себя должна создавать эту структуру, эти внутренние дедлайны, чтобы дальше развиваться, продвигаться и учить что-то новое. Мне кажется, что ФКН во многом тоже в этом помог, то есть это что-то более глубокое и философское, чем просто заложить математическую базу.

 

Если студент 1-2 курса хочет поехать учиться так же, как ты, на PhD, что ему можно сделать уже сейчас?

Все зависит от конкретной области и подобласти computer science, которой студент захочет заниматься. Если говорить про мою область, нужно понимать, что Machine Learning сейчас становится очень популярным направлением. На момент поступления на PhD, у меня еще не было статей, только опыт исследований в группе Дмитрия Петровича и инженерные стажировки в Google. Мне кажется, что сейчас, чтобы поступить на топовые аспирантские программы, все чаще нужно иметь одну или две публикации. 

Есть альтернативный путь. Во время обучения в бакалавриате может быть еще сложно написать статью. Что мне кажется более доступной опцией – это стажировки, причем именно исследовательские стажировки. В какой-то момент у нас на ФКН стало очень популярно подаваться на индустриальные стажировки и все подряд подавали в Google и Facebook. Но я только на четвертом курсе узнала, что есть еще и научные стажировки. Если студент хочет после окончания бакалавриата пойти работать в какую-то крутую компанию типа Google, то имеет смысл пойти именно на стажировку в Google. У них есть внутреннее интервью для бывших стажеров, где шансы попасть на фул-тайм и получить работу гораздо выше. Точно так же, если студент хочет заниматься научной деятельностью и поступать на PhD, есть очень хорошая возможность пойти на research стажировки. Есть очень много таких программ в Европе: в швейцарских университетах EPFL, ETH Zurich, в австрийском IST. На 4 курсе бакалавриата параллельно с поступлением на PhD я активно искала такую стажировку, чтобы повысить свои шансы в будущем, если бы не получилось поступить с первого раза. И, в целом, это очень интересный опыт и дает возможность понять, хочешь ли ты этим заниматься следующие 4-5 лет.