«Хочу, чтобы после моего курса у студентов было более полное понимание оптимизационных алгоритмов»
Дарина Двинских с сентября работает на ФКН в рамках программы tenure track. Она рассказала нам о том, как выбор темы в магистратуре определил ее путь в науке и где могут быть полезны барицентры Васерштейна.
Еще со школы мне нравились математика и физика. Я точно знала, что буду поступать на техническую специальность в Москву. Участвовала в школьных олимпиадах — сначала только по математике, а в старших классах еще и по физике. В итоге по обоим предметам у меня были дипломы, которые давали 100 баллов по ЕГЭ.
Из университетов я рассматривала Вышку, МГУ и МФТИ, в итоге выбрала МФТИ. Там я закончила бакалавриат по прикладной математике и физике, а в магистратуре училась на программе совместных дипломов МФТИ и Сколтеха. Об аспирантуре изначально я не думала, так как планировала после магистратуры пойти в индустрию.
Барицентры Васерштейна
В магистратуре я занималась разработкой численных методов оптимизации для вычисления барицентров Васерштейна. Понятие барицентра Васерштейна связано с понятием среднего объекта, который определяется через метрику оптимального транспорта. Чтобы найти барицентр, нужно решить оптимизационную задачу минимизации суммы расстояний от каждого объекта до искомого барицентра. В евклидовом пространстве барицентр точек есть не что иное, как среднее этих точек. Для «сложных» объектов, таких как вероятностные меры или объекты, задаваемые вероятностными мерами (например картинки), обычное понятие евклидового среднего не подходит, поскольку геометрия таких объектов далека от евклидовой.
В качестве таких «сложных» объектов могут выступать, например, снимки МРТ человеческого мозга. Мы хотим определить, есть ли на конкретном снимке мозга признаки какого-то заболевания. Конечно, это может сделать врач, но хотелось бы, чтобы это научился делать и компьютер. Между собой снимки пациентов могут сильно отличаться, поэтому целесообразнее сначала посчитать «средний» снимок и уже с ним сравнивать. Точнее, лучше посчитать «средние» снимки для каждой группы здоровых людей, например, объединенных по полу и возрасту. Затем можно с помощью транспортной метрики сравнивать, насколько МРТ снимок нового пациента отличается от «среднего» снимка здоровых людей той же группы, и делать предположения о наличии какого-либо заболевания.
Задача вычисления барицентров — это оптимизационная задача, и в общем случае она не имеет аналитического решения, поэтому требуется разрабатывать численные методы. Барицентры используются в обучении без учителя (unsupervised learning) для оценки среднего объекта и являются состоятельной оценкой в задаче о восстановлении шаблона (pattern recognition) при некоторых дополнительных условиях на трансформации этого шаблона. Например, в качестве шаблона можно взять какое-то каноническое написание цифры 1, а датасет MNIST можно рассматривать как реализации этого шаблона под действием неких трансформаций, связанных с почерком конкретного человека. Тогда «среднее» всех единиц из MNIST будет выступать некой оценкой исходной канонической единицы.
Мне понравилось в этой задаче то, что она объединяет сразу несколько разделов оптимизации. Иногда изучаешь какую-то теорию в оптимизации, например двойственность, и думаешь, где это может применяться. А задача поиска барицентра Васерштейна как раз это поясняет.
На последнем курсе совместно с научным руководителем и научным консультантом мы написали статью, в которой предложили распределенный алгоритм вычисления барицентров и подали ее на международную конференцию по машинному обучению NeurIPS. Ее приняли в категорию Spotlight, в которой авторы могут не только презентовать свой постер, но и выступить с пятиминутным докладом. После этого опыта я задумалась о PhD. Решающую роль также сыграли отзывы некоторых знакомых из индустрии, которые жаловались на скучные и однообразные задачи. Мне же моя научная работа нравилась.
PhD
В конце магистратуры я подала документы в Университет имени Гумбольдта в Берлине. Университет выбрала неслучайно, хотела работать с профессором Владимиром Спокойным. Именно ему принадлежала постановка задачи о барицентрах, которой я занималась в магистратуре. С Владимиром Григорьевичем мы познакомились на одной из конференций в Москве. Заявки в другие места я не подавала, думала, что если не поступлю, то пойду в индустрию. Но все сложилось удачно, и меня взяли.
Во время PhD я работала в группе Спокойного в Институте Вейерштрасса. Там же работает Павел Двуреченский, который еще в магистратуре курировал мою научную работу. Я занималась численными методами оптимизации, распределенными вычислениями, а также продолжила заниматься задачей вычисления барицентров Васерштейна.
Жить и работать в Германии мне в целом понравилось. Особенно нравилось ездить на учебу на велосипеде — в Берлине это достаточно удобно, так как почти везде есть велодорожки. Но после получения степени я все-таки решила вернуться в Россию.
Высшая школа экономики
В Вышке есть специальная программа для тех, кто получил степень PhD не в России, она называется tenure track. Вернувшись в Россию, я подала документы на участие в этой программе. Меня взяли, так я стала доцентом в Вышке.
Сейчас я занимаюсь безградиентными методами, но также ищу новое интересное для себя направление. Еще я читаю курс по современной численной оптимизации. Оптимизация составляет теоретическую основу для машинного обучения, которое сейчас пользуется большой популярностью. Хочу, чтобы после моего курса у студентов было более полное понимание оптимизационных алгоритмов, которые они используют в задачах машинного обучения.
Свободное время
Отдых — это смена деятельности, на работе много времени приходится сидеть за столом, поэтому свое свободное время люблю проводить активно. Люблю кататься на коньках, беговых и горных лыжах, играть в волейбол и плавать.