• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

«Я точно знал, что хочу работать в университетской среде»

«Я точно знал, что хочу работать в университетской среде»

Максим Рахуба

Максим Рахуба получил образование в МФТИ, работал постдоком в ETH Zurich, а теперь он - доцент департамента больших данных и информационного поиска. Максим рассказал о том, какой научной работой он занимается, о своем пути на ФКН и о работе за границей. 

О предмете исследований 

Я поступил на Физтех в 2008 году и в бакалавриате начал заниматься вычислительной геофизикой, а именно задачей восстановления источника цунами. В магистратуре,  заинтересовавшись  вычислительной линейной алгеброй,  попал к своему будущему научному руководителю Ивану Валерьевичу Оселедцу. С этого момента я и стал заниматься тензорными разложениями и вычислениями. 

Попытаюсь простым языком объяснить, что такое тензоры, с которыми я работаю. Можно представить себе двумерную таблицу из чисел – матрицу, а можно – трехмерную, четырехмерную и так далее. Вот такие таблицы мы и будем называть тензорами. Обычно под тензором понимают нечто более общее, но в некоторых разделах прикладной математики это общепринятая терминология, которая используется в научной литературе. 

Тензоры возникают в самых разных приложениях. Например, они являются фундаментальной структурой данных для нейронных сетей, а также появляются в квантовой механике (например, при расчете энергетических уровней молекул) и других разделах физики. Но при работе с тензорами возникает серьезная проблема: когда вы увеличиваете размерность, число элементов тензора начинает быстро расти. Скажем, для хранения всех элементов матрицы 1000 x 1000 в памяти компьютера требуется всего около 8 мегабайт, а для хранения тензора 1000 x 1000 x 1000 – в 1000 раз больше, то есть 8 гигабайт. А если продолжить увеличивать размерность до, скажем, 30, то получим тензор с числом элементов больше, чем оценка числа атомов во Вселенной! Это проявление так называемого проклятия размерности. Если, например, при расчете уровней энергий молекул могут появляться тензоры и бóльших размеров, то в нейросетях таких экстремально больших чисел не возникает. Тем не менее в современных архитектурах нейросетей параметров все равно может быть много, и наиболее высокоточные нейросети (например, лингвистические модели, как GPT-3) проблематично запускать даже на достаточно мощных персональных компьютерах, не говоря уже про устройства с ограниченными ресурсами, такие как мобильные телефоны. 

Все эти примеры мотивируют проводить исследования по поиску компактных представлений тензоров. Популярным подходом является использование тензорных разложений. Это достаточно хитрое нелинейное представление многомерных массивов: если вы смогли сжать массив с помощью тензорного разложения, то вы можете хранить его в этом виде, и даже напрямую проводить линейно-алгебраические операции. Для более сложных операций это может оказаться совсем не простой задачей, и, чтобы ее эффективно решить, необходимо пользоваться идеями из различных областей математики: алгебры, дифференциальной геометрии, матричного анализа, теории оптимизации и т.д. А в описании такого объекта как тензорные разложения остается еще много открытых интересных вопросов.

Оказывается, тензорные разложения можно использовать не только для многомерных массивов, но и для данных малой размерности – даже для одномерных массивов! Для этого сначала необходимо переупорядочить элементы в тензор – это так называемая операция тензоризации, а затем уже применять тензорные разложения. Этот подход открывает доступ к компактному представлению данных, не являющихся многомерными массивами, и он оказался полезен для приближения решений дифференциальных уравнений. Также он может быть использован для моделей машинного обучения и во многих других случаях. Для некоторых классов функций удается получить теоретические оценки сжатия, и работа в этом направлении до сих пор продолжается.

О карьерном пути

Получилось, что я работал в Сколтехе, учился в аспирантуре Физтеха, но при этом  защищался в Институте вычислительной математики РАН — вот такая сложная структура из трёх аффилиаций. 

Во время обучения в аспирантуре у нас завязалась коллаборация с профессором из Швейцарской высшей технической школы Цюриха (ETH Zurich), и меня пригласили туда в постдокторантуру. Помимо исследовательской работы, я также был активно вовлечен в преподавательскую деятельностью: вел занятия и составлял методические материалы для курсов. 

Максим Рахуба

Вообще, думаю, это достаточно полезно — получить международный опыт, посмотреть, как изнутри устроены разные университеты не только в академическом плане, но и по устройству административной системы и различных социальных активностей. Также за время работы в Цюрихе удалось установить контакты с несколькими научными коллективами, с которыми я и сейчас продолжаю сотрудничать, вести исследования. 

Ближе к окончанию позиции постдока, которые обычно ограничиваются 3 годами, встал вопрос о дальнейших действиях. Я точно знал, что хочу работать в университетской среде. ФКН меня всегда привлекал своей прогрессивностью в плане образовательных программ, присутствием там активных ученых, со многими из которых у меня пересекаются научные интересы. Не раз слышал положительные отзывы от моих коллег. Кроме того, Вышка - это одно из немногих мест в России, способных привлекать специалистов по международным стандартам. Процесс отбора в Вышку выпал на самый разгар первой волны пандемии, поэтому  из-за закрытых границ интервью проходили в онлайн-режиме. Возвращение в Москву казалось не такой простой задачей: до последнего момента я не был уверен, что успею к началу учебного года, но все сложилось благополучно, и авиасообщение открыли во второй половине августа.  

С первых дней работы меня приятно удивил высокий уровень студентов. Понравилась вышкинская система оценивания, при которой студенты активно вовлекаются в учебный процесс в течение всего года, а не только в сессию. Сейчас много планов по развитию своей научной группы, идеи новых учебных курсов. Кстати, в этом году я прочитал курс по основам матричных вычислений, который удалось организовать на бакалаврской программе для студентов второго курса. Кажется, что этот курс сейчас особо актуален, так как эффективные вычисления с матрицами являются важной частью для многих современных приложений. 

О коллоквиуме ФКН

У преподавателей обычно есть и некоторая административная нагрузка, они должны помогать факультету. Мне, например, выпала возможность заниматься коллоквиумом. Коллоквиум ФКН — это научно-просветительский проект, в котором ученые доступным для коллег языком рассказывают о последних достижениях в области своих исследований. Причем посещают коллоквиум не только преподаватели и научные сотрудники, но также студенты и аспиранты. Заниматься организацией такого мероприятия – это достаточно интересный опыт. Тут необходимо выполнять совсем разные роли: не только решать организационные вопросы и общаться с докладчиками, но и быть пиарщиком и даже немного заниматься графическим дизайном.