«Я точно знал, что хочу работать в университетской среде»
Максим Рахуба получил образование в МФТИ, работал постдоком в ETH Zurich, а теперь он - доцент департамента больших данных и информационного поиска. Максим рассказал о том, какой научной работой он занимается, о своем пути на ФКН и о работе за границей.
О предмете исследований
Я поступил на Физтех в 2008 году и в бакалавриате начал заниматься вычислительной геофизикой, а именно задачей восстановления источника цунами. В магистратуре, заинтересовавшись вычислительной линейной алгеброй, попал к своему будущему научному руководителю Ивану Валерьевичу Оселедцу. С этого момента я и стал заниматься тензорными разложениями и вычислениями.
Попытаюсь простым языком объяснить, что такое тензоры, с которыми я работаю. Можно представить себе двумерную таблицу из чисел – матрицу, а можно – трехмерную, четырехмерную и так далее. Вот такие таблицы мы и будем называть тензорами. Обычно под тензором понимают нечто более общее, но в некоторых разделах прикладной математики это общепринятая терминология, которая используется в научной литературе.
Тензоры возникают в самых разных приложениях. Например, они являются фундаментальной структурой данных для нейронных сетей, а также появляются в квантовой механике (например, при расчете энергетических уровней молекул) и других разделах физики. Но при работе с тензорами возникает серьезная проблема: когда вы увеличиваете размерность, число элементов тензора начинает быстро расти. Скажем, для хранения всех элементов матрицы 1000 x 1000 в памяти компьютера требуется всего около 8 мегабайт, а для хранения тензора 1000 x 1000 x 1000 – в 1000 раз больше, то есть 8 гигабайт. А если продолжить увеличивать размерность до, скажем, 30, то получим тензор с числом элементов больше, чем оценка числа атомов во Вселенной! Это проявление так называемого проклятия размерности. Если, например, при расчете уровней энергий молекул могут появляться тензоры и бóльших размеров, то в нейросетях таких экстремально больших чисел не возникает. Тем не менее в современных архитектурах нейросетей параметров все равно может быть много, и наиболее высокоточные нейросети (например, лингвистические модели, как GPT-3) проблематично запускать даже на достаточно мощных персональных компьютерах, не говоря уже про устройства с ограниченными ресурсами, такие как мобильные телефоны.
Все эти примеры мотивируют проводить исследования по поиску компактных представлений тензоров. Популярным подходом является использование тензорных разложений. Это достаточно хитрое нелинейное представление многомерных массивов: если вы смогли сжать массив с помощью тензорного разложения, то вы можете хранить его в этом виде, и даже напрямую проводить линейно-алгебраические операции. Для более сложных операций это может оказаться совсем не простой задачей, и, чтобы ее эффективно решить, необходимо пользоваться идеями из различных областей математики: алгебры, дифференциальной геометрии, матричного анализа, теории оптимизации и т.д. А в описании такого объекта как тензорные разложения остается еще много открытых интересных вопросов.
Оказывается, тензорные разложения можно использовать не только для многомерных массивов, но и для данных малой размерности – даже для одномерных массивов! Для этого сначала необходимо переупорядочить элементы в тензор – это так называемая операция тензоризации, а затем уже применять тензорные разложения. Этот подход открывает доступ к компактному представлению данных, не являющихся многомерными массивами, и он оказался полезен для приближения решений дифференциальных уравнений. Также он может быть использован для моделей машинного обучения и во многих других случаях. Для некоторых классов функций удается получить теоретические оценки сжатия, и работа в этом направлении до сих пор продолжается.
О карьерном пути
Получилось, что я работал в Сколтехе, учился в аспирантуре Физтеха, но при этом защищался в Институте вычислительной математики РАН — вот такая сложная структура из трёх аффилиаций.
Во время обучения в аспирантуре у нас завязалась коллаборация с профессором из Швейцарской высшей технической школы Цюриха (ETH Zurich), и меня пригласили туда в постдокторантуру. Помимо исследовательской работы, я также был активно вовлечен в преподавательскую деятельностью: вел занятия и составлял методические материалы для курсов.
Вообще, думаю, это достаточно полезно — получить международный опыт, посмотреть, как изнутри устроены разные университеты не только в академическом плане, но и по устройству административной системы и различных социальных активностей. Также за время работы в Цюрихе удалось установить контакты с несколькими научными коллективами, с которыми я и сейчас продолжаю сотрудничать, вести исследования.
Ближе к окончанию позиции постдока, которые обычно ограничиваются 3 годами, встал вопрос о дальнейших действиях. Я точно знал, что хочу работать в университетской среде. ФКН меня всегда привлекал своей прогрессивностью в плане образовательных программ, присутствием там активных ученых, со многими из которых у меня пересекаются научные интересы. Не раз слышал положительные отзывы от моих коллег. Кроме того, Вышка - это одно из немногих мест в России, способных привлекать специалистов по международным стандартам. Процесс отбора в Вышку выпал на самый разгар первой волны пандемии, поэтому из-за закрытых границ интервью проходили в онлайн-режиме. Возвращение в Москву казалось не такой простой задачей: до последнего момента я не был уверен, что успею к началу учебного года, но все сложилось благополучно, и авиасообщение открыли во второй половине августа.
С первых дней работы меня приятно удивил высокий уровень студентов. Понравилась вышкинская система оценивания, при которой студенты активно вовлекаются в учебный процесс в течение всего года, а не только в сессию. Сейчас много планов по развитию своей научной группы, идеи новых учебных курсов. Кстати, в этом году я прочитал курс по основам матричных вычислений, который удалось организовать на бакалаврской программе для студентов второго курса. Кажется, что этот курс сейчас особо актуален, так как эффективные вычисления с матрицами являются важной частью для многих современных приложений.
О коллоквиуме ФКН
У преподавателей обычно есть и некоторая административная нагрузка, они должны помогать факультету. Мне, например, выпала возможность заниматься коллоквиумом. Коллоквиум ФКН — это научно-просветительский проект, в котором ученые доступным для коллег языком рассказывают о последних достижениях в области своих исследований. Причем посещают коллоквиум не только преподаватели и научные сотрудники, но также студенты и аспиранты. Заниматься организацией такого мероприятия – это достаточно интересный опыт. Тут необходимо выполнять совсем разные роли: не только решать организационные вопросы и общаться с докладчиками, но и быть пиарщиком и даже немного заниматься графическим дизайном.