Коллоквиум
Для исследователя в такой разнообразной и быстро развивающейся области знаний, как компьютерные науки, важно сохранять широту кругозора и стремиться понимать, чем занимаются коллеги в смежных областях. Для этого нужна площадка, на которой специалисты встречаются и рассказывают друг другу о последних результатах понятным языком. Такой площадкой и является Коллоквиум факультета компьютерных наук ВШЭ — общефакультетский научный семинар, предназначенный для преподавателей и научных сотрудников факультета, аспирантов, магистрантов и студентов бакалавриата, а также для всех интересующихся компьютерными науками.
Заседания коллоквиума проходят, как правило, раз в две недели по вторникам онлайн.
Записи мероприятий собраны в плейлисте коллоквиума на YouTube.
2023–2024
10 Декабря, 16:20-17:40
Докладчик: Пучкин Никита, Лаборатория теоретических основ моделей искусственного интеллекта: Заведующий лабораторией
Тема: О точности оценивания ковариационной матрицы многомерного случайного вектора
Аннотация: Пусть заданы независимые одинаково распределенные случайные d-мерные векторы с конечным вторым моментом. Одной из классических задач математической статистики является оценивание ковариационной матрицы по конечной выборке. Основной интерес представляет случай, когда размерность d велика. Чтобы избежать проклятия размерности, обычно на распределение случайного вектора и, в частности, на вид его ковариационной матрицы накладываются дополнительные ограничения. В рамках доклада будет показано, что при достаточно мягких условиях возможно оценить ковариационную матрицу с точностью, определяемой лишь ее следом и объемом выборки, а не размерностью пространства d. Более того, результат может быть улучшен, если предположить, что матрица представима в виде суммы нескольких произведений Кронекера матриц меньшего размера.
Доклад основан на следующих работах:
[1] N. Puchkin, F. Noskov, V. Spokoiny, Sharper dimension-free bounds on the Frobenius distance between sample covariance and its expectation, Bernoulli (to appear), arXiv:2308.14739.
[2] N. Puchkin, M. Rakhuba, Dimension-free Structured Covariance Estimation, Proceedings of Thirty Seventh Conference on Learning Theory, PMLR 247:4276-4306
Ссылка для подключения: Zoom
24 Сентября, 16:20-17:40
Докладчик: Иван Новиков, Старший научный сотрудник Сколковского института науки и технологий
Тема: Машинное обучение в атомистическом моделировании
Аннотация: За последние 15 лет машинное обучение стало широко применяться в атомистическом моделировании. В частности, были разработаны так называемые машинно-обучаемые потенциалы (МОПы) межатомного взаимодействия – модели, описывающие взаимодействие атомов (предсказывающие энергии и силы взаимодействия) в различных атомистических системах. МОПы, обученные на данных достаточно точных квантово-механических вычислений, позволяют эффективно предсказывать свойства материалов и проводить атомистическое моделирование при различных условиях.
В докладе будет обсуждаться один из разработанных машинно-обучаемых потенциалов межатомного взаимодействия, а именно, Moment Tensor Potential (MTP) и алгоритмы его обучения. Кроме того, будет обсуждаться обобщение MTP на случай его применения к магнитным материалам. Также будут продемонстрированы результаты решения нескольких задач атомистического моделирования.
Ссылка для подключения: Zoom
11 Июня, 18:10-19:30
Speaker: Alain Durmus, Ecole Polytechnique, CMAP
Title: Stochastic Localization via Iterative Posterior Sampling
Abstract: Building upon score-based learning, new interest in stochastic localization techniques has recently emerged. In these models, one seeks to noise a sample from the data distribution through a stochastic process, called observation process, and progressively learns a denoiser associated to this dynamics. Apart from specific applications, the use of stochastic localization for the problem of sampling from an unnormalized target density has not been explored extensively. This work contributes to fill this gap. We consider a general stochastic localization framework and introduce an explicit class of observation processes, associated with flexible denoising schedules. We provide a complete methodology, Stochastic Localization via Iterative Posterior Sampling (SLIPS), to obtain approximate samples of these dynamics, and as a by-product, samples from the target distribution. Our scheme is based on a Markov chain Monte Carlo estimation of the denoiser and comes with detailed practical guidelines. We illustrate the benefits and applicability of SLIPS on the challenging setting of sampling from multimodal distributions.
Joint work with Louis Grenioux, Maxence Noble et Marylou Gabrié
Ссылка для подключения: Zoom
Afisha
14 Мая, 18:10-19:30
Докладчик: Терлыч Никита, преподаватель, аспирант ФКН
Тема: Эволюция геоинформационных систем и переход от GIS к WebGIS
Аннотация: Благодаря прогрессу в системах управления базами данных (СУБД) и веб-технологиях открылась возможность выполнять сложные операции над геоданными непосредственно в веб-клиенте. Доклад расскажет, как десктопные геопространственные информационные системы (ГИС) трансформировались в веб-ГИС, обходя ограничения браузерной среды. Доклад включает в себя обзор архитектуры современных веб-ГИС решений и проблемы, которые долгое время препятствовали переносу функциональности сервера в браузер. Мы рассмотрим, как, используя только браузер, одновременно добиться повышения производительности и уменьшить нагрузку на сервер, сделать возможной оффлайн работу с веб-ГИС и при этом минимизировать объём загружаемых данных, а также как применить параллельные вычисления в однопоточном языке и справиться с самыми ресурсоемкими задачами.
Ссылка для подключения: Zoom
Afisha
9 Апреля, 18:10-19:30
Докладчик: Тыртышников Евгений Евгеньевич - Директор Института вычислительной математики им. Г.И. Марчука РАН, д.ф.-м.н, академик
Тема: Известные и неизвестные свойства тензорных разложений
Аннотация: Мы обсудим некоторые удивительные свойства классических тензорных разложений, прежде всего единственность разложений и незамкнутость ранговых множеств, и рассмотрим некоторые открытые вопросы, связанные с этим разложениями.
Место проведения: Покровский бул., 11, аудитория R205
Afisha
26 Марта, 16:20
Докладчик: Айбек Аланов, ФКН ВШЭ, AIRI
Тема: Редактирование изображений с помощью диффузионных моделей
Аннотация: Редактирование изображений представляет собой сложную и важную проблему в компьютерном зрении, часто требующую много качественно размеченных данных для достижения желаемого редактирования или стилизации. Недавние значительные достижения в генеративном моделировании изображений открыли двери для новых, более эффективных методов, которые решают эти проблемы с минимальным контролем человека или даже полностью без него.
Наиболее многообещающим направлением исследований в этом отношении являются диффузионные модели, которые предлагают потенциально новые механизмы манипулирования изображениями на основе текста или другого изображения.
Докладчик расскажет о современных методах манипуляции изображениями методами диффузии. Ссылки на статьи: https://arxiv.org/abs/2208.01626, https://arxiv.org/abs/2210.09276, https://arxiv.org/abs/2211.09794, https://arxiv.org/abs/2309.04907. Также о том, как они устроены и об их текущих недостатках, которые пока не позволяют их использовать на практике.
Далее автор расскажет об исследованиях научной команды и о результатах, которых удалось достичь. А именно, о том, как удалось ускорить текущие методы и существенно повысить визуальное качество редактирований.
Ссылка для подключения: Zoom
Afisha
13 Февраля, 16:20
Докладчик: Владимир Щур, заведующий лабораторией, Международная лаборатория статистической и вычислительной геномики
Тема: Популяционная генетика: от современных людей к неандертальцам
Аннотация: Наши геномы хранят в себе историю десятков тысяч поколений от близких родственных связей до дальних общих предков, живших миллионы лет назад. В докладе я расскажу о двух задачах популяционной генетики, оперирующих разным масштабом времени. Первая задача – оценка числа близких родственников в большой выборке из популяции и её связь с задержанием серийного маньяка из Калифорнии. Вторая задача – поиск участков генома, унаследованных современной человеческой популяцией от древних людей (неандертальцев и денисовцев), при помощи скрытой марковской модели с двумя источниками информации – известными геномами неандертальцев и современной неперемешанной внешней популяции (африканцев).
Ссылка для подключения: Zoom
Afisha (PDF, 4,45 Мб)
12 Декабря, 16:20
Докладчик: Илья Семериков, ФИАН, РКЦ
Тема: Квантовые компьютеры: физические реализации
Аннотация: В докладе будет рассказано о базовых идеях лежащих в основе квантовых вычислений и о некоторых семействах квантовых алгоритмов. Однако основной акцент будет сделан на физических реализациях квантовых вычислений: сверхпроводящей, атомной и ионной платформах. Будут представлены последние результаты полученые на ионном квантовом компьютере построенном в совместной лаборатории ФИАН и РКЦ в рамках дорожной карты по квантовым вычислениям.
Ссылка для подключения: Zoom
Afisha
14 Ноября, 16:20
Докладчик: Шайтан Алексей, Международная лаборатория биоинформатики ВШЭ, кафедра биоинженерии биологического факультета МГУ
Тема: От программирования компьютеров к пониманию и программированию живых систем
Аннотация: Взаимное проникновение и влияние компьютерных/инженерных и биологических наук будет доминантой развития технологий и экономики в 21 веке, ключом к решению ряда больших вызовов в области медицины, экологии, энергетики, продовольствия. Биологические системы являются по сути информационными системами, в основе функционирования которых лежит генетическая информация, закодированная «цифровым» образом в молекулах геномной ДНК. Мы качественным образом понимаем ряд основополагающих механизмов, с помощью которых генетические программы интерпретируются живыми системами, однако, испытываем трудности в предсказании функционирования даже небольших генетических программ на количественном уровне. Последнее особенно важно для дизайна живых систем с полезными функциями.
В докладе мы обсудим ряд вопросов, в частности: 1) Что мы знаем о геномах живых систем и в чем основные проблемы в понимании их функционирования?, 2) Что такое современная инженерная биология и какие возможности открываются на стыке компьютерных и биологических наук?, 3) Что такое синтетические генетические схемы и какие существуют возможности по «программированию» живых систем?, 4) Каким образом методы моделирования и машинного обучения помогают проводить дизайн живых систем и их компонент?, 5) Какие важные задачи в области дизайна биосистем на стыке биологии и компьютерных наук предстоит решить?
Ссылка для подключения: Zoom
Afisha
24 Октября, 16:20
Докладчик: Евгений Фролов, AIRI, ФКН ВШЭ
Тема: Некоторые геометрические и алгебраические подходы для обучения на последовательностях в рекомендательных системах
Аннотация: Доклад будет состоять из двух частей, посвященных решению задачи предсказания следующего товара в рекомендательных системах. В первой части речь пойдет о применении подхода тензорных разложений и эффективных вычислительных методов линейной алгебры для создания аналога модели внимания (self-attention) на последовательностях пользовательских действий. Вторая часть будет посвящена разбору особенностей и практичности применения геометрических методов в рекомендательных моделях на основе нейросетевого механизма внимания.
Ссылка для подключения: Zoom
Afisha
26 сентября, 16:20 – 17:40
Speaker: Sergey Samsonov, HSE University
Title: Linear Stochastic Approximation Error Bounds with Applications to Reinforcement Learning
Abstract: In this talk, we discuss a finite-time analysis of linear stochastic approximation (LSA) algorithms with a fixed step size, a core method in statistics and machine learning. We cover the setting of both independent and identically distributed noise variables and a uniformly geometrically ergodic Markov chain. We derive p-th moment and high-probability deviation bounds for the iterates defined by LSA and its Polyak-Ruppert averaged version. Our finite-time instance-dependent bounds for the averaged LSA iterates are sharp in the sense that the leading term we obtain coincides with the local asymptotic minimax limit. Moreover, the remainder terms of our bounds have a tight dependence on the mixing time of the underlying noise sequence. Our results yield new finite-time error bounds for temporal difference learning with linear functional approximation and instance-independent step size. The talk is based on the recent paper.
Ссылка для подключения: Zoom
2022–2023
23 мая, 16:20 – 17:40
Докладчик: Назар Бекназаров, ФКН ВШЭ
Тема: Современные методы машинного обучения в прикладных задачах биоинформатики
Аннотация: Революции в биоинформатике, позволившие секвенировать геномы разных организмов с ранее невиданной скоростью, открыли человеку возможность собирать самую разную генетическую информацию, но некоторое время все методы позволявшие использовать и изучать эти данные оставались достаточно примитивными. Прорывы же в машинном обучение со своей стороны разработали методы и модели, которые могли бы обработать и обобщить все эти данные. На лекции я расскажу о нескольких таких прорывах и о том как они смогут изменить окружающий нас мир.
Ссылка для подключения: Zoom
Afisha
25 апреля, 16:20 – 17:40
Докладчик: Кирилл Струминский, ФКН ВШЭ
Тема: Нейросетевые поля для реконструкции сцен и не только
Аннотация: Восстановление трёхмерной сцены по набору снимков является одной из классических задач компьютерного зрения. Предложенная несколько лет назад модель Neural Radiance Field позволила по-новому взглянуть на эту задачу, выйдя на качественно новый уровень реконструкции. Сегодня ключевые идеи модели нашли применения и далеко за пределами задачи многовидовой реконстуркции. В докладе мы обсудим причины успеха и нюансы модели, а также дадим обзор последних результатов применения нейросетевых полей.
Ссылка для подключения: Zoom
Afisha
11 апреля, 16:20
Докладчик: Мулине Эрик Франсуа Виктор, École polytechnique
Тема: Federated Uncertainty Quantification: a Survey
Аннотация: Many machine learning applications require training a centralized model on decentralized, heterogeneous, and potentially private data sets. Federated learning (FL) has emerged as a privacy-friendly training paradigm that does not require clients’ private data to leave their local devices. FL brings new challenges in addition to “traditional” distributed learning: expensive communication, statistical heterogeneity, partial participation, and privacy.
The ”classical” formulation of FL treats it as a distributed optimization problem. Yet the standard distributed optimization algorithms (e.g., data-parallel SGD) are too communication-intensive to be practical at FL. An alternative approach is to consider a Bayesian formulation of the FL problem. Typically within this approach an exact posterior inference is untractable even for models and data sets of modest size, thus an approximate inference methods should be considered. Among the many proposed approaches, we will discuss the MCMC solution, which is the Federated Averaging Langevin Dynamics. We will also cover the approach, based on variational inference, where fewer lockstep synchronization and communication steps may be required between clients and servers.
Ссылка для подключения: Zoom
Afisha
21 февраля, 16:20
Speaker: Prof. Dmitry Dylov, head of the Computational Imaging Laboratory, Skoltech
Title: Physics-inspired imaging principles for the benefit of computer vision
Abstract: In this seminar, I will review some of our recent publications within the scope of using the math of image formation for the benefit of standard computer vision tasks. We will skim through 4 papers, where an optimization task takes into account the trade-off between image quality and the quality of downstream task. The “magic” occurs in the Fourier domain, which helps gain extra performance from your models as well as sheds some light on their interpretability.
Ссылка для подключения: Zoom
Afisha
31 января, 18:10
Докладчик: А.В. Гасников (ФПМИ МФТИ и HDI LAB ФКН ВШЭ)
Тема: Стохастическая аппроксимация, современный взгляд
Аннотация: В докладе планируется сделать обзор основных результатов по стохастической аппроксимации — теоремах о сходимости процедур типа SGD к нормальному предельному распределению с асимптотически наименьшей корреляционной матрицей. В частности, мы начнем с классических результатов Невельсона-Хасьминского (70-е годы), продолжим результатами типа Поляка-Юдицкого-Рупперта (80-е — 90-е годы), в которых устраняется привязка в оптимальных процедурах к специфике оптимизируемой функции. Ну и закончим мы обзором современных результатов (Баха—Мулена, М. Джордана и др.). Доклад в основном будет носить обзорный характер. В самом конце доклада, возможно, немного поговорим про некоторые современные течения, которые вызвали новую волну интереса к этому направлению (клиппированые варианты SGD, седловые постановки задач, SGD с невеклидовой проекцией и т.д.).
Ссылка для подключения: Zoom
Литература
Литература
Afisha
2021–2022
6 декабря, 18:10
Докладчик: Александр Тараканов , НИУ ВШЭ
Тема: Polynomial Chaos Expansion and Machine Learning: Benefits, Challenges, Applications
Аннотация: Polynomial Chaos Expansion (PCE) is a Machine-Learning technique that approximates a given function as a series of orthogonal polynomials. The main feature of PCE is a strong connection between family of orthogonal polynomials and statistics of input features. The benefits of such a connection are twofold. First of all, the quality of PCE response surface can be improved if orthogonal polynomials are selected in agreement with probability distribution of input data. Secondly, utilization of PCE-based response surfaces simplifies Sensitivity Analysis and Uncertainty Quantification, because a variety of sensitivity indices can be computed analytically without Monte-Carlo simulations.
In the present talk the fundamentals of PCE are covered. Advantages and challenges of data approximation with PCE are explained. Additionally, potential areas of applications such as optimization of data acquisition are covered.
Ссылка для подключения: Zoom
Afisha
8 Ноября, 16:20
Докладчик: Александр Новиков, DeepMind
Тема: Поиск быстрых алгоритмов умножения матриц при помощи обучения с подкреплением
В данной работы мы применили модифицированную программу AlphaZero для поиска быстрых алгоритмов умножения матриц в символьном виде. Мы фокусируемся на поиске быстрых алгоритмов умножения матриц небольшого размера, например, 2х2, а затем используем найденные алгоритмы рекурсивно. В результате, в работе получилось уменьшить число скалярных умножений которое требуется для умножения матриц разных размеров.
Аннотация: Умножения матриц – это билинейная операция, и (как любую линейную операцию можно представить при помощи матрицы) ее можно представить при помощи 3-х мерного тензора. Низкоранговые разложения данного тензора соответствуют алгоритмам умножения матриц, а ранг разложения соответствует числу скалярных умножений. Таким образом задача генерации алгоритмов умножения матриц трансформируется в эквивалентную задачу поиска низкоранговых разложений фиксированного тензора. Мы обучили AlphaZero искать низкоранговые разложения тензоров, применив такие трюки приемы, как генерацию синтетических данных, эксплуатацию симметрий задачи, обучения одного агента раскладывать несколько разных тензоров одновременно, и использую нейросетевую архитектуру, заточенную под особенности задачи.
Ссылка для подключения: Zoom
11 Октября, 16:20
Докладчик: Дарина Двинских, НИУ ВШЭ
Тема: Безградиентные методы для федеративного обучения
Аннотация: Современные задачи машинного обучения требуют обработки большого количества данных, которые могут храниться на разных источниках. Обучение модели без сбора данных оказывается полезным во многих сценариях, например когда обмен данными невозможен из-за их конфиденциальности. Для таких задач оказалось полезным применение федеративного обучения, при котором несколько объектов/клиентов (например, компьютеров) совместно решают задачу машинного обучения, не обмениваясь своими локальными данными для обеспечения надежной защиты конфиденциальности. В докладе я расскажу про федеративное обучение применительно для негладких выпуклых задач оптимизации. Оптимизация будет выполняться только лишь на основе реализации значений целевой функции (возможно зашумленных значений), так как в различных приложениях градиентная информация чрезмерно дорогая или даже недоступна.
Ссылка для подключения: Zoom
Afisha
20 Сентября, 16:20
Докладчик: Валентин Хрульков, Yandex
Тема: Диффузионные модели и их современные применения
Аннотация: Диффузионные модели недавно добились больших успехов в задаче генеративного моделирования, например, превзойдя генеративно-состязательные сети (GAN) в задаче генерации изображений. Эти достижения позволили появиться таким мощным моделям, как DALLE-2/Imagen. В этом докладе мы рассмотрим историю развития диффузионных моделей (появившихся как score matching модели) и их самые последние применения в таких областях, как генерация изображений, text-to-image translation, и других.
Ссылка для подключения: Zoom
7 Июня, 16:20
Докладчик: Алексей Устинов, ФКН ВШЭ
Тема: Шашки Фейнмана
Аннотация: Доклад будет посвящён шашкам Фейнмана — элементарной модели движения электрона, предложенной Р. Фейнманом. В этой игре шашка движется по простым правилам по клетчатой доске, а мы следим за ее поворотами. Шашки Фейнмана также известны как одномерное квантовое блуждание или модель Изинга при мнимой температуре. В докладе будет рассказано о математическом доказательстве гипотезы Фейнмана 1965-го года о том, что эта дискретная модель (при больших временах, малой средней скорости и малом размере клетки) согласована с непрерывной.
Afisha
24 Мая, 16:20
Докладчик: Ирина Ломазова, НИУ ВШЭ
Тема: Do process models behave identically? Algorithmics and Decidability of Bisimulation Equivalences
Аннотация: The concept of process equivalence can be formalized in many different ways. One of the most important is the bisimulation equivalence, which captures the mail features of the observed behavior of the process. Two processes are bisimilar if an external observer cannot distinguish them.
In this talk, we give an overview of the algorithmic and decidability aspects of bisimulation equivalences for Petri nets and some other formal models of process control flow, and present some new results on resource bisimulation equivalences for Petri nets.
Afisha
19 Апреля, 16:20
Докладчик: Аттила Кертес-Фаркаш, НИУ ВШЭ
Тема: Statistics in Tandem Mass Spectrometry Data Analysis
Аннотация: In this colloquium talk I will give a basic but a conscience introduction to the statistics used in database searching-based tandem mass spectrometry data annotation. Then, we will discuss some machine learning based methods, what they can see in the mass spectrometry data and their pitfalls.
Afisha
1 Марта, 16:20
Докладчик: Дмитрий Игнатов, НИУ ВШЭ
Тема: Power Indicies for Attribution of JSM-hypotheses and Formal Concepts
Аннотация: Among the family of rule-based classification models, there are classifiers based on conjunctions of binary attributes. For example, the JSM-method of automatic reasoning (named after John Stuart Mill) was formulated as a classification technique in terms of intents of formal concepts as classification hypotheses. These JSM-hypotheses already represent an interpretable model since the respective conjunctions of attributes can be easily read by decision makers and thus provide plausible reasons for model prediction. However, from the interpretable machine learning (IML) viewpoint, it is advisable to provide decision makers with the importance (or contribution) of individual attributes to the classification of a particular object, which may facilitate explanations by experts in various domains with high-cost errors like medicine or finance. To this end, we use the notion of Shapley value from cooperative game theory, also popular in IML. In addition to the supervised problem statement, we propose the usage of Shapley and Banzhaf values for ranking attributes of closed sets, namely intents of formal concepts (or closed itemsets). The introduced indices are related to extensional concept stability and are based on counting generators, especially those that contain a selected attribute. We provide the listeners with theoretical results, basic examples and attribution of JSM-hypotheses and formal concepts by means of Shapley value and some other power indicies.
1 Февраля, 16:20
Докладчик: Дмитрий Яроцкий (Сколтех)
Тема: Approximation with neural networks of minimal size: exotic regimes and superexpressive activations
Анноатция: I will discuss some "exotic" regimes arising in theoretical studies of function approximation by neural networks of minimal size. The classical theory predicts specific power laws relating the model complexity to the approximation accuracy for functions of given smoothness, under the assumption of continuous parameter selection. It turns out that these power laws can break down if we use very deep narrow networks and don't impose the said assumption. This effect is observed for networks with common activation functions, e.g. ReLU. Moreover, there exist some "superexpressive" collections of activation functions that theoretically allow to approximate any continuous function with arbitrary accuracy using a network with a fixed number of neurons, i.e. only by suitably adjusting the weights without increasing the number of neurons. This result is closely connected to the Kolmogorov(-Arnold) Superposition Theorem. An example of superexpressive collection is {sin, arcsin}. At the same time, the commonly used activations are not superexpressive.
Colloquium
7 Декабря, 16:20
Докладчик: Анна Потапенко (DeepMind)
Тема: Highly accurate protein structure prediction with AlphaFold
Анноатция: Predicting a protein’s structure from its primary sequence has been a grand challenge in biology for the past 50 years, holding the promise to bridge the gap between the pace of genomics discovery and resulting structural characterization. In this talk, we will describe work at DeepMind to develop AlphaFold, a new deep learning-based system for structure prediction that achieves high accuracy across a wide range of targets. We demonstrated our system in the 14th biennial Critical Assessment of Protein Structure Prediction (CASP14) across a wide range of difficult targets, where the assessors judged our predictions to be at an accuracy “competitive with experiment” for approximately 2/3rds of proteins. The talk will cover both the underlying machine learning ideas and the implications for biological research.
Colloquium
23 Ноября, 16:20
Докладчик: Manuel Mazzara, Innopolis University
Тема: Software Release anomaly detection in DevOps environment
Аннотация: In this talk, I present current research on the use of Machine Learning to support DevOps automation and continuous releases. Decisions can be machine-assisted, but ultimately human made.
Colloquium
26 Октября, 16:20
Докладчик: Max Welling (University of Amsterdam)
Тема: Is the next deep learning disruption in the physical sciences?
Аннотация:A number of fields, most prominently speech, vision and NLP have been disrupted by deep learning technology. A natural question is: "which application areas will follow next?". My prediction is that the physical sciences will experience an unprecedented acceleration by combining the tools of simulation on HPC clusters with the tools of deep learning to improve and accelerate this process. Together, they form a virtuous cycle where simulations create data that feeds into deep learning models which in turn improves the simulations. In a way, this is like building a self-learning computational microscope for the physical sciences. In this talk I will illustrate this using two recent pieces of work from my lab: molecular simulation and PDE solving. In molecular simulation we try to predict molecular properties or digitally synthesize molecules with prescribed properties. We have built a number of equivariant graph neural networks to achieve this. Partial differential equations (PDEs) are the most used mathematical model in natural sciences to describe physical processes. Intriguingly, we find that PDE solvers can be learned from data using graph neural networks as well, which has the added benefit that we can learn a solver that can generalize across PDEs and different boundary conditions. Moreover, it may open the door to ab initio learning of PDEs directly from data.
Colloquium
28 сентября, 18:10
Докладчик:
Tatiana Likhomanenko (Apple)
Тема: Positional Embedding in Transformer-based Models
Аннотация: Transformers have been shown to be highly effective on problems involving sequential modeling, such as in machine translation (MT) and natural language processing (NLP). Following its success on these tasks, the Transformer architecture raised immediate interest in other domains: automatic speech recognition (ASR), music generation, object detection, and finally image recognition and video understanding. Two major components of the Transformer are the attention mechanism and the positional encoding. Without the latter, vanilla attention Transformers are invariant with respect to input tokens permutations (making "cat eats fish" and "fish eats cat" identical to the model). In this talk we will discuss different approaches on how to encode positional information, their pros and cons: absolute and relative, fixed and learnable, 1D and multidimensional, additive and multiplicative, continuous and augmented positional embeddings. We will also focus on how well different positional embeddings generalize to unseen positions for both interpolation and extrapolation tasks.
Афиша
1 июня, 16:20 – 17:40
Докладчик:
Konrad Schindler, ETH Zurich
Тема: Computer Vision and Machine Learning for Environmental Monitoring
Аннотация: I will give an overview of our work that uses machine learning to map and monitor environmental variables (like canopy height, ice cover etc.) from satellite and ground-based images, and discuss engineering challenges that arise in environmental applications.
Афиша
Запись коллоквиума:
18 мая, 16:20 – 17:40
Докладчик:
Mikiya Masuda, Osaka City University Advanced Mathematical Institute, HSE University
Тема: Bruhat interval polytopes which are cubes
Аннотация: For a pair of permutations with in the Bruhat order, the Bruhat interval polytope
is defined as the convex hull of points associated with permutations
for
. It lies in a permutohedron and is an example of a Coxeter matroid polytope.
The Bruhat interval polytope is the moment polytope of some subvariety of a flag variety called a Richardson variety and it is known that the Richardson variety is a smooth toric variety if and only if
is combinatorially equivalent to a cube.
In this talk, I will explain that a certain family of Bruhat interval polytopes, which are particularly combinatorially equivalent to a cube, determines triangulations of a polygon. It turns out that the Wedderburn-Etherington numbers which count \emph{unordered} binary trees appear in their classification. If time permits, I will discuss another family of Bruhat interval polytopes and their classification, where directed paths, more generally directed Dynkin diagrams appear.
This talk is based on recent joint work with Eunjeong Lee (IBS-CGP) and Seonjeong Park (Jeonju Univ.).
Афиша
Запись коллоквиума:
27 апреля, 16:20 – 17:40
Иван Оселедец, Сколтех
Геометрия в моделях машинного обучения
В докладе я расскажу об использовании геометрического подхода к моделям машинного обучения, а также приведу обзор наших результатов последних лет, включая: а) применение гиперболических пространств в машинном обучении и создание рекомендательных моделей; б) построение интерпретируемых направлений в латентном пространстве генеративных сетей.
Афиша
Запись коллоквиума:
13 апреля, 18:10 – 19:30
Alan Herbert, InsideOutBio (President and Founder), HSE University (Academic Supervisor of the International Laboratory of Bioinformatics)
Genetic computers
• Biologists and Engineers view Programming Problems very Differently
• Encoding of Genetic Information is by both Nucleic Acid Structure (flipons) and Sequence (codons)
• Encoding Genetic Programs by Structure is More Adaptive than by Sequence
• I will use the Biology of Left-handed Z-DNA and Z-RNA to Exemplify these Principles
• I will also Describe the Potential Use of Other Flipon Classes in Genetic Programming
Афиша
Запись коллоквиума:
23 марта, 16:20 – 17:40
Сергей Николенко, ПОМИ РАН / НИУ ВШЭ
Мультимодальный мир: где мы сейчас и куда мы идём
В докладе я отчасти расскажу об исследованиях, которые происходили в Лаборатории искусственного интеллекта ПОМИ РАН в последние пару лет, но в целом оберну это в контекст того, как выглядят современные мультимодальные модели машинного обучения (хотя кого я обманываю — глубокого обучения, конечно). Мы поговорим о том, как объединить картинки и тексты (а может быть, и что-то ещё), и, надеюсь, увидим эту область как перспективное и пока ещё только начинающееся направление для того, куда можно двигать искусственный интеллект.
Афиша (PDF, 858 Кб)
Презентация
Слайд
Запись коллоквиума:
2 марта, 16:20 – 17:40
Alexander Panchenko, Skoltech
Neural entity linking
In this talk, I will provide a brief survey of recent neural entity linking (EL) systems developed since 2015 as a result of the "deep learning revolution" in NLP. I will try to systemize design features of neural entity linking systems and compare their performances to the best classic methods on the common benchmarks distilling generic architectural components of a neural EL system, like candidate generation and entity ranking summarizing the prominent methods for each of them, such as approaches to mention encoding based on the self-attention architecture.
Besides, various modifications of this general neural entity linking architecture can be grouped by several common themes: joint entity recognition and linking, models for global linking, domain-independent techniques including zero-shot and distant supervision methods, and cross-lingual approaches. Since many neural models take advantage of pre-trained entity embeddings to improve their generalization capabilities, I will also briefly discuss several types of entity embeddings. Finally, we briefly discuss classic applications of entity linking, focusing on the recently emerged use-case of enhancing deep pre-trained masked language models such as BERT. The materials are based on the following survey: Özge Sevgili, Artem Shelmanov, Mikhail Arkhipov, Alexander Panchenko, and Chris Biemann (2021): Neural Entity Linking: A Survey of Models based on Deep Learning. CoRR abs/2006.00575
The talk will be given in English.
Афиша
Слайды
Запись коллоквиума:
2 февраля, 18:10 – 19:30
Алексей Наумов, НИУ ВШЭ
Случайные матрицы: теория и приложения
Теория случайных матриц и методы, используемые при исследовании случайных матриц, играют важную роль в различных разделах теоретической и прикладной математики. Случайные матрицы возникли из приложений, сначала в анализе данных, а позже в качестве статистических моделей в квантовой механике, вычислительной математике, финансовой инженерии, теории информации, машинном обучении и других областях. В последние двадцать лет произошел настоящий бум в развитии теории случайных матриц. Были получены прорывные результаты. В своем докладе я расскажу об основных законах, возникающих в поведении спектра случайных матриц, а также о некоторых приложениях. Доклад частично основан на моих совместных работах с Фридрихом Гётце и Александром Тихомировым.
Афиша