Коллоквиум
Для исследователя в такой разнообразной и быстро развивающейся области знаний, как компьютерные науки, важно сохранять широту кругозора и стремиться понимать, чем занимаются коллеги в смежных областях. Для этого нужна площадка, на которой специалисты встречаются и рассказывают друг другу о последних результатах понятным языком. Такой площадкой и является Коллоквиум факультета компьютерных наук ВШЭ — общефакультетский научный семинар, предназначенный для преподавателей и научных сотрудников факультета, аспирантов, магистрантов и студентов бакалавриата, а также для всех интересующихся компьютерными науками.
Заседания коллоквиума проходят, как правило, раз в две недели по вторникам онлайн.
Записи мероприятий собраны в плейлисте коллоквиума на YouTube.
2022–2023
31 января, 18:10
Докладчик: А.В. Гасников (ФПМИ МФТИ и HDI LAB ФКН ВШЭ)
Тема: Стохастическая аппроксимация, современный взгляд
Аннотация: В докладе планируется сделать обзор основных результатов по стохастической аппроксимации — теоремах о сходимости процедур типа SGD к нормальному предельному распределению с асимптотически наименьшей корреляционной матрицей. В частности, мы начнем с классических результатов Невельсона-Хасьминского (70-е годы), продолжим результатами типа Поляка-Юдицкого-Рупперта (80-е — 90-е годы), в которых устраняется привязка в оптимальных процедурах к специфике оптимизируемой функции. Ну и закончим мы обзором современных результатов (Баха—Мулена, М. Джордана и др.). Доклад в основном будет носить обзорный характер. В самом конце доклада, возможно, немного поговорим про некоторые современные течения, которые вызвали новую волну интереса к этому направлению (клиппированые варианты SGD, седловые постановки задач, SGD с невеклидовой проекцией и т.д.).
Ссылка для подключения: Zoom
Литература
Литература
2021–2022
6 декабря, 18:10
Докладчик: Александр Тараканов , НИУ ВШЭ
Тема: Polynomial Chaos Expansion and Machine Learning: Benefits, Challenges, Applications
Аннотация: Polynomial Chaos Expansion (PCE) is a Machine-Learning technique that approximates a given function as a series of orthogonal polynomials. The main feature of PCE is a strong connection between family of orthogonal polynomials and statistics of input features. The benefits of such a connection are twofold. First of all, the quality of PCE response surface can be improved if orthogonal polynomials are selected in agreement with probability distribution of input data. Secondly, utilization of PCE-based response surfaces simplifies Sensitivity Analysis and Uncertainty Quantification, because a variety of sensitivity indices can be computed analytically without Monte-Carlo simulations.
In the present talk the fundamentals of PCE are covered. Advantages and challenges of data approximation with PCE are explained. Additionally, potential areas of applications such as optimization of data acquisition are covered.
Ссылка для подключения: Zoom
Afisha
8 Ноября, 16:20
Докладчик: Александр Новиков, DeepMind
Тема: Поиск быстрых алгоритмов умножения матриц при помощи обучения с подкреплением
В данной работы мы применили модифицированную программу AlphaZero для поиска быстрых алгоритмов умножения матриц в символьном виде. Мы фокусируемся на поиске быстрых алгоритмов умножения матриц небольшого размера, например, 2х2, а затем используем найденные алгоритмы рекурсивно. В результате, в работе получилось уменьшить число скалярных умножений которое требуется для умножения матриц разных размеров.
Аннотация: Умножения матриц – это билинейная операция, и (как любую линейную операцию можно представить при помощи матрицы) ее можно представить при помощи 3-х мерного тензора. Низкоранговые разложения данного тензора соответствуют алгоритмам умножения матриц, а ранг разложения соответствует числу скалярных умножений. Таким образом задача генерации алгоритмов умножения матриц трансформируется в эквивалентную задачу поиска низкоранговых разложений фиксированного тензора. Мы обучили AlphaZero искать низкоранговые разложения тензоров, применив такие трюки приемы, как генерацию синтетических данных, эксплуатацию симметрий задачи, обучения одного агента раскладывать несколько разных тензоров одновременно, и использую нейросетевую архитектуру, заточенную под особенности задачи.
Ссылка для подключения: Zoom
11 Октября, 16:20
Докладчик: Дарина Двинских, НИУ ВШЭ
Тема: Безградиентные методы для федеративного обучения
Аннотация: Современные задачи машинного обучения требуют обработки большого количества данных, которые могут храниться на разных источниках. Обучение модели без сбора данных оказывается полезным во многих сценариях, например когда обмен данными невозможен из-за их конфиденциальности. Для таких задач оказалось полезным применение федеративного обучения, при котором несколько объектов/клиентов (например, компьютеров) совместно решают задачу машинного обучения, не обмениваясь своими локальными данными для обеспечения надежной защиты конфиденциальности. В докладе я расскажу про федеративное обучение применительно для негладких выпуклых задач оптимизации. Оптимизация будет выполняться только лишь на основе реализации значений целевой функции (возможно зашумленных значений), так как в различных приложениях градиентная информация чрезмерно дорогая или даже недоступна.
Ссылка для подключения: Zoom
Afisha
20 Сентября, 16:20
Докладчик: Валентин Хрульков, Yandex
Тема: Диффузионные модели и их современные применения
Аннотация: Диффузионные модели недавно добились больших успехов в задаче генеративного моделирования, например, превзойдя генеративно-состязательные сети (GAN) в задаче генерации изображений. Эти достижения позволили появиться таким мощным моделям, как DALLE-2/Imagen. В этом докладе мы рассмотрим историю развития диффузионных моделей (появившихся как score matching модели) и их самые последние применения в таких областях, как генерация изображений, text-to-image translation, и других.
Ссылка для подключения: Zoom
7 Июня, 16:20
Докладчик: Алексей Устинов, ФКН ВШЭ
Тема: Шашки Фейнмана
Аннотация: Доклад будет посвящён шашкам Фейнмана — элементарной модели движения электрона, предложенной Р. Фейнманом. В этой игре шашка движется по простым правилам по клетчатой доске, а мы следим за ее поворотами. Шашки Фейнмана также известны как одномерное квантовое блуждание или модель Изинга при мнимой температуре. В докладе будет рассказано о математическом доказательстве гипотезы Фейнмана 1965-го года о том, что эта дискретная модель (при больших временах, малой средней скорости и малом размере клетки) согласована с непрерывной.
Afisha
24 Мая, 16:20
Докладчик: Ирина Ломазова, НИУ ВШЭ
Тема: Do process models behave identically? Algorithmics and Decidability of Bisimulation Equivalences
Аннотация: The concept of process equivalence can be formalized in many different ways. One of the most important is the bisimulation equivalence, which captures the mail features of the observed behavior of the process. Two processes are bisimilar if an external observer cannot distinguish them.
In this talk, we give an overview of the algorithmic and decidability aspects of bisimulation equivalences for Petri nets and some other formal models of process control flow, and present some new results on resource bisimulation equivalences for Petri nets.
Afisha
19 Апреля, 16:20
Докладчик: Аттила Кертес-Фаркаш, НИУ ВШЭ
Тема: Statistics in Tandem Mass Spectrometry Data Analysis
Аннотация: In this colloquium talk I will give a basic but a conscience introduction to the statistics used in database searching-based tandem mass spectrometry data annotation. Then, we will discuss some machine learning based methods, what they can see in the mass spectrometry data and their pitfalls.
Afisha
1 Марта, 16:20
Докладчик: Дмитрий Игнатов, НИУ ВШЭ
Тема: Power Indicies for Attribution of JSM-hypotheses and Formal Concepts
Аннотация: Among the family of rule-based classification models, there are classifiers based on conjunctions of binary attributes. For example, the JSM-method of automatic reasoning (named after John Stuart Mill) was formulated as a classification technique in terms of intents of formal concepts as classification hypotheses. These JSM-hypotheses already represent an interpretable model since the respective conjunctions of attributes can be easily read by decision makers and thus provide plausible reasons for model prediction. However, from the interpretable machine learning (IML) viewpoint, it is advisable to provide decision makers with the importance (or contribution) of individual attributes to the classification of a particular object, which may facilitate explanations by experts in various domains with high-cost errors like medicine or finance. To this end, we use the notion of Shapley value from cooperative game theory, also popular in IML. In addition to the supervised problem statement, we propose the usage of Shapley and Banzhaf values for ranking attributes of closed sets, namely intents of formal concepts (or closed itemsets). The introduced indices are related to extensional concept stability and are based on counting generators, especially those that contain a selected attribute. We provide the listeners with theoretical results, basic examples and attribution of JSM-hypotheses and formal concepts by means of Shapley value and some other power indicies.
1 Февраля, 16:20
Докладчик: Дмитрий Яроцкий (Сколтех)
Тема: Approximation with neural networks of minimal size: exotic regimes and superexpressive activations
Анноатция: I will discuss some "exotic" regimes arising in theoretical studies of function approximation by neural networks of minimal size. The classical theory predicts specific power laws relating the model complexity to the approximation accuracy for functions of given smoothness, under the assumption of continuous parameter selection. It turns out that these power laws can break down if we use very deep narrow networks and don't impose the said assumption. This effect is observed for networks with common activation functions, e.g. ReLU. Moreover, there exist some "superexpressive" collections of activation functions that theoretically allow to approximate any continuous function with arbitrary accuracy using a network with a fixed number of neurons, i.e. only by suitably adjusting the weights without increasing the number of neurons. This result is closely connected to the Kolmogorov(-Arnold) Superposition Theorem. An example of superexpressive collection is {sin, arcsin}. At the same time, the commonly used activations are not superexpressive.
Colloquium
7 Декабря, 16:20
Докладчик: Анна Потапенко (DeepMind)
Тема: Highly accurate protein structure prediction with AlphaFold
Анноатция: Predicting a protein’s structure from its primary sequence has been a grand challenge in biology for the past 50 years, holding the promise to bridge the gap between the pace of genomics discovery and resulting structural characterization. In this talk, we will describe work at DeepMind to develop AlphaFold, a new deep learning-based system for structure prediction that achieves high accuracy across a wide range of targets. We demonstrated our system in the 14th biennial Critical Assessment of Protein Structure Prediction (CASP14) across a wide range of difficult targets, where the assessors judged our predictions to be at an accuracy “competitive with experiment” for approximately 2/3rds of proteins. The talk will cover both the underlying machine learning ideas and the implications for biological research.
Colloquium
23 Ноября, 16:20
Докладчик: Manuel Mazzara, Innopolis University
Тема: Software Release anomaly detection in DevOps environment
Аннотация: In this talk, I present current research on the use of Machine Learning to support DevOps automation and continuous releases. Decisions can be machine-assisted, but ultimately human made.
Colloquium
26 Октября, 16:20
Докладчик: Max Welling (University of Amsterdam)
Тема: Is the next deep learning disruption in the physical sciences?
Аннотация:A number of fields, most prominently speech, vision and NLP have been disrupted by deep learning technology. A natural question is: "which application areas will follow next?". My prediction is that the physical sciences will experience an unprecedented acceleration by combining the tools of simulation on HPC clusters with the tools of deep learning to improve and accelerate this process. Together, they form a virtuous cycle where simulations create data that feeds into deep learning models which in turn improves the simulations. In a way, this is like building a self-learning computational microscope for the physical sciences. In this talk I will illustrate this using two recent pieces of work from my lab: molecular simulation and PDE solving. In molecular simulation we try to predict molecular properties or digitally synthesize molecules with prescribed properties. We have built a number of equivariant graph neural networks to achieve this. Partial differential equations (PDEs) are the most used mathematical model in natural sciences to describe physical processes. Intriguingly, we find that PDE solvers can be learned from data using graph neural networks as well, which has the added benefit that we can learn a solver that can generalize across PDEs and different boundary conditions. Moreover, it may open the door to ab initio learning of PDEs directly from data.
Colloquium
28 сентября, 18:10
Докладчик:
Tatiana Likhomanenko (Apple)
Тема: Positional Embedding in Transformer-based Models
Аннотация: Transformers have been shown to be highly effective on problems involving sequential modeling, such as in machine translation (MT) and natural language processing (NLP). Following its success on these tasks, the Transformer architecture raised immediate interest in other domains: automatic speech recognition (ASR), music generation, object detection, and finally image recognition and video understanding. Two major components of the Transformer are the attention mechanism and the positional encoding. Without the latter, vanilla attention Transformers are invariant with respect to input tokens permutations (making "cat eats fish" and "fish eats cat" identical to the model). In this talk we will discuss different approaches on how to encode positional information, their pros and cons: absolute and relative, fixed and learnable, 1D and multidimensional, additive and multiplicative, continuous and augmented positional embeddings. We will also focus on how well different positional embeddings generalize to unseen positions for both interpolation and extrapolation tasks.
Афиша
1 июня, 16:20 – 17:40
Докладчик:
Konrad Schindler, ETH Zurich
Тема: Computer Vision and Machine Learning for Environmental Monitoring
Аннотация: I will give an overview of our work that uses machine learning to map and monitor environmental variables (like canopy height, ice cover etc.) from satellite and ground-based images, and discuss engineering challenges that arise in environmental applications.
Афиша
Запись коллоквиума:
18 мая, 16:20 – 17:40
Докладчик:
Mikiya Masuda, Osaka City University Advanced Mathematical Institute, HSE University
Тема: Bruhat interval polytopes which are cubes
Аннотация: For a pair of permutations with in the Bruhat order, the Bruhat interval polytope
is defined as the convex hull of points associated with permutations
for
. It lies in a permutohedron and is an example of a Coxeter matroid polytope.
The Bruhat interval polytope is the moment polytope of some subvariety of a flag variety called a Richardson variety and it is known that the Richardson variety is a smooth toric variety if and only if
is combinatorially equivalent to a cube.
In this talk, I will explain that a certain family of Bruhat interval polytopes, which are particularly combinatorially equivalent to a cube, determines triangulations of a polygon. It turns out that the Wedderburn-Etherington numbers which count \emph{unordered} binary trees appear in their classification. If time permits, I will discuss another family of Bruhat interval polytopes and their classification, where directed paths, more generally directed Dynkin diagrams appear.
This talk is based on recent joint work with Eunjeong Lee (IBS-CGP) and Seonjeong Park (Jeonju Univ.).
Афиша
Запись коллоквиума:
27 апреля, 16:20 – 17:40
Иван Оселедец, Сколтех
Геометрия в моделях машинного обучения
В докладе я расскажу об использовании геометрического подхода к моделям машинного обучения, а также приведу обзор наших результатов последних лет, включая: а) применение гиперболических пространств в машинном обучении и создание рекомендательных моделей; б) построение интерпретируемых направлений в латентном пространстве генеративных сетей.
Афиша
Запись коллоквиума:
13 апреля, 18:10 – 19:30
Alan Herbert, InsideOutBio (President and Founder), HSE University (Academic Supervisor of the International Laboratory of Bioinformatics)
Genetic computers
• Biologists and Engineers view Programming Problems very Differently
• Encoding of Genetic Information is by both Nucleic Acid Structure (flipons) and Sequence (codons)
• Encoding Genetic Programs by Structure is More Adaptive than by Sequence
• I will use the Biology of Left-handed Z-DNA and Z-RNA to Exemplify these Principles
• I will also Describe the Potential Use of Other Flipon Classes in Genetic Programming
Афиша
Запись коллоквиума:
23 марта, 16:20 – 17:40
Сергей Николенко, ПОМИ РАН / НИУ ВШЭ
Мультимодальный мир: где мы сейчас и куда мы идём
В докладе я отчасти расскажу об исследованиях, которые происходили в Лаборатории искусственного интеллекта ПОМИ РАН в последние пару лет, но в целом оберну это в контекст того, как выглядят современные мультимодальные модели машинного обучения (хотя кого я обманываю — глубокого обучения, конечно). Мы поговорим о том, как объединить картинки и тексты (а может быть, и что-то ещё), и, надеюсь, увидим эту область как перспективное и пока ещё только начинающееся направление для того, куда можно двигать искусственный интеллект.
Афиша (PDF, 858 Кб)
Презентация
Слайд
Запись коллоквиума:
2 марта, 16:20 – 17:40
Alexander Panchenko, Skoltech
Neural entity linking
In this talk, I will provide a brief survey of recent neural entity linking (EL) systems developed since 2015 as a result of the "deep learning revolution" in NLP. I will try to systemize design features of neural entity linking systems and compare their performances to the best classic methods on the common benchmarks distilling generic architectural components of a neural EL system, like candidate generation and entity ranking summarizing the prominent methods for each of them, such as approaches to mention encoding based on the self-attention architecture.
Besides, various modifications of this general neural entity linking architecture can be grouped by several common themes: joint entity recognition and linking, models for global linking, domain-independent techniques including zero-shot and distant supervision methods, and cross-lingual approaches. Since many neural models take advantage of pre-trained entity embeddings to improve their generalization capabilities, I will also briefly discuss several types of entity embeddings. Finally, we briefly discuss classic applications of entity linking, focusing on the recently emerged use-case of enhancing deep pre-trained masked language models such as BERT. The materials are based on the following survey: Özge Sevgili, Artem Shelmanov, Mikhail Arkhipov, Alexander Panchenko, and Chris Biemann (2021): Neural Entity Linking: A Survey of Models based on Deep Learning. CoRR abs/2006.00575
The talk will be given in English.
Афиша
Слайды
Запись коллоквиума:
2 февраля, 18:10 – 19:30
Алексей Наумов, НИУ ВШЭ
Случайные матрицы: теория и приложения
Теория случайных матриц и методы, используемые при исследовании случайных матриц, играют важную роль в различных разделах теоретической и прикладной математики. Случайные матрицы возникли из приложений, сначала в анализе данных, а позже в качестве статистических моделей в квантовой механике, вычислительной математике, финансовой инженерии, теории информации, машинном обучении и других областях. В последние двадцать лет произошел настоящий бум в развитии теории случайных матриц. Были получены прорывные результаты. В своем докладе я расскажу об основных законах, возникающих в поведении спектра случайных матриц, а также о некоторых приложениях. Доклад частично основан на моих совместных работах с Фридрихом Гётце и Александром Тихомировым.
Афиша