Коллоквиум в 2020/2021 году
7 Декабря, 16:20
Докладчик: Анна Потапенко (DeepMind)
Тема: Highly accurate protein structure prediction with AlphaFold
Анноатция: Predicting a protein’s structure from its primary sequence has been a grand challenge in biology for the past 50 years, holding the promise to bridge the gap between the pace of genomics discovery and resulting structural characterization. In this talk, we will describe work at DeepMind to develop AlphaFold, a new deep learning-based system for structure prediction that achieves high accuracy across a wide range of targets. We demonstrated our system in the 14th biennial Critical Assessment of Protein Structure Prediction (CASP14) across a wide range of difficult targets, where the assessors judged our predictions to be at an accuracy “competitive with experiment” for approximately 2/3rds of proteins. The talk will cover both the underlying machine learning ideas and the implications for biological research.
Colloquium
23 Ноября, 16:20
Докладчик: Manuel Mazzara, Innopolis University
Тема: Software Release anomaly detection in DevOps environment
Аннотация: In this talk, I present current research on the use of Machine Learning to support DevOps automation and continuous releases. Decisions can be machine-assisted, but ultimately human made.
26 Октября, 16:20
Докладчик: Max Welling (University of Amsterdam)
Тема: Is the next deep learning disruption in the physical sciences?
Аннотация:A number of fields, most prominently speech, vision and NLP have been disrupted by deep learning technology. A natural question is: "which application areas will follow next?". My prediction is that the physical sciences will experience an unprecedented acceleration by combining the tools of simulation on HPC clusters with the tools of deep learning to improve and accelerate this process. Together, they form a virtuous cycle where simulations create data that feeds into deep learning models which in turn improves the simulations. In a way, this is like building a self-learning computational microscope for the physical sciences. In this talk I will illustrate this using two recent pieces of work from my lab: molecular simulation and PDE solving. In molecular simulation we try to predict molecular properties or digitally synthesize molecules with prescribed properties. We have built a number of equivariant graph neural networks to achieve this. Partial differential equations (PDEs) are the most used mathematical model in natural sciences to describe physical processes. Intriguingly, we find that PDE solvers can be learned from data using graph neural networks as well, which has the added benefit that we can learn a solver that can generalize across PDEs and different boundary conditions. Moreover, it may open the door to ab initio learning of PDEs directly from data.
Colloquium
28 сентября, 18:10
Докладчик:
Tatiana Likhomanenko (Apple)
Тема: Positional Embedding in Transformer-based Models
Аннотация: Transformers have been shown to be highly effective on problems involving sequential modeling, such as in machine translation (MT) and natural language processing (NLP). Following its success on these tasks, the Transformer architecture raised immediate interest in other domains: automatic speech recognition (ASR), music generation, object detection, and finally image recognition and video understanding. Two major components of the Transformer are the attention mechanism and the positional encoding. Without the latter, vanilla attention Transformers are invariant with respect to input tokens permutations (making "cat eats fish" and "fish eats cat" identical to the model). In this talk we will discuss different approaches on how to encode positional information, their pros and cons: absolute and relative, fixed and learnable, 1D and multidimensional, additive and multiplicative, continuous and augmented positional embeddings. We will also focus on how well different positional embeddings generalize to unseen positions for both interpolation and extrapolation tasks.
Афиша
1 июня, 16:20 – 17:40
Докладчик:
Konrad Schindler, ETH Zurich
Тема: Computer Vision and Machine Learning for Environmental Monitoring
Аннотация: I will give an overview of our work that uses machine learning to map and monitor environmental variables (like canopy height, ice cover etc.) from satellite and ground-based images, and discuss engineering challenges that arise in environmental applications.
Афиша
Запись коллоквиума:
18 мая, 16:20 – 17:40
Speaker:
Mikiya Masuda, Osaka City University Advanced Mathematical Institute, HSE University
Topic: Bruhat interval polytopes which are cubes
Abstract:
For a pair of permutations with in the Bruhat order, the Bruhat interval polytope
is defined as the convex hull of points associated with permutations
for
. It lies in a permutohedron and is an example of a Coxeter matroid polytope.
The Bruhat interval polytope is the moment polytope of some subvariety of a flag variety called a Richardson variety and it is known that the Richardson variety is a smooth toric variety if and only if
is combinatorially equivalent to a cube.
In this talk, I will explain that a certain family of Bruhat interval polytopes, which are particularly combinatorially equivalent to a cube, determines triangulations of a polygon. It turns out that the Wedderburn-Etherington numbers which count \emph{unordered} binary trees appear in their classification. If time permits, I will discuss another family of Bruhat interval polytopes and their classification, where directed paths, more generally directed Dynkin diagrams appear.
This talk is based on recent joint work with Eunjeong Lee (IBS-CGP) and Seonjeong Park (Jeonju Univ.).
Афиша
Запись коллоквиума:
27 апреля, 16:20 – 17:40
Иван Оселедец, Сколтех
Геометрия в моделях машинного обучения
В докладе я расскажу об использовании геометрического подхода к моделям машинного обучения, а также приведу обзор наших результатов последних лет, включая: а) применение гиперболических пространств в машинном обучении и создание рекомендательных моделей; б) построение интерпретируемых направлений в латентном пространстве генеративных сетей.
Афиша
Запись коллоквиума:
13 апреля, 18:10 – 19:30
Alan Herbert, InsideOutBio (President and Founder), HSE University (Academic Supervisor of the International Laboratory of Bioinformatics)
Genetic computers
• Biologists and Engineers view Programming Problems very Differently
• Encoding of Genetic Information is by both Nucleic Acid Structure (flipons) and Sequence (codons)
• Encoding Genetic Programs by Structure is More Adaptive than by Sequence
• I will use the Biology of Left-handed Z-DNA and Z-RNA to Exemplify these Principles
• I will also Describe the Potential Use of Other Flipon Classes in Genetic Programming
Афиша
Запись коллоквиума:
23 марта, 16:20 – 17:40
Сергей Николенко, ПОМИ РАН / НИУ ВШЭ
Мультимодальный мир: где мы сейчас и куда мы идём
В докладе я отчасти расскажу об исследованиях, которые происходили в Лаборатории искусственного интеллекта ПОМИ РАН в последние пару лет, но в целом оберну это в контекст того, как выглядят современные мультимодальные модели машинного обучения (хотя кого я обманываю — глубокого обучения, конечно). Мы поговорим о том, как объединить картинки и тексты (а может быть, и что-то ещё), и, надеюсь, увидим эту область как перспективное и пока ещё только начинающееся направление для того, куда можно двигать искусственный интеллект.
Афиша (PDF, 858 Кб)
Презентация
Слайд
Запись коллоквиума:
2 марта, 16:20 – 17:40
Alexander Panchenko, Skoltech
Neural entity linking
In this talk, I will provide a brief survey of recent neural entity linking (EL) systems developed since 2015 as a result of the "deep learning revolution" in NLP. I will try to systemize design features of neural entity linking systems and compare their performances to the best classic methods on the common benchmarks distilling generic architectural components of a neural EL system, like candidate generation and entity ranking summarizing the prominent methods for each of them, such as approaches to mention encoding based on the self-attention architecture.
Besides, various modifications of this general neural entity linking architecture can be grouped by several common themes: joint entity recognition and linking, models for global linking, domain-independent techniques including zero-shot and distant supervision methods, and cross-lingual approaches. Since many neural models take advantage of pre-trained entity embeddings to improve their generalization capabilities, I will also briefly discuss several types of entity embeddings. Finally, we briefly discuss classic applications of entity linking, focusing on the recently emerged use-case of enhancing deep pre-trained masked language models such as BERT. The materials are based on the following survey: Özge Sevgili, Artem Shelmanov, Mikhail Arkhipov, Alexander Panchenko, and Chris Biemann (2021): Neural Entity Linking: A Survey of Models based on Deep Learning. CoRR abs/2006.00575
The talk will be given in English.
Афиша
Слайды
Запись коллоквиума:
2 февраля, 18:10 – 19:30
Алексей Наумов, НИУ ВШЭ
Случайные матрицы: теория и приложения
Теория случайных матриц и методы, используемые при исследовании случайных матриц, играют важную роль в различных разделах теоретической и прикладной математики. Случайные матрицы возникли из приложений, сначала в анализе данных, а позже в качестве статистических моделей в квантовой механике, вычислительной математике, финансовой инженерии, теории информации, машинном обучении и других областях. В последние двадцать лет произошел настоящий бум в развитии теории случайных матриц. Были получены прорывные результаты. В своем докладе я расскажу об основных законах, возникающих в поведении спектра случайных матриц, а также о некоторых приложениях. Доклад частично основан на моих совместных работах с Фридрихом Гётце и Александром Тихомировым.
Афиша
Запись коллоквиума:
15 декабря, 16:20 – 17:40
Nikita Zhivotovskiy, Google research
On robust mean estimation and k-means clustering
In this talk we consider the robust algorithms for the k-means clustering problem where a quantizer is constructed based on N independent observations. We start with an overview of the methods of robust statistics. First, we discuss the median-of-means estimator. This simple estimator allows us to evaluate the mean of some heavy-tailed distribution as if this distribution was Gaussian. We discuss some extensions to the multivariate case. In the context of clustering, we present the median of means based non-asymptotic distortion bounds that hold under the two bounded moments assumption. In particular, our results extend the renowned asymptotic result of Pollard who showed that the existence of two moments is d sufficient for strong consistency of an empirically optimal quantizer in R . In a special case of clustering in Rd , under two bounded moments, we show matching non-asymptotic upper and lower bounds on the distortion, which depend on the probability mass of the lightest cluster of an optimal quantizer. This talk is based mainly on the joint work with Y. Klochkov and A. Kroshnin (https://arxiv.org/abs/2002.02339to appear in Annals of Statistics).
The talk will be given in English.
Афиша
Запись коллоквиума:
1 декабря, 18:10 – 19:30
Евгений Бурнаев, Сколтех
Нейротехнологии и машинное обучение: от нейрохирургии и неврологии до киберспорта
Современная диагностика и прогноз лечения в таких областях, как нейрохирургия, неврология и психиатрия, требуют анализа изображений, полученных в различных модальностях: структурно-функциональной магнитно-резонансной томографии (МРТ), позитронно-эмиссионной томографии (ПЭТ), а также данных об электрической активности головного мозга (ЭЭГ). В психофизиологических исследованиях учебного процесса и при подготовке киберспортсменов сбор данных также возможен за счет использования носимой электроники и устройств слежения за движениями зрачков. Такого рода данные имеют сложную структуру и высокую размерность. Соответственно, требуется развитие новых методов машинного обучения. В докладе я расскажу о постановках основных задач и наших последних результатах в области эффективного снижения размерности данных фМРТ для картирования функциональных областей мозга при хирургическом планировании и нейронавигации, сегментации трехмерных МРТ-изображений для выявления поражений и т.д.
Афиша
Запись коллоквиума:
3 ноября, 16:20 – 17:40
Максим Рахуба, НИУ ВШЭ
Многомерное обобщение сингулярного разложения и его применение к одномерным данным
В докладе будут рассмотрены различные способы обобщить одно из центральных матричных разложений – сингулярное разложение – на случай многомерных массивов. Во многих прикладных задачах такие разложения, также именуемые тензорными, позволяют преодолеть проблему экспоненциального роста числа параметров при увеличении размерности многомерного массива.
Мы также поговорим о том, как и зачем использовать тензорные разложения в задачах с малой размерностью, например, в применении к одномерным или двумерным массивам; обсудим последние теоретические результаты для приближения функций и использование такого подхода в глубинном обучении.
Афиша (PDF, 207 Кб)
Запись