Научный семинар

Подписывайтесь на телеграм-канал семинара!
Прошедшие семинары:

• 26.06.24, Иван Пешехонов (ВШЭ, Яндекс): Matrices in DL are dead. Long live KANs

Аннотация. In this talk, we will discuss a recently hyped paper on Kolmogorov-Arnold networks. The authors state that the new architectural layer could replace MLP layers in neural networks while requiring significantly fewer parameters. Moreover, KANs have properties that MLPs don't, such as the ability to solve PDEs using a small KAN network or model math functions and operations.

• 19.06.24, Екатерина Гришина (ВШЭ): Точная и эффективная оценка спектральной нормы свёрточных слоев нейросетей

Аннотация. В докладе будет сделан обзор методов вычисления сингулярного числа свертки. Будет рассказано о нашей новой оценке сингулярного числа сверточного слоя с помощью спектральной нормы тензора ядра. Мы рассмотрим применение данной оценки к регуляризации сверточных нейросетей.

• 04.06.24, Михаил Горбунов, Николай Юдин (ВШЭ): Эффективная структурированная ортогональная параметризация на основе GS-матриц

Аннотация. В докладе мы расскажем про предложенный нами класс структурированных GS-матриц (Group-and-Shuffle matrices), который является обобщением монархических матриц, и его использование для построения структурированной ортогональной параметриазции. Мы рассмотрим применение этой параметризации в рамках парадигмы ортогонального файн-тьюнинга (Orthogonal Fine-Tuning), ее адаптацию к сверточным архитектурам и сделаем обзор предшествующих методов.

• 17.04.24, Александр Моложавенко (ВШЭ, МФТИ): Riemannian Optimization on a Quotient Tensor Train manifold

Аннотация. During this seminar, we will delve into the fascinating field of Riemannian optimization on various manifolds. I will overview TT, Stiefel and Grassmann manifolds. We will discuss their interplay, and how they can be used to construct already known and new efficient optimization algoirthms for multidimensional eigenvalue problems.

• 03.04.24, Сергей Матвеев (МГУ, ИВМ РАН): Методы переменного проектирования для приближенно-малоранговых неотрицательных тензоров

Аннотация. В докладе будет рассказано об алгоритмах переменного проектирования для получения неотрицательных малоранговых разложений тензоров в форматах Таккера и тензорного поезда. Для начала мы покажем, что методы переменного проектирования применимы для получения матричных разложений. В роли оператора проекции на множество матриц малого ранга будет использоваться сингулярное разложение, дающее оптимальное приближение фиксированного ранга для матриц в унитарно-инвариантных нормах. После этого мы убедимся, что на практике достаточно квазиоптимальных по точности, но более быстрых рандомизированных алгоритмов. Обобщение этих процедур естественным образом позволяет получить методы неотрицательной факторизации для данных большей размерности, возникающих в частности при обработке гиперспектральных снимков и видеоданных. В случае тензорного поезда мы покажем, что очистка тензора от артефактных отрицательных элементов может быть выполнена при помощи коррекции ранга 1, вычислить которую можно с помощью итераций степенного метода в ТТ-формате.

• 06.03.24, Salman Ahmadi Asl (Skoltech): Randomized tensor algorithms for fast tensor completion.

Аннотация. Tensors have been successfully applied in many machine learning and data analysis tasks such as data reconstruction, data compression, clustering, etc. One of the main challenges in this topic is developing fast algorithms for the computation of different types of tensor decomposition. For example, to solve the tensor completion problem, we often need to compute tensor decompositions multiple times. When the data tensors are huge or many iterations are necessary for the convergence, these calculations become prohibitively expensive. Therefore, in order to be employed in real-time applications such as traffic data prediction, we need to build fast methods for various types of tensor decompositions.
The randomization framework has been proven to be an efficient technique for low-rank matrix computation and recently was generalized to the tensors. It is known that randomized algorithms reduce the computational complexity of the deterministic counterparts and also their communication costs.
The latter benefit is especially important when the data tensor is very large and stored on several machines. Here, the communication cost is the main concern and we need to access the data tensor as few times as possible. In this talk, we talk about these fast techniques and their computational aspects. In particular two applications namely image/video completion and image super-resolution are presented.

• 21.02.24, Екатерина Булатова (Цинхуа): Диффузионные модели в генерации естественных текстур для одежды, помогающей избегать детекции.

Аннотация. Одно из самых сложных требований в генерации адверсариальных примеров – добиться того, чтобы они выглядели натурально на человеческий взгляд. В данном докладе будет представлен подход к быстрой генерации естественно выглядящих контролируемых адверсариальных узоров с помощью диффузионных моделей. Будут рассмотрены ближайшие подходы, опорные методы, использованные приемы и примеры генерации.

• 14.02.24, Данил Гусак (НИУ ВШЭ, Сколтех): Масштабируемая кросс-энтропия для последовательных рекомендаций с большими каталогами айтемов.

Аннотация. Применение традиционной кросс-энтропии в контексте рекомендательных систем с большим объемом товаров может сталкиваться с ограничениями, налагаемыми доступным объемом памяти GPU. В настоящем докладе представлен наш подход к модификации кросс-энтропии, который является экономичным с точки зрения затрат памяти, не приводя при этом к значительному снижению производительности по ключевым метрикам качества рекомендаций. Мы детально рассмотрим сам метод, который включает в себя создание случайной малоразмерной промежуточной матрицы и последующий поиск с помощью неё информации, оказывающей наибольший вклад в вычисление кросс-энтропии, а также некоторые его модификации.

• 21.12.23, Екатерина Гришина (НИУ ВШЭ): разбор статьи "On the explainable properties of 1-Lipschitz Neural Networks: An Optimal Transport Perspective".

• 14.12.23, Ирина Голобородько (НИУ ВШЭ): Спектральные свойства матриц Якоби в нейронных сетях.

Аннотация. Регуляризация спектральных свойств матриц Якоби в нейронных сетях дает возможность влиять на устойчивость их обучения. Мы обсудим основные методы оценки и контроля спектральных свойств якобиана. Отдельный интерес представляет случай, когда тензоры весов сети представлены посредством тензорных разложений. Мы подробно остановимся на особенностях применения регуляризации матриц Якоби в данной постановке и поговорим о нескольких возможных сценариях ее применения.

• 30.11.23, Александра Сендерович (НИУ ВШЭ): Методы обучения нейронных сетей с ограниченной константой Липшица.

Аннотация. Так как константа Липшица нейронной сети влияет на её робастность (то есть устойчивость к атакам), возможность контроля над ней важна для получения хорошего качества в прикладных задачах машинного обучения. В докладе будут рассмотрены основные на текущий момент методы ограничения константы Липшица свёрточной сети, после чего мы перейдём к более общему методу регуляризации, подходящему не только для свёрток.

• 16.11.23, Евгений Фролов (НИУ ВШЭ, Сколтех, AIRI): Гиперболические эмбеддинги в задаче предсказания следующих действий пользователя в рекомендательных системах. 

Аннотация. В докладе будет рассмотрен особый вариант обучения модели нейросетевого внимания (self-attention) на последовательностях пользовательских действий с использованием гиперболической геометрии. Мы разберем один из механизмов перевода весов модели в неевклидово пространство, связанные с этим изменения свойств результирующей модели, а также практичность применения в решении реальных задач для рекомендательных систем.

• 02.11.23, Иван Пешехонов (НИУ ВШЭ): Exploring the benefits of Riemannian optimization for machine learning tasks on matrix/tensor manifolds.

Аннотация. In this talk I will provide a gentle introduction into Riemannian optimization. We will discuss the fundamental concepts and components necessary for construction first order optimization algorithms. Additionally, we will examine how Riemannian optimization can be applied to the manifolds of fixed-rank matrices/tensors for a range of machine learning tasks, including knowledge graph link prediction, model compression and NN fine-tuning. Finally, I will provide results of our recent research as a motivation to further studies in this area.