Эксперты в области ИИ представляют НИУ ВШЭ на международной конференции AISTATS

Freepik

Ученые Центра ИИ и Института ИИ и цифровых наук ФКН принимают участие в 27-ой Международной конференции по искусственному интеллекту и статистике AISTATS, которая проходит в Валенсии, Испания. Конференция объединяет исследователей по информатике, искусственному интеллекту, машинному обучению, статистике и смежным областям.

Публикации, принятые на AISTATS 2024: 

• Generative Flow Networks as Entropy-Regularized RL

Авторы: Даниил Тяпкин, Никита Морозов, Алексей Наумов, Дмитрий Ветров 

Статья вошла в 5% лучших публикаций на конференции и была представлена в качестве доклада на сессии «Вероятностные методы». 

• Training a Tucker Model With Shared Factors: a Riemannian Optimization Approach

Авторы: Иван Пешехонов, Алексей Аржанцев, Максим Рахуба 

Факторизация матрицы в произведение двух матриц меньшего размера – классический инструмент в различных приложениях машинного обучения. Тензорные факторизации обобщают эту концепцию на многомерные матрицы. В приложениях, где некоторые размерности тензора совпадают или соответствуют одним и тем же объектам (например, графы знаний с трехмерными тензорами «сущность-отношение-сущность»), может быть полезно, чтобы некоторые из факторов совпадали друг с другом. 

Рахуба Максим Владимирович
Научно-учебная лаборатория матричных и тензорных методов в машинном обучении: Заведующий лабораторией

В этой статье мы рассматриваем хорошо известное тензорное разложение Такера и изучаем его свойства в случае, когда некоторые из факторов совпадают. С точки зрения алгоритмов равенство факторов нарушает полилинейность классических тензорных факторизаций, и поэтому общепринятые схемы оптимизации, такие как ALS, становятся неприменимыми. Тем не менее, как мы показываем в данной работе, набор таких тензоров с фиксированным рангом сохраняет структуру риманова многообразия, что мы и используем при разработке эффективных алгоритмов. Предлагаемые методы реализованы в виде пакета программ и могут быть использованы в различных приложениях. Мы демонстрируем преимущества нашего подхода сразу на нескольких задачах, включая сжатие сеточных функций, заполнение графа знаний, а также уменьшение числа параметров нейронных сетей.

 

• Differentiable Rendering with Reparameterized Volume Sampling

Авторы: Никита Морозов, Денис Ракитин, Олег Дешеулин, Дмитрий Ветров, Кирилл Струминский

Нейронные поля светимости (Neural Radiance Fields, NeRF) представляют собой активно исследуемое семейство методов, позволяющее восстанавливать трехмерную сцену по нескольким ее снимкам с разных ракурсов. Оригинальный метод черпает мотивацию из физических законов распространения света и состоит в обучении так называемых полей плотности и светимости, отвечающих, соответственно, за степень непрозрачности и цвет объекта в каждой точке сцены. Для обучения и отрисовки сцены с данного ракурса метод запускает луч из камеры в сторону объекта и считает цвет данного пикселя как взвешенную сумму цветов в точках луча с весами, соответствующими доле непоглощенного света. В статье подробно исследуется этот алгоритм и предлагается его интерпретация с вероятностной точки зрения, за счет чего удается оптимизировать количество выбираемых точек на луче для подсчета цвета и получить более эффективную процедуру обучения. Помимо этого, полученная модификация алгоритма может быть использована вместе с современными версиями модели NeRF и другими архитектурами (например, Direct Voxel Grid Optimization, DVGO), что дает возможность для эффективного выбора соотношения между вычислительной сложностью и качеством рендеринга.

Ракитин Денис Романович
Центр глубинного обучения и байесовских методов: Младший научный сотрудник

В момент работы над этим проектом мы с коллегами интересовались нейросетевыми методами рендеринга, а имеющийся у нас опыт в обучении вероятностных моделей машинного обучения позволил взглянуть на существующие алгоритмы с другой стороны. Полученная интерпретация метода и простор для его модификаций мотивировала нас к работе на стыке этих двух областей, в результате чего появилась эта работа.

Конференция по искусственному интеллекту и статистике AISTATS создана в 1985 году и направлена на расширение исследований в области информатики, искусственного интеллекта,  машинного обучения, статистики и др. путем содействия обмену идеями между ними. В программу конференции включены темы: обучение с подкреплением и оптимизация, вероятностные методы, глубинное обучение, статистика,  общее машинное обучение и др.