Семинар HDI Lab: Применение методов машинного обучения для вычисления собственных функций дифференциальных операторов

Оператор Лапласа на графе регулярно используется в задачах машинного обучения, например, для кластеризации или при обучении с частичным привлечением учителя. Применения к задачам машинного обучения базируются на собственных функциях оператора Лапласа на графе, который строится по датасету. Данные функции тесно связаны с геометрией многообразия, на котором лежит датасет: в пределе собственные функции на графе стремятся к собственным функциям оператора Лапласа-Бельтрами на многообразии. В этом причина высокой эффективности графовых методов в задачах кластеризации и задача с частичным привлечением учителя.

У графовых методов есть множество преимуществ, но есть и существенные недостатки. Во-первых, время вычисления собственных функций оператора Лапласа на графе быстро растет с размером датасета. Во-вторых, для предсказаний в точке, которой не было в обучающей выборке, требуется заново строить граф, вычислять собственные функции и решать задачу регрессии, классификации, кластеризации и т.д. В идеале хотелось бы вычислять значения собственных функций в новых точках без дополнительного обучения.

В данной работе решается эта проблема. А именно, предложен алгоритм аппроксимации собственных функций похожего дифференциального оператора (энергии Дирихле) при помощи нейронных сетей. В новом алгоритме собственные функции вычисляются последовательно путем минимизация энергии Дирихле при условиях ортогональности уже аппроксимированным функциям и нормировки. Таким образом, задача сводится к минимизации трех величин: величина проекции заданной функции на подпространство, порожденное уже построенными функциями, отклонение нормы от единицы и энергии Дирихле. Один из способов решения такой задачи — минимизация целевой функции, являющейся взвешенной суммой трех данных величин.

В работе предлагается новый алгоритм построения целевой функции. А именно, веса подбираются таким образом, чтобы нейросеть последовательно добивалась выполнения каждого из условий: сначала бы достигалось ортогональность, потом условие нормировки при выполнении условия ортогональности для устойчивости алгоритма, и только потом минимизируется энергия Дирихле при выполнении условий ортогональности и нормировки. Помимо этого, предложен способ регуляризации, который позволяет применять метод для небольших датасетов, и повышает устойчивость алгоритма вычисления собственных функций. Рассматриваются примеры применения нового метода к синтетическим и реальным датасетам.