Семинар HDI&TFAIM Lab «Вероятностно-информированные нейросетевые модели анализа изображений при ограниченных обучающих данных»

В прикладных областях обучающие наборы данных зачастую оказываются малыми, несбалансированными или сильно неоднородными, поскольку их сбор, в том числе в ходе экспериментов, является трудоемкой и дорогостоящей задачей, требующей экспертных знаний. Одним из перспективных современных подходов для работы с ограниченными по информативным признакам данными и сигналами является вероятностное информирование. В рамках подхода предполагается интеграция достаточно универсальных вероятностных аппроксимаций данных с целью значимого повышения качества обучения нейронных сетей. В докладе представлено развитие методов вероятностного информирования, доказавших ранее свою эффективность для обработки временных рядов, для решения классических задач обработки изображений в условиях малых, неоднородных или несбалансированных обучающих наборов. Представлены подходы информирования сетей на уровне архитектуры и входных признаков с помощью моделей конечных нормальных смесей, факторных анализаторов и случайных полей Маркова. Эффективность методов подтверждается как экспериментально, так и теоретически: доказываются свойства используемых математических моделей, гарантирующие эффективность информирования ими нейронных сетей. Обсуждаются исследования аналитических свойств разработанных информированных архитектурных блоков. Доказаны теоремы об оценке ошибки отклонения от истинного решения информированной смесь архитектуры, о вычислительной сложности факторного блока слияния признаков, а также теоремы о повышении скорости обучения информированных Марковским случайным полем сетей в сравнении с неинформированными вариантами нейронных сетей.
На основе таких подходов к вероятностному информированию разработаны новые нейросетевые архитектуры для классификации и сегментации объектов на изображениях в условиях ограниченных обучающих наборов. Предложены и реализованы специальные стохастические функции активации, архитектурные блоки проецирования в пространство факторов, а также графово-сверточные сети на базе Марковской модели изображений.
Проведены эмпирические исследования созданных неройсетевых решений. Для тестирования использованы наборы открытых датасетов изображений, включающих в себя снимки земной поверхности с радаров, спутников и беспилотных летательных аппаратов. Во всех случаях продемонстрировано превосходство именно вероятностно-информированных моделей, в том числе и в сравнении с современными трансформерными архитектурами. В задачах классификации прирост точности составил до 7,02% по метрике Top-1 Accuracy (с базового среднего уровня в 82%). В задачах сегментации прирост F1-метрике для классов малоразмерных объектов составил до 66,24%, а для остальных классов поверхностей – до 15,11% относительно трансформерной state-of-the-art модели 2025 года для аэрокосмических изображений. 

По всем вопросам обращайтесь к Зеленовой Карине Михайловне kzelenova@hse.ru или к Горностаевой Екатерине Дмитриевне egornostaeva@hse.ru