Анализ сингулярных чисел сверточных слоев нейросетей
Выполнила: Гришина Екатерина Романовна
В данной работе проанализирована ошибка между сингулярными числами свертки-корреляции, которая используется в нейросетях на практике, и периодической свертки, с помощью которой можно эффективно вычислять и ограничивать сингулярные числа. Получена верхняя оценка для разности сингулярных чисел этих двух типов сверток в одномерном и многоканальном двумерном случае. Для бидиагональной матрицы Теплица (одномерной свертки-корреляции) найдены точные значения сингулярных чисел и более близкая оценка. Также сделана оценка сингулярных чисел свертки-корреляции с помощью оптимальных циркулянтов. Кроме того, обоснована сходимость метода ограничения сингулярных чисел, предложенного в статье Hanie Sedghi, Vineet Gupta и Philip M Long “The singular values of convolutional layers”, при его применении к свертке-корреляции.
Отчет
Руководитель проекта
Международная лаборатория стохастических алгоритмов и анализа многомерных данных: Старший научный сотрудник
Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.