• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Анализ сингулярных чисел сверточных слоев нейросетей

Выполнила: Гришина Екатерина Романовна

В данной работе проанализирована ошибка между сингулярными числами свертки-корреляции, которая используется в нейросетях на практике, и периодической свертки, с помощью которой можно эффективно вычислять и ограничивать сингулярные числа. Получена верхняя оценка для разности сингулярных чисел этих двух типов сверток в одномерном и многоканальном двумерном случае. Для бидиагональной матрицы Теплица (одномерной свертки-корреляции) найдены точные значения сингулярных чисел и более близкая оценка. Также сделана оценка сингулярных чисел свертки-корреляции с помощью оптимальных циркулянтов. Кроме того, обоснована сходимость метода ограничения сингулярных чисел, предложенного в статье Hanie Sedghi, Vineet Gupta и Philip M Long “The singular values of convolutional layers”, при его применении к свертке-корреляции.

Отчет (PDF, 876 Кб)

Руководитель проекта

Рахуба Максим Владимирович

Международная лаборатория стохастических алгоритмов и анализа многомерных данных: Старший научный сотрудник


 

Нашли опечатку?
Выделите её, нажмите Ctrl+Enter и отправьте нам уведомление. Спасибо за участие!
Сервис предназначен только для отправки сообщений об орфографических и пунктуационных ошибках.