Нейросетевые технологии

Нейронная сеть (НС) – вычислительная структура, состоящая из простых элементов, нейронов, соединенных между собой; НС способна реализовывать сложные отношения, с помощью которых можно решать широкий класс задач математики, управления, информационной безопасности и т.п.

При изучении НИС вы узнаете:

- что такое НС, какие есть виды НС,

- что такое нейрокомпьютер, нейрочип, как они устроены.

Научитесь:

- создавать, обучать, проверять НС различной архитектуры,

- решать математические задачи (классификация, аппроксимация и др.) с помощью НС,

- моделировать НС на ПЭВМ и ускорителях,

- решать прикладные задачи с помощью НС, в том числе распознавание изображений, распознавание спама, и многие другие.

НИС состоит из лекционных и практических занятий. На практических занятиях используется пакет Матлаб для реализации нейронных сетей и алгоритмов на их основе.

Темы НИС:

1.Понятие (искусственного) нейрона. Понятие (искусственной) нейронной сети. Понятие функции активации. Формула нейрона. Понятие разделяющей поверхности.

2.Формула для многослойной нейронной сети.

3. Требования к функции активации. Виды функций активации.

4.Понятие обучения (настройки) нейронной сети. Понятие обучающего и тестового множеств.

5.Методы обучения нейронной сети. Метод градиентного спуска. Понятие ошибки обучения и функционала оптимизации. Онлайн и офлайн обучение.

6.*Методы обучения второго порядка. Метод Левенберга-Марквардта. Метод сопряженных градиентов.

7. Расчет частных производных для реализации метода градиентного спуска.

8. Matlab Neural Network Toolbox.

9.Понятие нейроматематики. Нейросетевая аппроксимации функций.

10.Нейросетевая экстраполяция (прогнозирование) функций.

11.Нейросетевая классификация данных.

12.* Нейросетевая кластеризация данных. Самоорганизующиеся карты Кохонена.

13.Нейросетевое решение систем линейных алгебраических уравнений.

14.* Нейросетевое решение дифференциальных уравнений в частных производных.

15.Понятие нейроуправления и нейроидентификации. Схемы нейроуправления.

16. Схема инверсного нейроуправления. Ограничение на типы управляемых объектов.

17.Схема прямого нейроуправления. Схема прямого нейроуправления с эмулятором.

18.Схема косвенного нейроуправления.

19.Нейронная сеть CMAC.

20.*Рекуррентные нейронные сети. Проблемы с обучением методом градиентного спуска и их решение.

21.Нейрочипы и нейрокомпьютеры.

22.*Мемристоры.

23.Общематематические вычисления на графических процессорах. Архитектура графических процессоров.

24.Нейронные сети глубинного обучения (DNN). (а причем тут Гугл и котики?)

25.*Библиотеки реализации DNN на графических процессорах.