Вопросы теории информации и сжатие данных

Преподаватель: Коротеев Максим Валерьевич

Модуль: 1-2

Кредиты: 2

Аннотация: 

Курс предназначен для студентов, ориентированных на математику, но посвящен многим чисто прикладным и вычислительным темам. Основное внимание в курсе уделяется той части теории информации, которая связана с теоремой о кодировании исходного кода и ее применением к задачам сжатия 2D, 3D и общих данных. Несмотря на значительные успехи, достигнутые теорией сжатия с начала 80-х годов (когда Риссанен разработал свой знаменитый принцип минимальной длины описания), задача адекватной оценки вероятности или вывода остается важным моментом для усилий исследователей. Таким образом, предполагается, что курс представляет собой комбинацию связанных с кодированием тем теории информации, а также логического вывода. В частности, предполагается, что он охватывает следующие темы:

- Теорема исходного кодирования, символьные и потоковые коды (коды Хаффмана, арифметическое кодирование);

- Двоичные и многосимвольные коды.

- Один из примеров хэш-кодов для задачи 3D-сжатия.

- Принцип максимального правдоподобия для кодирования.

- Универсальное кодирование (оценки Лапласа, Дирихле и Кричевского-Трофимова).

- Общая формулировка задачи вывода для обучения распределению вероятностей.

- Изучение дискретных случайных величин.

В ходе курса будут продемонстрированы численные эксперименты.

Формула оценивания:

По результатам экзамена (50-80%), посещаемость (20%), выполнение задания по курсу (по желанию, 0-30%)

Пререквизиты: математический анализ, теория вероятностей

Для кого:  старшие курсы бакалавриата, магистранты