Специалист по Data Science

• Введение в язык Python. Знакомство со средой программирования. Базовые операции. Интерпретация ошибок.
• Строки и списки в Python.
• Понятие управляющих конструкций. Условные операторы.
• Циклы for и while.
• Устройство функций в Python. Поиск ошибок в коде и отладка.
• Итераторы, генераторы, генераторы списков. Рекурсия.
• Работа с файлами. Продвинутая работа со словарями.
• Библиотеки для хранения и работы с данными в табличном формате: pandas.
• Сбор данных: web-scraping с BeautifulSoup.
• Сбор данных: Selenium, работа с сервисами через API.
• Объектно-ориентированное программирование. Классы.
• Введение в numpy.
• Введение в pandas.
• Работы с пропущенными данными.
• Визуализация для презентации данных: matplotlib. Основные виды графиков. Основные ошибки при создании визуализаций.
• Создание интерактивных визуализаций: plotly.
• Разведывательный анализ данных. Особенности исследования текста.

• Введение в SQL. Основные блоки запросов. Типы данных.
• Агрегационные функции и подзапросы.
• Join'ы и их применение.
• Оконные функции.
• SQL в связке с Python.

Дискретная математика:

• Множества и логика.
• Комбинаторика и вероятность.
• Неориентированные графы.
• Ориентированные графы и алгоритмы на графах.

Математический анализ:

• Функции одной переменной, пределы, производные.
• Касательные, критические точки, поиск минимумов и максимумов.
• Интегралы, введение в вычисление интегралов.
• Функции нескольких переменных, градиент, производная по направлению, линии уровня, касательная плоскости, критические точки, поиск минимумов и максимумов.
• Оптимизационные задачи, лагранжиан и его геометрический смысл, нахождение минимума или максимума с заданными ограничениями.

Линейная алгебра:

• Системы линейных уравнений, матрицы, обратимость и невырожденность.
• Определитель, обратная матрица.
• Векторные пространства и подпространства, размерности, ранги матриц.
• Линейные отображения и их матричное описание. Собственные значения и векторы, связь со спектром.
• Билинейные и квадратичные формы. Скалярные произведения, углы и расстояния. Ортогонализация и QR-разложение. Линейные многообразия и линейные классификаторы, отступы.
• Операторы в евклидовых пространствах. Сингулярное разложение (SVD).

Теория вероятностей:

• Пространство элементарных исходов. События. Вероятность и её свойства. Условная вероятность. Формула полной вероятности. Формула Байеса.
• Дискретные случайные величины и их распределения. Независимость случайных величин. Распределение функции от дискретной случайной величины. Математическое ожидание и дисперсия.
• Случайные величины, имеющие плотности. Математическое ожидание случайной величины, имеющей плотность. Равномерное, экспоненциальное, нормальное распределения.
• Функция распределения. Распределение функции от случайной величины, имеющей плотность. Многомерные случайные величины. Ковариация и корреляция.
• Неравенства концентрации (неравенства Маркова и Чебышёва). Распределение суммы случайных величин. Закон больших чисел. Центральная предельная теорема.

Теория оценивания. Оценивание параметров распределения. Метод моментов и метод максимального правдоподобия. Сравнение оценок.

• Теория оценивания. Оценивание характеристик распределения. Метод Монте-Карло.
• Доверительное оценивание. Построение доверительных интервалов. Доверительные интервалы в нормальной модели. Бутстрэп.
• Проверка гипотез. Введение в проверку гипотез. Критерии согласия.
• Проверка гипотез. Критерии однородности и A/B тестирование I.
• Проверка гипотез. Критерии однородности и A/B тестирование II.
• Линейные модели со статистической точки зрения I. Исследование зависимости признаков. Ковариация и корреляция.
• Линейные модели со статистической точки зрения II. Метод наименьших квадратов (МНК). Статистические свойства оценок МНК.
• Временные ряды. Модель SARIMA и ее подгонка.

• Асимптотический анализ.
• Базовые структуры данных.
• Сортировки.
• Бинарные деревья поиска.
• Хеш-таблицы.
• Алгоритмы на графах.
• Алгоритмы на строках.
• Динамическое программирование.

• Введение и основные задачи.
• Линейная регрессия.
• Градиентные методы обучения.
• Линейная классификация и метрики качества классификации.
• Логистическая регрессия и SVM.
• Многоклассовая классификация, работа с категориальными признаками и текстами.
• Решающие деревья.
• Бэггинг и случайные леса.
• Градиентный бустинг.
• Градиентный бустинг: имплементации.
• Отбор признаков и понижение размерности.
• Кластеризация.
• Поиск аномалий.
• Рекомендательные системы.
• Ранжирование.

• Введение: как работают и где находятся большие данные. 
• Среда Spark. Spark RDD / Spark SQL. 
• Advanced SQL. 
• Spark ML / Spark TimeSeries. 
• Advanced ML и проверка результатов качества моделей. 
• Spark GraphX /Spark Streaming. 
• Экосистема Spark (MLFlow, AirFlow,H2O AutoML). 
• Spark в архитектуре проекта / Spark CI/CD. 

• Введение в глубокое обучение. От линейной регрессии к нейронной сети. Смотрим на базовые возможности tensorflow/pytorch, собираем первую нейросеть.
• Обучение нейронных сетей. Алгоритм обратного распространения ошибки.
• Свёрточные нейронные сети. Классификация изображений.
• Оптимизация. Эвристики для обучения нейронных сетей. Нормализация по батчам, инициализация и др.
• Архитектуры свёрточных сетей. Что видят свёрточные сети. Transfer learning.
• Обзор задач компьютерного зрения. Детекция, сегментация, перенос стиля, распознавание лиц.
• Автокодировщики и генеративные модели (Generative Adversarial Networks). 
• Глубокое обучение для NLP. Векторные представления текстов: word2vec, fasttext.
• Рекуррентные нейронные сети, работа с последовательностями. ELMO-эммбеддинги.
• Sequence2sequence, архитектуры с механизмом внимания. Трансформеры. BERT.

• Введение в цифровую обработку сигналов и классификация звуков.
• Автоматическое распознавание речи.
• Преобразование текста в речь.
• Введение в обработку текстов и классификация текстов.
• Языковое моделирование.
• Машинный перевод.
• Распознавание лиц и метрическое обучение.
• Семантическая сегментация изображений. 
• Детекция объектов на изображениях. 
• Глубинное обучение в производстве: обслуживание и ускорение.