• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Промышленное машинное обучение на Spark

курс повышения квалификации

Курс о настоящем Apache Spark, который базируется на практическом использовании этого инструмента в "боевых условиях" на потоках данных из миллионов транзакций в день.

Это практический курс, где вся теория подкреплена практикой. Вы получите комплексные знания о новом инструменте и научитесь его применять. 

Чему научитесь

        Работать с Apache Spark RDD/DataFrame
        Настраивать конфигурационные файлы Apache Spark
        Создавать исследовательские/ML приложения Spark

 

        Понимать процесс тестирования процесса Apache Spark
        Работать с экосистемой Spark
        Понимать архитектуру Spark

 

Для кого

   Студентов, получающих высшее образование, у которых есть опыт программирования и работы с базами данных, но ещё не применяющих Apache Spark.

   Разработчиков и аналитиков данных с высшим или средним профессиональным образованием.
  
 

Программа

Что узнаете за 8 недель обучения 
 

  • Как работают и где живут большие данные

    Введение в большие данные. Организация хранения данных и отличие от обычных систем. Map-Reduce и правила работы с большими данными. Обзор экосистемы. SQL поверх больших данных.

  • Погружение в среду Spark. Spark RDD / Spark SQL

    Знакомство со Spark. Сравнение RDD и DataFrame. Реализация методов или расчетов в RDD и в DataFrame. Развитие инструмента: от функционального программирования с RDD до приемлемых и знакомых методов из Pandas в Spark DataFrame. 

  • Advanced SQL (+ pandas UDF и др.)

    Усложнение методов аналитики и обработки данных. Трансформации данных и настоящие примеры. Сравнение методов. Разбор каждого метода: где и какой метод можно применять. Инструменты и новые функции (Pandas UDF и др.). Настройки (configuration Spark). 

  • Spark ML / Spark TimeSeries

    Машинное обучение на Spark. Решение задач по анализу временных рядов. 

  • Advanced ML & проверка результатов качества моделей

    Подключение Java библиотек Xgboost и Catboost в Spark. Подготовка Model Quality по результатам обучения модели регрессии и классификации. 

  • Spark GraphX / Spark Streaming

    Графовые данные в Spark в библиотеке GraphX. Анализ социальных сетей. Streаming в Spark.  Использование данных из реального времени. 

  • Spark Ecosystem (MLFlow, AirFlow, H2O AutoML)

    Интеграция Spark с другими промышленными сервисами. Spark в MLFlow и AirFlow для автоматизации работы. Интеграция Spark в другие библиотеки и продукты (на примере H2O). 

  • Spark в архитектуре проекта / Spark CI/CD

    Правильная архитектура Spark и работа с ним.  Автоматизация (Continious Integration) процесса разработки и интеграции кода в готовый продукт. Структура Spark проекта и "что можно ещё поменять в Spark" для ускорения или упрощения работы.

Преподаватели

Ксения Лисицина
Ml-engineer в Rubbles

Артём Селезнёв
Руководитель направления по клиентской аналитике CVM в Магните

Оставить заявку на обучение

Поступающим

Стоимость

30 000 ₽

Оплату можно разбить на два взноса.

Cкидки для студентов, выпускников и слушателей основных и дополнительных программ ВШЭ.
 

Расписание

Занятия один раз в неделю. 

Место проведения: Москва, Покровский бульвар, 11

Документ при успешном завершении обучения

У нас есть лицензия на образовательную деятельность.

Траектория поступления

  • Шаг  1:  Оставить заявку на программу

    В заявке важно указать актуальные номер и e-mail. 

  • Шаг  2:  Подтвердить обучение на курсе

    Менеджер свяжется с вами по указанным в заявке контактам, чтобы вы могли подтвердить участие в обучении.

  • Шаг  3:  Отправить документы для зачисления

    Для зачисления нужны сканированные копии:

    – паспорта (3-4 страница, а также страница с адресом регистрации);
    – диплома о высшем или среднем профессиональном образовании (первые две страницы);
    – актуальной справки из вуза (если вы являетесь студентом);
    – снилс;
    – свидетельства о смене фамилии (если в паспорте и дипломе фамилия не совпадает).

  • Шаг  4:  Заключить договор

    Менеджер отправит вам договор на ознакомление и ссылку на оплату, по которой нужно будет оплатить обучение.

  • Шаг  5:  Начать обучение

    За несколько дней до начала обучения отправим организационное письмо со всей важной информацией о курсе и ссылкой на чат в Telegram

Оставить заявку на обучение

Контакты


Светлана Попова
Менеджер

 svetlana.popova@hse.ru
 7 (495) 531-00-00 доб. 27355
 Покровский б-р,11. Каб. T919