Учебные курсы

3 курс, 1–2 модули

Аннотация

Курс «Разработка микросервисов на Go» предлагает изучение основ языка Go и микросервисной архитектуры. Вы научитесь настраивать локальное окружение, работать с REST API, а также организовывать взаимодействие между сервисами через gRPC, Kafka и REST. Курс ориентирован на практику: вы будете выполнять задания, начиная с разработки HTTP сервера и клиента, заканчивая созданием системы бронирования отелей, чтобы освоить ключевые навыки разработки микросервисов.

Go В МТС

В МТС Go используется для решения огромного количества различных задач, включающих в себя работы с инфраструктурой, парсинг и формирование продуктовых корзин, распараллеливание долгих операций синхронизации и прочее.

Но это не единственная область применения Go. На нем также разрабатываются обычные продуктовые сервисы, к примеру, корпоративные. 

В HR Tribe backend всех продуктов реализовывается на Go. Он принят за стандарт и позволяет очень быстро сделать прототип сервиса и начать обкатывать на нем свои гипотезы.

Тематический план 

• История и идеология Go

• Основы Go

• Основы WEB для разработчиков

• Стандартные библиотеки и практики Go

• Архитектура систем

• Реляционные БД, PostgreSQL

• Архитектура на уровне приложения Go

• Асинхронное взаимодействие, Kafka/Rabbit/NATS

• Контроль качества кода

• Наблюдаемость

• Concurrency

• Q/A сессия

• Общая теория по СУБД

• Напутствие и road map развития

Итоговый проект

Разработать систему бронирования номеров. Сервисы должны удовлетворять контрактам из репозитория.

Разработать схемы для хранения данных, написать миграции и заполнить базы данных тестовыми данными.

Формула оценки

Итог = 0,3 * ДЗ + 0,3 * Экзамен + 0,4 * Итоговый проект,

где ДЗ – средняя оценка за все домашние задания

Асинхронный курс на MTS Link, регулярные семинары и консультации

Практические задания выполняются на вычислительных ресурсах MWS

4 курс, 1–2 модули

Аннотация

Курс посвящен платформам данных, которые упрощают задачи с данными, предоставляя инфраструктуру и инструменты для их загрузки, обработки и анализа. Вы изучите основные концепции платформ данных, научитесь развертывать платформу и организовывать полный цикл работы с данными: от загрузки до анализа. Рассматриваются технологии Big Data, Data Warehouse, Data Lake и Data Governance, с акцентом на Hadoop и Spark. Вы освоите компоненты Hadoop, архитектуру кластера и HDFS, а также работу с Spark DataFrame API и Spark SQL API.

Теоретическая часть представлена в виде онлайн-лекций, а практическая часть проходит при поддержке преподавателей. В рамках курса также предусмотрены QA-сессии для получения ответов на возникающие вопросы.

Тематический план 

• Причины появления инструментов обработки больших данных. Какие задачи они решают

• Компоненты Hadoop и архитектура кластера

• HDFS (Hadoop Distributed Filesystem)

• Развертывание Hadoop и базовые операции ФС

• Парадигма MapReduce

• YARN

• Форматы файлов

• Другие проекты экосистемы Hadoop

• Hive: назначение, структура, компоненты

• Развертывание Hive и операции с ним

• HiveQL и организация данных

• Сравнение с традиционными RDBMS

• Spark, архитектура и назначение

• Развертывание кластера Spark

• Spark DataFrame API

• Spark  SQL API

• Взаимодействие между компонентами Hadoop

• Средства организации ETL-процессов

• DBT, Prefect, NiFi

• Сравнение различных инструментов ETL

• Способы организации хранилищ: DataLake DataWarehouse, Lakehouse

• Greenplum

• Clickhouse

• Kafka

• DQ

• DatGov

• BI

Практические задания

Выполняются на вычислительных ресурсах MWS

• Развертывание Hadoop

• Развертывание кластера YARN и выполнение распределенного MapReduce

• Развертывание Hive

• Развертывание кластера Spark

• Развертывание Airflow, реализация ETL процесса с его применением

• Работа с Greenplum 

• Работа с DQ 

• Работа с BI 

Формула оценки

Итог = 1,0 * Средн.арифм(ДЗ)

Разработка микросервисов на Go

• Вводная встреча: презентация курса, разбор проекта, сверка ожиданий
• Основы Go
• Основы WEB для разработчиков
• Стандартные библиотеки и практики Go
• Архитектура на уровне приложения Go
• Архитектура систем
• Документация и тестирование
• Наблюдаемость
• Нереляционные БД, MongoDB
• Реляционные БД, PostgresQL
• Go Internals (для продвинутых)
• Асинхронное взаимодействие, Kafka/Rabbit/NATS
• Concurrency
• DevOps (опционально)

Методы и системы обработки больших данных 

• Запуск платформы данных на DataBricks/GCP
• Ключевые составляющие платформы данных: Storage, Transform, Discovery, Reporting, Quality, Governance
• Распределенные файловые системы
• Введение в Hadoop: HDFS, YARN, MapReduce
• Распределенные вычисления
• Введение в Apache Spark: общие концепции, DataFrames, Spark SQL
• Продвинутый Apache Spark: оптимизации, RDD
• Объектные хранилища: Amazon S3
• Schedulers: Apache Airflow, Prefect, Cron
• Massive Parallel Processing (MPP): распределенные OLAP хранилища
• Стриминг: Kafka, Structured Streaming, KSQL, FLINK

Введение в платформы данных

• Основные концепции платформ данных. Задачи, которые они решают
• Хранение данных. DWH vs DataLake. Где и как хранить Big Data
• Загрузка данных в хранилище из различных источников. ETL, Streaming
• Построение витрин данных в хранилище. Модели данных
• Оптимизация работы пользователей с хранилищем. Оптимизация производительности
• Data Governance. Новый уровень доверия к данным
• Качество данных. Что это такое и как его мерять
• Каталог данных. Построение Data Mesh
• Аналитика данных. Способы работы с данными в хранилище. Data Virtualization
• Business intelligence и визуализация данных

Computer vision (in English)

• Introduction: Computer Vision and Video Processing Course
• 3D Reconstruction 1
• 3D Reconstruction 2
• DETR and ViT
• Computer Vision in Autonomous Vehicles
• Visual Object Tracking and Motion Prediction
• Face Recognition (Invited)
• Text and Image
• Neural Network Compression

DevOps

• DevOps методология и ее место в подходах к разработке
• Цикл разработки ПО и инструменты DevOps
• Практики DevOps на разных масштабах
• Больше о DevOps инструментарии
• DevOps инженер, навыки, знания
• Контейнеры, виртуалки и железо: примеры развертывания
• Советы по выбору места и роли, развитию в DevOps

Машинное обучение в прикладных задачах

Модуль 1 - Оптимизация взаимодействия с клиентом

• Рекомендательные системы и поиск
• Ценообразование на основе данных и прогнозирование спроса
• Скоринг
• Лидогенерация

Модуль 2 - Оптимизация расходов бизнеса

• Приоритизация инвестиций и оптимизация расходов производства
• Детектирование аномалий (примеры: утечки электроэнергии, фродовые продажи, предиктивное обслуживание)
• Оптимизация маркетинговых расходов
• Оптимизация работы персонала и процессов в компании. Управление мотивацией и численностью. Business process mining.
• Автоматизация работы с помощью deep learning. Чат-боты и LLM. Автоматизация с помощью Computer Vision

Модуль 3 - Обзор применений по отраслям

• Телеком
• Банки и FinTech
• Промышленность и сельское хозяйство
• РайдТех
•  Рекламные технологии