Учебные курсы

3 курс, 1–2 модули

Аннотация

Курс «Разработка микросервисов на Go» предлагает изучение основ языка Go и микросервисной архитектуры. Вы научитесь настраивать локальное окружение, работать с REST API, а также организовывать взаимодействие между сервисами через gRPC, Kafka и REST. Курс ориентирован на практику: вы будете выполнять задания, начиная с разработки HTTP сервера и клиента, заканчивая созданием системы бронирования отелей, чтобы освоить ключевые навыки разработки микросервисов.

Go В МТС

В МТС Go используется для решения огромного количества различных задач, включающих в себя работы с инфраструктурой, парсинг и формирование продуктовых корзин, распараллеливание долгих операций синхронизации и прочее.

Но это не единственная область применения Go. На нем также разрабатываются обычные продуктовые сервисы, к примеру, корпоративные. 

В HR Tribe backend всех продуктов реализовывается на Go. Он принят за стандарт и позволяет очень быстро сделать прототип сервиса и начать обкатывать на нем свои гипотезы.

Тематический план 

• История и идеология Go

• Основы Go

• Основы WEB для разработчиков

• Стандартные библиотеки и практики Go

• Архитектура систем

• Реляционные БД, PostgreSQL

• Архитектура на уровне приложения Go

• Асинхронное взаимодействие, Kafka/Rabbit/NATS

• Контроль качества кода

• Наблюдаемость

• Concurrency

• Q/A сессия

• Общая теория по СУБД

• Напутствие и road map развития

Итоговый проект

Разработать систему бронирования номеров. Сервисы должны удовлетворять контрактам из репозитория.

Разработать схемы для хранения данных, написать миграции и заполнить базы данных тестовыми данными.

Формула оценки

Итог = 0,3 * ДЗ + 0,3 * Экзамен + 0,4 * Итоговый проект,

где ДЗ – средняя оценка за все домашние задания

Асинхронный курс на MTS Link, регулярные семинары и консультации

Практические задания выполняются на вычислительных ресурсах MWS

4 курс, 1–2 модули

Аннотация

Курс посвящен платформам данных, которые упрощают задачи с данными, предоставляя инфраструктуру и инструменты для их загрузки, обработки и анализа. Вы изучите основные концепции платформ данных, научитесь развертывать платформу и организовывать полный цикл работы с данными: от загрузки до анализа. Рассматриваются технологии Big Data, Data Warehouse, Data Lake и Data Governance, с акцентом на Hadoop и Spark. Вы освоите компоненты Hadoop, архитектуру кластера и HDFS, а также работу с Spark DataFrame API и Spark SQL API.

Теоретическая часть представлена в виде онлайн-лекций, а практическая часть проходит при поддержке преподавателей. В рамках курса также предусмотрены QA-сессии для получения ответов на возникающие вопросы.

Тематический план 

• Причины появления инструментов обработки больших данных. Какие задачи они решают

• Компоненты Hadoop и архитектура кластера

• HDFS (Hadoop Distributed Filesystem)

• Развертывание Hadoop и базовые операции ФС

• Парадигма MapReduce

• YARN

• Форматы файлов

• Другие проекты экосистемы Hadoop

• Hive: назначение, структура, компоненты

• Развертывание Hive и операции с ним

• HiveQL и организация данных

• Сравнение с традиционными RDBMS

• Spark, архитектура и назначение

• Развертывание кластера Spark

• Spark DataFrame API

• Spark  SQL API

• Взаимодействие между компонентами Hadoop

• Средства организации ETL-процессов

• DBT, Prefect, NiFi

• Сравнение различных инструментов ETL

• Способы организации хранилищ: DataLake DataWarehouse, Lakehouse

• Greenplum

• Clickhouse

• Kafka

• DQ

• DatGov

• BI

Практические задания

Выполняются на вычислительных ресурсах MWS

• Развертывание Hadoop

• Развертывание кластера YARN и выполнение распределенного MapReduce

• Развертывание Hive

• Развертывание кластера Spark

• Развертывание Airflow, реализация ETL процесса с его применением

• Работа с Greenplum 

• Работа с DQ 

• Работа с BI 

Формула оценки

Итог = 1,0 * Средн.арифм(ДЗ)

Аннотация 

Курс посвящён специфике применения машинного обучения в широком наборе отраслей бизнеса

Модуль 1 — Оптимизация взаимодействия с клиентом

• Рекомендательные системы и поиск: базовые решения на основе популярностей и коллаборативной фильтрации, различие постановок задачи, гибридные методы. Нейросетевые подходы к рекомендациям и поиску. Метрики вовлеченности, точности и разнообразия. Валидация на исторических данных и при внедрении алгоритмов
• Ценообразование на основе данных и прогнозирование спроса: базовая идея оценки эластичности спроса по цене, различие постановок задачи ценообразования в случае ограниченного и динамически меняющегося предложения, обзор решений с помощью машинного обучения, роль прогнозирования спроса в ценообразовании и логистике, различие между спросом на материальные и цифровые товары и услуги
• Скоринг: классическая задача оценки вероятности дефолта, особенности постановки и валидации, популярные подходы, скоринг мошенников, скоринг склонности клиента к произвольному действию (на примере оттока)
• Лидогенерация: построение рекламных сегментов на основе правил, расширение и сужение сегментов с помощью look-alike моделей, positive-unlabeled learning, таргетирование рекламы с помощью прогнозов вероятности целевого действия

Модуль 2 — Оптимизация расходов бизнеса

• Приоритизация инвестиций и оптимизация расходов производства
• Детектирование аномалий (примеры: утечки электроэнергии, фродовые продажи, предиктивное обслуживание)
• Оптимизация маркетинговых расходов
• Оптимизация работы персонала и процессов в компании. Управление мотивацией и численностью. Business process mining
• Автоматизация работы с помощью deep learning. Чат-боты и LLM. Автоматизация с помощью Computer Vision

Модуль 3 — Обзор применений по отраслям

• Телеком: планирование развития сети, блокировка спама, продвижение услуг и удержание клиентов в B2C и B2B сегментах. Ритейл и e-commerce: рекомендации, прогноз спроса, ценообразование, управление персоналом (Workforce management)
• Банки и FinTech: процесс выдачи кредитов (связь рисков, лимитов и ставок, типы крединтых продуктов и особенности задач), применение машинного обучения для продвижения финансовых услуг и работы с лояльностью клиентов, машинное обучение в управлении личными финансами и инвестициями
• Промышленность и сельское хозяйство: оптимизация расходов при производстве, предиктивные ремонты и предиктивное устранение дефектов производства, автоматизация работы персонала
• РайдТех: ценообразование в такси, кикшеринге и доставке, прогноз ожидаемого времени прибытия, применение машинного обучения для улучшения пользовательского опыта
• Рекламные технологии: инфраструктура для показа digital рекламы и оптимизация открутки рекламы на своем и на внешнем инвентаре, реклама на телевидении, телемаркетинг и наружная реклама - оценка эффективности и оптимизация инвестиций. Медиа: персональные рекомендации контента в видео- и аудио- стриминге, рекомендации текстового контента, трудности оценки инвестиций в контент, рекламные механики на основе computer vision и генеративных моделей

Формула оценки

Сумма баллов за домашние задания нормируется на шкалу от 0 до 10

Аннотация 

Nowadays, digital signals, images and videos appear almost everywhere, both in a plethora of scientific (e.g., astronomical, biomedical) and consumer applications (e.g., computational photography, computer vision, VR/AR etc.). Therefore, the ability to analyze and process digital signals and images is an extremely important skill for engineering/science students to acquire. Indeed, digital signal processing and analysis is mainly responsible for the multimedia technology revolution that we are experiencing today and form the basis of the computational tools and techniques that are extensively utilized by modern deep learning systems. Among important tasks that signal processing techniques can successfully deal with, are inverse problems, such as image/video enhancement and restoration, image recovery, and 3D reconstruction.

This course will cover fundamental concepts of digital signal processing and computational imaging methods and describe how these concepts are applied in practice to solve a variety of existing problems. We will provide a mathematical framework to describe and analyze images as two- or three-dimensional signals in the spatial and frequency domains. The students will become familiar with the theory behind fundamental processing tasks including image enhancement, recovery and reconstruction. They will also learn how to perform these key processing tasks in practice using current state-of-the-art techniques and computational tools. A wide variety of such tools will be introduced including large-scale optimization algorithms and regularization methods. Further, emphasis will be given to highlight the connections between classical signal processing and computational methods with modern deep learning neural networks. Such connections will help the students to better understand the origins of some of the most successful deep learning tools and architectures that currently exist in the fields of computer vision and image processing.

Тематический план 

• Введение в обработку больших данных и Hadoop
• Обработка данных в Hadoop
• Аналитика и обработка данных с использованием Hive
• Apache Spark и его применение
• Инструменты организации ETL-процессов
• Технологии хранения и обработки больших данных
• Управление качеством данных и бизнес-аналитика

Формула оценки

Итог = сумма домашек/n * 0,6 + итоговый проект * 0,4 

Аннотация 

Курс «DevOps: методология и практика» — это вводный и практико-ориентированный курс, состоящий из 7 лекций и 7 семинаров, разработанный совместно с экспертами МТС. Он охватывает основные принципы DevOps, направленные на минимизацию бизнес-рисков, связанных с разработкой и управлением IT-инфраструктурой, а также обучение современным инструментам DevOps, включая CI/CD, контейнеризацию и автоматизацию. Курс включает теоретические и практические компоненты, обеспечивающие студентов актуальными знаниями и навыками для успешного выполнения задач DevOps инженера, а также ориентирован на развитие навыков работы с GitLab и навыков развертывания приложений. Программа нацелена на подготовку студентов к решению бизнес-задач с помощью DevOps методологий и инструментов, что способствует их профессиональному росту.

Тематический план 

• DevOps и примеры из практики
• Цикл разработки DevOps Практики
• Инструменты DevOps и подходы к поддержке
• DevOps и качество продукта
• DevOps инженер: примеры карьерного пути, навыки, знания
• Карьерные советы
• Защита проекта
• Семинары
• Работа с git. Настройка, ветвление 
• CI. Автоматизации сборок 
• Ansible. Автоматизации конфигураций
• CD. Автоматизации установок 
• Docker. Контейнеризация 
• Построение pipeline
• Углубленное изучение CI/CD процесса

Формула оценки

Итог = Итоговый тест*0,2 + Итоговое задание*0,3 + Защита проекта*0,1 + Дз1*0,1 + Дз2*0,1 + Дз3*0,1+ Дз4*0,1

Аннотация 

В рамках курса студенты узнают о различных видах программных решений, используемых при работе с большими данными: фреймворке hadoop и его составляющих, MPP СУБД Greenplum, СУБД Clickhouse, Apache Airflow и других инструментах. Узнают какие задачи решают инженеры данных и какие приемы используют. Студенты на практике реализуют несколько ETL процессов, с помощью указанных выше инструментов.

Аннотация 

Программа обучения по GenAI подойдет как для тех, кто только начал изучение данной темы, так и для тех, кто хочет углубить свои знания в области генеративного искусственного интеллекта. В рамках программы предусмотрено два трека обучения: бизнес-трек (для начинающих) и научный трек (для тех, кто уже владеет основами ИИ)

В рамках курса студенты изучат историю и текущее состояние ИИ, а также перспективы его развития. Бизнес-трек фокусируется на практических навыках, таких как управление разработкой AI-продуктов, промпт-инжиниринг, fine-tuning и использование инструментов сборки AI-продуктов, включая инновационные подходы, такие как Lang Chai. Научный трек предоставляет углубленное изучение современных методов, включая GAN, трансформеры, diffusion models, а также рассматривает перспективные архитектуры. 

В завершение курса студенты смогут применить полученные знания на практике: студенты из научного и бизнес направлений объединяются в смешанные команды, чтобы разработать собственный продукт.

Тематический план 

• История ИИ. Текущее состояние и перспективы
• Обзор методов и подходов к генеративному ИИ
• Управление разработкой AI-продуктов
• Промпт-инжиниринг
• Fine-tuning
• Инструменты сборки AI-продуктов
• История ИИ. Текущее состояние и перспективы
• Обзор методов и подходов к генеративному ИИ
• Генеративные состязательные сети (GAN)
• Трансформеры в генеративном ИИ
• Диффузионные модели
• Перспективные архитектуры

Формула оценки

Итог = 0,4 * ДЗ + 0,4 * ИП + 0,1 * Посещаемость + 0,1 * Активность на занятии 

Тематический план 

Лекция 1
Введение в рекомендательные системы. Методы оценки качества рекомендаций
Лекция 2
Модели на основе эвристик. Коллаборативная фильтрация: KNN-подходы и линейные модели. Валидация моделей
Лекция 3
Коллаборативная фильтрация: матричная факторизация. Приближённый поиск соседей
Лекция 4
Гибридные модели с использованием контента
Лекция 5
Двух-этапный пайплайн: задача реранжирования градиентным бустингом
Лекция 6
Deep Learning в рекомендательных системах. Трансформеры в sequential рекомендациях.
Лекция 7 
Продуктивизация рекомендаций и инфраструктура. Offline, Nearline и Online сценарии рекомендаций. A/B тесты

Формула оценивания

Итог = ДЗ*0,3+Проект*0,7
 

Разработка микросервисов на Go

• Вводная встреча: презентация курса, разбор проекта, сверка ожиданий
• Основы Go
• Основы WEB для разработчиков
• Стандартные библиотеки и практики Go
• Архитектура на уровне приложения Go
• Архитектура систем
• Документация и тестирование
• Наблюдаемость
• Нереляционные БД, MongoDB
• Реляционные БД, PostgresQL
• Go Internals (для продвинутых)
• Асинхронное взаимодействие, Kafka/Rabbit/NATS
• Concurrency
• DevOps (опционально)

Методы и системы обработки больших данных 

• Запуск платформы данных на DataBricks/GCP
• Ключевые составляющие платформы данных: Storage, Transform, Discovery, Reporting, Quality, Governance
• Распределенные файловые системы
• Введение в Hadoop: HDFS, YARN, MapReduce
• Распределенные вычисления
• Введение в Apache Spark: общие концепции, DataFrames, Spark SQL
• Продвинутый Apache Spark: оптимизации, RDD
• Объектные хранилища: Amazon S3
• Schedulers: Apache Airflow, Prefect, Cron
• Massive Parallel Processing (MPP): распределенные OLAP хранилища
• Стриминг: Kafka, Structured Streaming, KSQL, FLINK

Введение в платформы данных

• Основные концепции платформ данных. Задачи, которые они решают
• Хранение данных. DWH vs DataLake. Где и как хранить Big Data
• Загрузка данных в хранилище из различных источников. ETL, Streaming
• Построение витрин данных в хранилище. Модели данных
• Оптимизация работы пользователей с хранилищем. Оптимизация производительности
• Data Governance. Новый уровень доверия к данным
• Качество данных. Что это такое и как его мерять
• Каталог данных. Построение Data Mesh
• Аналитика данных. Способы работы с данными в хранилище. Data Virtualization
• Business intelligence и визуализация данных

Computer vision (in English)

• Introduction: Computer Vision and Video Processing Course
• 3D Reconstruction 1
• 3D Reconstruction 2
• DETR and ViT
• Computer Vision in Autonomous Vehicles
• Visual Object Tracking and Motion Prediction
• Face Recognition (Invited)
• Text and Image
• Neural Network Compression

DevOps

• DevOps методология и ее место в подходах к разработке
• Цикл разработки ПО и инструменты DevOps
• Практики DevOps на разных масштабах
• Больше о DevOps инструментарии
• DevOps инженер, навыки, знания
• Контейнеры, виртуалки и железо: примеры развертывания
• Советы по выбору места и роли, развитию в DevOps

Машинное обучение в прикладных задачах

Модуль 1 - Оптимизация взаимодействия с клиентом

• Рекомендательные системы и поиск
• Ценообразование на основе данных и прогнозирование спроса
• Скоринг
• Лидогенерация

Модуль 2 - Оптимизация расходов бизнеса

• Приоритизация инвестиций и оптимизация расходов производства
• Детектирование аномалий (примеры: утечки электроэнергии, фродовые продажи, предиктивное обслуживание)
• Оптимизация маркетинговых расходов
• Оптимизация работы персонала и процессов в компании. Управление мотивацией и численностью. Business process mining.
• Автоматизация работы с помощью deep learning. Чат-боты и LLM. Автоматизация с помощью Computer Vision

Модуль 3 - Обзор применений по отраслям

• Телеком
• Банки и FinTech
• Промышленность и сельское хозяйство
• РайдТех
•  Рекламные технологии