Учебные проекты 2024/2025

Видео-презентация тем проектов

Общая информация

Группа робототехники ФКН объединяет энтузиастов ФКН, которые хотят попробовать свои силы в создании реальных роботов. Мы решаем широкий спектр задач: от разработки механики и электроники до создания программного обеспечения для уже существующих роботов.

В этом учебном году мы предлагаем студентам ФКН большой набор тем проектов для написания курсовой или дипломной работы. Набор на проекты будет проходить через онлайн собеседования с целью узнать о вашем опыте и интересах. При успешной работе над проектом, мы будем готовы взять вас на стажерскую ставку.

Контакты для связи: @apmilko (Андрей Милько).

Как к нам попасть

Процесс подачи заявки:

1. ознакомиться с темами проектов
2. заполнить форму
3. пройти собеседование

Дедлай отбора на проекты: 1 ноября 2024.

Полезные материалы

1. презентация робота Truck (слайды)
2. канал в Telegram
3. канал на Youtube

Темы проектов

1. (Truck) Построение 3D лидарной карты помещения для автономного мобильного робота

Аннотация
Группа робототехники работает над автономным мобильным роботом (презентация). Для построения маршрута и локализации в пространстве роботу необходима карта местности. В рамках данного проекта необходимо построить ICP карту для основе облаков 3D лидара (Livox Mid-360), используя текущие наработки группы (демо).

Цель
Построение 3D лидарной карты помещения для локализации и навигации автономного мобильного робота.

Задачи:

1. Знакомство с алгоритмом ICP (библиотека Libpointmatcher) и графовой оптимизацией (библиотека g2o)
2. Перенос существующего решения на 3D лидар
3. Настройка параметров построения карты
4. Тестирование алгоритма лидарной локализации в симуляторе и в реальности

Требования, предъявляемые к студентам:

1. Проект требует регулярной работы в течении учебного года и предполагает большую нагрузку (чекпоинты каждую 1-2 недели)
2. Знакомство с численными методами оптимизации, готовность изучать статьи и соответствующую литературу на английском
3. Уверенное владение С++ (процесс код ревью обязателен)
4. Будет плюсом знание алгоритмов ICP, MVG, SfM или опыт работы с PCL

Аннотация
CartPole — классическая задача управления, также известная как “Inverted Pendulum”. Свободно подвешенный маятник закреплен на каретке, которая двигается по линейной направляющей. Управляя только ускорением каретки необходимо перевести маятник в верхнее неустойчивое положение равновесия и удерживать там (видео). Подробнее о нашем опыте разработки можно почитать здесь.

Цель
Обучить модель управления CartPole, используя DDPG или SAC подход из Reinforcement Learning. Адаптировать модель для запуска на реальном устройстве.

Задачи:

1. Познакомиться с текущим симулятором CartPole
2. Выбрать интересующий вас модель и обучить ее в симуляторе
3. Сделать трансфер модели на реальное устройство

Требования, предъявляемые к студентам:

1. Проект требует регулярной работы в течении учебного года и предполагает большую нагрузку (чекпоинты каждую 1-2 недели)
2. Знание базовых методов обучения NN моделей. Опыт работы с pytorch
3. Желателен опыт с обучение RL моделей в симуляции
4. Большим плюсом будет знание азов оптимального управления

3. (Truck) Сегментация 3D лидарного облака для автономного мобильного робота

Аннотация
В этом учебном году группа хочется сфокусироваться на MVP системы восприятия статичных препятствий и динамических агентов. Для этого до НГ мы хотим получить минимальный датасет для задачи сегментации 3D лидарного облака, а затем обучить легковесную модель, которая будет делать сегментации для Bird’s Eye View (BEV) представления лидарного облака. В качественной отправной точки предлагается использовать модель MMDetection3D.

Цель
Получить минимальный датасет для задачи сегментации 3D лидарного облака и обучить готовую архитектуру для 3D сегментации.

Задачи:

1. Запись датасета с лидарным облаком точек + фотографии/видео объектов вокруг машинки для удобства разметки 
2. Разметка датасета под задачи сегментации и детекции
3. Реализация и обучение модели PointPillars (статья)
   1. Реализовать и обучить базовую модель с головой SSD (mmdetection3d)
   2. Реализовать и обучить базовую модель с головой U-Net
   3. Обучение моделей с головами на современных детекторах
4. Запуск модели на вычислителе NVidia Orin AGX на роботе
5. Оптимизация инференса через TensorRT (подробнее)

Требования, предъявляемые к студентам:

1. Проект требует регулярной работы в течении учебного года и предполагает большую нагрузку (чекпоинты каждую 1-2 недели)
2. Уверенное знание python + pytorch (будет плюсом опыт с mmdetection3d)
3. Опыт работы с computer vision: задачи детекции и сегментации, будет плюсом опыт c multi-view geometry
4. Будем плюсом опыт сбора и разметки собственных датасетов
5. Будет плюсом опыт внедрения моделей и настройки эффективного инференса (ONNX, TensorRT, NVidia APIs)

4. (Truck) Разработка аппаратной платформы мобильного робота

Аннотация
Группа робототехники работает над автономным мобильным роботом (презентация). В текущем учебном году планируется разработка второй версии аппаратной части (механика + электроника). Есть ряд прикладных и исследовательских задач, связанных с программированием микроконтроллеров семейств STM32 и ESP32, управлением BLDC двигателями в режиме position/velocity/torque control, изучением новых датчиков, разработкой печатных плат (PCB) и т.д. Мы готовы пригласить студентов у которых уже есть опыт работы в этой сфере, и предложить много интересных задач.

Цель
Разработать прототип новой аппаратной платформы для мобильного робота.

Задачи:
По результатам собеседования.

Требования, предъявляемые к студентам:

1. Базовые знания C/C++
2. Базовые знания схемотехники и принципов цифровой электроники
3. Опыт программирования микроконтроллеров
4. Будет плюсом опыт с платформой STM32
5. Будет плюсом опыт 3D-моделирования (CAD) и 3D-печати
6. Проект требует регулярной работы в течении учебного года и предполагает большую нагрузку (чекпоинты каждую 1-2 недели)