Мини-курс «Vision-Language-Action модели в современной робототехнике: основы и исследовательские фронтиры»

Аннотация

Мини-курс даст целостное представление о современной робототехнике через призму Vision-Language-Action (VLA) моделей. В первой части мы разберем, как сегодня строятся и обучаются робототехнические системы: от представления наблюдений и действий, сбора данных и обучения на демонстрациях до использования симуляторов, реальных роботов и масштабных робототехнических датасетов. Обсудим, как устроен типичный VLA-пайплайн, какие существуют классы роботов и задач и как переносится обучение между симуляцией и реальным миром. Во второй части перейдем от устоявшихся подходов к исследовательскому фронтиру: памяти и частичной наблюдаемости, моделям мира и предсказанию будущего, долгосрочному планированию, мобильной и ловкой манипуляции, адаптации и обобщению на новые задачи, объекты и окружения. Цель курса — не только объяснить, как работают современные VLA модели, но и сформировать карту ключевых открытых задач современной робототехники.