Обучение с подкреплением для оптимизации генерации кода в задачах машинного обучения

Выполнили: Людвиг Николай Андреевич, Разин Арслан Дмитриевич

Наша работа является одним из этапов проекта NL2ML , целью которого является генерация кода по текстовому описанию задачи машинного обучения. Это актуальная задача, призванная упростить внедрение стандартных моделей машинного обучения в обиход, а также ускорить разработку более сложных моделей. В проекте используются семантические классы фрагментов кода как промежуточный этап между текстовым описанием задачи и кодом. Мы установили, что обучение с подкреплением, а именно метод PPO, с использованием недифференцируемых метрик в качестве наград существенно улучшает качество модели-генератора последовательности семантических классов по сравнению с предобучением на основе кросс-энтропийной функции потерь. Также была реализована модель, предсказывающая качество сгенерированной последовательности семантических классов.

Групповой отчет (PDF, 1,50 Мб)

Ссылка на репозиторий на GitHub (часть Людвига Н.А.)

Ссылка на репозиторий на GitHub (часть Разина А.Д.)