Спецсеминар Bayes Group: От GPT-3 до ChatGPT: обучение языковых моделей на инструкциях и человеческих оценках

16 декабря состоится спецсеминар, начало в 18 00.

Выступит: Максим Рябинин (Яндекс, НИУ ВШЭ)
Тема: От GPT-3 до ChatGPT: обучение языковых моделей на инструкциях и человеческих оценках

Абстракт: В 2020 году исследователи из OpenAI обнаружили, что большие языковые модели можно не дообучать на целевой задаче: достаточно подать в качестве контекста несколько примеров для этой задачи с ответами на них, а иногда хватает и вовсе текстовой инструкции. После этого научное сообщество стало активно развивать способы, позволяющие повысить качество работы языковых моделей в такой постановке, получившей название zero-shot/in-context learning. Недавний релиз ChatGPT показал, что адаптированные к in-context learning и выполнению инструкций языковые модели имеют большое количество потенциальных приложений, в том числе таких, для которых сбор обучающей выборки ранее считался необходимым.
На семинаре мы обсудим ряд работ, излагающих ключевые подходы и направления исследований для улучшения работы языковых моделей в постановке in-context learning. Одним из таких направлений является устоявшаяся парадигма instruction finetuning: обучаясь на разнообразных наборах из формулировок задач, входных данных и ответов, языковые модели лучше следуют инструкциям даже для новых задач. Не обойдём вниманием и идею обучения с подкреплением на оценках текстов людьми, лежащую в основе ChatGPT и предшествовавшей ей InstructGPT.

Статьи:
Finetuned Language Models Are Zero-Shot Learners 
Multitask Prompted Training Enables Zero-Shot Task Generalization 
Training language models to follow instructions with human feedback 
Improving alignment of dialogue agents via targeted human judgements 
Scaling Instruction-Finetuned Language Models