Генеративные рекомендательные системы

Выполнил: Ховзунов Никон Владимирович

В работе исследуется LoRA/QLoRA-адаптация больших языковых моделей для генеративного рекомендательного ретривала на основе Semantic IDs. За основу взят PLUM-подход: объект каталога представляется не одним числовым идентификатором, а последовательностью дискретных токенов, после чего языковая модель проходит продолженное предобучение на доменных данных и дообучение под генерацию идентификатора следующего объекта. В отличие от промышленной постановки PLUM, работа рассматривает открытую адаптацию на MovieLens-1M и ограниченный вычислительный режим.

Экспериментальный пайплайн включает построение эмбеддингов фильмов, токенизацию объектов через RQ-VAE, продолженное предобучение Qwen, дообучение под генеративный ретривал, декодирование по дереву допустимых SID-последовательностей и оценку в пространстве исходных объектов. Основной результат состоит в том, что в контролируемом сравнении Qwen3-0.6B QLoRA32 превосходит полное дообучение той же модели по Recall@10, NDCG@10, MRR@10 и Coverage@10: соответственно 0.2434 против 0.2061 по Recall@10. При этом лучшие Qwen-варианты не превосходят последовательные бейзлайны BERT4Rec и SASRec на MovieLens-1M, что фиксирует ограничения генеративного подхода в малом публичном сценарии. Дополнительно исследуется глубина Semantic IDs: трехуровневая токенизация показывает близкое или немного более высокое качество, чем четырехуровневая, в текущем наборе экспериментов. На валидационной выборке отдельно проверяется обучение без этапа CPT: схема CPT+SFT заметно превосходит SFT-only.

Презентация (Ховзунов) (PPTX, 239 Кб)

Итоговая документация