Сбер провел на ФКН лекцию по оценке рекомендательных систем и бенчмаркам
Денис Куландин, лидер разработки библиотеки рекомендательных алгоритмов RePlay, рассказал студентам, почему не все новые State-of-the-Art (SOTA) алгоритмы лучше, работающих в проде решений и почему.Также была затронута правильного выбора лучшего алгоритма для своей рекомендательной системы до вывода в прод и рассмотрены подводные камни, возникающие в пайплане решения задач рекомендаций на основе реального опыта.
После выступления Денис ответил на вопросы участников о том, как избежать экономических потерь при выборе алгоритмов и по каким критериям важно сравнивать модели, генерирующие миллионы рублей дохода в месяц.
RePlay – Open Source фреймворк для всех этапов создания рекомендательных систем от предварительной обработки данных до оценки качества и выбора лучшей модели.
В RePlay реализованы классические бейзлайны, коллаборативные модели, нейросетевые подходы и обёртки над популярными библиотеками. Все модели реализованы в едином интерфейсе.
В завершение лекции Максим Батайкин, Руководитель направления по аналитике данных Сбера, анонсировал предстоящий хакатон «HSE Sber RecSys Hack», организованный базовой кафедра Сбера ФКН и Сбером. В рамках задачи участникам будет предложено сгенерировать top-k персонализированных рекомендаций, обогащенных кросс-доменными данными экосистемы Сбера: Sound, пользовательская активность в музыкальном стриминге Звук и Marketplace, пользовательская активность на маркетплейсе МегаМаркет, а также других популярных датасетов для задач рекомендаций: MovieLens, MTS library и Amazon fine foods.