В НУЛ компании Яндекс прошел семинар "TabR: Unlocking the Power of Retrieval-Augmented Tabular Deep Learning"
31 июля прошел семинар Научно-учебной лаборатории компании Яндекс.
Докладчик: Рубачёв Иван, младший научный сотрудник Научно-учебной лаборатории компании Яндекс
Задачи машинного обучения на табличных данных широко распространены и важны. Мы в Yandex Research активно работаем над применением методов глубинного обучения к задачам с табличными данными ( [1], [2], [3], [4]). На семинаре мы рассказали о нашей новой работе в области. Обсудили следующее:
- насколько оправданы retrieval-augmented модели на табличных данных
- важные модификации механизма внимания в контексте retrieval-augmented моделей для табличных данных ведущие к новой модели - TabR
- продолжение позитивного тренда для глубинного обучения на табличных данных
- в частности интересные результаты на бенчмарке из недавней статьи:
"Why do tree-based models still outperform deep learning on tabular data?"
Запись семинара представлена ниже.
Научно-учебная лаборатория компании Яндекс: Менеджер
Рубачёв Иван Викторович
Научно-учебная лаборатория компании Яндекс: Младший научный сотрудник