В НУЛ компании Яндекс прошел семинар "TabR: Unlocking the Power of Retrieval-Augmented Tabular Deep Learning"

31 июля прошел семинар Научно-учебной лаборатории компании Яндекс.

Докладчик: Рубачёв Иван, младший научный сотрудник Научно-учебной лаборатории компании Яндекс

Рубачёв Иван Викторович,
Научно-учебная лаборатория компании Яндекс: Младший научный сотрудник

Задачи машинного обучения на табличных данных широко распространены и важны. Мы в Yandex Research активно работаем над применением методов глубинного обучения к задачам с табличными данными ( [1], [2], [3], [4]). На семинаре мы рассказали о нашей новой работе в области. Обсудили следующее:

- насколько оправданы retrieval-augmented модели на табличных данных
- важные модификации механизма внимания в контексте retrieval-augmented моделей для табличных данных ведущие к новой модели - TabR
- продолжение позитивного тренда для глубинного обучения на табличных данных
- в частности интересные результаты на бенчмарке из недавней статьи:
  "Why do tree-based models still outperform deep learning on tabular data?"

Запись семинара представлена ниже.