Семинар НУЛ Моделей и методов вычислительной прагматики // Внедрение баз знаний в языковые модели (Данил Карпушкин, Сбербанк ИИ лаборатория)

Для этого часто используются некоторые заранее построенные системы знаний (они же Knowledge Bases или KB), чью структуру entity (сущностей) мы и будем пытаться внедрять в модели. В своем выступлении я планирую успеть рассказать про статьи:

• ERNIE: Enhanced Language Representation with Informative Entities https://arxiv.org/pdf/1905.07129.pdf
• ERNIE: Enhanced Representation through Knowledge Integration https://arxiv.org/pdf/1904.09223.pdf
•  KEPLER: A Unified Model for Knowledge Embedding and Pre-trained Language Representation https://arxiv.org/pdf/1911.06136.pdf
• Knowledge Enhanced Contextual Word Representations (aka KnowBERT) https://arxiv.org/pdf/1909.04164.pdf