Онлайн-семинар "Линейная алгебра в задачах векторного представления слов"

16 апреля 2020 прошел третий онлайн-семинар Научно-учебной лаборатории моделей и методов вычислительной прагматики

В прикладных задачах, связанных с автоматической обработкой текстов, слова заменяются действительными векторами сравнительно небольшой размерности, такими, что семантическая и синтаксическая близость слов соответствует геометрической близости векторов. Обычно такие векторы получаются из слоёв нейронной сети, или из низкоранговых разложений матриц. Мы рассмотрим две базовых модели построения таких векторов - SVD-разложение PPMI-матрицы и word2vec SGNS. Проанализировав первую модель, мы предложим модификацию второй модели, исключив из нее векторы контекстов. Для этого нам понадобятся теоремы из классической линейной алгебры.
Докладчик: Алексей Зобнин, доцент факультета компьютерных наук НИУ ВШЭ, ведущий разработчик службы геопоиска и справочника организаций Яндекса.