Доклад "Векторные представления слов и гиперболические пространства"
Векторные представления слов и гиперболические пространства
Женисбек Асылбеков (Назарбаев Университет, Казахстан)
30 января, 15:10-16:30
Покровский бульвар 11,ауд. S302
Мы показываем аналитически, что отбрасывание сигмоидного преобразования в целевой функции word2vec SGNS не наносит существенного вреда качеству векторов слов и в то же время связано с факторизацией бинаризованной PMI матрицы, которая, в свою очередь, может рассматриваться как матрица смежности определенного графа. Эмпирически такой граф представляет собой сложную сеть, т.е. он имеет сильную кластеризацию и степенное распределение валентностей вершин, и тесно связан с пространствами Лобачевского. Таким образом мы показываем связь между статическими вложениями слов и пространствами Лобачевского через бинаризованную PMI матрицу, используя аналитические и эмпирические методы.
Количество мест ограничего