Новогодние новости от RusVectores (копирую из рассылки)

В канун праздников мы хотим сделать подарок всем, кто занимается дистрибутивной семантикой, и выпускаем новую версию нашего сервиса — RusVectōrēs 2.0.

Для тех, кто не знал или забыл: RusVectōrēs (http://ling.go.mail.ru/dsm/) вычисляет семантические отношения между словами русского языка c помощью векторных семантических моделей, обученных на больших текстовых корпусах. Что это такое? В дистрибутивной семантике слова обычно представляются в виде векторов в многомерном пространстве их контекстов. Семантическое сходство вычисляется как косинусная близость между векторами двух слов и может принимать значения в промежутке от 0 до 1. Значение 0 означает, что у этих слов нет похожих контекстов и их значения не связаны друг с другом. Значение 1, напротив, свидетельствует о полной идентичности их контекстов и, следовательно, о близком значении. RusVectōrēs позволяет на основе нейронных моделей, обученных нами на НКРЯ, новостном и веб корпусах работать с векторами слов: вычислять ближайших семантических соседей слова, находить коэффициент сходства между парами слов, складывать и вычитать лексические вектора. Модели обучаются при помощи алгоритмов Skip-Gram и CBOW, реализованных в широко известной утилите word2vec.

Мы рассказывали о нашем сервисе на семинаре «Quantitative Approaches to the Russian Language» в Хельсинки в августе и на тьюториале по дистрибутивной семантике на конференции AINL-FRUCT в Санкт-Петербурге в ноябре. С тех пор функционал RusVectōrēs существенно расширился, и теперь у вас есть ещё больше возможностей для исследований. Основные изменения в новой версии таковы:

1) Появился API, так что теперь к сервису можно обращаться автоматически! С помощью API можно для любого слова получить список слов, семантически близких к данному в выбранной модели. Для этого необходимо выполнить GET-запрос по адресу следующего вида: http://ling.go.mail.ru/dsm/MODEL/WORD/api, где MODEL — идентификатор для выбранной модели, а WORD — слово запроса. По запросу отдаётся текстовый файл в формате tab-separated values, в котором перечислены ближайшие десять соседей слова.

2) Создан инструментарий для визуализации данных. Сервис строит карту взаимного расположения слов, которые ввёл пользователь, в выбранной модели, а затем отображает двумерную проекцию этой карты (поскольку изначально мы имеем дело с векторным пространством высокой размерности).

http://ling.go.mail.ru/dsm/static/tsneplots/ruwikiruscorpora_92a6fe4238ee65f4f8564634c91f1c6c.png/

(http://ling.go.mail.ru/dsm/static/tsneplots/ruwikiruscorpora_92a6fe4238ee65f4f8564634c91f1c6c.png)

3) Доступна также визуализация вектора для каждого слова в выбранной
модели, которая находится по уникальной для этого слова ссылке.

http://ling.go.mail.ru/dsm/static/singleplots/ruwikiruscorpora_47240b29acb6ee99f576e7f1d12b7a1d.png/
(http://ling.go.mail.ru/dsm/static/singleplots/ruwikiruscorpora_47240b29acb6ee99f576e7f1d12b7a1d.png)

4) Семантический калькулятор теперь может выполнять операции двух видов: решение пропорции вида «найти слово D, связанное со словом C таким же образом, как слово A связано со словом B» (analogical inference) и алгебраические операции над векторами (сложение, вычитание, нахождение центра лексического кластера)

5) Конечно, как и раньше, пользователи могут обучать нейронные модели с заданными параметрами на собственных корпусах, чтобы затем использовать их в работе.

6) Вы всегда можете быть в курсе текущих изменений в работе сервиса, подписавшись на нашу новостную ленту (http://ling.go.mail.ru/dsm/static/rss.xml)!

Желаем, чтобы для ваших исследований не существовало технических преград! Счастливых праздников!

Команда RusVectōrēs:
Андрей Кутузов (Университет Осло)
Елизавета Кузьменко (Высшая школа экономики)

Об авторе Лидия Пивоварова

СПбГУ - старший преподаватель, University of Helsinki - PhD student http://philarts.spbu.ru/structure/sub-faculties/itah_phil/teachers/pivovarova
Запись опубликована в рубрике Ресурсы/Софт. Добавьте в закладки постоянную ссылку.

2 комментария: Новогодние новости от RusVectores (копирую из рассылки)

  1. Андрей Кутузов говорит:

    Андрей, вы правы — косинусная близость, безусловно, может принимать отрицательные значения, вплоть до -1. Но на практике в дистрибутивной семантике это используется крайне редко: часто отрицательные значения просто преобразовываются в 0, поскольку исследователя всё равно обычно интересуют только высокие значения близости.
    Тем не менее, наша формулировка действительно была не вполне корректной. Мы её исправили, спасибо за комментарий!

  2. Андрей говорит:

    Лидия, цитирую текст: » Семантическое сходство вычисляется как косинусная близость между векторами двух слов и может принимать значения в промежутке от 0 до 1. Значение 0 означает, что у этих слов нет похожих контекстов и их значения не связаны друг с другом.»

    Cosine similarity может принимать и отрицательные значения. Не только [0, 1]. Цитирую из Английской Википедии (из статьи: Cosine similarity) «The resulting similarity ranges from −1 meaning exactly opposite, to 1 …»

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *