Диалог: дорожки по оценке тональностей твитов и ресторанных отзывов

Первое информационное письмо SentiRuEval-2016

Уважаемые коллеги!

Мы рады объявить о начале новой серии тестирований в области систем анализа тональности на русском языке SentiRuEval-2016. В 2015 году проводилась оценка качества систем анализа тональности для русского языка для двух задач: анализ отзывов пользователей и анализ репутации организаций по твитам. Результаты участников обсуждались на Международной конференции по компьютерной лингвистике Диалог-2015 и опубликованы в ее материалах (http://www.dialog-21.ru/evaluation/2015/tonality).

Тестирование этого года продолжает направления тестирования прошлого года с некоторыми изменениями. Как и в прошлом году, для оценки качества систем анализа тональности предлагаются задачи анализа тональности отзывов по аспектам (предметная область – рестораны) и задача анализа репутации по твитам (телекоммуникационные компании и банки).

Обсуждение результатов тестирования планируется на Международной конференции по компьютерной лингвистике и интеллектуальным технологиям Диалог-2016 (конец мая – начало июня 2016 года).

1. Анализ тональности отзывов о ресторанах по аспектам.

В текущем году оценка качества анализа тональности отзывов по аспекта и разметка отзывов (предметная область – рестораны) подготовлена в соответствии с критериями международного тестирования ABSA (Aspect Based Sentiment Analysis) конференции SemEval (http://alt.qcri.org/semeval2016/task5/).

В настоящее время в рамках ABSA-2016 предлагается возможность анализа отзывов о ресторанах на разных языках, включая английский, голландский, арабский, китайский, турецкий и русский. Обучающая коллекция для русского языка уже опубликована.

Предлагаемые задачи

Задача 1) Анализ тональности по предложению
включает следующие подзадачи:

  • 1.1) извлечение аспектных категорий (категории заранее заданы) в предложении, по отношению к которым пользователь высказывает мнение;
  • 1.2) извлечение аспектного термина, т.е. конкретного упоминания характеристики сущности, которая оценивается пользователем;
  • 1.3) определение тональности для каждой категорий и каждого аспектного термина, упомянутых в предложении.

Задача 2) Анализ тональности отзыва в целом
включает оценку аспектных категорий по тональности для отзыва в целом.

Особенности текущей разметки отзывов о ресторанах представлены на странице ABSA сайта конференции SemEval http://alt.qcri.org/semeval2016/task5/.

Оценка будет производиться в период с 10 по 31 января 2016 года (http://alt.qcri.org/semeval2016/task5/index.php?id=important-dates)

Регистрация участников производится по адресу: https://docs.google.com/forms/d/1seDJv9_vGsgH-W2XiH0Wap0Ymx4flmmakT4mEgc9Xuc/viewform?c=0&w=1

Обычно результаты тестирований SemEval обсуждаются во время проведения конференции SemEval (на текущий момент время и место конференции не известно), во время которой участники представляют постеры с описанием своих подходов (см. страницу о публикации статей с прошлогодней конференции http://alt.qcri.org/semeval2015/index.php?id=cfp). Статьи участников публикуются на сайте Ассоциации по компьютерной лингвистике (http://aclweb.org/anthology/). Статьи могут быть поданы и на конференцию Диалог-2016, на которой будут обсуждаться результаты оценки систем анализ тональности на русском языке.

Возникающие вопросы могут быть заданы в google group: https://groups.google.com/forum/#!forum/semeval-absa

2. Анализ репутации по твитам

Как и в прошлом году, задача анализа заключается в определении тональности твитов по отношению к упомянутым в них организациям: положительная, отрицательная или нейтральная. Тональность твита может отражать как мнение автора (положительное, отрицательное или нейтральное), так и упоминаемый им положительный или отрицательный факт относительно упомянутой организации.

В качестве организаций для анализа выбраны телекоммуникационные компании и банки. Задачей систем является расклассифицировать твиты на три класса: позитивный, негативный или нейтральный относительно упомянутых в твите компании/банка.

Наборы твитов подготовлены в форме xml-файла. Ниже приведен пример оформления твита: Льготное кредитование на автомобили 2014 сбербанк http://t.co/WU0s8lMWQA.

<table name=»bank»>
<column name=»id»>71</column>
<column name=»twitid»>492547326574360000</column>
<column name=»date»>1406267408</column>
<column name=»name»>penopixyrom</column>
<column name=»text»>Льготное кредитование на автомобили 2014 сбербанк http://t.co/WU0s8lMWQA</column>
<column name=»sberbank»>0</column>
<column name=»vtb»>NULL</column>
<column name=»gazprom»>NULL</column>
<column name=»alfabank»>NULL</column>
<column name=»bankmoskvy»>NULL</column>
<column name=»raiffeisen»>NULL</column>
<column name=»uralsib»>NULL</column>
<column name=»rshb»>NULL</column>

После текста твита перечислены все организации, по которым извлекались твиты, и та организация, которая была обнаружена именно в данном конкретном твите, помечена значением 0:

<column name=»sberbank»>0</column>

что означает, что по умолчанию установлено значение тональности твита – нейтральное. В твите могут упоминаться несколько организаций, тогда каждой из них нужно проставить оценку тональности в данном твите, и эти оценки могут быть различными.

Таким образом, задачей системы является оценить тональность твита относительно отмеченного объекта и проставить:

  • 1, если тональность – положительная,
  • -1, если тональность – отрицательная,
  • оставить 0, если тональность нейтральная

В обучающей выборке в соответствующем поле проставлены результаты ручной разметки. Обучающая выборка уже доступна – она создана на основе обучающих и тестовых данных прошлого тестирования. Твиты текущей обучающей выборки относятся к двум периодам времени: конец 2013 года и лето 2014 года.

Тестовая выборка будет включать твиты, относящиеся к лету 2015 года. При тестировании этой задачи считается, что существенным свойством автоматических систем анализа твитов является то, что они должны быть переносимыми на другие временные интервалы.

В этом году тестовая выборка для этой задачи будет создана путем краудсорсинга. Для каждого твита будет собираться по 5 оценок, после чего в тестовую выборку будут включены только твиты, с оценкой которых согласилось большинство разметчиков, и оценка которых относится к категориям позитивно, негативно или нейтрально.

Сервис по разметке твитов уже работает. Просим всех заинтересованных в качественных результатах принять участие в разметке: http://sentimeter.ru/assess/texts/. На странице http://sentimeter.ru/assess/instruction/ представлена инструкция по разметке.

 

Желающих участвовать в тестировании своих систем анализа тональности по Твиттеру и получить обучающие данные просим заполнить анкету и прислать ее Лукашевич Н. по адресу: louk_nat[цобачка]mail.ru

Анкета участника SentiRuEval:

  • ФИО контактного лица
  • e-mail для переписки
  • организация

Предполагаемый график проведения тестирования анализа тональности по Твиттеру:

26.10.15 Объявление дорожек и раздача обучающих данных
11.01.16 Раздача тестовых данных
18.01.16 Прием результатов прогонов
25.01.16 Объявление результатов участникам
15.02.16 Подача статьи на конференцию Диалог.

Об авторе Лидия Пивоварова

СПбГУ - старший преподаватель, University of Helsinki - PhD student http://philarts.spbu.ru/structure/sub-faculties/itah_phil/teachers/pivovarova
Запись опубликована в рубрике Конференции, Ресурсы/Софт. Добавьте в закладки постоянную ссылку.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *