ECIR 2016

Предлагаю издать закон, что отныне все конференции проводятся только в Италии, лучше всего в Падуе. В прошлый раз я была там пару лет назад на школе по квантитативной лингвистике, и не думала, что так скоро вернусь обратно. Но в этом году в Падуе проходила Европейская Конференция по Информационному Поиску (ECIR 2016), у нас приняли короткую статью и мы с соавтором приехали ее представлять. Вновь оказаться в этом городе — это, конечно, счастье.

 

DSCF5851

Итак, ECIR. Конференция не очень большая — 4 дня, примерно 200 человек — и у меня создалось впечатления общей расслабленности и веселья, половина народа друг друга знает, много шуток. В общем, приятно находиться.

Первый день конференции был отведен под воркшопы и тюториалы. Меня больше всего интересовал воркшоп по новостному поиску (NewsIR).  Я даже думала туда что-нибудь подать, но к сроку ничего закончить не успела. А когда приехала на воркшоп, то поняла, что зря и надо было подавать то, что есть — там было много интересных идей, но большая часть работ на ранней стадии. И потом я еще в кулуарах поболтала с разными людьми и узнала, что на ECIR воркшопы обычно все такие и попасть на них не очень сложно. Ну да ладно, там говорили, что этот воркшоп планируется продолжать, а также призывали всех подписаться на его рассылку.

Но сначала про основную идею воркшопа. В мире информационного поиска новости стигматизированы: тема не новая и, как кажется, ничего принципиального нового тут сделать уже нельзя. Сейчас в тренде соцсети, блоги, микроблоги. Между тем новостной поиск по прежнему остается актуальным, особенно в индустрии,  и тут еще много нерешенных задач. Вот воркшоп по новостям и организовали — чтобы люди могли обмениваться идеями и дестигматизироваться. Кроме того, для воркшопа был собрана интересная коллекция: The Signal Media One-Million News Articles Dataset, в которой собран один миллион документов за сентябрь 2015-го год.  От других новостных корпусов этот отличается тем, что он, во-первых, новый, во-вторых, гетерогенный — данные собирались со многих источников, в-третьих, там есть блоги (25%), в-четвертых, разный шум. Таким образом коллекция максимально приближена к тем, которые реально приходится обрабатывать работая с новостями — только маленькая. Но размер тоже выбран с умыслом — чтобы у всех все влезало на обычный компьютер и никто не был лишен возможности работать с этой коллекцией из-за технических проблем; хотя этот аргумент немного странный — всегда же можно взять часть коллекции, разве нет? Участникам воркшопа предлагалось делать с этой коллекцией что угодно, но это не было обязательным условием, и коллекция использовалась меньше, чем в половине статей.

Воркшоп начался с выступления приглашенного докладчика: Jochen L. Leidner из исследовательского подразделения Reuters, который рассказывал про разные сервисы которые предоставляет Reuters помимо новостей. В частности, упомянул Calais,  их собственную систему извлечения фактов, у нее есть свободная версия, которую можно использовать. Ну и помимо этого у них много всего: мониторинг соцсетей, юридическая поисковая система, система автоматического генерирования шаблонных новостей, персонализированное телевидение. Традиционные новости продавать становится все труднее, поэтому деньги приходится зарабатывать вспомогательными сервисами, а производство самих новостей по возможности удешевить без потери качества. Еще из любопытного: оказывается, когда журналист пишет текст статьи, заголовок уже продан. Т.е. сначала журналист с редактором согласуют тему и заголовок, потом он начинает писать, а заголовок немедленно распространяется — скорость имеет решающее значение.

У воркшопа было немного странное расписание: доклады всего по десять минут, зато потом те же докладчики участвуют в постерной секции. Поэтому я не то чтобы много ухватила из этих докладов, но про несколько статей поставила себе меточку потом прочесть подробнее. Сейчас вот пересматривала свои заметки — кажется, только про статьи с воркшопа у меня такие меточки и стоят. Статьи все уже опубликованы; мне самым интересным показался раздел News Events (обратите внимание: статья Андрея Кутузова и Елизаветы Кузьменко про выявление новостных трендов при помощи word2vec), а также статья про использование новостей для категориазации твитов, которая была признана лучшей статьей воркшопа и авторы получили бутылку шампанского.

И тут мы временно отвлекаемся от науки и переходим к более существенной теме, т.е. к еде. Оргвзнос включал два кофе-брейка и ланч ежедневно, а также социальные эвенты в три вечера из четырех, и все это было божественно вкусно, щедро и разнообразно — как я ни старалась, не смогла всего перепробовать. Организовано кормление было в виде фуршетов, так что партисипанты ходили с тарелками туда-сюда и могли общаться. И кажется, я впервые была на конференции, где в обеденный перерыв подавали вино.

DSCF5732

Однако после ланча мы нашли в себе силы вернуться в класс и прослушать второй ключевой доклад, от Julio Gonzalo из UNED. Он довольно интересно рассказывал про отслеживание репутаций в соцсетях и про то, чем репутация отличается от сатимента. В качестве примера рассказывал про испанскую фирму, которая производит сумки за две тысячи евро и пыталась продвигать их среди молодежной аудитории сняв видеоролик, в котором появлялись реальные носители таких сумок, т.е. дети очень богатых родителей. Ролик вызвал возмущение в озлобленном кризисом испанском обществе и пятнадцать тысяч перепостов получил твит «спасибо вам, что сняли умственно отсталых в своей рекламе». Обычная система определения тональности такой твит определяет однозначно как положительный, однако ясно, что для репутации компании в нем ничего хорошего нет. Гонзало говорил, что репутацию невозможно анализировать без привлечения всех возможных вспомогательных ресурсов — т.е. надо разбирать не просто один твит, а по возможности все связанные с этой историей ресурсы. В связи с этим он активно призывал всех использовать датасет RepLab, который использовался для shared task по определению репутационной полярности на CLEF в 2013-м и 2014-м году и который состоит из вручную размеченных твитов, в которых упоминается та или иная компания, а также из всех новостей, которые в этих твитах упоминались.

Потом на воркшопе было групповое обсуждение дальнейших перспектив, в котором я решила не участвовать и перешла на воркшоп по мультилингвальности , где прослушала доклад по адаптации испанской системы сегментации дискурса для каталанского языка, доклад про использвание метода классификации изображений для определения языка, и еще один вообще не поняла про что. Из этой секции я узнала, что латынь — это живой язык, потому что на нем говорят в Ватикане, а также что пользователи Интернета все чаще и чаще используют смешанный язык (более одного языка в одном сообщении) и с этим надо что-то делать. А затем спустился вечер и все высыпали на улицу на welcome party. Но про еду и вино я уже написала выше,  так что перейду сразу ко второму дню.

Точнее, это был первый собственно конференционный день. Он проходил в старинном ботаническом саду, который небольшой, самый старый в Европе и очень красивый, хотя многие растения еще стояли голые — но многие уже цвели. Вообще меня поразила смена климата — в Хельсинки, когда я улетала, шел снег, а тут повсюду цветущие деревья.  В первый основной день ECIR я узнала, кто такая Карен Спарк Джонс: британская женщина-ученый, которая придумала tf-idf и вообще стояла у истоков IR. Ее диссертация, написанная в 1964 году (sic!), называлась «Supervised and Unsupervised Machine Learning for Semantic Natural Language Processing». После ее смерти в 2007 Майкрософт учредил мемориальную премию ее имени, и лауреаты этой премии были приглашены на ECIR как ключевые докладчики.

В первый день выступал Jordan Boyd-Graber из Университета Колорадо, который рассказывал про то, как сделать машинное обучение менее похожим на черный ящик. Конкретнее, речь шла про возможность встраиваь фидбек от пользователей и экспертов в LDA (на ECIR все статьи были или про topic modeling или про deep learning, про topic modeling даже больше). Все это было довольно живо, с примерами из разных областей, которыми он занимался — по большей части разные игры, типа Jeopardy, но также и предсказание голосования на выборах, и обучение компьютера синхронному переводу (т.е. предсказанию того, что будет сказано). В технические детали вникнуть было, конечно, невозможно, так что сколько бы он ни убеждал публику в обратном, у меня от его моделей все равно было ощущение черного ящика.

После этого секции разделили на два потока, и я отправилась слушать секцию про «Social context and news», т.е. про то, как связывать новости с Твиттером или с Википедией, и по большей части это тоже было про LDA. Меня больше всего заинтересовала мысль высказанная автором последней статьи (Arunav Mishra) о том, что сущности, которые встречаются в документе, бывают двух сортов — salient и contextual, и вторые создают определенный шум и отвлекают от первых.

DSCF5740

Затем был ланч на террасе, а затем панельная дискуссия по data-driven IR, где обсуждался современный сдвиг парадигмы в информационном поиске. Больше всего мне понравилось то, что говорил Omar Agosto: «we should look at our data, and look at our data, and look at our data», мы стали меньше смотреть на данные, мы должны вернуться назад, данные всегда есть и всегда будут, и уметь их правильно анализировать никогда не будет лишним, несмотря на постоянную смену задач и технологий.

Затем я перешла в аудиторию, которая напоминала анатомический театр (хотя в настоящий анатомический театр экскурсия была только на следующий день и хотя я бы предпочла аудиторию с электрическими розетками), и там прослушала доклад Croce&Basili про то, как можно оптимизировать векторные модели, чтобы они занимали поменьше места — самый эффективный способ, как выяснилось, просто снизить точность представления векторов — и потом еще секцию по эвалюации.

И затем из ботанического театра мы двинулись в самый центр города, в историческое кафе Педроккио, где была организована постерная секция и банкет. Хорошо, что мы были вдвоем с соавтором (Осси Каркулахти, на фото представляет нашу работу в одноминутной презентации), потому что там было довольно тесно и жарко, и мы могли по очереди отходить поесть и подышать. Я немного нервничала, что к постеру вообще никто не подойдет, и что надо было подаваться на новостной воркшоп как наиболее близкий по тематике, но определенный интерес был, не меньше дюжины человек задавали вопросы, так что можно сказать, что все прошло успешно (если не считать того, что наш постер прилепили на щит чем-то вроде жвачки).DSCF5757

Второй и третий день проходили в главном здании Падуанского университета, палаццо Бо, где анатомический театр и кафедра Галилея. Правда, розеток опять не было, и в зал нельзя было с рюкзаком, и с кофе тоже нельзя, но залы необычайной красоты и все разные.  День начался со второго ключевого доклада, который прочла вторая лауреатка премии Спарк Джонс, Emine Yilmaz, которая рассказывала про task-based IR. Основная идея доклада была в том, что когда пользователь что-то ищет, он не просто хочет увидеть страницу, релевантную запросу, он хочет выполнить какую-то задачу. Задачи могут занимать разное время и организованы иерархически. Эмин рассказывала о своих работах, в которых они использовали баесовские модели для выявления этих задач в пользовательских сессиях, с целью последующего удовлетворения. Также она представила TREC Task Track 2015/2016.

Затем была очередная секция по эвалюации — я подумала, что это будет проще воспринимать в жанре 20-минутных докладов, чем параллельную секцию по вероятностным моделям. Там сначала был доклад про метод общего котла, и как бы так сделать, чтобы черпать поменьше, а результаты были подостовернее. Потом Guido Zuccon рассказывал про то, что понятность и релевантность — это не одно и то же, и что эвалюировать надо и то, и другое, и еще и достоверность, и вот, пожалуйста, формула, а в датасете CLEF eHealth Task релевантность, понятность и достоверность размечены эксплицитно (правда, я не увидела этого на сайте, но в докладе про такую разметку точно было).

Тут сессию прервали сообщением, что в теракте в Таррагоне погибла студентка Падуанского университета. Объявили минуту молчания.

А потом еще был доклад Zhuang, Toms & Demartini про взаимосвязь между пользовательским восприятием и поведением, который мне показался ну очень уж сложным, не по экспериментальной части, а по обоснованию и изложению, даже с привлечением когнитивной психологии.

DSCF5858Затем был очередной ланч с горами итальянской еды, официантами в белых пиджаках и фуршетствующими учеными, во время которого была организована встреча Women in IR. Для этой цели был даже изготовлен тотем с изображением Елены Лукреции Корнаро Пископии, первой в мире женщины, получившей ученую степень, как раз в Падуанском университете. Правда, не по теологии, как она хотела, а по филосифии, и без посещения лекций, частным порядком, потому что женщине в университет входить было нельзя — в общем, гендерное равенство во всей красе, and what is this fuss about?

А наша встреча никакой специальной повестки не имела, просто познакомились, поболтали про то, что у кого как в университете. Лора Дейтц, которая это собственно организовала, призывала всех писать в рассылку и предлагать какие-то идеи, а то, говорит, пока она одна и пишет.

Следующую секцию я как-то прохлопала ушами, а потом представляли короткие статьи про воспроизводимость и про Твиттер (почему-то они так решили, а все остальные короткие статьи представлялись в виде постеров накануне). Я пошла на Твиттер, и это опять было в основном про topic modeling. Между прочим, три из четырех статей в этой секции представляли девушки, и вообще женщин было много, примерно треть, все-таки со времен Елены Пископии многое изменилось. Хотя говорят, что просто информационный поиск — это такая «женская» область CS, уж не знаю почему.

DSCF5806

Между окончанием последней сессии и началом банкета было часа два времени, которое мы потратили на то, чтобы осмотреть башню, с которой Галилей делал свои астрономические наблюдения, при лунном свете, ну и вообще побродили немного по городу. На банкете, примерно между третьей и четвертой переменой блюд, вручали призы за лучшие статьи. Помимо обычных — за лучшую короткую и лучшую длинную статью — на ECIR еще вручали приз за статьи десятилетней давности, как выдержавшие проверку временем (почитать, что ли?). А лучшей статьей этого года была объявлена как раз та, доклад по которой мне показалась сложным. Это тот редкий случай, когда на конференции присутствовали все три соавтора, так что специалистам по информационному поиску не составит труда найти в Интернете фото нашего знакомого по RuSSIR и AINL Жанлюки Демартини с очень довольной физиономией.

А на следующий день была индустриальная секция. В качестве ключевого докладчика был приглашен Domokos Tikk из Gravity Inc., который рассказывал про историю их компании, которая началась с борьбы за Netflix Prize, а теперь стала поставщиком рекомендательных систем с многомилионным оборотом. Он довольно много — и щедро — рассказывал про техническую часть, но также про бизнес-модели, про то, что существует две бизнес-модели, модель Трабанта и модель Ролс-Ройса, и что они сразу пошли по второму пути, то есть по производству высококачественного продукта оптимизированного под нужды клиента. И про то, что хотя они очень много усилий тратят на разработку новых алгоритмов, не меньше приходится вкладывать в техническую часть, в быстродействие, масштабирование, сочетаемость всех частей.

Ну и следующие доклады все были примерно про то же самое — скорость, масштабируемость, большие объемы данных. Хотя в этой секции про нейросети говорили как раз больше, чем про вероятностные модели. Но меня как-то больше всего впечатлило, сколько денег зарабатывается в интернете — и не то, что один кто-то зарабатывает, а прямо на много разных компаний хватает. И еще там представляли  CLEF NEWSREEL Challenge: shared task по новостным рекомендательным системам. Там основная идея, что все происходит онлайн: участникам перенаправляется часть реальных запросов, от них собирают рекомендации в реальном времени и замеряют, кликают на них юзеры или нет; хотя опция офлайн участия тоже предусмотрена.

В целом, я бы сказала, что секция удалась, если бы не мои завышенные ожидания: я почему-то думала, что индустриальные докладчики будут сильно зажигательнее академических, но это оказалось не совсем так.

А после закрытия мы еще пошли есть пиццу, и гулять по городу, и самые стойкие полтора раза обошли по периметру Прато дела Валле, так что у меня даже начала кружиться голова и пришлось признать, что все хорошее когда-то кончается. Следующий ECIR пройдет в Шотландии, в Абердине. Надо постараться туда что-нибудь подать.

 

Об авторе Лидия Пивоварова

СПбГУ — старший преподаватель,
University of Helsinki — PhD student

http://philarts.spbu.ru/structure/sub-faculties/itah_phil/teachers/pivovarova

Запись опубликована в рубрике Конференции, Обзоры/Редакционное. Добавьте в закладки постоянную ссылку.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *