Ballpark Crowdsourcing:

The Wisdom of Rough Group Comparisons

slabod@, 06.04.2018

План семинара

  1. Трудные случаи для crowdsourcing
  2. Новый подход, работающий с группами
  3. Описание модели
  4. Примеры с реальными данными

Трудные случаи

  1. Пользователи — не эксперты
  2. Ошибки      перекрытие      дороговизна
  3. Трудность задания (медицинские данные)
  4. Непрерывные оценки
  5. Privacy conciderations
\Rightarrow
⇒\Rightarrow
\Rightarrow
⇒\Rightarrow

Идея подхода

  1. Людям более свойственно сравнивать группы
  2. Вместо индивидуальных оценок — собирательная информация про группы
  3. ML-вывод индивидуальных оценок

Пример: продажа рекламы

Данные: GPS, сенсоры телефонов, использование приложений, типы устройств...

— Сложно оценить, privacy issues

Легко оценить, no privacy issues:

  • Millennials мало разговаривают и много пишут
  • Кто больше пользуется facebook: разбиение по возрастам

Спрашиваем, какая группа имеет большее значение, насколько

Плюсы

  1. Вопросы про группы проще понять и оценить
  2. Каждый вопрос охватывает набор данных
  3. Меньше вопросов
  4. Нет de-bias, так как достаточно неточных оценок 
  5. No privacy concerns

Формулировка Ballpark Learning

\Rightarrow
⇒\Rightarrow

Ballpark classification 

\Rightarrow
⇒\Rightarrow
\varphi(x)
φ(x)\varphi(x)

— набор характеристик

w — вектор весов

Ballpark regression 

\Rightarrow
⇒\Rightarrow

Получение оценок

Выражение w через y

=
==
\Longrightarrow
⟹\Longrightarrow

Обычная регрессия!

Feasible optimization

Пример: искусственные ограничения

Дома в Бостоне:

  • Известны 13 характеристик
  • Target — стоимость

9 групп:

  • Crime, pollution, # of rooms
  • 3 степени каждой
  • Попарные сравнения 
  • Оценки средних с отклонениями:

Цель — исследование мощности

Пример: искусственные ограничения

Анализ чувствительности

Примеры на crowdsourced constraints

  • Можно ли собрать хорошие оценки?
  • Меньше усилий, чем индивидуальные оценки?
  • Дешевле?

Пример: рецидивизм

Данные:

Выпущенные преступники, North Carolina.

\( N = 9327 \) в 1978г.,

\( N = 9549 \) в 1980г.

Характеристики:

раса, пол, алкоголизм, наркотики, supervision, супружество, тяжесть преступления

Цель: 

рецидивизм в течение года

Amazon Turk

Amazon Turk: построение ограничений

  1. Определяем группы
  2. Запускаем задания в AMT
  3. Учитываем погрешность между \(0.25, 0.75\) перцентилями
  4. recidivism < 0.4

Рецидивизм: результаты

Рецидивизм: результаты

И снова в Бостон

И снова в Бостон

Пример: Airbnb

Данные:

\(5147\) квартир в 2015г.

Характеристики:

расположение, соседство, площадь, техника, ...

Цель: 

цена аренды в Чикаго, октябрь 2015

Детали эксперимента:

  1. Классический
  2. Ballpark crowdsourcing
  3. Crowd guess of intervals

Пример: Airbnb

Future work

  • Глубокий теоретический анализ
  • Какие группы полезны? 
  • Как выделять группы?
  • Комбинирование с deep learning как weak supervision
  • Дать пользователям возможность определять группы

Спасибо за внимание!

Made with Slides.com