Ballpark Crowdsourcing:

The Wisdom of Rough Group Comparisons

slabod@, 06.04.2018

План семинара

  1. Трудные случаи для crowdsourcing
  2. Новый подход, работающий с группами
  3. Описание модели
  4. Примеры с реальными данными

Трудные случаи

  1. Пользователи — не эксперты
  2. Ошибки      перекрытие      дороговизна
  3. Трудность задания (медицинские данные)
  4. Непрерывные оценки
  5. Privacy conciderations
\Rightarrow
\Rightarrow
\Rightarrow
\Rightarrow

Идея подхода

  1. Людям более свойственно сравнивать группы
  2. Вместо индивидуальных оценок — собирательная информация про группы
  3. ML-вывод индивидуальных оценок

Пример: продажа рекламы

Данные: GPS, сенсоры телефонов, использование приложений, типы устройств...

— Сложно оценить, privacy issues

Легко оценить, no privacy issues:

  • Millennials мало разговаривают и много пишут
  • Кто больше пользуется facebook: разбиение по возрастам

Спрашиваем, какая группа имеет большее значение, насколько

Плюсы

  1. Вопросы про группы проще понять и оценить
  2. Каждый вопрос охватывает набор данных
  3. Меньше вопросов
  4. Нет de-bias, так как достаточно неточных оценок 
  5. No privacy concerns

Формулировка Ballpark Learning

\Rightarrow
\Rightarrow

Ballpark classification 

\Rightarrow
\Rightarrow
\varphi(x)
φ(x)\varphi(x)

— набор характеристик

w — вектор весов

Ballpark regression 

\Rightarrow
\Rightarrow

Получение оценок

Выражение w через y

=
==
\Longrightarrow
\Longrightarrow

Обычная регрессия!

Feasible optimization

Пример: искусственные ограничения

Дома в Бостоне:

  • Известны 13 характеристик
  • Target — стоимость

9 групп:

  • Crime, pollution, # of rooms
  • 3 степени каждой
  • Попарные сравнения 
  • Оценки средних с отклонениями:

Цель — исследование мощности

Пример: искусственные ограничения

Анализ чувствительности

Примеры на crowdsourced constraints

  • Можно ли собрать хорошие оценки?
  • Меньше усилий, чем индивидуальные оценки?
  • Дешевле?

Пример: рецидивизм

Данные:

Выпущенные преступники, North Carolina.

\( N = 9327 \) в 1978г.,

\( N = 9549 \) в 1980г.

Характеристики:

раса, пол, алкоголизм, наркотики, supervision, супружество, тяжесть преступления

Цель: 

рецидивизм в течение года

Amazon Turk

Amazon Turk: построение ограничений

  1. Определяем группы
  2. Запускаем задания в AMT
  3. Учитываем погрешность между \(0.25, 0.75\) перцентилями
  4. recidivism < 0.4

Рецидивизм: результаты

Рецидивизм: результаты

И снова в Бостон

И снова в Бостон

Пример: Airbnb

Данные:

\(5147\) квартир в 2015г.

Характеристики:

расположение, соседство, площадь, техника, ...

Цель: 

цена аренды в Чикаго, октябрь 2015

Детали эксперимента:

  1. Классический
  2. Ballpark crowdsourcing
  3. Crowd guess of intervals

Пример: Airbnb

Future work

  • Глубокий теоретический анализ
  • Какие группы полезны? 
  • Как выделять группы?
  • Комбинирование с deep learning как weak supervision
  • Дать пользователям возможность определять группы

Спасибо за внимание!

Ballpark Crowdsourcing: The Wisdom of Rough Group Comparisons

By Michael Slabodkin

Ballpark Crowdsourcing: The Wisdom of Rough Group Comparisons

  • 69