Ballpark Crowdsourcing:
The Wisdom of Rough Group Comparisons
slabod@, 06.04.2018
План семинара
- Трудные случаи для crowdsourcing
- Новый подход, работающий с группами
- Описание модели
- Примеры с реальными данными
Трудные случаи
- Пользователи — не эксперты
- Ошибки перекрытие дороговизна
- Трудность задания (медицинские данные)
- Непрерывные оценки
- Privacy conciderations
\Rightarrow
⇒
\Rightarrow
⇒
Идея подхода
- Людям более свойственно сравнивать группы
- Вместо индивидуальных оценок — собирательная информация про группы
- ML-вывод индивидуальных оценок
Пример: продажа рекламы
Данные: GPS, сенсоры телефонов, использование приложений, типы устройств...
— Сложно оценить, privacy issues
Легко оценить, no privacy issues:
- Millennials мало разговаривают и много пишут
- Кто больше пользуется facebook: разбиение по возрастам
Спрашиваем, какая группа имеет большее значение, насколько
Плюсы
- Вопросы про группы проще понять и оценить
- Каждый вопрос охватывает набор данных
- Меньше вопросов
- Нет de-bias, так как достаточно неточных оценок
- No privacy concerns
Формулировка Ballpark Learning
\Rightarrow
⇒
Ballpark classification
\Rightarrow
⇒
\varphi(x)
φ(x)
— набор характеристик
w — вектор весов
Ballpark regression
\Rightarrow
⇒
Получение оценок
Выражение w через y
=
=
\Longrightarrow
⟹
Обычная регрессия!
Feasible optimization
Пример: искусственные ограничения
Дома в Бостоне:
- Известны 13 характеристик
- Target — стоимость
9 групп:
- Crime, pollution, # of rooms
- 3 степени каждой
- Попарные сравнения
- Оценки средних с отклонениями:
Цель — исследование мощности
Пример: искусственные ограничения
Анализ чувствительности
Примеры на crowdsourced constraints
- Можно ли собрать хорошие оценки?
- Меньше усилий, чем индивидуальные оценки?
- Дешевле?
Пример: рецидивизм
Данные:
Выпущенные преступники, North Carolina.
N=9327 в 1978г.,
N=9549 в 1980г.
Характеристики:
раса, пол, алкоголизм, наркотики, supervision, супружество, тяжесть преступления
Цель:
рецидивизм в течение года
Amazon Turk
Amazon Turk: построение ограничений
- Определяем группы
- Запускаем задания в AMT
- Учитываем погрешность между 0.25,0.75 перцентилями
- recidivism < 0.4
Рецидивизм: результаты
Рецидивизм: результаты
И снова в Бостон
И снова в Бостон
Пример: Airbnb
Данные:
5147 квартир в 2015г.
Характеристики:
расположение, соседство, площадь, техника, ...
Цель:
цена аренды в Чикаго, октябрь 2015
Детали эксперимента:
- Классический
- Ballpark crowdsourcing
- Crowd guess of intervals
Пример: Airbnb
Future work
- Глубокий теоретический анализ
- Какие группы полезны?
- Как выделять группы?
- Комбинирование с deep learning как weak supervision
- Дать пользователям возможность определять группы
Спасибо за внимание!
Ballpark Crowdsourcing: The Wisdom of Rough Group Comparisons slabod@, 06.04.2018