Какие данные мы уже используем?

*https://www.youtube.com/watch?v=ddXZnRCzvLs

YouTube

Использование данных для принятия решений

История про бегуна, который доминировал все олимпийские игры?

Построение карты: открытые правительства

• 2000-й год: Канзас начал проводить ежеквартальные опросы 2500 случайно выбранных жителей.
   
• Но оно использовалось только для отчётности, а не для принятия решений... Многие отделы игнорировали результаты, т.к. не понимали, как этот опрос связан с их деятельностью.
   
• 2011-й: опрос обновлён, чтобы соответствовать конкретным целях определённых отделов. Теперь опрос является важным инструментом для постановки целей и оценки результатов.

Построение карты: открытые правительства

*Boston CityScore

**Case Study | Boston’s Citywide Analytics Team

Городской рейтинг в Бостоне (CityScore)

• Мэр Бостона инициировал создание личной информационной панели для оценки производительности города
   
• Когда он стал опрашивать своих подчинённых на основании метрик из этой панели, другие департаменты создали свои индивидуальные панели, чтобы ответить на вопросы
   
• Всё это было объединено в единую систему и опубликовано
   
• Публикация спровоцировала дискуссию и более выбор более качественных метрик
   
• Несколько других городов переиспользовало разработки для создания своей платформы

Построение карты: открытые правительства

*CityStat Performance Strategy

Городская статистика в Балтиморе (cityStat)

Преимущества открытых правительств

• Повышение вовлечённости и доверия граждан
• Делигация анализа данных гражданам
• Общество может шире использовать объективные данные при выработке предложений для государственной власти
• Несмещённая оценка результатов работы
• Сокращение рисков оппортунистического поведения для избежать возможных ошибок

*A Catalog of Civic Data Use Cases

**A Starter Kit for Data-Smart Cities (Harvard Ash Center)

***Волошинская А.А., Комаров В.М. - Доказательная государственная политика: проблемы и перспективы.

Вспомним историю

• 1941 – 1990: компьютер заменяет человека в базовых расчётах. Экспертные системы, исследование операций.
   
• 1990 – 2000: в «искусственный интеллект» пришла статистика. Интернет-поиск, распознавание речи, персональные ассистенты.
   
• 2000 – 2010: появление big data. Заря анализа данных. Электронные медицинские карты, социальные сети, гипер-таргетированная реклама. Hadoop, Map Reduce.
   
• 2010 – 2015: обучение нейросетей на видеокартах. Взлёт нейронных сетей. Распознавание изображений, обучение с подкреплением.
   
• 2015 – 2020: генеративные модели. Генерация текста, музыки, изображений. Вариационные автоенкодеры, трансформеры.

*Funding a revolution : government support for computing research

Вспомним историю

• 1941 – 1990: компьютер заменяет человека в базовых расчётах. Экспертные системы, исследование операций.
   
• 1990 – 2000: в «искусственный интеллект» пришла статистика. Интернет-поиск, распознавание речи, персональные ассистенты.
   
• 2000 – 2010: появление big data. Заря анализа данных. Электронные медицинские карты, социальные сети, гипер-таргетированная реклама. Hadoop, Map Reduce.
   
• 2010 – 2015: обучение нейросетей на видеокартах. Взлёт нейронных сетей. Распознавание изображений, обучение с подкреплением.
   
• 2015 – 2020: генеративные модели. Генерация текста, музыки, изображений. Вариационные автоенкодеры, трансформеры.

• Интернет-поиск
• Персональные ассистенты

*Funding a revolution : government support for computing research

Вспомним историю

• 1941 – 1990: компьютер заменяет человека в базовых расчётах. Экспертные системы, исследование операций.
   
• 1990 – 2000: в «искусственный интеллект» пришла статистика. Интернет-поиск, распознавание речи, персональные ассистенты.
   
• 2000 – 2010: появление big data. Заря анализа данных. Электронные медицинские карты, социальные сети, гипер-таргетированная реклама. Hadoop, Map Reduce.
   
• 2010 – 2015: обучение нейросетей на видеокартах. Взлёт нейронных сетей. Распознавание изображений, обучение с подкреплением.
   
• 2015 – 2020: генеративные модели. Генерация текста, музыки, изображений. Вариационные автоенкодеры, трансформеры.

Большие данные

*The government and big data: Use, problems and potential

• Построение "карты" за счёт данных
• Анализ социальных сетей
• Метрики, основанные на данных
• Открытые правительства

**Image source: byte-project.eu

Вспомним историю

• 1941 – 1990: компьютер заменяет человека в базовых расчётах. Экспертные системы, исследование операций.
   
• 1990 – 2000: в «искусственный интеллект» пришла статистика. Интернет-поиск, распознавание речи, персональные ассистенты.
   
• 2000 – 2010: появление big data. Заря анализа данных. Электронные медицинские карты, социальные сети, гипер-таргетированная реклама. Hadoop, Map Reduce.
   
• 2010 – 2015: обучение нейросетей на видеокартах. Взлёт нейронных сетей. Распознавание изображений, обучение с подкреплением.
   
• 2015 – 2020: генеративные модели. Генерация текста, музыки, изображений. Вариационные автоенкодеры, трансформеры.

Глубокие нейронные сети

Анализ текстов, речи, изображений и видео:

• Классификация твитов
• Анализ записей камер наблюдения
• Распознавание лиц
• ...

*Компьютерное зрение. Математика в задачах обработки изображений

Вспомним историю

• 1941 – 1990: компьютер заменяет человека в базовых расчётах. Экспертные системы, исследование операций.
   
• 1990 – 2000: в «искусственный интеллект» пришла статистика. Интернет-поиск, распознавание речи, персональные ассистенты.
   
• 2000 – 2010: появление big data. Заря анализа данных. Электронные медицинские карты, социальные сети, гипер-таргетированная реклама. Hadoop, Map Reduce.
   
• 2010 – 2015: обучение нейросетей на видеокартах. Взлёт нейронных сетей. Распознавание изображений, обучение с подкреплением.
   
• 2015 – 2020: генеративные модели. Генерация текста, музыки, изображений. Вариационные автоенкодеры, трансформеры.

Генерация кратких конспектов

*MakeMySummary

**Language Models are Few-Shot Learners

*Funding a revolution : government support for computing research

Вспомним историю

• 1941 – 1990: компьютер заменяет человека в базовых расчётах. Экспертные системы, исследование операций.
   
• 1990 – 2000: в «искусственный интеллект» пришла статистика. Интернет-поиск, распознавание речи, персональные ассистенты.
   
• 2000 – 2010: появление big data. Заря анализа данных. Электронные медицинские карты, социальные сети, гипер-таргетированная реклама. Hadoop, Map Reduce.
   
• 2010 – 2015: обучение нейросетей на видеокартах. Взлёт нейронных сетей. Распознавание изображений, обучение с подкреплением.
   
• 2015 – 2020: генеративные модели. Генерация текста, музыки, изображений. Вариационные автоенкодеры, трансформеры.

Предсказание незарегистрированных арендодателей

*LOAD Pilot Report

• В Лондоне решили открыть Отдел Анализа Данных (London Office of Data Analysis, LODA)
   
• Представители разных районов города предложили 20 разных идей возможных проектов. Из них было выбрано 6.

Предсказание незарегистрированных арендодателей

*LOAD Pilot Report

• В Лондоне решили открыть Отдел Анализа Данных (London Office of Data Analysis, LODA)
   
• Представители разных районов города предложили 20 разных идей возможных проектов. Из них было выбрано 6.
   
• Проекты были оценены по четырём критериям
   
• Был выбран проект по улучшению условий жилья

Критерии оценки проектов:

• Существенно уменьшает расходы
• Имеет хорошие доступные данные
• Реализация розволяет получить конкретные результаты в течение двух месяцев
• Может быть решён в основном за счёт неперсанализируемых данных

Предсказание незарегистрированных арендодателей

*LOAD Pilot Report

• В Лондоне решили открыть Отдел Анализа Данных (London Office of Data Analysis, LODA)
   
• Представители разных районов города предложили 20 разных идей возможных проектов. Из них было выбрано 6.
   
• Проекты были оценены по четырём критериям
   
• Был выбран проект по улучшению условий жилья

Предсказание незарегистрированных арендодателей

*LOAD Pilot Report

• Два района начали работу с командой data science для поиска признаков, помогающих определить жильё
   
• Только один из двух районов смог предоставить достаточно подробные данные
   
• Оказалось, что в обучающей выборке были только положительные метки. Был выбран метод Balanced Random Forest.
   
• Было выбрано две метрики работы модели: >50% из имеющихся арендуемых добов должны быть распознаны, а суммарное число распознаных домов должно быть 1-4% от полного числа домов
   
• Производительность модели: 50% известных домов определено, 3.3% от общего числа домов определены как арендуемые

Предсказание незарегистрированных арендодателей

*LOAD Pilot Report

• Классификатор не обобщался на разные районы. Было отдельный классификатор был создан для каждого района.
   
• Предоставленные данные были в ужасном качестве, и значительные усилия были потрачены на их чистку.
   
• Идея провести рандомизированные контролируемые испытания оказалась слишком сложной - началась простая проверка домов, выданных алгоритмом.
   
• Только 4 из 12 районов предоставили достаточно данных
   
• Ни одного нового арендуемого дома не было найдено

Предсказание незарегистрированных арендодателей

*LOAD Pilot Report

• Имеющиеся данные никак не стандартизированы. Отсутствие единой системы колоссально усложняет процесс обмена данными.
   
• Последующие инициативы должны начинаться с оценки качества данных каждой участвующей организации.
   
• Когда возможно, должны быть рассмотрены дополнительные источники данных
   
• Основой проектов, таких как LODA, является коллаборация между людьми в новом формате, а не новые методы анализа данных
   
• Обмен данными даже внутри одной организации включает множество юридических вопросов, и Отдел Анализа Данных должен быть "экипирован" собственными юристами

Вынесенные уроки

Предсказание нагрузок больниц в Квинсленде

Предсказание нагрузок больниц в Квинсленде

1. Использовать анализ первопричин для оценки ключевых проблем в принятии решений
    
2. Вовлечь исполнительного спонсора и ключевых ЛПР в проект
    
3. Разработать методы для распределения коек
    
4. Разработать, протестировать и улучшить рабочие процессы
    
5. Официально внедрить разработанные процессы в систему
    
6. Оценить изменения потоков пациентов в результате внедрения

*Queensland hospitals can predict admissions ten years in advance

**The Implementation and Evaluation of the PatientAdmission Prediction Tool: Assessing Its Impacton Decision-Making Strategies and Patient FlowOutcomes in 2 Australian Hospitals

• Проблемы коммуникации между заведующими потоком пациентов
   
• Отсутствие конкретных процедурных указов об этом
   
• Отсутствие автономии в принятии решений у заведующих распределением коек

Предсказание нагрузок больниц в Квинсленде

1. Использовать анализ первопричин для оценки ключевых проблем в принятии решений
    
2. Вовлечь исполнительного спонсора и ключевых ЛПР в проект
    
3. Разработать методы для распределения коек
    
4. Разработать, протестировать и улучшить рабочие процессы
    
5. Официально внедрить разработанные процессы в систему
    
6. Оценить изменения потоков пациентов в результате внедрения

*Queensland hospitals can predict admissions ten years in advance

**The Implementation and Evaluation of the PatientAdmission Prediction Tool: Assessing Its Impacton Decision-Making Strategies and Patient FlowOutcomes in 2 Australian Hospitals

Предсказание нагрузок больниц в Квинсленде

1. Использовать анализ первопричин для оценки ключевых проблем в принятии решений
    
2. Вовлечь исполнительного спонсора и ключевых ЛПР в проект
    
3. Разработать методы для распределения коек
    
4. Разработать, протестировать и улучшить рабочие процессы
    
5. Официально внедрить разработанные процессы в систему
    
6. Оценить изменения потоков пациентов в результате внедрения

*Queensland hospitals can predict admissions ten years in advance

**The Implementation and Evaluation of the PatientAdmission Prediction Tool: Assessing Its Impacton Decision-Making Strategies and Patient FlowOutcomes in 2 Australian Hospitals

Модель ARIMA

Предсказание нагрузок больниц в Квинсленде

1. Использовать анализ первопричин для оценки ключевых проблем в принятии решений
    
2. Вовлечь исполнительного спонсора и ключевых ЛПР в проект
    
3. Разработать методы для распределения коек
    
4. Разработать, протестировать и улучшить рабочие процессы
    
5. Официально внедрить разработанные процессы в систему
    
6. Оценить изменения потоков пациентов в результате внедрения

Gold Coast Hospital improved its waiting time performance by 20% using the tool, while one estimate put the financial returns for the state of Queensland as high as $80 million USD per year. This comprises $77.5 million from improved patient outcomes, while hospitals benefit from $2.5 million worth of efficiency savings.

*Queensland hospitals can predict admissions ten years in advance

**The Implementation and Evaluation of the PatientAdmission Prediction Tool: Assessing Its Impacton Decision-Making Strategies and Patient FlowOutcomes in 2 Australian Hospitals

Перспективы: более полная автоматизация решений

• Вспомним про генерацию конспектов. Насколько мы можем им доверять?
• Есть пример из reddit summaries. И тут мы приходим к проблеме зависимости от истории.
  • Это Confirmation bias
• И это та же проблема, которую мы обсуждали на прошлом вебинаре в случае с судьями.
• И это накладывает отдельное требование на наши модели: верифицируемость. Мы должны понимать, почему модель рекомендует то, что рекомендует. Возьмём пример с отравлениями в ресторанах. Предположим, что каждый из предсказанных ресторанов действительно отравляет людей. Хорошая ли модель? Может быть, но если эти рестораны выбраны неравномерно. Например, люди отравившиеся в элитных ресторанах пишут об этом гораздо чаще, чем люди из простых кафе. В результате мы защищаем элиту от отравлений, в то время как большая часть населений остаётся без защиты.
  • Вывод: если модель влияет на жизнь людей, то мы хотим понимать, почему она делает то, что делает, и нет ли там видимых проблем.
  • Этот вопрос набрал популярность именно по отношению к компьютерным моделям, хотя он также уместен для людей.

Перспективы: более полная автоматизация решений

Group vs individual fairness

Перспективы: более полная автоматизация решений

• Дополнительная проблема полной автоматизации решений - выравнивание ценностей. По сути, большая часть имеющихся алгоритмов училась подражать людям. Так, GPT-3 учился генерировать продолжения текста. То есть если мы ему задаём вопрос - он пытается сымитировать среднего собеседника в интернете. Это - совершенно не то, что нам нужно.

TODO: remove this part?