Kognitivní aspekty dotazování v kontextu průzkumů dopravního chování

Vít Gabrhel

vit.gabrhel@mail.muni.cz

FSS MU,

5. 5. 2017

Mgr. Stanislav Ježek, Ph.D.

prof. PhDr. Tomáš Urbánek, Ph.D.

Modelování poptávky po dopravě

Dopravní modely jen v ČR pomáhají při rozhodování o zakázkách v hodnotě miliard(Gabrhel, Kouřil, & Meltzer, 2016)​​

Souvisí s tématy jako:

  • Urbanismus (Holzapfel, 2015)
  • Quality of life (Steg & Gifford, 2005)
  • Udržitelný rozvoj (Hay, 2005)

Aplikace

  • Kolik lidí začne jezdit do práce na kole v případě vybudování cyklistické infrastruktury? 
  • Jak se zjednosměrnění ulice promítne do intenzity dopravního provozu v městské části?
  • Na jakém místě vybudovat placené parkoviště? Jakou cenu jsou lidé ochotni zaplatit za parkovací místo? A jaká by byla doba návratnosti?

Průzkumy dopravního chování

 

Klíčový zdroj informací pro tvorbu dopravních modelů
(Griffiths, Richardson, & Lee-Gosselin, 2000)

Příklady PDCH z posledních let:

  • UGD Bratislava (2014)
  • PDCH Brno (2016-17)
  • SUMP Litoměřice (2017)
  • Celostátní PDCH (2017-18)

Aplikace výběrových šetření:

  • Tvorba dotazníku
    • Psychologie dotazování
  • Sampling
    • Chyba měření
  • Non-response
    • Missing data

Psychologie dotazování

Úvod
(dle Tourangeau, Rips, & Rasinski, 2000)

 

 

Rozumí respondenti položkám stejně jako výzkumníci?

  • Jaký byl účel této cesty?


Jaké paměťové strategie respondenti používají při odpovídání?

  • V kolik hodin a minut jste zahájil/a cestu?


Existují položky, na které respondenti nechtějí odpovídat upřímně?

  • Mohl/a byste prosím uvést čistý měsíční příjem Vaší domácnosti za poslední měsíc?

Psychologie dotazování

Cognitive Aspects of Survey Methodology (CASM)

 

"The cognitive interviewing approach to evaluating sources of response error in survey questionnaires was developed during the 1980's through an interdisciplinary effort by survey methodologists and psychologists." (Willis, 1999, s. 1)

Proces odpovídání na položku 
(dle Tourangeau, Rips, & Rasinski, 2000, s. 8-16; Willis, 1999, s. 2)

 1. Porozumění (Comprehension)

  • Question intent: What does the respondent believe the question to be asking?

 2. Vybavení (Retrieval)

  • Recallability of information: What types of information does the respondent need to recall in order to answer the question?

 3. Úsudek (Judgment)

  • Social Desirability: Does the respondent want to tell the truth? Does he/she say something that makes him/her look "better"?
     

 4. Odpověď (Response)

  • Mapping the response: Can the respondent match his or her internally generated answer to the response categories given by the survey question?

Psychologie dotazování

Kognitivní interview

 

Probes (Sondy)

Kognitivní interview zahrnuje “the administration of draft survey
questions while collecting additional verbal information about
the survey responses, which is used to evaluate the quality of the
response or to help determine whether the question is generating
the information that its author intends
.
” (
Beatty and Willis, 2007, s. 287)
 

Think-Aloud

INTERVIEWER (reading survey question to be tested):
How many times have you talked to a doctor in the last 12 months?


SUBJECT:
I guess that depends on what you mean when you say “talked.” I talk to my neighbor, who is a doctor, but you probably don’t mean that. I go to my doctor about once a year, for a general check-up, so I would count that one.

Confidence judgment:

  • How sure are you that your health insurance covers drug and alcohol treatment?

General probes:

  • How did you arrive at that answer?
  • Was that easy or hard to answer?

Výzkumný záměr

Tento projekt byl realizován za finanční podpory Ministerstva školství, mládeže a tělovýchovy v rámci programu dlouhodobého koncepčního rozvoje výzkumných organizací na výzkumné infrastruktuře pořízené z Operačního programu Výzkum a vývoj pro inovace (CZ.1.05/2.1.00/03.0064).

1. studie

Jakým způsobem rozumí respondenti metodě?

Provedení polostrukturovaných rozhovorů na heterogenním vzorku

2. studie

Jak se projeví uskutečněné změny?

Provedení metodologického experimentu na reprezentativním výběrovém souboru

Studie I

Organizace

  • Rekrutace vzorku z obecné populace
  • Informovaný souhlas

1. vlna sběru dat

  • 1. 11. - 22. 12. 2016,
  • 2. 1. - 28. 2. 2017 

Studie I

Metodologie

 

Metody

Vzorek

Polostrukturované interview

  1. ​Odpověď na položku
  2. Plánovaná sonda
  3. Spontánní sonda / Think-Aloud

1. Odpověď na položku

Jaký byl účel první cesty?

- Jo jo jo, to byla cesta do práce.

2. Plánovaná sonda

Když se řekne účel cesty, co si pod tím představíte?

- No kam vlastně jako směřuju. Že jako pokud bych směřoval do práce, tak účelem cesty je dostat se do práce. Když by to byla návštěva lékaře, kam bych jel, tak by to byla návštěva doktora. Čili vždycky to, kam směřuju, je pro mě účelem cesty.

3. Think-Aloud / Neplánovaná sonda

Je to třeba spjaté i s tou vykonávanou aktivitou potom na konci?

- Ano ano ano.

Studie I

Analýza dat (dle Willis, 2015)

 

Kognitivní kódování

Zaměřuje se na kognitivní procesy respondenta při odpovídání na položky

  • Jaké druhy kognitivních problémů mají lidé s položkou?

Tematická analýza

Vytváří tematické celky popisující pozorované jevy

  • Jaké významy si respondenti spojují s položkou?

Question Feature Coding

Zaměřuje se na fungování vyhodnocovaných položek

  • Jaké charakteristiky položky způsobují obtíže při odpovídání?

Studie I

"Diskuze"

 

Prospektivní a retrospektivní sondy

  • Vyhodnocení jednotlivých položek versus vyhodnocení nástroje jako celku
  • ​Srovnatelnost nástroje (např. z hlediska porozumění)  dle metody administrace: asistovaná versus self-report

Implementace podnětů a příprava výzkumného nástroje

Reparativní a deskriptivní přístup

  • Identifikace slabých míst metody a jejich náprava
  • ​Porozumění mechanismu odpovídání na položku - skrze popis formování významu či kognitivních procesů v pozadí

Studie II.

 

Organizace

Metody

  • Realizace dotazníkového šetření na jaře 2018 (březen - květen)
  • Náhodný výběr uskutečněný na základě adresních bodů
  • N = 300 domácností (cca 600 osob starších 6 let)
  • Náhodná administrace jedné ze dvou verzí dotazníku
    • ​Computer-assisted personal interview (CAPI)
  • Indikátory:
    • Struktura odpovídání, 
    • Chybějící hodnoty,
    • Čas potřebný k vyplnění položek,
    • Postojové položky (např. vnímaná obtížnost položky)

Studie II.

Analýza dat

Diskuze

  • Srovnání verzí a návrh úprav
    • Zmapování kognitivních a emočně-motivačních procesů
    • Dopad významu na způsob odpovídání

Redukce dimenzionality dat (PCA či FA)

  • Response time u položek zacílených na Vybavení

Komplexní model versus jednoduchá srovnání

  • Komplexní model typu Generalized linear model (GLM)
  • Jednoduchá srovnání dle úrovně měření a 2 nezávislých skupin

Item response tree model (Jeon & De Boeck, 2016)

Take home message

Cílem je zlepšení nástroje pro sběr dat,
na základě kterých dochází k rozhodování s dopadem v každodenním životě.

Děkuji za pozornost!

Zdroje


Beatty, P. C., & Willis, G. B. (2007). Research synthesis: The practice of cognitive interviewing. Public Opinion Quarterly, 71(2), 287-311.


Gabrhel, V., Kouřil, P., & Meltzer, Z. (2016). Česká republika v pohybu: Návrh celostátního průzkumu dopravního chování. Dopravní inženýrství, 7 (2), 20-22.


Hay, A. (2005). The transport implications of Planning Policy Guidance on the location of superstores in England and Wales: Simulations and case study. Journal of Transport Geography, 13(1 SPEC. ISS.), 13–22. http://doi.org/10.1016/j.jtrangeo.2004.07.001


Holzapfel, H. (2015). Urbanism and Transport: Building Blocks for Architects and City and Transport Planners. Abingdon: Routledge.


Jeon, M., & De Boeck, P. (2016). A generalized item response tree model for psychological assessments. Behavior research methods, 48(3), 1070-1085.


Steg, L., & Gifford, R. (2005). Sustainable transportation and quality of life. Journal of Transport Geography, 13(1 SPEC. ISS.), 59–69. http://doi.org/10.1016/j.jtrangeo.2004.11.003


Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Oxford: OUP.


Willis, G. B. (1999). Cognitive Interviewing: A "How To" Guide. Dostupné online z http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=71CC295F5AF0F2D2C4B4804BF5CE5C9C?doi=10.1.1.469.6024&rep=rep1&type=pdf

Made with Slides.com