Replikovatelnost českého psychologického výzkumu

Kontakt:

vit.gabrhel@mail.muni.cz

Psychologické dny Olomouc 2016

8. 9. 2016

Autorský tým

Hynek Cígler,

Karolína Bernatová,

Hana Blažková,

Kitti Farkasová,

Světlana Farkašová,

Vít Gabrhel,

Jaroslav Gottfried,

Petr Palíšek,

Kateřina Prachařová,

Karel Rečka,

Anna Marie Rosická,

Tomáš Rudecký,

Klára Šmejkalová,

David Vašek

Edita Chvojková,

Anna Janů,

Stanislav Ježek,

Lenka Knapová,

Tomáš Kratochvíl,

Vojtěch Mýlek,

Ondřej Novák,

Východiska

Počet publikací českých docentů a profesorů psychologie jako hodnocení kvality jejich práce:

  • Bezdíček, Preiss a Dočkalová (2009)
  • Preiss a Mačudová (2012)

Počet studií však nic neříká o jejich kvalitě

  • Jedním z ukazatelů kvality výzkumu je jeho replikovatelnost​

Replikovatelnost v kontextu naší studie:

  • Počet statistických testů, které by při replikaci vyšly jako statisticky signifikantní

Replikační krize?

Co znamená replikační krize pro psychologii?

Social Priming (dle Aronson, Wilson, & Akert, 2014)

Proces, při kterém nedávná zkušenost zvyšuje pravděpodobnost aktivace určitého schématu či konceptu. S větší pravděpodobností bude aktivováno schéma, které se vyskytlo nedávno, nebo již v minulosti bylo použito. Jde o příklad automatického uvažování a dochází k němu neúmyslně.

  • Změnu chování či úsudku mohou vyvolat i relativně subtilní vodítka jako výška židle (Sanna et al., 2011),  teplota hrnku s kávou (Williams & Bargh, 2008) nebo barva vytištěného slova (Bertrams et al., 2014).

​​Opravdu tomu tak je?

  • Očekávaný efekt nebyl replikován (Klein et al., 2014)​

Implikace  - terapie, manželské a rodinné poradenství:

  • Pocit závazku ve vztahu (NE)vede k odpouštění (Cheung et al., accepted)

Open Science, 2015

"We conducted a large-scale, collaborative effort to obtain an initial estimate of the reproducibility of psychological science"

100 studií a výsledky jejich replikace

  • Psychological Science,

  • Journal of Personality and Social Psychology,

  • Journal of Experimental Psychology: Learning, Memory, and Cognition

Původní

 Průměrná velikost účinku: 
 Mr = 0,403; SD = 0,188

 Statistická signifikance:

 97 % studií p < 0,05

Replikace

Průměrná velikost účinku:

Mr = 0,197; SD= 0,257

Statistická signifikance:

36 % studií p < 0,05

Hodnota velikostí účinku z původních studií se nacházela v 95% intervalu spolehlivosti při replikaci v 47 % případů.

Výzkumná otázka

Jaká je replikovatelnost českého psychologického výzkumu?

Design

Identifikace klíčových hypotéz a zápis relevantních údajů

  • Např. t (45.7) =  4.23, p = .001; d = .3

Vyhledání autorů/studií s afiliací k ČR (Československo...)

  • Provázání publikací s autory, aby bylo možné zjistit citační parametry autorů (IF) jednotlivých studií (snaha o provázání co nejvíce studií).

Analýza vybraných indikátorů

  • R-index, statistická síla, velikosti účinků atd. 

Vzorek

1301 studií s celkem 3469 autory

  • Roky: 1996-2016

  • Před změnou ve WoS (1996) bylo dohledatelných méně než 50 % autorů

  • Alespoň jeden autor byl dohledán u 986 studií (76 %)

Kritéria pro zařazení

  • „Czech Republic“, „Czechoslovakia“, „article“, „psychology“ (zahrnuje i různé podoblasti).

Klíčová slova

  • social, applied, clinical, biological, educational, experimental, mathematical, developmental, psychoanalysis a multidisciplinary psychology

Metody

Replikovatelnost

Replicability index (R-index) (Schimmack, 2014)

  • Ukazatel (nikoli přímý odhad) přesnější než síla testu, protože kompenzuje publikační zkreslení
  • Kombinuje informace o statistické síle v původní studii spolu s inflací statistické síly vzhledem k publikačnímu zkreslení (tzv. publication bias).
    • Inflation  = Percentage of Significant Results – Median (Estimated Power)
    • R-Index = Median Observed Power – Inflation

Statistická síla

  • Pravděpodobnost, že kdybychom výzkum replikovali stejně, identifikovali bychom signifikantní výsledek.

    • Pakliže by měl být hledaný efekt stejně velký jako ten v původní studii.

  • Studie se statistickou sílou 50 % by v případě 100 provedených analýz měla vést k 50 signifikantním a 50 nesignifikantním výsledkům

  • Publikační zkreslení - publikovány jsou v naprosté většině případů signifikantní výsledky

Metody

Scientometrie

Impact Factor (IF)

"Průměrný" počet citací "průměrného" článku v daném žurnálu ve vybraný rok. Takto definovaný IF je hodnocením dopadu žurnálu jako celku, ne však jednotlivých článků.

  • Author Impact Factor (AIF) = "averages the number of citations received by all papers published by an author in a given time window" (Pan & Fortunato, 2014, p. 2)

Hirschův index (h-index) (Hirsch, 2005)

Nástroj pro současné určení produktivity a citačního dopadu daného autora

Kolik článků daného autora dosahuje citovanosti vyšší, než je pořadové číslo článku dle počtu citací.

f(A)=10, f(B)=8, f(C)=5, f(D)=4, f(E)=3　→ h-index=4

f(A)=25, f(B)=8, f(C)=5, f(D)=3, f(E)=3　→ h-index=3

 

Výsledky

Scientometrie

Výsledky

Souvislost R-indexu a IF

Výsledky

Souvislost R-indexu a h-indexu

Výsledky

R-index dle oblasti psychologie

Výsledky

Provedené testy s příslušným z-skórem

Interní validita: Shoda posuzovatelů

Shoda posuzovatelů byla ověřena na 27 náhodně vylosovaných zařazených studií, které ohodnotil další hodnotitel podruhé.

 

Z těchto 27 druhý hodnotitel 6 vyřadil
(4 netestovaly hypotézy, 1 byla "zmatená",
1 "jiné důvody").

 

R-index zbylých 21 studií Spearmanovo rho = 0,832, 95% CI [0,60; 0,92] (bootstrap)

 

Nelišil se ani průměrný R-index u posuzovaných studií (Wilcoxonův test p = 0,796).

Diskuze

Výsledky

 

Podstatná část českého psychologického výzkumu není citovaná vůbec nebo jen minimálně.

 

Celkový R-index = 0,7. Replikovali bychom tedy 70 % studií.

 

U českých psychologů citační indexy (AIF, h-index) nesouvisí s
R-indexem.

 

Výzkumníci nedodržují standardy při prezentaci statistik.

Diskuze

Reflexe sběru dat

Klíčové nedostatky

  • Chybějící informace o...
    • Přesné hodnotě "p", zejména při non-signifikantním výsledku (kupř. "n.s."),
    • Velikost účinku (d, r, atd.),
    • Výsledek testu (F = ...),
    • Počet případů (N) či stupně volnosti (df)
  • Nesnadná identifikace klíčových hypotéz
  • I přes deklarování explorační povahy bylo prováděno testování signifikance, doprovázené reportem vybraných (signifikantních) výsledků
  • Absence korekce při vícenásobném srovnání na týchž datech (kupř. Bonferroniho metoda)
  • Deskriptivní statistiky chyběly či obsahovaly jen část relevantních údajů

Řešení?

Dodržování APA formátu

(např. American Psychological Association, 2001; Morgan,  Reichert,  & Harrison, 2002)

Take home message

Replikovatelnost výzkumu jednotlivých autorů se liší, ale ne v závislosti na počtu jejich publikací, respektive na dopadu těchto publikací.

Děkuji za pozornost

American Psychological Association. (2001). Publication manual of the American Psychological Association (6th ed.). Washington, DC: Author.

Aronson, E., Wilson, T. D., & Akert, R. M. (2014). Social psychology. Harlow: Pearson.

Bertrams, A., Baumeister, R. F., Englert, C., & Furley, P. (2015). Ego depletion in color priming research: self-control strength moderates the detrimental effect of red on cognitive test performance.

Personality & Social Psychology Bulletin, 41(3), 311–22. doi:10.1177/0146167214564968

Bezdíček, O., Preiss, M., & Dočkalová, E. (2009). D Isregulation and R Esponse To O Piate B Lockers. Psychiatrie, 13(2-3), 108–113.

Hirsch, J. E. (2005). An index to quantify an individual’s scientific research output. Proc Natl Acad Sci U S A, 102(46), 16569–16572. doi:10.1073/pnas.0507655102

Cheung, I., Campbell, L., LeBel, E.,…Yong, J. C. (accepted). Registered Replication Report: Study 1 from Finkel, Rusbult, Kumashiro, & Hannon (2002). Perspectives on Psychological Science

Klein, R. A., Ratliff, K. A., Vianello, M., Adams Jr, R. B., Bahník, Š., Bernstein, M. J., … & Nosek, B. A. (2014). Data from Investigating Variation in Replicability: A “Many Labs” Replication Project.Journal of Open Psychology Data, 2(1), e4.

Morgan, S. E., Reichert, T., Harrison, T. R. (2002). From numbers to words. Reporting statistical results for the social sciences. Allyn & Bacon.

Open Science (2015). Estimating the reproducibility of psychological science. 349 (6251), http://doi.org/10.1126/science.aac4716

Pan, R. K., & Fortunato, S. (2014). Author Impact Factor: tracking the dynamics of individual scientific impact. Scientific Reports, 4, 4880. doi:10.1038/srep04880

Preiss, M., & Mačudová, G. (2012). Publikační Aktivita a Citovanost Českých Docentů a Profesorů V Oboru Psychologie. E-Psychologie, 6(4).

Sanna, L. J., Chang, E. C., Miceli, P. M., & Lundberg, K. B. (2011). Rising up to higher virtues: Experiencing elevated physical height uplifts prosocial actions. Journal of Experimental Social Psychology, 47(2), 472–476. doi:10.1016/j.jesp.2010.12.013

Schimmack, U. (2014). Quantifying Statistical Research Integrity: The Replicability Index, 1–31. Retrieved from http://r-index.org/uploads/3/5/6/7/3567479/introduction_to_the_r-index__14-12-01.pdf

Williams, L. E., & Bargh, J. A. (2008). Science. October, 322(5901), 606–607. doi:10.1126/science.1162548.Experiencing

 

Zdroje

Otázky?

Made with Slides.com