Seminar kognitive Modellierung:
Einführung I

Jan Göttmann, M.Sc.

Fahrplan

Datum	Thema
25.10.2023	Organisation und Ablauf
08.11.2023	Einführung: Grundlagen der Modellierung
15.11.2023	Einführung II: Grundlagen der Modellierung
22.11.2023	Parameterschätzung I: Diskrepanzfunktionen & Schätzalgorithmen
29.11.2023	Parameterschätzung II: Maximum Likelihood & Beyond
06.12.2023	Parameterschätzung III: Hands On in R Parameter Estimation
13.12.2023	Multinomial Processing Tree Models (Theorie)
20.12.2023	Anwendung von MPT Modellen (R-Sitzung)
10.01.2024	Drift Diffusion Models (Theorie)
17.01.2024	Drift Diffusion Models (Anwendung)
24.01.2023	Mixture Models (Theorie)
31.01.2024	Mixture Models (Anwendung)
07.02.2024	Puffersitzung

Einführung 1: Warum Modelle?

Wir wollen menschliches Verhalten beschreiben, vorhersagen und letztendlich erklären
Ähnlich wie ein Physiker, der die Flugbahn eines Apfels der vom Baum fällt erklären möchte
Beispiel: Ihr vergesst den Namen einer Person, die euch gerade vorgestellt wurde – Welcher kognitive Prozess kann dieses Phänomen erklären?

Question: How does the mind work?

Cognitive Psychologists must become Physicists of the Mind !

Daten und (verbale) Theorien sind nicht ausreichend um kognitive Prozesse verstehen - Quantitative Modelle sind notwendig!

Einführung 1: Warum Modelle?

Wie kann die Rückwärtsbewegung der Planeten erklärt werden?

Daten können ohne Modell nicht erklärt werden !
Modelle können selbst nicht beobachtet werden – sie sind abstrakte Formalisierungen
Ermöglichen Beschreibung, Vorhersage und Erklärung von Daten

Es gibt immer mehrere Modelle, die die Daten erklären können !

Einführung 1: Warum Modelle?

Zwei Alternativmodelle

Geocentric Model of the
solar system by Ptolemy

Geozentrisches Modell erklärt die Bahnen durch den unterschiedlichen Betrachtungswinkel!

Einführung 1: Warum Modelle?

Zwei Alternativmodelle

Heliocentric Model of the solar
system by Copernicus

Aber: Planeten haben unterschiedliche Geschwindigkeiten !

Einführung 1: Warum Modelle?

Wieso hat sich das Heliozentrische Modell durchgesetzt?

Das geozentrische Modell kann die Bahnen der Planeten mit ca. 1° Abweichungen Vorhersagen!

Guter „Fit“!
Das Heliozentrische Modell beschreibt die Daten zwar besser, aber nicht wesentlich!

Warum hat es sich trotzdem durchgesetzt?

Einführung 1: Warum Modelle?

Wenn beide Modelle die Daten gleich gut beschreiben, warum brauchen wir dann quantitative Modelle?

Copernicus Modell wurde später durch Kepler‘s ersetzt, welches die Annahme von elliptischen Bahnen machte
Sehr einfach mathematische Anpassung eliminierte den Vorhersagefehler !
Die Annahme elliptischer oder kreisrunder Bahnen kann auf verbaler Ebene keine unterschiedlichen Vorhersagen beider Modelle erzeugen !

Verbale Theorien nicht ausreichend – quantitative Modelle zwingend notwendig!

Einführung 1: Lessons Learned

Daten sprechen nie für sich selbst, sondern benötigen ein Modell, um verstanden und erklärt zu werden!
Verbale Theorien allein können eine quantitative Analyse letztlich nicht ersetzen.
Es gibt immer mehrere alternative Modelle, die um die Erklärung von Daten konkurrieren und wir müssen zwischen ihnen wählen.
Die Modellauswahl beruht sowohl auf einer quantitativen Bewertung als auch auf einer intellektuellen und wissenschaftlichen Urteil.

Einführung 1: Scope und Falsifizierung

Welche Probleme können Modelle haben?

Modelle müssen hinreichend präzise sein – ein Modell das alle Daten perfekt beschreibt besitzt keinen Wert ! Der Scope ist zu breit!
Sind Modelle (bzw. Theorien) zu breit spezifiziert, sind sie nicht falsifizierbar.
Die Datenvariabilität spielt hier auch einen Rolle – die Daten müssen im Scope des Modells liegen!

Modelle, die alle möglichen Daten beschreiben können nicht widerlegt werden und haben keinen Wert !

Variabilität der Daten

Scope

Einführung 1: Scope und Falsifizierung

Gute Modelle...

…besitzen einen schmalen Scope, und haben innerhalb dieses Bereiches große „predicitive power“
… sind sie falsifizierbar - sie können nicht alle möglichen Daten erklären!
… sind präzise spezifiziert und besitzen innerhalb dieses Scopes große Vorhersagekraft - Tradeoff zwischen Scope und Predictive Power !

Predictive Power ist nichts ohne präzisen theoretischen Framework !

Schmaler Scope, große Evidenz

Breiter Scope / wenig Evidenz

Modell Fit

Wie gut kann ein Modell beobachtete Daten beschreiben ? „Goodness of Fit“

Die Präzision, mit der ein Modell auf eine
bestimmten Stichprobe von beobachteten Daten
(Myung & Pitt, 2005)

Quantifizierbar z.B. durch den mittleren Abstand
von Vorhersagen vs. Beobachtungen; oder
Wahrscheinlichkeit der Datenstichprobe bei
Modellvorhersagen

Generalisierbarkeit

Wie gut kann ein Modell Daten vorhersagen?
„Predictive Goodness of Fit“

Fähigkeit des Modells, Daten zu erfassen
die durch denselben kognitiven Prozess erzeugt wurden,
und nicht nur die aktuell beobachteten Stichprobe
(Myung & Pitt, 2005)

Quantifizierbar durch z.B. „GOF der Modells
Vorhersagen“ für neue experimentelle
Daten; oder GOF für alte Daten, aber ohne
Auslassung einiger Daten („out of sample predicition“)

Einführung 1: Scope und Falsifizierung

Einführung 1: Warum Modelle?

Modelle müssen präzise spezifiziert sein – Modelle die alles vorhersagen sind wertlos
Präzise Modelle können widerlegt werden, es gibt Daten, die dem Modell wiedersprechen !
Präzise und falsifizierbare Modelle besitzen innerhalb ihres schmalen Scopes große Vorhersagekraft
Gute Modelle besitzen einen guten Trade-Off zwischen Scope und Predicitve Power