Chatbots & Lehre:
Möglichkeiten & Grenzen
Dr. Stefan Hackstein
KI im Studium
DE Studys nutzen KI
- 63% (2023)
- >90% (2025, N~5.000)
Tools
- ChatGPT
- DeepL
- andere
KI im Studium
Lehren
Lernen
DE Studys nutzen KI
- 63% (2023)
- >90% (2025, N~5.000)
Tools
- ChatGPT
- DeepL
- andere
KI im Studium
Forschungsstand
- Eklektische Phase der aufkommenden Forschung
- Unheinheitliche Konzeption des Lernens
- Diskurs: Utopisch bis Dystopisch
KI im Studium
Schulz et al (in Prep)
GPT Vorerfahrung (Selbsteinschätzung)
Testergebnis
Studierende erarbeiten Lösung gemeinsam mit Chatbot Tutor
KI im Studium
Schulz et al (in Prep)
GPT Vorerfahrung (Selbsteinschätzung)
Testergebnis
Studierende erarbeiten Lösung gemeinsam mit Chatbot Tutor
Ungeleitete KI Nutzung
=> schlechtere Noten
oder
KI Selbsteinschätzung nicht möglich
KI im Studium
Entscheidender Skill: Mitarbeiten
Schulz et al (in Prep)
Testergebnis
Level der Mitarbeit
Studierende erarbeiten Lösung gemeinsam mit Chatbot Tutor
KI im Studium
Schulz et al (in Prep)
Arten zu Denken
- System 2 - langsam, analytisch
- System 1 - schnell, intuitiv
- System 0 - Kognition ausgelagert
Neue Art zu Denken
System 0 Denken - Kognition auslagern
Vorteile:
- Entlastung: Routine- und Datenaufgaben
- Erweitertes Denken möglich
- Denken mit Unbekannter Info
Neue Art zu Denken
Neue Art zu Lernen
Ich möchte Videos machen wie 3blue1brown.
Neue Art zu Lernen
Ich möchte Videos machen wie 3blue1brown.
Die werden mit dem Python Paket manim produziert.
Neue Art zu Lernen
Ich möchte Videos machen wie 3blue1brown.
Die werden mit dem Python Paket manim produziert.
Bitte erkläre mir wie manim funktioniert.
...
Neue Art zu Lernen
Ich möchte Videos machen wie 3blue1brown.
Die werden mit dem Python Paket manim produziert.
Bitte erkläre mir wie manim funktioniert.
...
Ich möchte mein erstes Video mit manim erstellen. Bitte hilf mir.
...
Neue Art zu Lernen
Ich möchte Videos machen wie 3blue1brown.
Die werden mit dem Python Paket manim produziert.
Bitte erkläre mir wie manim funktioniert.
...
Ich möchte mein erstes Video mit manim erstellen. Bitte hilf mir.
...
... 5 Stunden Später
System 0 Denken - Kognition auslagern
Vorteile:
- Entlastung: Routine- und Datenaufgaben
- Erweitertes Denken möglich
- Denken mit Unbekannter Info
Neue Art zu Denken
Lern Superbooster für versierte Autodidakten
System 0 Denken - Kognition auslagern
Nachteile:
- Kompetenzverlust
- Verstärkte Vorurteile
- Übermässige Abhängigkeit / Vertrauen
Vorteile:
- Entlastung: Routine- und Datenaufgaben
- Erweitertes Denken möglich
- Denken mit Unbekannter Info
Neue Art zu Denken
System 0 Denken - Kognition auslagern
Nachteile:
- Kompetenzverlust
- Verstärkte Vorurteile
- Übermässige Abhängigkeit / Vertrauen
Vorteile:
- Entlastung: Routine- und Datenaufgaben
- Erweitertes Denken möglich
- Denken mit Unbekannter Info
Lernen & Lehren:
- KI Grundlagen
- Selbstkritische Nutzung
- Gemeinsame Reflexion
Neue Art zu Denken
Persönlicher Tutor: Vision
Sir Anthony Seldon:
"Machines will replace Teachers in 10 years." (2017)
Persönlicher Tutor: Realität
- Eingeschränkte Individualisierung
- Begrenztes Verständnis
- Mangelnde Flexibilität
- Informationsflut
- Halluzinationen
Artikel: DevOps.com
KI verbessert
- Produktivität
- Zufriedenheit
- Effektivität
Der Assistent,
den ich immer haben wollte
Artikel: DevOps.com
KI verbessert
- Produktivität
- Zufriedenheit
- Effektivität
- nicht Kompetenz
- aber Effizienz
Der Assistent,
den ich immer haben wollte
Artikel: DevOps.com
KI verbessert
- Produktivität
- Zufriedenheit
- Effektivität
- nicht Kompetenz
- aber Effizienz???
Der Assistent,
den ich immer haben wollte?
Der Assistent,
den ich immer haben wollte?
Becker et al. 2025, METR
Does AI speed up senior developers work in their codebase?
Expectation
Reality
Economy
Experts
AI
Experts
Developers
Before After
AI Speedup
- 40 %
- 20 %
+ 20 %
Der Assistent,
den ich immer haben wollte?
Becker et al. 2025, METR
Does AI speed up senior developers work in their codebase?
Expectation
Reality
Economy
Experts
AI
Experts
Developers
Before After
AI Speedup
- 40 %
- 20 %
+ 20 %
Der Assistent,
den ich immer haben wollte?
Becker et al. 2025, METR
Does AI speed up senior developers work in their codebase?
Expectation
Reality
Economy
Experts
AI
Experts
Developers
Before After
AI Speedup
- 40 %
- 20 %
+ 20 %
~25% of Time spend on AI
mostly replaces Core Work
Illusion of Thinking
7. Jun 2025
Erfolg
Denkaufwand
Komplexität
Chatbots lösen Rätsel
Illusion of Thinking
7. Jun 2025
Erfolg
Denkaufwand
Komplexität
Chatbots lösen Rätsel
Illusion of Thinking
7. Jun 2025
Erfolg
Denkaufwand
Komplexität
KI betreibt begrenzten Denkaufwand
Chatbots lösen Rätsel
Erfolg
Denkaufwand
Komplexität
Lösung durch richtiges Verständnis von Problem & KI
Rethinking Illusion of Thinking
3. Jul 2025
How do Olympiad Medalists Judge LLMS
in competetive Programming
KI kann viele Einfache & Mittlere Aufgaben lösen
KI scheitert völlig an wirklich schwierigen Aufgaben Studys: Versuchung ist Gross / Übung ist wichtig
How do Olympiad Medalists Judge LLMS
in competetive Programming
Potemkins
Chatbot kann Vorgehen erklären, aber nicht ausführen
- Will we run out of data? Villalobos+ 2024
All Human-written Text
Text-Datasets
Number of Words
Improve LLMs further?
Improve LLMs further?
- Will we run out of data? Villalobos+ 2024
- AI models collapse when trained on recursively generated data Shumailov+ 2024, Nature
Garbage In, Garbage Out
Improve LLMs further?
- Will we run out of data? Villalobos+ 2024
- AI models collapse when trained on recursively generated data Shumailov+ 2024, Nature
- Training language models to be warm and empathetic makes them less reliable and more sycophantic Ibrahim+ 2025, Ofxord
Improve LLMs further?
- Will we run out of data? Villalobos+ 2024
- AI models collapse when trained on recursively generated data Shumailov+ 2024, Nature
- Training language models to be warm and empathetic makes them less reliable and more sycophantic Ibrahim+ 2025, Ofxord
Machine Bullshit
Reinforcement Learning from Human Feedback
=> much more Bullshit & Satisfaction
Bullshit Behavior
Halluzinationen
- LLMs halluzinieren "by design"
(Erfolgsquote: besser Raten als keine Antwort)
Kalai+ 2024, OpenAI
Halluzinationen
- LLMs halluzinieren "by design"
(Erfolgsquote: besser Raten als keine Antwort)
Kalai+ 2024, OpenAI - 2024 -> 2025: mehr Halluzinationen bzgl News
Newsguard 2025
Guardrail Paradox
Chatbots ohne Guardrails -> falsche Info
Chatbots mit Guardrails -> naive Nutzer
Your Brain on ChatGPT
Weniger aktive Verbindungen im Gehirn (EEG)
- Search Engine: - 34-48%
- LLM: - 55%
Your Brain on ChatGPT
Weniger aktive Verbindungen im Gehirn (EEG)
- Search Engine: - 34-48%
- LLM: - 55%
Verfasste Texte & Inhalte werden nicht erinnert
- >80% Brain können Inhalt akurat wiedergeben
- >80% LLM können nicht einen Satz zitieren
Insbesondere Frühe KI Nutzung => Schlechte Erinnerung
Psychologie des Lernens
| Fühlt sich an wie Lernen | Ist Lernen | |
|---|---|---|
| Anstrengung | ||
| Erfolg |
Psychologie des Lernens
| Fühlt sich an wie Lernen | Ist Lernen | |
|---|---|---|
| Anstrengung | ||
| Erfolg |
Fire Together - Wire Together
Das Mittel, welches am häufigsten zum Erfolg führte,
wird Mittel erster Wahl.
Psychologie des Lernens
| Fühlt sich an wie Lernen | Ist Lernen | |
|---|---|---|
| Anstrengung | ||
| Erfolg |
Fire Together - Wire Together
Das Mittel, welches am häufigsten zum Erfolg führte,
wird Mittel erster Wahl.
Aufgaben und Lernumgebung schaffen,
die Anstrengung attraktiv macht
Psychologie des Lernens
| Fühlt sich an wie Lernen | Ist Lernen | |
|---|---|---|
| Anstrengung | ||
| Erfolg |
Fire Together - Wire Together
Das Mittel, welches am häufigsten zum Erfolg führte,
wird Mittel erster Wahl.
Digitale Amnesie (Google Effekt)
Leicht Abrufbare Info wird leicht vergessen
Digitale Amnesie (Google Effekt)
Leicht Abrufbare Info wird leicht vergessen
GPT Effekt?
Leicht Abrufbarer Vorgang wird leicht vergessen
KI-Lernkompetenz
Wie KI einsetzen um Lernen zu fördern statt verhindern?
- Immer ohne KI Beginnen
- Mit KI Denken Erweitern,
Statt zu Delegieren
- Embrace Struggle!
KI-Lernkompetenz
Wie KI einsetzen um Lernen zu fördern statt verhindern?
Forschung
ILLUMINATE
Intelligent Learning Level Updates via Mastery-Informed Navigation for Adaptively Targeted Exercises
Virtuelle Akademie
Vizerektorat Lehre
Belief on Student Mastery
Improved Bayesian Knowledge Tracing Model
- Continuous Mastery Stages
- Multiple Learning Targets
- Multidimensional Item Response Theory
Targeted Exercise Selection
-
Maximize Learning Gain
=> Optimize Student Learning
-
Maximize Assesment Gain
=> Optimize Estimate Certanty
Targeted AI Tutoring
Each stage of leaning requires specific tutor mode
Targeted AI Tutoring
Each stage of leaning requires specific tutor mode
or better: combination of modes
Targeted AI Tutoring
Each stage of leaning requires specific tutor mode
or better: combination of modes
Research Question
ILLUMINATE
- Track evolution of Student Mastery
- Optimized Exercise Selection
- Targeted Tutoring
- Unified Framework to compare Tutor Modes
- How useful are Modes at different stages of learning?
- Students: Optimized Learning
- Lecturers: Insight for targeted intervention
- Institution: Learning Analytics
Platform for Research:
Translation:
Intelligent Learning Level Updates via Mastery-Informed Navigation for Adaptively Targeted Exercises
ILLUMINATE
- Track evolution of Student Mastery
- Optimized Exercise Selection
- Targeted Tutoring
- Unified Framework to compare Tutor Modes
- How useful are Modes at different stages of learning?
- Students: Optimized Learning
- Lecturers: Insight for targeted intervention
- Institution: Learning Analytics
Platform for Research:
Translation:
Intelligent Learning Level Updates via Mastery-Informed Navigation for Adaptively Targeted Exercises
BFH kündigt mich
Durchführung des Projekts fraglich
IlluminAId GmbH
Plan: Selbständigkeit
- Schulungen zum Lernen, Lehren und Anwenden
- Selbstlernmaterial
- Entwicklung von KI-Lernsoftware
- Beratung & Unterstützung bei Experimenten & Implementation
IlluminAId GmbH
Plan: Selbständigkeit
- Schulungen zum Lernen, Lehren und Anwenden
- Selbstlernmaterial
- Entwicklung von KI-Lernsoftware
- Beratung & Unterstützung bei Experimenten & Implementation
Buch: (Künstlich) Intelligent Lernen
Take Away
- Chatbots = exzellente Lerntools, Nutzung ≠ Selbstläufer
- Studierende nutzen vor allem ChatGPT, zumeist nicht konstruktiv
- Mehrwert: Gefühlt >> Real, teilweise negativ
- Lernen bedeutet Anstrengung
- => mit Chatbot Frust vermeiden, nicht Anstrengung
Buch: (Künstlich) Intelligent Lernen
