Chatbots & Lehre:
Möglichkeiten & Grenzen

Dr. Stefan Hackstein

KI im Studium

Garrel & Mayer 2025

DE Studys nutzen KI

• 63% (2023)
• >90% (2025, N~5.000)

Tools

• ChatGPT
• DeepL
• andere

KI im Studium

Garrel & Mayer 2025

DE Studys nutzen KI

• 63% (2023)
• >90% (2025, N~5.000)

Tools

• ChatGPT
• DeepL
• andere

KI im Studium

Forschungsstand

• Eklektische Phase der aufkommenden Forschung
• Unheinheitliche Konzeption des Lernens
• Diskurs: Utopisch bis Dystopisch

link to paper

KI im Studium

Schulz et al (in Prep)

GPT Vorerfahrung (Selbsteinschätzung)

Studierende erarbeiten Lösung gemeinsam mit Chatbot Tutor

KI im Studium

Schulz et al (in Prep)

GPT Vorerfahrung (Selbsteinschätzung)

Studierende erarbeiten Lösung gemeinsam mit Chatbot Tutor

Ungeleitete KI Nutzung

=> schlechtere Noten
oder
KI Selbsteinschätzung nicht möglich

KI im Studium

Entscheidender Skill: Mitarbeiten

Schulz et al (in Prep)

Level der Mitarbeit

Studierende erarbeiten Lösung gemeinsam mit Chatbot Tutor

KI im Studium

Schulz et al (in Prep)

Arten zu Denken

• System 2 - langsam, analytisch
• System 1 - schnell, intuitiv
• System 0 - Kognition ausgelagert

Neue Art zu Denken

System 0 Denken - Kognition auslagern

Vorteile:

• Entlastung: Routine- und Datenaufgaben
• Erweitertes Denken möglich
• Denken mit Unbekannter Info

Neue Art zu Denken

Neue Art zu Lernen

Ich möchte Videos machen wie 3blue1brown.

Neue Art zu Lernen

Ich möchte Videos machen wie 3blue1brown.

Die werden mit dem Python Paket manim produziert.

Neue Art zu Lernen

Ich möchte Videos machen wie 3blue1brown.

Die werden mit dem Python Paket manim produziert.

Bitte erkläre mir wie manim funktioniert.

...

Neue Art zu Lernen

Ich möchte Videos machen wie 3blue1brown.

Die werden mit dem Python Paket manim produziert.

Bitte erkläre mir wie manim funktioniert.

...

Ich möchte mein erstes Video mit manim erstellen. Bitte hilf mir.

...

Neue Art zu Lernen

Ich möchte Videos machen wie 3blue1brown.

Die werden mit dem Python Paket manim produziert.

Bitte erkläre mir wie manim funktioniert.

...

Ich möchte mein erstes Video mit manim erstellen. Bitte hilf mir.

...

... 5 Stunden Später

System 0 Denken - Kognition auslagern

Vorteile:

• Entlastung: Routine- und Datenaufgaben
• Erweitertes Denken möglich
• Denken mit Unbekannter Info

Neue Art zu Denken

Lern Superbooster für versierte Autodidakten

System 0 Denken - Kognition auslagern

Nachteile:

• Kompetenzverlust
• Verstärkte Vorurteile
• Übermässige Abhängigkeit / Vertrauen

Vorteile:

• Entlastung: Routine- und Datenaufgaben
• Erweitertes Denken möglich
• Denken mit Unbekannter Info

Neue Art zu Denken

System 0 Denken - Kognition auslagern

Nachteile:

• Kompetenzverlust
• Verstärkte Vorurteile
• Übermässige Abhängigkeit / Vertrauen

Vorteile:

• Entlastung: Routine- und Datenaufgaben
• Erweitertes Denken möglich
• Denken mit Unbekannter Info

Lernen & Lehren:

• KI Grundlagen
• Selbstkritische Nutzung
• Gemeinsame Reflexion

Neue Art zu Denken

Persönlicher Tutor: Vision

Sir Anthony Seldon:
"Machines will replace Teachers in 10 years." (2017)

Persönlicher Tutor: Realität

• Eingeschränkte Individualisierung
• Begrenztes Verständnis
• Mangelnde Flexibilität
• Informationsflut
• Halluzinationen

Artikel: DevOps.com

KI verbessert

• Produktivität
• Zufriedenheit
• Effektivität

Der Assistent,

den ich immer haben wollte

Artikel: DevOps.com

KI verbessert

• Produktivität
• Zufriedenheit
• Effektivität
   
• nicht Kompetenz
• aber Effizienz

Der Assistent,

den ich immer haben wollte

Artikel: DevOps.com

KI verbessert

• Produktivität
• Zufriedenheit
• Effektivität
   
• nicht Kompetenz
• aber Effizienz???

Der Assistent,

den ich immer haben wollte?

Der Assistent,

den ich immer haben wollte?

Becker et al. 2025, METR

Does AI speed up senior developers work in their codebase?

Expectation

Reality

Economy
Experts

AI
Experts

- 40 %

- 20 %

+ 20 %

Der Assistent,

den ich immer haben wollte?

Becker et al. 2025, METR

Does AI speed up senior developers work in their codebase?

Expectation

Reality

Economy
Experts

AI
Experts

- 40 %

- 20 %

+ 20 %

Der Assistent,

den ich immer haben wollte?

Becker et al. 2025, METR

Does AI speed up senior developers work in their codebase?

Expectation

Reality

Economy
Experts

AI
Experts

- 40 %

- 20 %

+ 20 %

~25% of Time spend on AI

mostly replaces Core Work

Illusion of Thinking
7. Jun 2025

Shojaee+ 2025, Apple

Komplexität

Chatbots lösen Rätsel

Illusion of Thinking
7. Jun 2025

Komplexität

Shojaee+ 2025, Apple

Chatbots lösen Rätsel

Illusion of Thinking
7. Jun 2025

Komplexität

KI betreibt begrenzten Denkaufwand

Shojaee+ 2025, Apple

Chatbots lösen Rätsel

Varela+2025

Komplexität

Lösung durch richtiges Verständnis von Problem & KI

Rethinking Illusion of Thinking
3. Jul 2025

How do Olympiad Medalists Judge LLMS
in competetive Programming

Zheng+ 2025

Zheng+ 2025

KI kann viele Einfache & Mittlere Aufgaben lösen

KI scheitert völlig an wirklich schwierigen Aufgaben Studys: Versuchung ist Gross /  Übung ist wichtig

How do Olympiad Medalists Judge LLMS
in competetive Programming

Potemkins

Mankoridis+ 2025

Chatbot kann Vorgehen erklären, aber nicht ausführen

• Will we run out of data? Villalobos+ 2024

All Human-written Text

Text-Datasets

Improve LLMs further?

Improve LLMs further?

• Will we run out of data? Villalobos+ 2024
   
• AI models collapse when trained on recursively generated data  Shumailov+ 2024, Nature

 

Garbage In, Garbage Out

Improve LLMs further?

• Will we run out of data? Villalobos+ 2024
   
• AI models collapse when trained on recursively generated data  Shumailov+ 2024, Nature
   
• Training language models to be warm and empathetic makes them less reliable and more sycophantic Ibrahim+ 2025, Ofxord

Improve LLMs further?

• Will we run out of data? Villalobos+ 2024
   
• AI models collapse when trained on recursively generated data  Shumailov+ 2024, Nature
   
• Training language models to be warm and empathetic makes them less reliable and more sycophantic Ibrahim+ 2025, Ofxord

Machine Bullshit

Reinforcement Learning from Human Feedback
=> much more Bullshit & Satisfaction

Liang+ 2025, Princeton & Berkeley

Bullshit Behavior

Halluzinationen

• LLMs halluzinieren "by design"
  (Erfolgsquote: besser Raten als keine Antwort)
  Kalai+ 2024, OpenAI

Halluzinationen

• LLMs halluzinieren "by design"
  (Erfolgsquote: besser Raten als keine Antwort)
  Kalai+ 2024, OpenAI
• 2024 -> 2025: mehr Halluzinationen bzgl News
  Newsguard 2025

Guardrail Paradox

Chatbots ohne Guardrails -> falsche Info

Chatbots mit Guardrails -> naive Nutzer

Your Brain on ChatGPT

Kosmyna+ 2022, MIT

Weniger aktive Verbindungen im Gehirn (EEG)

• Search Engine: - 34-48%
• LLM: - 55%

Your Brain on ChatGPT

Kosmyna+ 2022, MIT

Weniger aktive Verbindungen im Gehirn (EEG)

• Search Engine: - 34-48%
• LLM: - 55%

Verfasste Texte & Inhalte werden nicht erinnert

• >80% Brain können Inhalt akurat wiedergeben
• >80% LLM können nicht einen Satz zitieren

Insbesondere Frühe KI Nutzung => Schlechte Erinnerung

Psychologie des Lernens

Wie man Kompetenzen erwirbt

Psychologie des Lernens

Fire Together - Wire Together

Das Mittel, welches am häufigsten zum Erfolg führte,
wird Mittel erster Wahl.

Wie man Kompetenzen erwirbt

Psychologie des Lernens

Fire Together - Wire Together

Das Mittel, welches am häufigsten zum Erfolg führte,
wird Mittel erster Wahl.

Wie man Kompetenzen erwirbt

Aufgaben und Lernumgebung schaffen,

die Anstrengung attraktiv macht

Wie? Produktive Anstrengung durch Design

Psychologie des Lernens

Fire Together - Wire Together

Das Mittel, welches am häufigsten zum Erfolg führte,
wird Mittel erster Wahl.

Digitale Amnesie (Google Effekt)

Leicht Abrufbare Info wird leicht vergessen

Cheng & Yang 2024

Wie man Kompetenzen erwirbt

Digitale Amnesie (Google Effekt)

Leicht Abrufbare Info wird leicht vergessen

GPT Effekt?

Leicht Abrufbarer Vorgang wird leicht vergessen

KI-Lernkompetenz

Wie KI einsetzen um Lernen zu fördern statt verhindern?

• Immer ohne KI Beginnen
  
   
• Mit KI Denken Erweitern,
  Statt zu Delegieren
  
   
• Embrace Struggle!

KI-Lernkompetenz

Wie KI einsetzen um Lernen zu fördern statt verhindern?

Forschung

ILLUMINATE

Intelligent Learning Level Updates via Mastery-Informed Navigation for Adaptively Targeted Exercises

Dr. Stefan
Hackstein

Dr. Andrew Ellis

Virtuelle Akademie

Vizerektorat Lehre

Belief on Student Mastery

Improved Bayesian Knowledge Tracing Model

• Continuous Mastery Stages
• Multiple Learning Targets
• Multidimensional Item Response Theory

Targeted Exercise Selection

• Maximize Learning Gain
  => Optimize Student Learning
   
• Maximize Assesment Gain
  => Optimize  Estimate Certanty

Targeted AI Tutoring

Each stage of leaning requires specific tutor mode

Targeted AI Tutoring

Each stage of leaning requires specific tutor mode

or better: combination of modes

Targeted AI Tutoring

Each stage of leaning requires specific tutor mode

or better: combination of modes

Research Question

ILLUMINATE

• Track evolution of Student Mastery
• Optimized Exercise Selection
• Targeted Tutoring

• Unified Framework to compare Tutor Modes
• How useful are Modes at different stages of learning?

• Students: Optimized Learning
• Lecturers: Insight for targeted intervention
• Institution: Learning Analytics

Platform for Research:

Translation:

Intelligent Learning Level Updates via Mastery-Informed Navigation for Adaptively Targeted Exercises

ILLUMINATE

• Track evolution of Student Mastery
• Optimized Exercise Selection
• Targeted Tutoring

• Unified Framework to compare Tutor Modes
• How useful are Modes at different stages of learning?

• Students: Optimized Learning
• Lecturers: Insight for targeted intervention
• Institution: Learning Analytics

Platform for Research:

Translation:

Intelligent Learning Level Updates via Mastery-Informed Navigation for Adaptively Targeted Exercises

BFH kündigt mich

Durchführung des Projekts fraglich

IlluminAId GmbH

IlluminAId GmbH

Buch: (Künstlich) Intelligent Lernen

Take Away

Buch: (Künstlich) Intelligent Lernen