Station 1: PROMPTEN  mit System 

Impuls: Probiert mehrere Prompts für euren aktuellen Unterricht,  um Informationen zum Lernstand (bzw. erreichte Kompetenz) zu gewinnen:

1. Dokumentiert ob ihr etwas Hilfreiches  erhalten habt

2. Bessert eure Prompts noch einmal nach. Lassen sich die Ergebnisse noch verbessern.

3. Holt euch von der KI Feedback zu eurem Prompt.
Was konntet ihr aus der Antwort für euch noch mitnehmen?

4. Wie bewertet ihr insgesamt die gefundenen Ergebnisse?

5. Für welche eurer Aufgaben rund um die Bereitstellung von Assessments, haltet ihr eine KI-Assistenz für sinnvoll.
Hier findet ihr noch eine kleine Promptanleitung.

Vorschläge für Frameworks

Tipps für die Kommunikation mit Chatbots 

Kontext ist der Schlüssel

Bei der Kommunikation mit ChatGpt und anderen GPT-Modellen wird immer die gesamte Kommunikation eines Chatverlaufs mitgesendet. Hieraus gehen zwei wichtige Anhaltsspunkte hervor: Erstens muss man nicht alles auf einmal mitteilen, sondern kann Kontext nach und nach spezifizieren und zweitens ist es die Mitgabe von Kontext, die die Antwort adaptiver werden lässt, als eine normale Internetsuche.

Kontext-Marker

Dieser Tipp stammt aus einem sehr lesenswerten aktuellen Artikel des Entwickler Magazin Spezials, Volumen 40, S. 36. von dem Autor Ralf D. Müller. Bei längeren Chat-Verläufen beginnt CHat-GPT anfängliche Kontextinformationen zu vergessen oder zu vernachlässigen. Da das Kurzzeitgedächtnis des Chat-Bots sehr begrenzt ist. Daher kann man am Anfang ein Zeichen vereinbaren, dass der Chatbot immer zu Beginn seiner Antwort schreibt. Besonders empfehlenswert ist hier das >-Zeichen, da dieses für eine Randlinie am Anfang führt, die auffällig ist. Wenn im Laufe des Chat-Verlaufs diese Markierung fehlt, weiß man, dass das Kurzzeitgedächtnis erschöpft ist.

Beispiele für Frameworknutzung

Es folgen sämtliche Anweisungen zur Definition der Datenbank

Zum Schluss noch einige Details zum Vorwissen. (Logischerweise hätte dies mit zum Kontext gehört.

...

Beispiel: Vorschläge für Lernstationen

Beispiel: Single-Choice-Test als Vorlage für Upload in FORMS (nur Auszüge)

Impuls 2: Überprüfungsfragen

Impulse zur Auseinandersetzung mit dieser Station

• Sind Multiple Choice-Fragen im kompetenzorientierten Unterricht sinnvoll? Wenn ja, wann und wozu? Diskutiert gemeinsam darüber. (Gerne auch mit der KI)

• Erstellt MC-Aufgaben für euren aktuellen Unterricht mit Hilfe von KI (Gerne auch Konkretisierungen nutzen oder didaktische Impulse setzen, produktives Üben, Darstellungswechsel, ...)
  Integriert auch Anweisungen, die die direkte Nutzung für eine  z. B: MS-Formsabfrage (s. Chatverlauf) oder einen H5P-Einsatz (s. Chatverlauf)  ermöglichen. 

• Prüft alle Qualitätskriterien sorgfältig und probiert es mit anderen gemeinsam aus. 

Tipps und Tricks

• Insbesondere Microsoft Forms ist etwas trickig in der Umsetzung insbesondere bezogen auf mathematische Formeln und strikte Befolgung des Formats.

  • Dollarzeichen: Jede LaTeX-Formel wird mit $ eingeleitet und abgeschlossen.
  • Einfache Formeln: Funktionieren ohne Probleme (z. B. $x^2$, $a^2 + b^2$).
  • Komplexere Formeln: Sollten in LaTeX-Syntax eingegeben werden (z. B. Brüche: $\frac{a}{b}$, Wurzeln: $\sqrt{a+b}$).
• Zum Verständnis des Vorgehens beim Import verweisen wir auch auf das folgende Tutorial
  • AIKEN-Format prüfen
  • Als formatiert wie in Originalquelle in Word kopieren
  • Worddatei in MS-Forms importieren

Qualitätsüberprüfung

Strategien zur Konstruktion

• Ca. 50% aller MC-Tests weisen grammatikalische Fehler, doppelte Verneinungen etc. auf
• Häufig finden sich Konstruktionsfehler im Test. Daher ist der wichtigste Tipp: Sehr sorgfältig prüfen

• Vereinfachung der Sprache: Reduzierung der sprachlichen Komplexität, um Missverständnisse zu vermeiden (keine Verneinungen, keine Verschachtelten Sätze, ...)

• Effektive Distraktoren sind entscheidend, um zuverlässig Leistung (und nicht Raten können) zu bewerten oder um den Lernstand reflektieren zu können (Self-Assessment)

• ​Validität der Fragen, damit sie messen, was sie messen sollen.

• Berücksichtigen  von verschiedenen Schülerhintergründen zur Gestaltung zugänglicher und unvoreingenommener Fragen. (Beispiel: in  einer Studie war der Begriff Raute nicht in allen Bundesländern bekannt.

Diese Strategien sind meine Learnings aus dem Video der Folgefolie. Dies ist vielleicht noch mal etwas für eine tiefere Auseinandersetzung im Nachgang 

Station 2: MCQ und SCQ

Theorie und praktische Umsetzung mit H5P

Das Video ist zwar sehr lang,
enthält aber viele Einsichten zur Konstruktion von Multiple Choice Aufgaben.
 

In der beruflichen Bildung und dort auch im Mathematikunterricht stellt sich die Frage, wie  kompetenzorientierte Prüfen gelingen kann. Es geht nicht nur darum, Wissen und Verfahren zu reproduzieren, sondern darum, dieses Wissen in komplexen und realitätsnahen Situationen anwenden zu können. Eine Methode, auch geeignet für E-Assessments, ist der Einsatz von Situational Judgment Tests (SJT).

Situationen oder SJT erstellen

In dieser Station könnt ihr Lernsituationen (oder Aufgaben mit relevantem Anwendungskontext) erstellen, eine ähnlich komplexe Tätigkeit wie Unterricht planen. D. h. auch hier sind Prompting-Strategien hilfreich, die nicht nur die KI-Möglichkeiten nutzen, sondern kollaborativ in der Mensch-Maschinen-Interaktion zu besseren Ergebnissen führen kann.

- Tutorial zu Prompting-Strategien

Impuls 3 - Situationen/SJT

1. SJT präsentieren realitätsnahe Szenarien.
2. Lernende müssen entscheiden, wie sie reagieren würden.
3. Bewertet werden Problemlösen, Entscheidungsfindung und kritisches Denken.

Was charakterisiert ein SJT?

1. Informiere dich zu SJTs und stelle Nutzen und Risiken gegenüber.
2. Entwerfe mit Hilfe von KI ein SJT für eine deiner Lerngruppen. Reflektiere die Güte der Ergebnisse und die Effektivität der KI-Unterstützung.
   (mein erster schneller Versuch )
3. Diskutiert, was hier gute Prompting-Strategien sein könnten.

Impuls