Wie Chatbots denken
Large Language Model (LLM)
Neuronales Netzwerk
- Sprachverständnis
Was ist ein LLM?
Generative Pre-trained Transformer
Generiert neuen Text
indem es eingegebenen Text Transformiert
genau wie er vorher trainiert hat
Liest Text
schreibt Fortsetzung / Antwort
Guardian: How Chatbots work
Was ist ein LLM?
Wie lernt ein LLM?
Artikel: medium.com
Ergänzt das nächste Wort in einem Satz
Ergänzt Wort für Wort einen ganzen Satz
Artikel: medium.com
Wie lernt ein LLM?
Transformiert Anfrage in Antwort
Artikel: medium.com
Wie lernt ein LLM?
GPT4 Training
570 GB Textdaten
~ 800.000 Bücher
Artikel: medium.com
Wie lernt ein LLM?
Wissenschafliche Publikation
Was lernt ein LLM?
Wissenschafliche Publikation
X-Kapaden
Was lernt ein LLM?
Spektrum
Wissenschafliche Publikation
X-Kapaden
Wie lernt ein LLM?
Spektrum
Wissenschafliche Publikation
Perfekte "Bullshitter"
Möchte weise klingen
Wahrheitsgehalt ist egal
Was ist ein LLM?
X-Kapaden
Large Language Model (LLM)
Neuronales Netzwerk
- Sprachverständnis
- Textgenerierung
(probabilistisch) - keine Regeln
GPT-4, Claude 3, LLaMA 2
Chatbot
Dialogsystem (nutzt LLM)
- interaktiv
- nutzerorientiert
- Richtlinien
ChatGPT, Gemini, Claude
Assistenten
Spezialisierter Chatbot
- fester Kontext
- Spezialwissen
- Zugriff auf Tools
CustomGPT, MSCopilot Agent
Agent
Selbständiger Assistent
- plant & entscheidet
- delegiert
- koordiniert
CustomGPT, MSCopilot Agent
Denkender Agent
-
Schrittweises Vorgehen
-
Logische Argumente
-
Selbstreflexion
o1, o3, Flash Thinking, R1
Reasoning Modell
Denk nach!
Hitler + Italien - Deutschland = ?
Wie denken Chatbots?
Wie denken Chatbots?
Gleiche Worte, Unterschiedliche Bedeutung
"schwierig"
"gewichtig"
moderne Chatbot verstehen Bedeutung im Kontext:
- schwere Aufgaben (Schwierigkeit)
- schwere Steine (Gewicht)
Wie denken Chatbots?
Wie denken Chatbots?
Gleiche Bedeutung, Unterschiedliche Worte
Ich gehe ...
Ich lenke meine Schritte voran ...
unbestimmt
peotisch
Wie denken Chatbots?
Gleiche Bedeutung, Unterschiedliche Worte
Ich gehe ...
Ich lenke meine Schritte voran ...
unbestimmt
peotisch
Wie denken Chatbots?
Bedeutung
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
Bedeutung
Eingabe
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
Bedeutung
Eingabe
Antwort
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
... Antwort wird Teil der Eingabe ...
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
... Antwort wird Teil der Eingabe ...
... Richtung passt sich an Antwort an ...
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
... Antwort wird Teil der Eingabe ...
... Richtung passt sich an Antwort an ...
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
... Antwort wird Teil der Eingabe ...
... Richtung passt sich an Antwort an ...
... Antwort driftet ab ...
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
... Antwort wird Teil der Eingabe ...
... Richtung passt sich an Antwort an ...
... Antwort driftet ab ...
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
Wie denken Chatbots?
- Eingabe wird auf einen Bedeutungsvektor reduziert
- Antwort soll in die selbe Richtung zeigen
- zufällig Wort für Wort in passender Richtung
Bedeutung
Eingabe
Antwort
Zufallsfaktor reduzieren
durch explizite Anweisung
Dein Thema ist
kritisches Denken
Bereitet 10 min
Vortrag vor.
Dein Thema ist
kritisches Denken
Bereitet 10 min
Vortrag vor.
System Prompt
Dein Thema ist
kritisches Denken
User Prompt