Wie Chatbots denken

Large Language Model (LLM)

Neuronales Netzwerk

• Sprachverständnis

Was ist ein LLM?

Generative Pre-trained Transformer

Generiert neuen Text

indem es eingegebenen Text Transformiert

genau wie er vorher trainiert hat

Liest Text

schreibt Fortsetzung / Antwort 

Guardian: How Chatbots work

Was ist ein LLM?

Wie lernt ein LLM?

Mehr Info

Artikel: medium.com

Ergänzt das nächste Wort in einem Satz

Ergänzt Wort für Wort einen ganzen Satz

Mehr Info

Artikel: medium.com

Wie lernt ein LLM?

Transformiert Anfrage in Antwort

Mehr Info

Artikel: medium.com

Wie lernt ein LLM?

GPT4 Training

570 GB Textdaten

~ 800.000 Bücher

Mehr Info

Artikel: medium.com

Wie lernt ein LLM?

Wissenschafliche Publikation

Was lernt ein LLM?

Wissenschafliche Publikation

X-Kapaden

Was lernt ein LLM?

Spektrum

Wissenschafliche Publikation

X-Kapaden

Wie lernt ein LLM?

Spektrum

Wissenschafliche Publikation

Perfekte "Bullshitter"

Möchte weise klingen

Wahrheitsgehalt ist egal

Was ist ein LLM?

X-Kapaden

Large Language Model (LLM)

Neuronales Netzwerk

• Sprachverständnis
• Textgenerierung
  (probabilistisch)
• keine Regeln

GPT-4, Claude 3, LLaMA 2

Chatbot

Dialogsystem (nutzt LLM)

• interaktiv
• nutzerorientiert
• Richtlinien

ChatGPT, Gemini, Claude

Assistenten

Spezialisierter Chatbot

• fester Kontext
• Spezialwissen
• Zugriff auf Tools

CustomGPT, MSCopilot Agent

Agent

Selbständiger Assistent

• plant & entscheidet
• delegiert
• koordiniert

CustomGPT, MSCopilot Agent

Denkender Agent

• Schrittweises Vorgehen

• Logische Argumente

• Selbstreflexion

o1, o3, Flash Thinking, R1

Reasoning Modell

Denk nach!

Hitler + Italien - Deutschland = ?

Wie denken Chatbots?

Wie denken Chatbots?

Gleiche Worte, Unterschiedliche Bedeutung

"schwierig"

"gewichtig"

moderne Chatbot verstehen Bedeutung im Kontext:

• schwere Aufgaben  (Schwierigkeit)
• schwere Steine  (Gewicht)

Wie denken Chatbots?

Wie denken Chatbots?

Gleiche Bedeutung, Unterschiedliche Worte

Ich gehe ...

Ich lenke meine Schritte voran ...

unbestimmt

peotisch

Wie denken Chatbots?

Gleiche Bedeutung, Unterschiedliche Worte

Ich gehe ...

Ich lenke meine Schritte voran ...

unbestimmt

peotisch

Wie denken Chatbots?

Bedeutung

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert

Bedeutung

Eingabe

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen

Bedeutung

Eingabe

Antwort

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

... Antwort wird Teil der Eingabe ...

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

... Antwort wird Teil der Eingabe ...

... Richtung passt sich an Antwort an ...

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

... Antwort wird Teil der Eingabe ...

... Richtung passt sich an Antwort an ...

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

... Antwort wird Teil der Eingabe ...

... Richtung passt sich an Antwort an ...

... Antwort driftet ab ...

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

... Antwort wird Teil der Eingabe ...

... Richtung passt sich an Antwort an ...

... Antwort driftet ab ...

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

Wie denken Chatbots?

• Eingabe wird auf einen Bedeutungsvektor reduziert
• Antwort soll in die selbe Richtung zeigen
• zufällig Wort für Wort in passender Richtung

Bedeutung

Eingabe

Antwort

Zufallsfaktor reduzieren

durch explizite Anweisung

Dein Thema ist

kritisches Denken

Bereitet 10 min

Vortrag vor.

Dein Thema ist

kritisches Denken

Bereitet 10 min

Vortrag vor.

System Prompt

Dein Thema ist

kritisches Denken

User Prompt