Von Wissen
und Lernen

Quellen für Wissen

• Dokumente
• Handbücher
• Videos 
• Wikis
• SourceCode
• E-Mails
• DMS-Systeme
• CRMs
• ERPs 
• Telefonate
• Chats
• Verträge
• ...

RAG

Probleme
mit Rag

• Zu viel Noise in der Datenbank durch unspezifische Ingestions
   
• Echte Antwort nicht in den Top Treffern
   
• Schlechte Antworten vor der echten Antwort
   
• Echte Informationen, aber falsche Antwort

Einfach
Extrahieren!

 BILLY BÜCHERREGAL

# TEILE ZUSAMMENFÜGEN

Verwende karamellisierten Zucker oder Glasur!

# 1 SCHNEIDE DIE SCHABLONEN AUS

# 2 SCHNEIDE DIE FORMEN MIT HILFE DER SCHABLONEN AUS

# TEILE ZUSAMMENFÜGEN

Verwende karamellisierten Zucker oder Glasur.

Bei Verwendung von Zucker: Etwas Kristallzucker in einer Pfanne schmelzen, um das Eintauchen der Kanten der großen Lebkuchenstücke zu erleichtern. Der Zucker wird schnell – in nur ein bis zwei Minuten – wieder fest.

Vorsicht beim Handhaben heißer Teile und Materialien!

Der Text ...

Die Funktion des Textes ...

Die Bilder...

Der Text in den Bildern/OCR

Die rekonstruierten Tabellen im Dokument

Die Daten der Diagramme im Dokument

Der Erklärungen in den Flussdiagrammen
Metadata Extraction (Titel, Autor, Referenzen)

Einfach Transcribieren!

Tonspur?

Transcription?

Der Kontext ergibt sich aus Video
und Bild, zeitlich integriert

Dagster-Pipeline mit

DistilWhisper &
ffmpeg Scene Detection &
OpenAi Bilderklärung

Wissen auffindbar
machen

RAG:
Funktioniert gut bis 500 Token pro Seite
Funktioniert gut bis 5.000 Seiten.
 

• Hierarchical RAG
• Graph-RAG
• Agentic RAG                                          

Wissen nutzen:
Kollegen als Copy & Paste Bots

Agenten

Probalistische Systeme =
Datengetriebenes Testing

Verlässlichkeit
Reflection

Agentic Workflows

Praxis 1: Migrator

Vorher: 3 Monate.
Jetzt: ca 5 Minuten.

https://github.com/mayflower/spring-mvc-showcase-spring-boot

Framework-Migration

1. Ist-Analyse
2. Abhängigkeitsanalyse
3. Migrationsstrategie ermitteln
4. Schrittweise migrieren
5. Validierung
6. Tests

1. Self-Healing: Repariert Fehler autark
    
2. Tool-Building: baut sich die benötigten Tools selbst
    
3. Learning: Lernd aus Fehlern

Framework-Migration

... vollmigriertes Pig with Lipstick.

https://github.com/johannhartmann/mcpcodeanalysis

Praxis 2: Storyteller

https://github.com/johannhartmann/storyteller

Autogenerated Bullshit

Problem 1: Trajectory/Strategie

• Der Agent baut auf einer falschen Grundannahme auf
   
• Der gewählte Ansatz funktioniert nicht, wird aber nicht verlassen, sondern eskaliert
   
• "Cycle of Death"  - er landet in einer
  Schleife
   
• Er landet erst im 3ten Versuch bei der richtigen Strategie
   

Tool Choice

• Es wird das falsche Werkzeug für das Problem ausgewählt
   
• Die Werkzeuge werden umständlich verwendet
   
• Das richtige Werkzeug wird erst im dritten Versuch verwendet.

Model Context Protocol

Wissen in Agenten

• Short Term Memory:
  Die aktuelle Message History + der aktuelle Prompt
   
• Long Term Memory:
  Wissen jenseits der aktuellen Session
  
  Enthält auch erlerntes Wissen!

Langmem/ Long Term Memory

• Wissen über Nutzer, schon beantwortete Fragen
   
• Explizites Wissen, zB die Konfiguration aus dem Migrator
   
• Funktionierende Strategien aus dem Handbuch
   
• Funktionierende Strategien aus der Selbstbeboachtung

Hot Path / Background Processing

• Echtzeit geht nur im HotPath
   
• Lernen geht im Background
   
• Auch über Session-Grenzen
  hinweg

Introspektion

• Welche Strategie hat gut funktionert?
   
• Welche Schritte hätte ich mir sparen können?
   
• Welche Tools waren falsch für die Aufgabe?
   
• Welche Schritte könnten automatisiert werden?

... bis zum eigenen Code

Planer-Modul

• Kennt die Strategien aus
  dem Unternehmen
   
• Lernt neue, bessere Strategien
   
• Lässt den Plan durch den
  Nutzer bestätigen

Supervisor-Modul

ToolNode

• Welches Werkzeug für welchen Zweck
   
• In welchem Kontext es funktioniert
   
• Was vorher passiert sein muss.

Neues Wissen

• Kann mit anderen Agenten geteilt werden
   
• Kann Nutzern bereitgestellt werden
  • Per Chat, in der Applikation
     
• Kann für die Weiterentwicklung genutzt werden.
   
• Veraltet bzw. muss aktuell gehalten werden.

Ki-Architektur

Learnings

• Wir können technisch alles erfassen und bereitstellen
   
• Aber: es ist aufwendig, und der ROI oft weit rechts, wenn alles Relevante verfügbar ist.
   
• Workflow-Agenten werden erst dann nützlich, wenn sie: 
  • auf das vorhandene Wissen aufsetzen können
  • aus Fehlern lernen und optimieren
    ​
• Nach Datenbanken und Dokumenten wird
  Wissen zum First Class Citizen

Danke!

(Laut Microsoft gehört
Metacognition zu den
11 Grundlagen, kann also
nicht so schwer sein... )