Von Wissen
und Lernen

Quellen für Wissen

• Dokumente
• Handbücher
• Videos 
• Wikis
• SourceCode
• E-Mails
• DMS-Systeme
• CRMs
• ERPs 
• Telefonate
• Chats
• Verträge
• ...

RAG

Probleme
mit Rag

• Zu viel Noise in der Datenbank durch unspezifische Ingestions
   
• Echte Antwort nicht in den Top Treffern
   
• Schlechte Antworten vor der echten Antwort
   
• Echte Informationen, aber falsche Antwort

Einfach
Extrahieren!

 BILLY BÜCHERREGAL

# TEILE ZUSAMMENFÜGEN

Verwende karamellisierten Zucker oder Glasur!

# 1 SCHNEIDE DIE SCHABLONEN AUS

# 2 SCHNEIDE DIE FORMEN MIT HILFE DER SCHABLONEN AUS

# TEILE ZUSAMMENFÜGEN

Verwende karamellisierten Zucker oder Glasur.

Bei Verwendung von Zucker: Etwas Kristallzucker in einer Pfanne schmelzen, um das Eintauchen der Kanten der großen Lebkuchenstücke zu erleichtern. Der Zucker wird schnell – in nur ein bis zwei Minuten – wieder fest.

Vorsicht beim Handhaben heißer Teile und Materialien!

Einfach Transcribieren!

Tonspur?

Transcription?

Der Kontext ergibt sich aus Video
und Bild, zeitlich integriert

Dagster-Pipeline mit

DistilWhisper &
ffmpeg Scene Detection &
OpenAi Bilderklärung

Der Text ...

Die Funktion des Textes ...

Die Bilder...

Der Text in den Bildern/OCR

Die rekonstruierten Tabellen im Dokument

Die Daten der Diagramme im Dokument

Der Erklärungen in den Flussdiagrammen
Metadata Extraction (Titel, Autor, Referenzen)

Wissen auffindbar
machen

RAG:
Funktioniert gut bis 500 Token pro Seite
Funktioniert gut bis 5.000 Seiten.
 

• Hierarchical RAG
• Graph-RAG
• Agentic RAG                                          

Wissen nutzen:
Kollegen als Copy & Paste Bots

Agenten

Probalistische Systeme =
Datengetriebenes Testing

Verlässlichkeit
Reflection

Agentic Workflows

Praxis 1: Migrator

Vorher: 3 Monate.
Jetzt: ca 5 Minuten.

https://github.com/mayflower/spring-mvc-showcase-spring-boot

Framework-Migration

1. Ist-Analyse
2. Abhängigkeitsanalyse
3. Migrationsstrategie ermitteln
4. Schrittweise migrieren
5. Validierung
6. Tests

1. Self-Healing: Repariert Fehler autark
    
2. Tool-Building: baut sich die benötigten Tools selbst
    
3. Learning: Lernd aus Fehlern

Framework-Migration

... vollmigriertes Pig with Lipstick.

https://github.com/johannhartmann/mcpcodeanalysis

Praxis 2: Storyteller

https://github.com/johannhartmann/storyteller

Autogenerated Bullshit

Problem 1: Trajectory/Strategie

• Der Agent baut auf einer falschen Grundannahme auf
   
• Der gewählte Ansatz funktioniert nicht, wird aber nicht verlassen, sondern eskaliert
   
• "Cycle of Death"  - er landet in einer
  Schleife
   
• Er landet erst im 3ten Versuch bei der richtigen Strategie
   

Tool Choice

• Es wird das falsche Werkzeug für das Problem ausgewählt
   
• Die Werkzeuge werden umständlich verwendet
   
• Das richtige Werkzeug wird erst im dritten Versuch verwendet.

Model Context Protocol

Wissen in Agenten

• Short Term Memory:
  Die aktuelle Message History + der aktuelle Prompt
   
• Long Term Memory:
  Wissen jenseits der aktuellen Session
  
  Enthält auch erlerntes Wissen!

Langmem/ Long Term Memory

• Wissen über Nutzer, schon beantwortete Fragen
   
• Explizites Wissen, zB die Konfiguration aus dem Migrator
   
• Funktionierende Strategien aus dem Handbuch
   
• Funktionierende Strategien aus der Selbstbeboachtung

Hot Path / Background Processing

• Echtzeit geht nur im HotPath
   
• Lernen geht im Background
   
• Auch über Session-Grenzen
  hinweg

Introspektion

• Welche Strategie hat gut funktionert?
   
• Welche Schritte hätte ich mir sparen können?
   
• Welche Tools waren falsch für die Aufgabe?
   
• Welche Schritte könnten automatisiert werden?

... bis zum eigenen Code

Planer-Modul

• Kennt die Strategien aus
  dem Unternehmen
   
• Lernt neue, bessere Strategien
   
• Lässt den Plan durch den
  Nutzer bestätigen

Supervisor-Modul

ToolNode

• Welches Werkzeug für welchen Zweck
   
• In welchem Kontext es funktioniert
   
• Was vorher passiert sein muss.

Neues Wissen

• Kann mit anderen Agenten geteilt werden
   
• Kann Nutzern bereitgestellt werden
  • Per Chat, in der Applikation
     
• Kann für die Weiterentwicklung genutzt werden.
   
• Veraltet bzw. muss aktuell gehalten werden.

Ki-Architektur

Learnings

• Wir können technisch alles erfassen und bereitstellen
   
• Aber: es ist aufwendig, und der ROI oft weit rechts, wenn alles Relevante verfügbar ist.
   
• Workflow-Agenten werden erst dann nützlich, wenn sie: 
  • auf das vorhandene Wissen aufsetzen können
  • aus Fehlern lernen und optimieren
    ​
• Nach Datenbanken und Dokumenten wird
  Wissen zum First Class Citizen

Danke!

(Laut Microsoft gehört
Metacognition zu den
11 Grundlagen, kann also
nicht so schwer sein... )