Von Wissen
und Lernen

Quellen für Wissen

  • Dokumente
  • Handbücher
  • Videos 
  • Wikis
  • SourceCode
  • E-Mails
  • DMS-Systeme
  • CRMs
  • ERPs 
  • Telefonate
  • Chats
  • Verträge
  • ...

RAG

Probleme
mit Rag

 

  • Zu viel Noise in der Datenbank durch unspezifische Ingestions
     
  • Echte Antwort nicht in den Top Treffern
     
  • Schlechte Antworten vor der echten Antwort
     
  • Echte Informationen, aber falsche Antwort

Einfach
Extrahieren!

 BILLY BÜCHERREGAL

# TEILE ZUSAMMENFÜGEN

Verwende karamellisierten Zucker oder Glasur!

# 1 SCHNEIDE DIE SCHABLONEN AUS

# 2 SCHNEIDE DIE FORMEN MIT HILFE DER SCHABLONEN AUS

# TEILE ZUSAMMENFÜGEN

Verwende karamellisierten Zucker oder Glasur.

Bei Verwendung von Zucker: Etwas Kristallzucker in einer Pfanne schmelzen, um das Eintauchen der Kanten der großen Lebkuchenstücke zu erleichtern. Der Zucker wird schnell – in nur ein bis zwei Minuten – wieder fest.

Vorsicht beim Handhaben heißer Teile und Materialien!

Einfach Transcribieren!

Tonspur?

Transcription?

Der Kontext ergibt sich aus Video
und Bild, zeitlich integriert

Dagster-Pipeline mit

DistilWhisper &
ffmpeg Scene Detection &
OpenAi Bilderklärung

Der Text ...

Die Funktion des Textes ...

Die Bilder...

Der Text in den Bildern/OCR

Die rekonstruierten Tabellen im Dokument

Die Daten der Diagramme im Dokument

Der Erklärungen in den Flussdiagrammen
Metadata Extraction (Titel, Autor, Referenzen)

Wissen auffindbar
machen

RAG:
Funktioniert gut bis 500 Token pro Seite
Funktioniert gut bis 5.000 Seiten.
 

  • Hierarchical RAG
  • Graph-RAG
  • Agentic RAG                                          

Wissen nutzen:
Kollegen als Copy & Paste Bots

Agenten

Probalistische Systeme =
Datengetriebenes Testing

Verlässlichkeit
Reflection

Agentic Workflows

Praxis 1: Migrator

Vorher: 3 Monate.
Jetzt: ca 5 Minuten.

https://github.com/mayflower/spring-mvc-showcase-spring-boot

Framework-Migration

  1. Ist-Analyse
  2. Abhängigkeitsanalyse
  3. Migrationsstrategie ermitteln
  4. Schrittweise migrieren
  5. Validierung
  6. Tests
  1. Self-Healing: Repariert Fehler autark
     
  2. Tool-Building: baut sich die benötigten Tools selbst
     
  3. Learning: Lernd aus Fehlern

Framework-Migration

... vollmigriertes Pig with Lipstick.

https://github.com/johannhartmann/mcpcodeanalysis

Praxis 2: Storyteller

https://github.com/johannhartmann/storyteller

Autogenerated Bullshit

Problem 1: Trajectory/Strategie

  • Der Agent baut auf einer falschen Grundannahme auf
     
  • Der gewählte Ansatz funktioniert nicht, wird aber nicht verlassen, sondern eskaliert
     
  • "Cycle of Death"  - er landet in einer
    Schleife
     
  • Er landet erst im 3ten Versuch bei der richtigen Strategie
     

Tool Choice

  • Es wird das falsche Werkzeug für das Problem ausgewählt
     
  • Die Werkzeuge werden umständlich verwendet
     
  • Das richtige Werkzeug wird erst im dritten Versuch verwendet.

Model Context Protocol

Wissen in Agenten

  • Short Term Memory:
    Die aktuelle Message History + der aktuelle Prompt
     
  • Long Term Memory:
    Wissen jenseits der aktuellen Session

    Enthält auch erlerntes Wissen!

Langmem/ Long Term Memory

  • Wissen über Nutzer, schon beantwortete Fragen
     
  • Explizites Wissen, zB die Konfiguration aus dem Migrator
     
  • Funktionierende Strategien aus dem Handbuch
     
  • Funktionierende Strategien aus der Selbstbeboachtung

Hot Path / Background Processing

  • Echtzeit geht nur im HotPath
     
  • Lernen geht im Background
     
  • Auch über Session-Grenzen
    hinweg

Introspektion

  • Welche Strategie hat gut funktionert?
     
  • Welche Schritte hätte ich mir sparen können?
     
  • Welche Tools waren falsch für die Aufgabe?
     
  • Welche Schritte könnten automatisiert werden?

... bis zum eigenen Code

Planer-Modul

  • Kennt die Strategien aus
    dem Unternehmen
     
  • Lernt neue, bessere Strategien
     
  • Lässt den Plan durch den
    Nutzer bestätigen

Supervisor-Modul

ToolNode

  • Welches Werkzeug für welchen Zweck
     
  • In welchem Kontext es funktioniert
     
  • Was vorher passiert sein muss.

Neues Wissen

  • Kann mit anderen Agenten geteilt werden
     
  • Kann Nutzern bereitgestellt werden
    • Per Chat, in der Applikation
       
  • Kann für die Weiterentwicklung genutzt werden.
     
  • Veraltet bzw. muss aktuell gehalten werden.

Ki-Architektur

Learnings

  • Wir können technisch alles erfassen und bereitstellen
     
  • Aber: es ist aufwendig, und der ROI oft weit rechts, wenn alles Relevante verfügbar ist.
     
  • Workflow-Agenten werden erst dann nützlich, wenn sie: 
    • auf das vorhandene Wissen aufsetzen können
    • aus Fehlern lernen und optimieren
      ​
  • Nach Datenbanken und Dokumenten wird
    Wissen zum First Class Citizen

Danke!

(Laut Microsoft gehört
Metacognition zu den
11 Grundlagen, kann also
nicht so schwer sein... )