Hitchhikers Guide to Corporate AI

Hi!
 

• Dev-Level "Old Fart"
• Hacker, CTO, Founder, Investor
• Bei Mayflower GmbH
• Schlechter Entwickler, darf aber gelegentlich noch mitspielen
   
• Auf der letzten KI Navigator durfte ich auch mitspielen.

Von Diven, 

Souffleusen und Regie

https://t.ly/1Luly

Goldman Sachs Study, a.k.a
"Who to fire next"

"The future top coding language will be English."

Coatue AI Full Report Nov 2023, https://drive.google.com/file/d/1gQhYT7j6b2wJmrFZHNeQgTiWPyTsjOfX/view

Meanwhile, in our Companies...

Eventuell nur ein Hype?

Internet?

E-Commerce?
Mobiletelefonie?
Cloud?

Through of Disillusionment

Wenn es nicht funktioniert, warum geben die so viel Geld aus?

Wenn es so gut ist, warum funktioniert es nicht bei mir?

Der Weg zu AI

1. 👶2023: Information & Orientation

2. 👦2024: Experimente und Chatbots

3. 🧑2024: Produktivanwendungen

4. 💑2025: Workflow-Lösungen

5. 🧓2026ff: AI-Organisation

👶 2023: Information & Orientierung

• Konferenzen besuchen
• Recherche und Austausch
• Private Nutzung vom ChatGPT
• Individuelle Experimente

👶 "Wir machen schon ganz lange AI"

Die GenAI vs ML-Verwirrung

• Predictive Maintenance
• Recommendation
• Sentiment Analysis
• Data Analytics
• Graph-Datenbanken
• Intent-Chatbots
• OCR

Wir müssen NVidia-Karten kaufen!

👶 Infrastruktur & Organisation

• Wir haben keine Infrastruktur.
   
• Wir haben keine Organisation.
   
• Wir haben keine Regeln zum Einsatz.
  Maximal ein Verbot das zu benutzen.
   
• Kollegen nutzen es trotzdem heimlich.

👦2024: Experimente & Chatbots

• Copilot / ChatGPT als offizielles Werkzeug
• SupportBot auf Website 
• "Chat mit eigenen Dokumenten"
• Recherche-Queries, NQL
   
• Conversional: 
  • Chat
  • Voice
  • Mail
  • Post
  • Für Deutschland: Fax

👦MeinGPT

👦GPTs/ RAG 

"Chat with your Documents"

• Hält das, was interne 
  • Wikis
  • Knowledgemanagement-Systeme
  • Mitarbeiterportale
  • Dokumentationsysteme
• seit 2000 versprochen haben 

👦Organisation & IT

Organisation:

• Guidelines für Kollegen
• Erfahrungensaustausch
• Compliance & Datenschutz geklärt 
• Teilaufgaben werden über AI gelöst und beschleunigt
   

IT: unverändert

Chatbots sind das Ford Model T der AI.

• Mehr als nur ein schnelleres Pferd
• Flexibel und kann mehr transportieren.
• Kann flexibel angepasst und schnell repariert werden
   
• Das Auto von heute sieht trotzdem anders aus.

🧑2024: Produktivlösungen

• Infrastruktur-Integration
• Observability
• LLMOps
  • ​LangFuse, LangSmith
  • LLM Proxy​
• Update-Strategien ...

🧑Ooops, wir brauchen Infrastruktur

🧑 RAG Realitycheck

Nichtdeterministisch
Qualität sichern

1. Prozentual richtig statt korrekt
2. Qualität und Verlässlichkeit entstehen durch Lernen
3. Back-Testing aus Produktionsdaten
4. Pairwise Testing - ist a oder b besser?
5. LLM as a Judge

🧑 Ooops, wir brauchen Security

• Sie halluzinieren immer noch.
   

• Sie können nur einfachste Aufgaben erledigen.
   

• Für komplexe Aufgaben braucht es einen Menschen
  zum Gegenprüfen, Anpassen und Korrigieren.

🧑Kritik an den Lösungen

• System 1: Automatisch, unreflektiert, unbewusst.
   

• System 2: bewusst, gezielt, reflektiert, selbstkritisch,
  analytisch und informiert

https://www.linkedin.com/pulse/state-autonomous-ai-agents-dean-meyer/

Warum sind Menschen verlässlich?

Erst planen, dann machen...

https://github.com/langchain-ai/langgraph/blob/main/examples/rewoo/rewoo.ipynb

Selbstkritisch noch mal prüfen

https://github.com/langchain-ai/langgraph/blob/main/examples/reflection/reflection.ipynb

https://arxiv.org/abs/2404.10952v1

https://langchain-ai.github.io/langgraph/tutorials/usaco/usaco/

Systematisch und reflektiert vorgehen

Human in the loop

Frag Deinen Menschen.

A Generative AI Agent
is defined as an application 
that tries to achieve a goal by
observing the world and acting

upon it using the tools it

has at his disposal​

• Human-in-the-Loop statt Chat
• besser: keine Nutzerinteraktion
• Eventgetrieben
• Queues von Aufgaben
• Vollständige Prozesse als
  Folgen von Aufgaben

💑2025: Workflow-Lösungen

Agenten, die nicht
nur assistieren.

Wie man autonome Agenten baut

Perception & Tools

Aktuell:

• Alle Dokumente
• Alle Bilder
• Alle Töne
• Alle APIs
• Alle Datenbanken
• Alle Dienste

Bald:

• Dein Desktop       
• Dein Telefon
• Roboter

Strategie & Planung

• o1-Vorschau: Pläne bewerten, bevor gehandelt wird

• Wer hat o1 die Strategien beigebracht?

• Wer bringt Agenten die Strategie bei?

Entscheidungen

• Haben wir unser Ziel erreicht?
   
• Welches Tool sollten wir als Nächstes ausprobieren

• Befinden wir uns in einer Schleife?
   

• Ist das Ergebnis des Tools hilfreich?
   

Memory

Kurzzeitgedächtnis

• „Was muss ich wissen,
  um diese Entscheidung zu treffen?“
• „Was brauche ich,
  um meine nächsten Schritte zu planen?“
• Meistens Prompt, aktuelle Session

Langzeitgedächtnis

• Welche Strategie hat tatsächlich funktioniert?
• Welche Strategie ist schiefgelaufen?
• Welche Schritte waren nutzlos?
• Meistens Vektordatenbank
• Shared zwischen Sessions 

Lernen & Optimieren

Der Grund, warum Strawberrys Rs kein Problem mehr ist:

• Reflexion
• Feedback-Schleifen
• Backtesting
• RLHF (Reinforcement Learning from Human Feedback)
• Funktionierende Strategien
• Generalisieren
• Optimieren

Warum brauchen wir einen Monat zum Einarbeiten?

💑2025: Workflows digitalisieren

• Die meisten Strategien sind Lernwissen

• die meisten Werkzeuge sind Lernwissen

• Prüfungen und Kontrollen passieren implizit

• Dazulernen passiert implizit

• Generalisieren und Optimieren passiert implizit.

Genau dieses Wissen müssen wir digitalisieren.

💑2025: Workflows digitalisieren

Konkrete Todos:

1. Prozess erfassen und zerlegen

2. Agenten integrieren

3. ihn lernen lassen :-) 

4. Selbst agieren lassen.

Domänenwissen ist deutlich
umfangreicher als bei normaler IT.

💑2025: AI Platform: Dezentral
                Workflows digitalisieren

• Da ist sie wieder, die Schatten-IT
  (Copilot Studio für alle!)
   

• Plattform-Engineering für AI: 

  • Self-Service für die Fachteams

  • IDM & Rechte integriert

  • Einfache Bereitstellung von Vektordatenbanken

  • Einfache Integration eigener Tools

SQL per Agent erstellen kann jeder, aber ... 

💑2025: Daten nutzen

• Der Humanoid findet selbst die richtige Datenquelle

• Er findet selbst die aktuellen Daten dort

• Er plausibilisiert die Daten durch angucken

• Er merkt sich das fürs nächste Mal

Sales: Mein Agent soll in CRM, in ERP und im Kundenservice gucken, was Thema ist.

💑2025: Data Meshes/Fabrics

• Datenkatalog

• Datenverträge

• Föderierte Governance

• Self-Service Daten nutzen

• Self-Service Daten bereitstellen

Ok, mühsam,
lohnt sich das denn?

💑 Industrialisierung und das Auto

• Automatisierung der Produktion:
  10.000 Fahrzeuge pro Tag
   
• Ein Ford Model T wurde in
  93 Minuten vollständig produziert
   
• Die Preise konnten in 5 Jahren von
  950$ auf 360$ gesenkt werden

💑Elastische Wissensarbeit

• 1000 individualisierte Bewerbungen schicken statt 5
   
• Alle Angebote der eigenen Kunden online prüfen und mögliche Vorprodukte anbieten
   
• 20 neue Shops integrieren pro Monat statt 2
   
• Alle Stellenausschreibungen prüfen als Vermittler statt nur eine
   
• 20.000 Produktblätter pro Tag übersetzen statt 20

💑"Levels of AGI"

Größter Effekt,
heute erreichbar.

https://arxiv.org/pdf/2311.02462

🧓AI-Organisation:
     Kooperierende Agenten

https://x.com/ericmbroda

💑2026: Agentic Meshes

https://x.com/ericmbroda

💑2026: Agentic Meshes

https://x.com/ericmbroda

💑Vorgestern, auf der Ignite

Todos 2025

1. 👶Jeder hat AI-Access.

2. 👦Alle relevanten Daten sind verfügbar

3. 🧑Alle relevanten Services sind verfügbar

4. 💑AI-Platform-Team und AI-Platform

5. 🧓Self-Service-Training

Alternativ: Microsoft All in

Fazit

• Kann ich das heute schon einsetzen?
  Ja, aber es lohnt noch nicht überall.
   
• Wird das uns den Job wegnehmen?
  Einen Teil des Jobs, und nicht nur uns.
   
• Wie lange wird das dauern?
  Es hat schon angefangen, dann zwischen 1 und 10 Jahren. Vielleicht.
   
• Wo finde ich Informationen dazu?
  LangGraph, towardsdatascience.com, Microsoft Magentic One