Hitchhikers Guide to Corporate AI
Hi!
- Dev-Level "Old Fart"
- Hacker, CTO, Founder, Investor
- Bei Mayflower GmbH
- Schlechter Entwickler, darf aber gelegentlich noch mitspielen
- Auf der letzten KI Navigator durfte ich auch mitspielen.
Von Diven,
Souffleusen und Regie
https://t.ly/1Luly
Goldman Sachs Study, a.k.a
"Who to fire next"
"The future top coding language will be English."
Coatue AI Full Report Nov 2023, https://drive.google.com/file/d/1gQhYT7j6b2wJmrFZHNeQgTiWPyTsjOfX/view
Meanwhile, in our Companies...
Eventuell nur ein Hype?
Internet?
E-Commerce?
Mobiletelefonie?
Cloud?
Through of Disillusionment
Wenn es nicht funktioniert, warum geben die so viel Geld aus?
Wenn es so gut ist, warum funktioniert es nicht bei mir?
Der Weg zu AI
-
👶2023: Information & Orientation
-
👦2024: Experimente und Chatbots
-
🧑2024: Produktivanwendungen
-
💑2025: Workflow-Lösungen
-
🧓2026ff: AI-Organisation
👶 2023: Information & Orientierung
- Konferenzen besuchen
- Recherche und Austausch
- Private Nutzung vom ChatGPT
- Individuelle Experimente
👶 "Wir machen schon ganz lange AI"
Die GenAI vs ML-Verwirrung
- Predictive Maintenance
- Recommendation
- Sentiment Analysis
- Data Analytics
- Graph-Datenbanken
- Intent-Chatbots
- OCR
Wir müssen NVidia-Karten kaufen!
👶 Infrastruktur & Organisation
-
Wir haben keine Infrastruktur.
-
Wir haben keine Organisation.
-
Wir haben keine Regeln zum Einsatz.
Maximal ein Verbot das zu benutzen.
- Kollegen nutzen es trotzdem heimlich.
👦2024: Experimente & Chatbots
- Copilot / ChatGPT als offizielles Werkzeug
- SupportBot auf Website
- "Chat mit eigenen Dokumenten"
- Recherche-Queries, NQL
- Conversional:
- Chat
- Voice
- Post
- Für Deutschland: Fax
👦MeinGPT
- Meist nur ein dünner OpenAI-Wrapper
- Kostet soviel wie ein dünner Wrapper
- Motivation: Datenschutz und "GDPR-konform aus Deutschland"
- Microsoft als Plattform vs. Microsoft als Plattform
- Klarer Produktivätszugewinn
- Preiswerter als Nutzerlizenzen :-)
👦GPTs/ RAG
"Chat with your Documents"
- Hält das, was interne
- Wikis
- Knowledgemanagement-Systeme
- Mitarbeiterportale
- Dokumentationsysteme
- seit 2000 versprochen haben
👦Organisation & IT
Organisation:
- Guidelines für Kollegen
- Erfahrungensaustausch
- Compliance & Datenschutz geklärt
- Teilaufgaben werden über AI gelöst und beschleunigt
IT: unverändert
Chatbots sind das Ford Model T der AI.
- Mehr als nur ein schnelleres Pferd
- Flexibel und kann mehr transportieren.
- Kann flexibel angepasst und schnell repariert werden
- Das Auto von heute sieht trotzdem anders aus.
- "echte Projekte" mit
"echten" (externen) Nutzern und
realem Nutzen
- Zusammen mit Early Adoptern,
Friends & Family
- verlässlich
- verfügbar
- gewartet
"Nur Intern war schöner."
🧑2024: Produktivlösungen
- Infrastruktur-Integration
- Observability
-
LLMOps
- LangFuse, LangSmith
- LLM Proxy
- Update-Strategien ...
🧑Ooops, wir brauchen Infrastruktur
- Wird jede Antwort gefunden?
- Ist die Antwort inhaltlich und formell korrekt?
- ELT-Pipelines für Dokumente
- Transformation und Chunking nach Dokumententyp
- Data Pipelines für Datenbanken
- Gezielte Embeddings, jede Woche neue und bessere
- Spezialisierte Retriever
- Reranking-Modelle
- und Testing ....
🧑 RAG Realitycheck
Nichtdeterministisch
Qualität sichern
- Prozentual richtig statt korrekt
- Qualität und Verlässlichkeit entstehen durch Lernen
- Back-Testing aus Produktionsdaten
- Pairwise Testing - ist a oder b besser?
- LLM as a Judge
- Security: Alles was die Owasp Top 10 hergibt
- Testen auf
- Korrektheit
- Toxische Daten
- Sicherheitsrisiken
- Verlässlichkeit
- Grounding
- Testing-Frameworks
🧑 Ooops, wir brauchen Security
-
Sie halluzinieren immer noch.
-
Sie können nur einfachste Aufgaben erledigen.
-
Für komplexe Aufgaben braucht es einen Menschen
zum Gegenprüfen, Anpassen und Korrigieren.
🧑Kritik an den Lösungen
-
System 1: Automatisch, unreflektiert, unbewusst.
-
System 2: bewusst, gezielt, reflektiert, selbstkritisch,
analytisch und informiert
https://www.linkedin.com/pulse/state-autonomous-ai-agents-dean-meyer/
Warum sind Menschen verlässlich?
Erst planen, dann machen...
https://github.com/langchain-ai/langgraph/blob/main/examples/rewoo/rewoo.ipynb
Selbstkritisch noch mal prüfen
https://github.com/langchain-ai/langgraph/blob/main/examples/reflection/reflection.ipynb
https://arxiv.org/abs/2404.10952v1
https://langchain-ai.github.io/langgraph/tutorials/usaco/usaco/
Systematisch und reflektiert vorgehen
A Generative AI Agent
is defined as an application
that tries to achieve a goal by
observing the world and acting
upon it using the tools it
has at his disposal
- Human-in-the-Loop statt Chat
- besser: keine Nutzerinteraktion
- Eventgetrieben
- Queues von Aufgaben
- Vollständige Prozesse als
Folgen von Aufgaben
💑2025: Workflow-Lösungen
Agenten, die nicht
nur assistieren.
Wie man autonome Agenten baut
Perception & Tools
Aktuell:
- Alle Dokumente
- Alle Bilder
- Alle Töne
- Alle APIs
- Alle Datenbanken
- Alle Dienste
Bald:
- Dein Desktop
- Dein Telefon
- Roboter
Strategie & Planung
-
o1-Vorschau: Pläne bewerten, bevor gehandelt wird
-
Wer hat o1 die Strategien beigebracht?
- Wer bringt Agenten die Strategie bei?
Entscheidungen
-
Haben wir unser Ziel erreicht?
- Welches Tool sollten wir als Nächstes ausprobieren
-
Befinden wir uns in einer Schleife?
-
Ist das Ergebnis des Tools hilfreich?
Memory
Kurzzeitgedächtnis
- „Was muss ich wissen,
um diese Entscheidung zu treffen?“ - „Was brauche ich,
um meine nächsten Schritte zu planen?“ - Meistens Prompt, aktuelle Session
Langzeitgedächtnis
- Welche Strategie hat tatsächlich funktioniert?
- Welche Strategie ist schiefgelaufen?
- Welche Schritte waren nutzlos?
- Meistens Vektordatenbank
- Shared zwischen Sessions
Lernen & Optimieren
Der Grund, warum Strawberrys Rs kein Problem mehr ist:
- Reflexion
- Feedback-Schleifen
- Backtesting
- RLHF (Reinforcement Learning from Human Feedback)
- Funktionierende Strategien
- Generalisieren
- Optimieren
Warum brauchen wir einen Monat zum Einarbeiten?
💑2025: Workflows digitalisieren
-
Die meisten Strategien sind Lernwissen
-
die meisten Werkzeuge sind Lernwissen
-
Prüfungen und Kontrollen passieren implizit
-
Dazulernen passiert implizit
-
Generalisieren und Optimieren passiert implizit.
Genau dieses Wissen müssen wir digitalisieren.
💑2025: Workflows digitalisieren
Konkrete Todos:
-
Prozess erfassen und zerlegen
-
Agenten integrieren
-
ihn lernen lassen :-)
-
Selbst agieren lassen.
Domänenwissen ist deutlich
umfangreicher als bei normaler IT.
💑2025: AI Platform: Dezentral
Workflows digitalisieren
-
Da ist sie wieder, die Schatten-IT
(Copilot Studio für alle!)
-
Plattform-Engineering für AI:
-
Self-Service für die Fachteams
-
IDM & Rechte integriert
-
Einfache Bereitstellung von Vektordatenbanken
-
Einfache Integration eigener Tools
-
SQL per Agent erstellen kann jeder, aber ...
💑2025: Daten nutzen
-
Der Humanoid findet selbst die richtige Datenquelle
-
Er findet selbst die aktuellen Daten dort
-
Er plausibilisiert die Daten durch angucken
-
Er merkt sich das fürs nächste Mal
Sales: Mein Agent soll in CRM, in ERP und im Kundenservice gucken, was Thema ist.
💑2025: Data Meshes/Fabrics
-
Datenkatalog
-
Datenverträge
-
Föderierte Governance
-
Self-Service Daten nutzen
-
Self-Service Daten bereitstellen
Ok, mühsam,
lohnt sich das denn?
💑 Industrialisierung und das Auto
-
Automatisierung der Produktion:
10.000 Fahrzeuge pro Tag
-
Ein Ford Model T wurde in
93 Minuten vollständig produziert
- Die Preise konnten in 5 Jahren von
950$ auf 360$ gesenkt werden
💑Elastische Wissensarbeit
-
1000 individualisierte Bewerbungen schicken statt 5
-
Alle Angebote der eigenen Kunden online prüfen und mögliche Vorprodukte anbieten
-
20 neue Shops integrieren pro Monat statt 2
-
Alle Stellenausschreibungen prüfen als Vermittler statt nur eine
- 20.000 Produktblätter pro Tag übersetzen statt 20
💑"Levels of AGI"
| No AI | Emerging | Competent | Expert | Virtuoso | Superhuman |
|---|---|---|---|---|---|
| Verfügbar | Verfügbar | Verfügbar | Verfügbar | Emerging | Emerging |
| * 1,1 | *2,0 | *10 | *100 | ? |
Größter Effekt,
heute erreichbar.
https://arxiv.org/pdf/2311.02462
🧓AI-Organisation:
Kooperierende Agenten
https://x.com/ericmbroda
💑2026: Agentic Meshes
https://x.com/ericmbroda
💑2026: Agentic Meshes
https://x.com/ericmbroda
💑Vorgestern, auf der Ignite
Todos 2025
-
👶Jeder hat AI-Access.
-
👦Alle relevanten Daten sind verfügbar
-
🧑Alle relevanten Services sind verfügbar
-
💑AI-Platform-Team und AI-Platform
-
🧓Self-Service-Training
Alternativ: Microsoft All in
Fazit
-
Kann ich das heute schon einsetzen?
Ja, aber es lohnt noch nicht überall.
-
Wird das uns den Job wegnehmen?
Einen Teil des Jobs, und nicht nur uns.
-
Wie lange wird das dauern?
Es hat schon angefangen, dann zwischen 1 und 10 Jahren. Vielleicht.
-
Wo finde ich Informationen dazu?
LangGraph, towardsdatascience.com, Microsoft Magentic One
Hitchhikers Guide to Corporate AI
Copy of KI Navigator: Hitchhikers Guide
By Johann-Peter Hartmann
Copy of KI Navigator: Hitchhikers Guide
Wir haben jetzt CompanyGPT gelaunched und arbeiten gerade an internen RAG. Wir haben auch erste Pilotteams, die da Vorreiter sind, und einen Arbeitskreis, der mit AWS über Ki spricht. Sind wir damit dann durch?
- 71
