Hi!

Geschäftsführer und CTO bei Mayflower
Eigene Sprachmodelle
Aktiv an vielen OpenSource-Tools und -initiativen um LLMs
https://huggingface.co/mayflowergmbh
Musste leider die Kompetenz langsam aufbauen, hat 2 KI-Winter überlebt

Artificial Intelligence (AI) Will Be the Biggest Technological Shift We See in Our Lifetimes

This next generation of AI will reshape every software category and every business, including our own

AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.

Stanford AI Index Report, Anfang 2024

Jeder Prozess wurde mit den Mitteln entwickelt, die zum Zeitpunkt seines Erstellens vorhanden waren.

Bank of America, 1924

67 Millionen Kunden, 210.000 Mitarbeiter

320 Kunden pro Mitarbeiter

Klassisches Bankgeschäft

Ant Financial, 2014

1.300 Millonen Kunden, 17.000 Mitarbeiter

81250 Kunden pro Mitarbeiter

Klassisches Bankgeschäft plus umfangreiches Versicherungs- und E-Commerce-Portfolio

“Ant Financial is built with scale in mind. There is no way that a human-centric approval process can be deployed here.”

Ming Yeng, Chief Strategy Officer, Alibaba

“Es gibt keinen technischen Grund, warum nicht 90% aller Anfragen bei deutschen Firmen und Behörden in 10 Minuten bearbeitet sind.”

Aus Gesprächen mit
Kommunen und Behörden

Ok, und wie sollen wir das jetzt möglich machen?

Technisches Infrastruktur
für AI-Lösungen

CoPilot-Lösung eines Herstellers
Off-The-Shelf-AI-Lösung
Eigene Lösung
- Python-TypeScript Container als Rest Service
- OpenAI-Api-Key
- Vektordatenbank für RAG

5 Reifegrade von AI

👶 Information & Orientation
👦Experimente und erster Platform Invest
🧑Cheap Wins & Low Hanging Fruits
💑Integrierte AI-Systeme
🧓Prozesse auf AI optimieren

5 Reifegrade von AI

👶 Information & Orientation
👦Experimente und erster Platform Invest
🧑Cheap Wins & Low Hanging Fruits
💑Integrierte AI-Systeme
🧓Prozesse auf AI optimieren

👶 Information & Orientation

An Veranstaltungen teilnehmen
Recherche und Austausch
Private Nutzung vom ChatGPT
Individuelle Experimente

👶 "Wir machen schon ganz lange AI"

Die GenAI vs ML-Verwirrung

Predictive Maintenance
Recommendation
Sentiment Analysis
Data Analytics
Graph-Datenbanken
Intent-Chatbots
OCR
...

👦Experimente & First Invest

ChatGPT als offizielles Werkzeug
Sprechen mit Anbietern
SupportBot auf Website
"Chat mit eigenen Dokumenten"

👦FirmenGPT

Meist nur ein dünner OpenAI-Wrapper
Kostet soviel wie ein dünner Wrapper
Motivation: Datenschutz und "GDPR-konform aus Deutschland"
Microsoft als Plattform vs. Microsoft als Plattform
Klarer Produktivätszugewinn
Preiswerter als Nutzerlizenzen :-)

👦GPTs/ RAG

"Chat with your Documents"

Hält das, was interne
- Wikis
- Knowledgemanagement-Systeme
- Mitarbeiterportale
- Dokumentationsysteme
versprochen haben

Die Maschine macht das Denken und die Kreativität, der Mensch das Copy & Paste.

👦Copilots & Assistenten

Die Maschine macht auch
das Copy & Paste.

Der Mensch kontrolliert.

(

👦Experimente & First Invest

IT:

Bereitstellung
Rechte & Identity Management
Prototypen mit Anbietern

👦Experimente & First Invest

Organisation:

Guidelines für Kollegen
Erfahrungensaustausch
Compliance & Datenschutz geklärt
Teilaufgaben werden über AI gelöst und beschleunigt

🧑Cheap Wins & Low Hanging Fruits

Wird jede Antwort gefunden?
Ist die Antwort inhaltlich und formell korrekt?
ELT-Pipelines für Dokumente
Transformation und Chunking nach Dokumententyp
Data Pipelines für Datenbanken
Gezielte Embeddings, jede Woche neue und bessere
Spezialisierte Retriever
Reranking-Modelle
RAG Testing, RAGAS

🧑 RAG Realitycheck

LLMOps != MLOps

im Regelfall kein Modelltraining
aber: keine klassische Observability
LLMOps
- Prompt Management
- Prompt Performance
- Model Drift
- FinOps für AI:TokenOps
- Semantisches E2E-Testing
LangSmith, LangFuse uvm
Orchestration!

IT:

Infrastruktur-Integration
ETL-Pipelines für RAG
LLMOps
- LangFuse, LangSmith
- LLM Proxy
Security
- Guardrails
- Constitutional AI

🧑Cheap Wins & Low Hanging Fruits

Organisation:

Validierung & Knowhow
Lokale Effekte:
- Marketing
- Dokumentation
- Office & Assistenten
- Übersetzung

🧑Cheap Wins & Low Hanging Fruits

💑Integrierte AI-Systeme

Transformation von White-Collar-Work
Vollständige Prozessketten werden automatisiert
Deutliche Produktivätszugewinne
50-70% aller White-Collar-Tätigkeiten können automatisiert werden

Agenten, die eigenständig Aufgaben übernehmen
Lesen, Schreiben, Ändern direkt auf bestehenden Systemen
Existierende Rechte-Infrastruktur wird genutzt
Lernen über Long Term Memory

💑Integrierte AI-Systeme

Flow Engineering für Agentenstruktur
"Agenten sind ausführbare Explainable AI"
Human in the Loop für Nachfragen

💑Agenten, die Entscheidungen treffen

interne APIs sind für Agenten zugreifbar
interne Daten sind über NL-APIs zugreifbar
Authentifikation:
- Agenten erben die Rechte vom Nutzer
- Rechteprüfung bei Toolnutzung
Junge, Service- und API-driven Architekturen
sind deutlich im Vorteil

💑Interaktion mit existierenden Systemen und Daten

Agenten lernen aus
- bereits bekannten Ergebnissen
- Human in the Loop - Nutzerrückfragen, die der Agent selbst stellt
- Fehlgeschlagenen Versuchen
- Dokumentation
- Selbstreflexion
"Unlearning"
- Erlerntes Wissen muss invalidiert werden
- Vergessen auf Kommando
  - "Vergiss alle Learnings, die sich auf
    Rabatte in Frankreich beziehen"
Die zugrundeliegenden Strategien entstehen gerade

💑Lernen über Long Term Memory

💑Selbstreflexion im Agenten

"Flow Engineering"

IT:

APIs werden zu Tools
Datenbanken werden zu Wissen
Lernloops finden in Software statt
Flow Engineering als Design/Architektur-Strategie

💑Integrierte AI-Systeme - IT

Organisation:

Performance Faktor 1,5-20
>50% aller White Collar-Aufgaben
Engineering
Softwaredevelopment
Administration
...

💑Integrierte AI-Systeme

🧓AI-optimierte Prozesse

There is no way that a human-centric approval process can be deployed here.

Ming Yeng, Chief Strategy Officer, Alibaba

Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig.

EU AI Act

🧓Wissen und Lernen als
First Class Citizen

Kontinuierliches Optimieren und Lernen als Kernaufgabe

Wissen auf Portfolio-Level
übergreifende Lernloops und Reflexion
Selbstoptimierende Systeme

🧓Inception: Ephemeral Software

Code, der für ein akutes Problem on demand entsteht
(ChatGPTs Python-Codeinterpreter)
Wenn er nicht mehr funktioniert, wird er neu generiert
das gilt auch für UX
das gilt auch für Agenten
Das machen Unternehmen in Deutschland schon sehr erfolgreich.

🧓Frei skalierende Prozesse

50 oder 5.000.000 Kundenfragen am Tag bearbeiten
3 oder 300 Angebote vergleichen
2 oder 20 Shops pro Monat integrieren?
10 Stellenanzeigen pro Tag oder alle beantworten

IT:

AI als Kernstrategie
- Wie Google, Microsoft, ...
Platform für Flow Engineering
Platform für Daten und Wissen
Energieeffizienz

🧓Prozesse auf AI optimieren

Organisation:

Kooperationspartner von AI
Shift Up: Meister statt Arbeiter
Fokus auf Bereitstellung von Wissen und Platform

🧓Prozesse auf AI optimieren

AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.

Abkürzungsfrei.

👶 Information & Orientation
👦Experimente und erster Platform Invest
🧑Cheap Wins & Low Hanging Fruits
💑Integrierte AI-Systeme
🧓Prozesse auf AI optimieren

https://slides.com/johann-peterhartmann/ai-vs-it/

Wie AI die interne IT beeinflusst