Wie AI die interne IT beeinflusst

https://slides.com/johann-peterhartmann/ai-vs-it/

Hi!

  • Geschäftsführer und CTO bei Mayflower
     
  • Eigene Sprachmodelle
     
  • Aktiv an vielen OpenSource-Tools und -initiativen um LLMs
     
  • https://huggingface.co/mayflowergmbh
     
  • Musste leider die Kompetenz langsam aufbauen, hat 2 KI-Winter überlebt

Artificial Intelligence (AI) Will Be the Biggest Technological Shift We See in Our Lifetimes

This next generation of AI will reshape every software category and every business, including our own

AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.

AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.

Stanford AI Index Report, Anfang 2024

Stanford AI Index Report, Anfang 2024

Stanford AI Index Report, Anfang 2024

Stanford AI Index Report, Anfang 2024

Stanford AI Index Report, Anfang 2024

Jeder Prozess wurde mit den Mitteln entwickelt, die zum Zeitpunkt seines Erstellens vorhanden waren.

Bank of America, 1924

67 Millionen Kunden, 210.000 Mitarbeiter

320 Kunden pro Mitarbeiter

Klassisches Bankgeschäft

 

Ant Financial, 2014

1.300 Millonen Kunden, 17.000 Mitarbeiter

81250 Kunden pro Mitarbeiter

Klassisches Bankgeschäft plus umfangreiches Versicherungs- und E-Commerce-Portfolio

 

“Ant Financial is built with scale in mind. There is no way that a human-centric approval process can be deployed here.”

Ming Yeng, Chief Strategy Officer, Alibaba

“Es gibt keinen technischen Grund, warum nicht 90% aller Anfragen bei deutschen Firmen und Behörden in 10 Minuten bearbeitet sind.”

Aus Gesprächen mit
Kommunen und Behörden

Ok, und wie sollen wir das jetzt möglich machen?

Technisches Infrastruktur
für AI-Lösungen

  • CoPilot-Lösung eines Herstellers
  • Off-The-Shelf-AI-Lösung
  • Eigene Lösung
    • Python-TypeScript Container als  Rest Service
    • OpenAI-Api-Key
    • Vektordatenbank für RAG

5 Reifegrade von AI

  1. 👶 Information & Orientation
  2. 👦Experimente und erster Platform Invest
  3. 🧑Cheap Wins & Low Hanging Fruits
  4. 💑Integrierte AI-Systeme
  5. 🧓Prozesse auf AI optimieren

5 Reifegrade von AI

  1. 👶 Information & Orientation
  2. 👦Experimente und erster Platform Invest
  3. 🧑Cheap Wins & Low Hanging Fruits
  4. 💑Integrierte AI-Systeme
  5. 🧓Prozesse auf AI optimieren

👶 Information & Orientation

  • An Veranstaltungen teilnehmen
  • Recherche und Austausch
  • Private Nutzung vom ChatGPT
  • Individuelle Experimente

👶 "Wir machen schon ganz lange AI"

Die GenAI vs ML-Verwirrung

  • Predictive Maintenance
  • Recommendation
  • Sentiment Analysis
  • Data Analytics
  • Graph-Datenbanken
  • Intent-Chatbots
  • OCR
  • ...

👦Experimente & First Invest

  • ChatGPT als offizielles Werkzeug
  • Sprechen mit Anbietern
  • SupportBot auf Website 
  • "Chat mit eigenen Dokumenten"

👦FirmenGPT

  • Meist nur ein dünner OpenAI-Wrapper
  • Kostet soviel wie ein dünner Wrapper
  • Motivation: Datenschutz und "GDPR-konform aus Deutschland"
  • Microsoft als Plattform vs. Microsoft als Plattform
  • Klarer Produktivätszugewinn
  • Preiswerter als Nutzerlizenzen :-)

👦GPTs/ RAG 

"Chat with your Documents"

 

  • Hält das, was interne 
    • Wikis
    • Knowledgemanagement-Systeme
    • Mitarbeiterportale
    • Dokumentationsysteme
  • versprochen haben 

Die Maschine macht das Denken und die Kreativität, der Mensch das Copy & Paste.

👦Copilots & Assistenten

Die Maschine macht auch
das Copy & Paste.

Der Mensch kontrolliert.





(

👦Experimente & First Invest

IT:

  • Bereitstellung
  • Rechte & Identity Management
  • Prototypen mit Anbietern    

👦Experimente & First Invest

Organisation:

  • Guidelines für Kollegen
  • Erfahrungensaustausch
  • Compliance & Datenschutz geklärt 
  • Teilaufgaben werden über AI gelöst und beschleunigt

🧑Cheap Wins & Low Hanging Fruits

🧑Cheap Wins & Low Hanging Fruits

🧑Cheap Wins & Low Hanging Fruits

  • Wird jede Antwort gefunden?
  • Ist die Antwort inhaltlich und formell korrekt?
     
  • ELT-Pipelines für Dokumente
  • Transformation und Chunking nach Dokumententyp
  • Data Pipelines für Datenbanken
  • Gezielte Embeddings, jede Woche neue und bessere 
  • Spezialisierte Retriever
  • Reranking-Modelle
  • RAG Testing, RAGAS

 

🧑 RAG Realitycheck

LLMOps != MLOps

  • im Regelfall kein Modelltraining
  • aber: keine klassische Observability
     
  • LLMOps
    • Prompt Management
    • Prompt Performance
    • Model Drift 
    • FinOps für AI:TokenOps
    • Semantisches E2E-Testing
  • LangSmith, LangFuse uvm
     
  • Orchestration!

IT:

  • Infrastruktur-Integration
  • ETL-Pipelines für RAG
  • LLMOps
    • ​LangFuse, LangSmith
    • LLM Proxy
  • ​Security
    • Guardrails
    • Constitutional AI

🧑Cheap Wins & Low Hanging Fruits

Organisation:

  • Validierung & Knowhow
  • Lokale Effekte:
    • Marketing
    • Dokumentation
    • Office & Assistenten          
    • Übersetzung

🧑Cheap Wins & Low Hanging Fruits

💑Integrierte AI-Systeme

  • Transformation von White-Collar-Work
     
  • Vollständige Prozessketten werden automatisiert
     
  • Deutliche Produktivätszugewinne
     
  • 50-70% aller White-Collar-Tätigkeiten können automatisiert werden
  • Agenten, die eigenständig Aufgaben übernehmen
  • Lesen, Schreiben, Ändern direkt auf bestehenden Systemen
  • Existierende Rechte-Infrastruktur wird genutzt
  • Lernen über Long Term Memory

💑Integrierte AI-Systeme

  • Flow Engineering für Agentenstruktur
  • "Agenten sind ausführbare Explainable AI"
  • Human in the Loop für Nachfragen

💑Agenten, die Entscheidungen treffen

  • interne APIs sind für Agenten zugreifbar
  • interne Daten sind über NL-APIs zugreifbar
  • Authentifikation:
    • Agenten erben die Rechte vom Nutzer 
    • Rechteprüfung bei Toolnutzung

      ​
  • Junge, Service- und API-driven Architekturen
    sind deutlich im Vorteil

💑Interaktion mit existierenden Systemen und Daten

  • Agenten lernen aus 
    • bereits bekannten Ergebnissen
    • Human in the Loop - Nutzerrückfragen, die der Agent selbst stellt
    • Fehlgeschlagenen Versuchen
    • Dokumentation
    • Selbstreflexion
  • "Unlearning"
    • Erlerntes Wissen muss invalidiert werden
    • Vergessen auf Kommando
      • "Vergiss alle Learnings, die sich auf
        Rabatte in Frankreich beziehen"​
  • Die zugrundeliegenden Strategien entstehen gerade

💑Lernen über Long Term Memory

💑Selbstreflexion im Agenten

"Flow Engineering"

IT:

  • APIs werden zu Tools
  • Datenbanken werden zu Wissen
  • Lernloops finden in Software statt
  • Flow Engineering als Design/Architektur-Strategie

💑Integrierte AI-Systeme - IT

Organisation:

  • Performance Faktor 1,5-20
  • >50% aller White Collar-Aufgaben
  • Engineering
  • Softwaredevelopment
  • Administration
  • ...

💑Integrierte AI-Systeme

🧓AI-optimierte Prozesse

There is no way that a human-centric approval process can be deployed here.

Ming Yeng, Chief Strategy Officer, Alibaba

Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig.

EU AI Act

🧓Wissen und Lernen als
First Class Citizen

Kontinuierliches Optimieren und Lernen als Kernaufgabe

  • Wissen auf Portfolio-Level
     
  • übergreifende Lernloops und Reflexion 
     
  • Selbstoptimierende Systeme

    •  

🧓Inception: Ephemeral Software

  • Code, der für ein akutes Problem on demand entsteht 
    (ChatGPTs Python-Codeinterpreter)
  • Wenn er nicht mehr funktioniert, wird er neu generiert
  • das gilt auch für UX 
  • das gilt auch für Agenten
     
  • Das machen Unternehmen in Deutschland schon sehr erfolgreich.

🧓Frei skalierende Prozesse

  • 50 oder 5.000.000 Kundenfragen am Tag bearbeiten
  • 3 oder 300 Angebote vergleichen
  • 2 oder 20 Shops pro Monat integrieren?
  • 10 Stellenanzeigen pro Tag oder alle beantworten

IT:

  • AI als Kernstrategie
    • Wie Google, Microsoft, ...
  • Platform für Flow Engineering
  • Platform für Daten und Wissen
  • Energieeffizienz

​​

🧓Prozesse auf AI optimieren

Organisation:

  • Kooperationspartner von AI
  • Shift Up: Meister statt Arbeiter
  • Fokus auf Bereitstellung von Wissen und Platform

🧓Prozesse auf AI optimieren

AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.

Abkürzungsfrei.

  1. 👶 Information & Orientation
  2. 👦Experimente und erster Platform Invest
  3. 🧑Cheap Wins & Low Hanging Fruits
  4. 💑Integrierte AI-Systeme
  5. 🧓Prozesse auf AI optimieren

https://slides.com/johann-peterhartmann/ai-vs-it/