Wie AI die interne IT beeinflusst
https://slides.com/johann-peterhartmann/ai-vs-it/
Hi!
- Geschäftsführer und CTO bei Mayflower
- Eigene Sprachmodelle
- Aktiv an vielen OpenSource-Tools und -initiativen um LLMs
- https://huggingface.co/mayflowergmbh
- Musste leider die Kompetenz langsam aufbauen, hat 2 KI-Winter überlebt
Artificial Intelligence (AI) Will Be the Biggest Technological Shift We See in Our Lifetimes
This next generation of AI will reshape every software category and every business, including our own
AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.
AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.
Stanford AI Index Report, Anfang 2024
Stanford AI Index Report, Anfang 2024
Stanford AI Index Report, Anfang 2024
Stanford AI Index Report, Anfang 2024
Stanford AI Index Report, Anfang 2024
Jeder Prozess wurde mit den Mitteln entwickelt, die zum Zeitpunkt seines Erstellens vorhanden waren.
Bank of America, 1924
67 Millionen Kunden, 210.000 Mitarbeiter
320 Kunden pro Mitarbeiter
Klassisches Bankgeschäft
Ant Financial, 2014
1.300 Millonen Kunden, 17.000 Mitarbeiter
81250 Kunden pro Mitarbeiter
Klassisches Bankgeschäft plus umfangreiches Versicherungs- und E-Commerce-Portfolio
“Ant Financial is built with scale in mind. There is no way that a human-centric approval process can be deployed here.”
Ming Yeng, Chief Strategy Officer, Alibaba
“Es gibt keinen technischen Grund, warum nicht 90% aller Anfragen bei deutschen Firmen und Behörden in 10 Minuten bearbeitet sind.”
Aus Gesprächen mit
Kommunen und Behörden
Ok, und wie sollen wir das jetzt möglich machen?
Technisches Infrastruktur
für AI-Lösungen
- CoPilot-Lösung eines Herstellers
- Off-The-Shelf-AI-Lösung
-
Eigene Lösung
- Python-TypeScript Container als Rest Service
- OpenAI-Api-Key
- Vektordatenbank für RAG
5 Reifegrade von AI
- 👶 Information & Orientation
- 👦Experimente und erster Platform Invest
- 🧑Cheap Wins & Low Hanging Fruits
- 💑Integrierte AI-Systeme
- 🧓Prozesse auf AI optimieren
5 Reifegrade von AI
- 👶 Information & Orientation
- 👦Experimente und erster Platform Invest
- 🧑Cheap Wins & Low Hanging Fruits
- 💑Integrierte AI-Systeme
- 🧓Prozesse auf AI optimieren
👶 Information & Orientation
- An Veranstaltungen teilnehmen
- Recherche und Austausch
- Private Nutzung vom ChatGPT
- Individuelle Experimente
👶 "Wir machen schon ganz lange AI"
Die GenAI vs ML-Verwirrung
- Predictive Maintenance
- Recommendation
- Sentiment Analysis
- Data Analytics
- Graph-Datenbanken
- Intent-Chatbots
- OCR
- ...
👦Experimente & First Invest
- ChatGPT als offizielles Werkzeug
- Sprechen mit Anbietern
- SupportBot auf Website
- "Chat mit eigenen Dokumenten"
👦FirmenGPT
- Meist nur ein dünner OpenAI-Wrapper
- Kostet soviel wie ein dünner Wrapper
- Motivation: Datenschutz und "GDPR-konform aus Deutschland"
- Microsoft als Plattform vs. Microsoft als Plattform
- Klarer Produktivätszugewinn
- Preiswerter als Nutzerlizenzen :-)
👦GPTs/ RAG
"Chat with your Documents"
- Hält das, was interne
- Wikis
- Knowledgemanagement-Systeme
- Mitarbeiterportale
- Dokumentationsysteme
- versprochen haben
Die Maschine macht das Denken und die Kreativität, der Mensch das Copy & Paste.
👦Copilots & Assistenten
Die Maschine macht auch
das Copy & Paste.
Der Mensch kontrolliert.
(
👦Experimente & First Invest
IT:
- Bereitstellung
- Rechte & Identity Management
- Prototypen mit Anbietern
👦Experimente & First Invest
Organisation:
- Guidelines für Kollegen
- Erfahrungensaustausch
- Compliance & Datenschutz geklärt
- Teilaufgaben werden über AI gelöst und beschleunigt
🧑Cheap Wins & Low Hanging Fruits
🧑Cheap Wins & Low Hanging Fruits
🧑Cheap Wins & Low Hanging Fruits
- Wird jede Antwort gefunden?
- Ist die Antwort inhaltlich und formell korrekt?
- ELT-Pipelines für Dokumente
- Transformation und Chunking nach Dokumententyp
- Data Pipelines für Datenbanken
- Gezielte Embeddings, jede Woche neue und bessere
- Spezialisierte Retriever
- Reranking-Modelle
- RAG Testing, RAGAS
🧑 RAG Realitycheck
LLMOps != MLOps
- im Regelfall kein Modelltraining
- aber: keine klassische Observability
- LLMOps
- Prompt Management
- Prompt Performance
- Model Drift
- FinOps für AI:TokenOps
- Semantisches E2E-Testing
- LangSmith, LangFuse uvm
- Orchestration!
IT:
- Infrastruktur-Integration
- ETL-Pipelines für RAG
-
LLMOps
- LangFuse, LangSmith
- LLM Proxy
-
Security
- Guardrails
- Constitutional AI
🧑Cheap Wins & Low Hanging Fruits
Organisation:
- Validierung & Knowhow
-
Lokale Effekte:
- Marketing
- Dokumentation
- Office & Assistenten
- Übersetzung
🧑Cheap Wins & Low Hanging Fruits
💑Integrierte AI-Systeme
- Transformation von White-Collar-Work
- Vollständige Prozessketten werden automatisiert
- Deutliche Produktivätszugewinne
- 50-70% aller White-Collar-Tätigkeiten können automatisiert werden
- Agenten, die eigenständig Aufgaben übernehmen
- Lesen, Schreiben, Ändern direkt auf bestehenden Systemen
- Existierende Rechte-Infrastruktur wird genutzt
- Lernen über Long Term Memory
💑Integrierte AI-Systeme
- Flow Engineering für Agentenstruktur
- "Agenten sind ausführbare Explainable AI"
- Human in the Loop für Nachfragen
💑Agenten, die Entscheidungen treffen
- interne APIs sind für Agenten zugreifbar
- interne Daten sind über NL-APIs zugreifbar
-
Authentifikation:
- Agenten erben die Rechte vom Nutzer
- Rechteprüfung bei Toolnutzung
- Junge, Service- und API-driven Architekturen
sind deutlich im Vorteil
💑Interaktion mit existierenden Systemen und Daten
- Agenten lernen aus
- bereits bekannten Ergebnissen
- Human in the Loop - Nutzerrückfragen, die der Agent selbst stellt
- Fehlgeschlagenen Versuchen
- Dokumentation
- Selbstreflexion
- "Unlearning"
- Erlerntes Wissen muss invalidiert werden
- Vergessen auf Kommando
- "Vergiss alle Learnings, die sich auf
Rabatte in Frankreich beziehen"
- "Vergiss alle Learnings, die sich auf
- Die zugrundeliegenden Strategien entstehen gerade
💑Lernen über Long Term Memory
💑Selbstreflexion im Agenten
"Flow Engineering"
IT:
- APIs werden zu Tools
- Datenbanken werden zu Wissen
- Lernloops finden in Software statt
- Flow Engineering als Design/Architektur-Strategie
💑Integrierte AI-Systeme - IT
Organisation:
- Performance Faktor 1,5-20
- >50% aller White Collar-Aufgaben
- Engineering
- Softwaredevelopment
- Administration
- ...
💑Integrierte AI-Systeme
🧓AI-optimierte Prozesse
There is no way that a human-centric approval process can be deployed here.
Ming Yeng, Chief Strategy Officer, Alibaba
Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig.
EU AI Act
🧓Wissen und Lernen als
First Class Citizen
Kontinuierliches Optimieren und Lernen als Kernaufgabe
-
Wissen auf Portfolio-Level
- übergreifende Lernloops und Reflexion
- Selbstoptimierende Systeme
🧓Inception: Ephemeral Software
-
Code, der für ein akutes Problem on demand entsteht
(ChatGPTs Python-Codeinterpreter) - Wenn er nicht mehr funktioniert, wird er neu generiert
- das gilt auch für UX
- das gilt auch für Agenten
- Das machen Unternehmen in Deutschland schon sehr erfolgreich.
🧓Frei skalierende Prozesse
- 50 oder 5.000.000 Kundenfragen am Tag bearbeiten
- 3 oder 300 Angebote vergleichen
- 2 oder 20 Shops pro Monat integrieren?
- 10 Stellenanzeigen pro Tag oder alle beantworten
IT:
-
AI als Kernstrategie
- Wie Google, Microsoft, ...
- Platform für Flow Engineering
- Platform für Daten und Wissen
- Energieeffizienz
🧓Prozesse auf AI optimieren
Organisation:
- Kooperationspartner von AI
- Shift Up: Meister statt Arbeiter
- Fokus auf Bereitstellung von Wissen und Platform
🧓Prozesse auf AI optimieren
AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.
Abkürzungsfrei.
- 👶 Information & Orientation
- 👦Experimente und erster Platform Invest
- 🧑Cheap Wins & Low Hanging Fruits
- 💑Integrierte AI-Systeme
- 🧓Prozesse auf AI optimieren
https://slides.com/johann-peterhartmann/ai-vs-it/
Wie AI die interne IT beeinflusst https://slides.com/johann-peterhartmann/ai-vs-it/
Wie AI die interne IT beeinflusst
By Johann-Peter Hartmann
Wie AI die interne IT beeinflusst
Traut man den Studien der großen Unternehmensberatungen und den Early Adoptern, so ändert AI die Art, wie wir Wissensarbeit machen, deutlich. Nach dem Cheap Wins durch die Nutzung von ChatGPT und CoPiloten stellen sich die Fragen: Was bedeutet das konkret für die eigene IT-Infrastruktur? Worauf muss ich mich vorbereiten? Was hilft mir, was bremst mich eher aus? Wir zeigen anhand von Beispielen, wie eine weitgehende Automatisierung von Wissensarbeiten mit AI aussieht, welche Aufgaben sich daraus ergeben, und wie man früh selbst davon profitieren kann.
- 263
