Hitchhikers Guide to Corporate AI
Hi!
- Dev-Level "Old Fart"
- Hacker, CTO, Founder, Investor
- Company Vehicle Mayflower GmbH
- Schlechter Entwickler, darf aber gelegentlich noch mitspielen
- Was hier im Talk kommt:
so arbeiten wir tatsächlich.
Artificial Intelligence (AI) will Be the Biggest Technological Shift We See in Our Lifetimes
Sundar Pichai, CEO of Google
This next generation of AI will reshape every software category and every business, including our own.
Satya Nadella, CEO of Microsoft
AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on
without any question.
AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on
without any question.
Stanford AI Index Report, Anfang 2024
https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023
Der Weg zu AI
- 👶 Information & Orientation
- 👦Experimente und erster Platform Invest
- 🧑Cheap Wins & Low Hanging Fruits
- 💑Integrierte AI-Systeme
- 🧓Prozesse auf AI optimieren
https://slides.com/johann-peterhartmann/ai-vs-it/
👶 Information & Orientation
- An Veranstaltungen teilnehmen
- Recherche und Austausch
- Private Nutzung vom ChatGPT
- Individuelle Experimente
👶 "Wir machen schon ganz lange AI"
Die GenAI vs ML-Verwirrung
- Predictive Maintenance
- Recommendation
- Sentiment Analysis
- Data Analytics
- Graph-Datenbanken
- Intent-Chatbots
- OCR
- ...
👦Experimente & First Invest
- ChatGPT als offizielles Werkzeug
- Sprechen mit Anbietern
- SupportBot auf Website
- "Chat mit eigenen Dokumenten"
👦MeinGPT
- Meist nur ein dünner OpenAI-Wrapper
- Kostet soviel wie ein dünner Wrapper
- Motivation: Datenschutz und "GDPR-konform aus Deutschland"
- Microsoft als Plattform vs. Microsoft als Plattform
- Klarer Produktivätszugewinn
- Preiswerter als Nutzerlizenzen :-)
👦GPTs/ RAG
"Chat with your Documents"
- Hält das, was interne
- Wikis
- Knowledgemanagement-Systeme
- Mitarbeiterportale
- Dokumentationsysteme
- seit 2000 versprochen haben
👦Experimente & First Invest
Organisation:
- Guidelines für Kollegen
- Erfahrungensaustausch
- Compliance & Datenschutz geklärt
- Teilaufgaben werden über AI gelöst und beschleunigt
🧑Cheap Wins & Low Hanging Fruits
- "echte Projekte" mit
"echten" (externen) Nutzern und
realem Nutzen
- Zusammen mit Early Adoptern,
Friends & Family
- verlässlich
- verfügbar
- gewartet
"Intern war schöner."
- Infrastruktur-Integration
- Observability
-
LLMOps
- LangFuse, LangSmith
- LLM Proxy
- Security
- Update-Strategien ...
🧑Cheap Wins & Low Hanging Fruits
- Wird jede Antwort gefunden?
- Ist die Antwort inhaltlich und formell korrekt?
- ELT-Pipelines für Dokumente
- Transformation und Chunking nach Dokumententyp
- Data Pipelines für Datenbanken
- Gezielte Embeddings, jede Woche neue und bessere
- Spezialisierte Retriever
- Reranking-Modelle
- RAG Testing, RAGAS
🧑 RAG Realitycheck
-
LLMs halluzinieren, man kann Ihnen nicht trauen
-
Sie können nur einfachste Aufgaben erledigen.
-
Für komplexe Aufgaben braucht es einen Menschen
zum Gegenprüfen, Anpassen und Korrigieren.
-
"Trifft am Ende die Maschine und nicht
der Mensch die maßgebliche
Entscheidung, ist das unzulässig."
🧑Kritik an den Lösungen
-
System 1: Automatisch, unreflektiert, unbewusst.
-
System 2: bewusst, gezielt, reflektiert, selbstkritisch,
analytisch und informiert
https://www.linkedin.com/pulse/state-autonomous-ai-agents-dean-meyer/
Warum sind Menschen verlässlich?
Bewusst & geplant ...
https://github.com/langchain-ai/langgraph/blob/main/examples/rewoo/rewoo.ipynb
Selbstkritisch und analysiert
https://github.com/langchain-ai/langgraph/blob/main/examples/reflection/reflection.ipynb
Reflektiert und bewusst
https://github.com/langchain-ai/langgraph/blob/main/examples/reflexion/reflexion.ipynb
Die einfachste Variante: Reason & Act
Selbststeuernde Software
-
Agenten sind eine alte Idee (1977 Hewitt)
-
sie führen aus eigener Initiative Aktionen aus und
arbeiten unabhängig vom Nutzer
-
sie kommunizieren - mit dem Nutzer und anderen Agenten
-
sie passen sich an die Umwelt an und lernen eigenständig
und langfristig aus Beobachtungen und Entscheidungen
https://arxiv.org/abs/2404.10952v1
https://langchain-ai.github.io/langgraph/tutorials/usaco/usaco/
Geplant, reflektiert und mit Feedback
AutoGPT, BabyAGI und Co
- Unkontrolliert
- Nur allgemeine Tasks
- Nicht praxistauglich
Was ich wirklich mache ...
- Anforderungen verstehen
- Lösungen brainstormen
- Code implementieren
- Code testen
- Code auf Verdacht ändern
- Code noch mal testen
- Fehler weiter analysieren
- Code noch mal ändern
- Code noch mal testen
- Wieder Fehler analysieren
- Auf Stack Overflow suchen
- Code wieder ändern
- Code wieder testen
- Dokumentation lesen
💑Wissensarbeit digitalisieren
Was ich denke, was ich mache ...
- Anforderungen verstehen
- Programmieren
- comitten
Kognitive Architekturen
-
Planung:
Wie der Agent Schritte zur Problemlösung plant
-
Reflexion:
Wie der Agent seine eigenen Ergebnisse überprüft
-
Entscheidungsfindung:
Wie der Agent zwischen verschiedenen Aktionen wählt
-
Gedächtnismanagement:
Wie der Agent Informationen speichert und abruft
https://blog.langchain.dev/code-execution-with-langgraph/
Flow Engineering
Digitalisierung von Wissensarbeit ist komplex und detailreich.
Implizites Wissen und Prüfungen müssen explizit werden.
Agenten-Workflows werden als State-Machine modelliert
State
Nodes
Edges
Fan in/out
Nichtdeterministisch
Qualität sichern
- Prozentual richtig statt korrekt
- Qualität und Verlässlichkeit entstehen durch Lernen
- Back-Testing aus Produktionsdaten
- Pairwise Testing - ist a oder b besser?
- LLM as a Judge
- Automatisiertes Prompten via DSPy
Schach: Nur eine Phase
https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023
AlphaCode 2
Monat 1 | Entscheidung auf autonome Agenten zu setzen |
Monat 2 | Integration neuer Kunden Faktor 5-10 schneller |
Monat 3 | Ein spezialisiertes Team wird durch Agenten ersetzt |
Monat 5 | Voller Backlog / Roadmap in 50% Zeit umgesetzt |
Monat 6 | Requirements Management umgestellt auf pull |
Monat 7 | Fokus auf Innovation und Skalieren |
Case-Study 2023
(Ok, mit einem spezialisiertem Prozess)
E-Commerce, online shop integration in Plattformen,
vor allem Data Pipelines.
Das LLM als Junior-Entwickler: Mach mal wie im Beispiel.
🧍
Human
🤖
Product Owner
🤖
Architect
🤖
Developer
🤖
Testing Agent
🤖
Inline-
Documentor
🤖
Code-Quality Agent
🤖
Confluence
Intermediate Feedback and Observation
Interaction and Curation
Die neuen "Teams" mit AI Agents
🧍
Human
🤖
Requirements
🤖
Architect
🤖
Developer
🤖
Testing Agent
🤖
Inline-
Documentor
🤖
Code-Quality Agent
🤖
Confluence
🤖
BugFix-Agent
... und das resultierende Setup
Ephemeral Code
-
Kodiert von Agenten für Agenten
-
Wenn es nicht (mehr) funktioniert, wird es
einfach neu regeneriert -
Qualität wird nicht mehr gebraucht.
-
Dokumentation wird nicht mehr gebraucht.
-
Optimal: komplex zu lösen und einfach zu testen.
-
GIT ist nur noch eine Deploymentpipeline
Take that, rightwing uncle bob.
"The future top coding language will be English."
Coatue AI Full Report Nov 2023, https://drive.google.com/file/d/1gQhYT7j6b2wJmrFZHNeQgTiWPyTsjOfX/view
Mein Informatik-Studium ist egal.
Meine 25 Jahre Erfahrung ist egal.
Meine Kernaufgaben existieren nicht mehr.
Meine Art zu Arbeiten existiert nicht mehr.
Völlig überteuerter
Junior-Entwickler
High Value
Invidual Contributor
SCARF | Effekt |
---|---|
Status | Mein Status existiert so nicht mehr. |
Certainty | Zukünftige Karriere und Arbeit sind unklar |
Autonomy | Potential für sehr viel Autonomie, aber erst mal unfreiwillig. |
Relatedness | Kooperation als typische Arbeitsmethode fällt weg. |
Fairness | AI ist besser, billiger und schneller. |
Für Seniors resultiert der höhere Impact in einem stärkerem Denial. Eigenes Experimentieren wirkt bei ihnen wahre Wunder. Flow Engineering braucht erfahrene Seniors.
💑Wissensarbeit digitalisieren
- Transformation von White-Collar-Work
- Vollständige Prozessketten werden automatisiert
- Deutliche Produktivätszugewinne
- 50-70% aller White-Collar-Tätigkeiten können automatisiert werden
🧓Frei skalierende Prozesse
- 50 oder 5.000.000 Kundenfragen am Tag bearbeiten
- 3 oder 300 Angebote vergleichen
- 2 oder 20 Shops pro Monat integrieren?
- 10 Stellenanzeigen pro Tag oder alle beantworten
https://hups.com/blog/are-developers-needed-in-the-age-of-ai
🧓AI-optimierte Prozesse
ANT Technologies
- die größte Bank der Welt
- eine Person auf 82500 Kunde
- Banken hier: ca 300 Kunden pro Person
🧓AI-optimierte Prozesse
There is no way that a human-centric approval process can be deployed here.
Ming Yeng, Chief Strategy Officer, Alibaba
Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig.
EU AI Act
AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.
Fazit
-
Werden wir jetzt alle arbeitslos?
Nein, um Himmels willen. Wir haben gerade unsere
Variante von Thors Hammer für unsere Arbeit
ausgehändigt bekommen.
-
Ok, was wird denn passieren?
Digitalisierung von ca 50% der Wissensarbeit mit Skaleneffekten
-
Wie lange wird das dauern?
Das weiß noch keiner so richtig. Zwischen 2 und 20 Jahren. Vielleicht.
-
Und was sollte ich konkret machen, damit es hier funktioniert?
Ausprobieren und Agentische AI Systeme entwickeln :-)
Hitchhikers Guide zu AI in Unternehmen
By Johann-Peter Hartmann
Hitchhikers Guide zu AI in Unternehmen
Wir haben jetzt CompanyGPT gelaunched und arbeiten gerade an internen RAG. Wir haben auch erste Pilotteams, die da Vorreiter sind, und einen Arbeitskreis, der mit AWS über Ki spricht. Sind wir damit dann durch?
- 78