Hitchhikers Guide to Corporate AI

Hi!
 

  • Dev-Level "Old Fart"
  • Hacker, CTO, Founder, Investor
  • Company Vehicle Mayflower GmbH
  • Schlechter Entwickler, darf aber gelegentlich noch mitspielen
     
  • Was hier im Talk kommt:
    so arbeiten wir tatsächlich.

Artificial Intelligence (AI) will Be the Biggest Technological Shift We See in Our Lifetimes

Sundar Pichai, CEO of Google

This next generation of AI will reshape every software category and every business, including our own.

Satya Nadella, CEO of Microsoft

AI can boost productivity at unprecedented speed.

First movers will be rewarded, and the global race is already on
without any question.

AI can boost productivity at unprecedented speed.

First movers will be rewarded, and the global race is already on
without any question.

Stanford AI Index Report, Anfang 2024

https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023

Der Weg zu AI

  1. 👶 Information & Orientation
  2. 👦Experimente und erster Platform Invest
  3. 🧑Cheap Wins & Low Hanging Fruits
  4. 💑Integrierte AI-Systeme
  5. 🧓Prozesse auf AI optimieren

https://slides.com/johann-peterhartmann/ai-vs-it/

👶 Information & Orientation

  • An Veranstaltungen teilnehmen
  • Recherche und Austausch
  • Private Nutzung vom ChatGPT
  • Individuelle Experimente

👶 "Wir machen schon ganz lange AI"

Die GenAI vs ML-Verwirrung

  • Predictive Maintenance
  • Recommendation
  • Sentiment Analysis
  • Data Analytics
  • Graph-Datenbanken
  • Intent-Chatbots
  • OCR
  • ...

👦Experimente & First Invest

  • ChatGPT als offizielles Werkzeug
  • Sprechen mit Anbietern
  • SupportBot auf Website 
  • "Chat mit eigenen Dokumenten"

👦MeinGPT

  • Meist nur ein dünner OpenAI-Wrapper
  • Kostet soviel wie ein dünner Wrapper
  • Motivation: Datenschutz und "GDPR-konform aus Deutschland"
  • Microsoft als Plattform vs. Microsoft als Plattform
  • Klarer Produktivätszugewinn
  • Preiswerter als Nutzerlizenzen :-)

👦GPTs/ RAG 

"Chat with your Documents"

 

  • Hält das, was interne 
    • Wikis
    • Knowledgemanagement-Systeme
    • Mitarbeiterportale
    • Dokumentationsysteme
  • seit 2000 versprochen haben 

👦Experimente & First Invest

Organisation:

  • Guidelines für Kollegen
  • Erfahrungensaustausch
  • Compliance & Datenschutz geklärt 
  • Teilaufgaben werden über AI gelöst und beschleunigt

🧑Cheap Wins & Low Hanging Fruits

  • "echte Projekte" mit
    "echten" (externen) Nutzern und
    realem Nutzen
     
  • Zusammen mit Early Adoptern,
    Friends & Family
     
  • verlässlich
  • verfügbar
  • gewartet

 

"Intern war schöner."

 

  • Infrastruktur-Integration
  • Observability
  • LLMOps
    • ​LangFuse, LangSmith
    • LLM Proxy
  • ​Security
  • Update-Strategien ...

🧑Cheap Wins & Low Hanging Fruits

  • Wird jede Antwort gefunden?
  • Ist die Antwort inhaltlich und formell korrekt?
     
  • ELT-Pipelines für Dokumente
  • Transformation und Chunking nach Dokumententyp
  • Data Pipelines für Datenbanken
  • Gezielte Embeddings, jede Woche neue und bessere 
  • Spezialisierte Retriever
  • Reranking-Modelle
  • RAG Testing, RAGAS

 

🧑 RAG Realitycheck

  • LLMs halluzinieren, man kann Ihnen nicht trauen
     

  • Sie können nur einfachste Aufgaben erledigen.
     

  • Für komplexe Aufgaben braucht es einen Menschen
    zum Gegenprüfen, Anpassen und Korrigieren.
     

  • "Trifft am Ende die Maschine und nicht
    der Mensch die maßgebliche
    Entscheidung, ist das unzulässig."

🧑Kritik an den Lösungen

  • System 1: Automatisch, unreflektiert, unbewusst.
     

  • System 2: bewusst, gezielt, reflektiert, selbstkritisch,
    analytisch und informiert

https://www.linkedin.com/pulse/state-autonomous-ai-agents-dean-meyer/

Warum sind Menschen verlässlich?

Bewusst & geplant ...

https://github.com/langchain-ai/langgraph/blob/main/examples/rewoo/rewoo.ipynb

Selbstkritisch und analysiert

https://github.com/langchain-ai/langgraph/blob/main/examples/reflection/reflection.ipynb

Reflektiert und bewusst

https://github.com/langchain-ai/langgraph/blob/main/examples/reflexion/reflexion.ipynb

Die einfachste Variante: Reason & Act

Selbststeuernde Software

  • Agenten sind eine alte Idee (1977  Hewitt)
     

  • sie führen aus eigener Initiative Aktionen aus und
    arbeiten unabhängig vom Nutzer
     

  • sie kommunizieren - mit dem Nutzer und anderen Agenten
     

  • sie passen sich an die Umwelt an und lernen eigenständig 
    und langfristig aus Beobachtungen und Entscheidungen

https://arxiv.org/abs/2404.10952v1

https://langchain-ai.github.io/langgraph/tutorials/usaco/usaco/

Geplant, reflektiert und mit Feedback

AutoGPT, BabyAGI und Co

  • Unkontrolliert
  • Nur allgemeine Tasks
  • Nicht praxistauglich

Was ich wirklich mache ...

  • Anforderungen verstehen
  • Lösungen brainstormen
  • Code implementieren
  • Code testen
  • Code auf Verdacht ändern
  • Code noch mal testen
  • Fehler weiter analysieren
  • Code noch mal ändern
  • Code noch mal testen
  • Wieder Fehler analysieren
  • Auf Stack Overflow suchen
  • Code wieder ändern
  • Code wieder testen
  • Dokumentation lesen 

💑Wissensarbeit digitalisieren

Was ich denke, was ich mache ...

  • Anforderungen verstehen
  • Programmieren 
  • comitten

Kognitive Architekturen

  • Planung:
    Wie der Agent Schritte zur Problemlösung plant
     
  • Reflexion:
    Wie der Agent seine eigenen Ergebnisse überprüft
     
  • Entscheidungsfindung:
    Wie der Agent zwischen verschiedenen Aktionen wählt
     
  • Gedächtnismanagement:
    Wie der Agent Informationen speichert und abruft

https://blog.langchain.dev/code-execution-with-langgraph/

Flow Engineering

Digitalisierung von Wissensarbeit ist komplex und detailreich.
Implizites Wissen und Prüfungen müssen explizit werden.

Agenten-Workflows werden als State-Machine modelliert

State
Nodes
Edges
Fan in/out

Nichtdeterministisch
Qualität sichern

  1. Prozentual richtig statt korrekt
  2. Qualität und Verlässlichkeit entstehen durch Lernen
  3. Back-Testing aus Produktionsdaten
  4. Pairwise Testing - ist a oder b besser?
  5. LLM as a Judge
  6. Automatisiertes Prompten via DSPy

Schach: Nur eine Phase

https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023

AlphaCode 2

Monat 1 Entscheidung auf autonome Agenten zu setzen
Monat 2 Integration neuer Kunden  Faktor 5-10 schneller
Monat 3 Ein spezialisiertes Team wird durch Agenten ersetzt
Monat 5 Voller Backlog / Roadmap in 50% Zeit umgesetzt
Monat 6 Requirements Management umgestellt auf pull
Monat 7 Fokus auf Innovation und Skalieren

Case-Study 2023

(Ok, mit einem spezialisiertem Prozess)

E-Commerce, online shop integration in Plattformen,
vor allem Data Pipelines.

Das LLM als Junior-Entwickler: Mach mal wie im Beispiel.

🧍

Human

🤖

Product Owner

🤖

Architect

🤖

Developer

🤖

Testing Agent

🤖

Inline-
Documentor

🤖

Code-Quality Agent

🤖

Confluence

Intermediate Feedback and Observation

Interaction and Curation

Die neuen "Teams" mit AI Agents

🧍

Human

🤖

Requirements

🤖

Architect

🤖

Developer

🤖

Testing Agent

🤖

Inline-
Documentor

🤖

Code-Quality Agent

🤖

Confluence

🤖

BugFix-Agent

... und das resultierende Setup

Ephemeral Code

  • Kodiert von Agenten für Agenten

  • Wenn es nicht (mehr) funktioniert, wird es
    einfach neu regeneriert

  • Qualität wird nicht mehr gebraucht.

  • Dokumentation wird nicht mehr gebraucht.

  • Optimal: komplex zu lösen und einfach zu testen.

  • GIT ist nur noch eine Deploymentpipeline

Take that, rightwing uncle bob.

"The future top coding language will be English."

Coatue AI Full Report Nov 2023, https://drive.google.com/file/d/1gQhYT7j6b2wJmrFZHNeQgTiWPyTsjOfX/view

Mein Informatik-Studium ist egal.
 

Meine 25 Jahre Erfahrung ist egal.


Meine Kernaufgaben existieren nicht mehr.


Meine Art zu Arbeiten existiert nicht mehr.

Völlig überteuerter
Junior-Entwickler

High Value
Invidual Contributor

SCARF Effekt
Status Mein Status existiert so nicht mehr.
Certainty Zukünftige Karriere und Arbeit sind unklar
Autonomy Potential für sehr viel Autonomie,
aber erst mal unfreiwillig.
Relatedness Kooperation als typische
Arbeitsmethode fällt weg.
Fairness AI ist besser, billiger und schneller.

Für Seniors resultiert der höhere Impact in einem stärkerem Denial. Eigenes Experimentieren wirkt bei ihnen wahre Wunder. Flow Engineering braucht erfahrene Seniors.

💑Wissensarbeit digitalisieren

  • Transformation von White-Collar-Work
     
  • Vollständige Prozessketten werden automatisiert
     
  • Deutliche Produktivätszugewinne
     
  • 50-70% aller White-Collar-Tätigkeiten können automatisiert werden

🧓Frei skalierende Prozesse

  • 50 oder 5.000.000 Kundenfragen am Tag bearbeiten
  • 3 oder 300 Angebote vergleichen
  • 2 oder 20 Shops pro Monat integrieren?
  • 10 Stellenanzeigen pro Tag oder alle beantworten

https://hups.com/blog/are-developers-needed-in-the-age-of-ai

🧓AI-optimierte Prozesse

ANT Technologies

  • die größte Bank der Welt
  • eine Person auf 82500 Kunde
  • Banken hier: ca 300 Kunden pro Person

🧓AI-optimierte Prozesse

There is no way that a human-centric approval process can be deployed here.

Ming Yeng, Chief Strategy Officer, Alibaba

Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig.

EU AI Act

AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.

Fazit

  • Werden wir jetzt alle arbeitslos?
    Nein, um Himmels willen. Wir haben gerade unsere
    Variante von Thors Hammer für unsere Arbeit
    ausgehändigt bekommen.
     
  • Ok, was wird denn passieren?
    Digitalisierung von ca 50% der Wissensarbeit mit Skaleneffekten
     
  • Wie lange wird das dauern?
    Das weiß noch keiner so richtig. Zwischen 2 und 20 Jahren. Vielleicht.
     
  • Und was sollte ich konkret machen, damit es hier funktioniert?
    Ausprobieren und Agentische AI Systeme entwickeln :-)