Hitchhikers Guide to Corporate AI

Hi!
 

• Dev-Level "Old Fart"
• Hacker, CTO, Founder, Investor
• Company Vehicle Mayflower GmbH
• Schlechter Entwickler, darf aber gelegentlich noch mitspielen
   
• Was hier im Talk kommt:
  so arbeiten wir tatsächlich.

Artificial Intelligence (AI) will Be the Biggest Technological Shift We See in Our Lifetimes

Sundar Pichai, CEO of Google

This next generation of AI will reshape every software category and every business, including our own.

Satya Nadella, CEO of Microsoft

AI can boost productivity at unprecedented speed.

First movers will be rewarded, and the global race is already on
without any question.

AI can boost productivity at unprecedented speed.

First movers will be rewarded, and the global race is already on
without any question.

OpenAI/MIT on

"How much will your job change?"

Stanford AI Index Report, Anfang 2024

https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023

Nur eine Bubble?

Der Weg zu AI

1. 👶 Information & Orientation
2. 👦Experimente und erster Platform Invest
3. 🧑Cheap Wins & Low Hanging Fruits
4. 💑Integrierte AI-Systeme
5. 🧓Prozesse auf AI optimieren

https://slides.com/johann-peterhartmann/ai-vs-it/

👶 Information & Orientation

• An Veranstaltungen teilnehmen
• Recherche und Austausch
• Private Nutzung vom ChatGPT
• Individuelle Experimente

👶 "Wir machen schon ganz lange AI"

Die GenAI vs ML-Verwirrung

• Predictive Maintenance
• Recommendation
• Sentiment Analysis
• Data Analytics
• Graph-Datenbanken
• Intent-Chatbots
• OCR
• ...

👦Experimente & First Invest

• ChatGPT als offizielles Werkzeug
• Sprechen mit Anbietern
• SupportBot auf Website 
• "Chat mit eigenen Dokumenten"

👦MeinGPT

👦GPTs/ RAG 

"Chat with your Documents"

• Hält das, was interne 
  • Wikis
  • Knowledgemanagement-Systeme
  • Mitarbeiterportale
  • Dokumentationsysteme
• seit 2000 versprochen haben 

👦Experimente & First Invest

Organisation:

• Guidelines für Kollegen
• Erfahrungensaustausch
• Compliance & Datenschutz geklärt 
• Teilaufgaben werden über AI gelöst und beschleunigt

🧑Cheap Wins & Low Hanging Fruits

• Infrastruktur-Integration
• Observability
• LLMOps
  • ​LangFuse, LangSmith
  • LLM Proxy
• ​Security
• Update-Strategien ...

🧑Cheap Wins & Low Hanging Fruits

🧑 RAG Realitycheck

• LLMs halluzinieren, man kann Ihnen nicht trauen
   

• Sie können nur einfachste Aufgaben erledigen.
   

• Für komplexe Aufgaben braucht es einen Menschen
  zum Gegenprüfen, Anpassen und Korrigieren.
   

• "Trifft am Ende die Maschine und nicht
  der Mensch die maßgebliche
  Entscheidung, ist das unzulässig."

🧑Kritik an den Lösungen

• System 1: Automatisch, unreflektiert, unbewusst.
   

• System 2: bewusst, gezielt, reflektiert, selbstkritisch,
  analytisch und informiert

https://www.linkedin.com/pulse/state-autonomous-ai-agents-dean-meyer/

Warum sind Menschen verlässlich?

Bewusst & geplant ...

https://github.com/langchain-ai/langgraph/blob/main/examples/rewoo/rewoo.ipynb

Selbstkritisch und analysiert

https://github.com/langchain-ai/langgraph/blob/main/examples/reflection/reflection.ipynb

Reflektiert und bewusst

https://github.com/langchain-ai/langgraph/blob/main/examples/reflexion/reflexion.ipynb

Die einfachste Variante: Reason & Act

Selbststeuernde Software

• Agenten sind eine alte Idee (1977  Hewitt)
   

• sie führen aus eigener Initiative Aktionen aus und
  arbeiten unabhängig vom Nutzer
   

• sie kommunizieren - mit dem Nutzer und anderen Agenten
   

• sie passen sich an die Umwelt an und lernen eigenständig 
  und langfristig aus Beobachtungen und Entscheidungen

https://arxiv.org/abs/2404.10952v1

https://langchain-ai.github.io/langgraph/tutorials/usaco/usaco/

Geplant, reflektiert und mit Feedback

AutoGPT, BabyAGI und Co

• Unkontrolliert
• Nur allgemeine Tasks
• Nicht praxistauglich

💑Wissensarbeit digitalisieren

Kognitive Architekturen

• Planung:
  Wie der Agent Schritte zur Problemlösung plant
   
• Reflexion:
  Wie der Agent seine eigenen Ergebnisse überprüft
   
• Entscheidungsfindung:
  Wie der Agent zwischen verschiedenen Aktionen wählt
   
• Gedächtnismanagement:
  Wie der Agent Informationen speichert und abruft

https://blog.langchain.dev/code-execution-with-langgraph/

Flow Engineering

Agenten-Workflows werden als State-Machine modelliert

State
Nodes
Edges
Fan in/out

Nichtdeterministisch
Qualität sichern

1. Prozentual richtig statt korrekt
2. Qualität und Verlässlichkeit entstehen durch Lernen
3. Back-Testing aus Produktionsdaten
4. Pairwise Testing - ist a oder b besser?
5. LLM as a Judge
6. Automatisiertes Prompten via DSPy

Schach: Nur eine Phase

https://www.coatue.com/blog/perspective/ai-the-coming-revolution-2023

AlphaCode 2

Case-Study 2023

(Ok, mit einem spezialisiertem Prozess)

E-Commerce, online shop integration in Plattformen,
vor allem Data Pipelines.

Das LLM als Junior-Entwickler: Mach mal wie im Beispiel.

🧍

Human

🤖

Product Owner

🤖

Architect

🤖

Developer

🤖

Testing Agent

🤖

Inline-
Documentor

🤖

Code-Quality Agent

🤖

Confluence

Intermediate Feedback and Observation

Interaction and Curation

Die neuen "Teams" mit AI Agents

🧍

Human

🤖

Requirements

🤖

Architect

🤖

Developer

🤖

Testing Agent

🤖

Inline-
Documentor

🤖

Code-Quality Agent

🤖

Confluence

🤖

BugFix-Agent

... und das resultierende Setup

Ephemeral Code

• Kodiert von Agenten für Agenten

• Wenn es nicht (mehr) funktioniert, wird es
  einfach neu regeneriert

• Qualität wird nicht mehr gebraucht.

• Dokumentation wird nicht mehr gebraucht.

• Optimal: komplex zu lösen und einfach zu testen.

• GIT ist nur noch eine Deploymentpipeline

Take that, rightwing uncle bob.

"The future top coding language will be English."

Coatue AI Full Report Nov 2023, https://drive.google.com/file/d/1gQhYT7j6b2wJmrFZHNeQgTiWPyTsjOfX/view

Mein Informatik-Studium ist egal.
 

Meine 25 Jahre Erfahrung ist egal.

Meine Kernaufgaben existieren nicht mehr.

Meine Art zu Arbeiten existiert nicht mehr.

Völlig überteuerter
Junior-Entwickler

High Value
Invidual Contributor

💑Wissensarbeit digitalisieren

• Transformation von White-Collar-Work
   
• Vollständige Prozessketten werden automatisiert
   
• Deutliche Produktivätszugewinne
   
• 50-70% aller White-Collar-Tätigkeiten können automatisiert werden

🧓Frei skalierende Prozesse

• 50 oder 5.000.000 Kundenfragen am Tag bearbeiten
• 3 oder 300 Angebote vergleichen
• 2 oder 20 Shops pro Monat integrieren?
• 10 Stellenanzeigen pro Tag oder alle beantworten

https://hups.com/blog/are-developers-needed-in-the-age-of-ai

🧓AI-optimierte Prozesse

ANT Technologies

• die größte Bank der Welt
• eine Person auf 82500 Kunde
• Banken hier: ca 300 Kunden pro Person

🧓AI-optimierte Prozesse

There is no way that a human-centric approval process can be deployed here.

Ming Yeng, Chief Strategy Officer, Alibaba

Trifft am Ende die Maschine und nicht der Mensch die maßgebliche Entscheidung, ist das unzulässig.

EU AI Act

AI can boost productivity at unprecedented speed.
First movers will be rewarded, and the global race is already on without any question.

Fazit

• Werden wir jetzt alle arbeitslos?
  Nein, um Himmels willen. Wir haben gerade unsere
  Variante von Thors Hammer für unsere Arbeit
  ausgehändigt bekommen.
   
• Ok, was wird denn passieren?
  Digitalisierung von ca 50% der Wissensarbeit mit Skaleneffekten
   
• Wie lange wird das dauern?
  Das weiß noch keiner so richtig. Zwischen 2 und 20 Jahren. Vielleicht.
   
• Und was sollte ich konkret machen, damit es hier funktioniert?
  Ausprobieren und Agentische AI Systeme entwickeln :-)