Wer seid Ihr?

• ChatGPT-Nutzer? CoPilot?

• Python-Entwickler?

• Kennt  AutoGPT, AgentVerse, BabyAGI, MetaGPT etc?

• Schon mit LangChain gearbeitet?

Vorstellungsrunde

• Was macht Ihr?

• Was würdet Ihr gerne mitnehmen?

Ihr solltet haben:

• ein Docker-Environment

• einen Clone von https://github.com/mayflower/langchain_agents

• eine .env-Datei mit diversen Keys

• eine Internet-Verbindung

Was sind Agenten?

• ALT! (1977  Hewitt)
   

• führt aus eigener Initiative Aktionen aus und arbeitet unabhängig vom Nutzer
   

• kommuniziert mit dem Nutzer
  und anderen Agenten
   

• passt sich an die Umwelt an und lernt eigenständig und langfristig aus Beobachtungen und Entscheidungen

Was sind Agenten?

Welchen Businessprozess
unterstützt ChatGPT?

 

GenAI Agenten sind universelle
Problemlöser für eine Business-Domain.

... und sie sind schuld daran.

Das wusste
OpenAI.

Wer sich umorientieren möchte ..

Warum jetzt? 

Agenten gibt es doch schon lange, Sprachmodelle auch.

Warum jetzt auf einmal

so einen Wirbel machen?

Language Models

Gibt es seit den 80ern.

• Können:

  • Übersetzen

  • Text Generation

  • Lücken füllen

  • Entities erkennen
    ...
     

• Das statistisch Wahrscheinliche auf Basis von Model & Input

Übersetzen und Lücken füllen

• Warum haben Fische Schuppen? Damit sie ihre Fahrräder unterstellen können.
  
   

• Treffen sich zwei Kerzern. Fragt die eine die andere:
  ​„Wollen wir zusammen ausgehen?"

Context matters ...

Erst mit dem Kontext kann man herausfinden, was tatsächlich gemeint ist.

Attention is all You need

Was muss ich berücksichtigen, was nicht?

Transformer Based
Large Language Models

Text-Generation: Sag mir statistisch das nächste Wort voraus ... 

GPT: LARGE Language Models

• Billionen von Ausgangsdaten

• Milliarden von Parametern(Gewichten)

• Sehr teuer zu trainieren:
  GPT-4 100.000.000 $

• "Weltwissen", um korrekt arbeiten zu können

Training:
Die richtige Fortsetzung für

"Zähl mal von 1 bis 12"

ist

"1,2,3,4,5,6,7,8,9,10,11,12"
 

Wie man aus Text Generation
Instruction Following macht

• Wenn man nicht das ganze trainieren kann, dann nur den relevanten Teil.
   

• Finetuning bzw. PEFT (parameter efficient fine tuning) - nur das trainieren, was man braucht.




• Mit Lora & co sogar noch kleiner und dazuladbar
   

• Wie bei rekursiver Komprimierung wird nicht alles besser mit mehr: Catastrophic forgetting

Finetuning

Finetuning

<|im_start|>system
Sie sind ein KI-Assistent. Sie erhalten eine Aufgabe. Sie müssen eine detaillierte und lange Antwort generieren.
<|im_start|>user
Generieren Sie einen Satz mit etwa fünfzehn Wörtern, der all diese Daten beschreibt:
Mitsommerhaus
Typ: Restaurant;
Essen Chinesisch;
Preisspanne: moderat;
Kundenbewertung: 3 von 5;
Ort: in der Nähe vom Hofbräuhaus
<|im_start|>assistant
Das Mittsommerhaus ist ein moderatpreisiges Restaurant in der Nähe vom Hofbräuhaus, bietet chinesisches Essen an und hat eine Kundenbewertung von 3 von 5.
<|im_end|>
 

Systemprompt

Prompt

Antwort

FLAN-Palm Finetuning

Und was tuned man so fein?

Warum Agenten jetzt funktionieren

TAFKA-In-Context-Learning:
Prompt Engineering

• Transformer-Architekturen setzen auf dem Input auf
   

• Das kann für neue Informationen genutzt werden
   

• Neudeutsch "Prompt Engineering"

Few-Shot-Prompting

https://the-prompt-engineer.beehiiv.com/p/3-fewshot-prompting

Chain of Thought Prompting

Größere Modelle, besseres Finetuning

Ende 2022...

... und seitdem sind alle hibbelig.

Finetuning

• führt aus eigener Initiative Aktionen aus und arbeitet unabhängig vom Nutzer

• kommuniziert mit dem Nutzer und anderen Agenten

• passt sich an die Umwelt an und lernt langfristig aus Beobachtungen und Entscheidungen

Agenten von ChatGPT

Agenten für Entwickler:Innen

Wer nutzt CoPilot?

Warum LLMs mühsam sind ...

• LLMs sind sehr langsam: XX token/s
   

• Chat & Streaming geht in UX gerade so - aber nicht bei Agenten
   

• Fazit: Agenten sind asynchrone Services
   

• "Autonom". Ja genau.

🦜🔗 LangChain

🦜🔗 LangChain

🦜🔗 LangChain

• Alternativen

  • AutoChain, Semantic Kernel, Haystack, LlamaIndex

• Langchain Community

  • Features, Doku, Entwickler

  • viel Forks, viele Committer

• Vollständigstes Framework

• Größte Verbreitung

• Industriestandard, zB Kurse bei Deeplearning.ai

🦜🔗 LangChain

• Gegenargumente

  • Umfangreich

  • Steile Lernkurve

  • zum Teil hohe Komplexität

  • zum Teil veraltete Dokumentation

  • häufige Compability Breaks

• Wird noch eine Weile populär bleiben.

🦜🔗 LangChain

🦜🔗 LangChain

🦜🔗 LangSmith
Tracing

🦜🔗 LangSmith
Promptlogging,
Testing, Annotation,
Model-Testing

🦜🔗 LangSmith
Promptlogging,
Testing, Annotation,
Model-Testing

🦜🔗 LangChain
Core

🦜🔗 HandsOn 

Bei wem läuft denn schon?

Wenn nein: macht nix, geht auch später und kommt auch hier vorne.

Noch mal sorry für die Keys, aber ohne funktionieren Agenten (noch) nicht.

🦜🔗 LangChain vs LLM

HandsOn 1: LangChain vs LLM.

Jupyter läuft?
OPENAI_API_KEY steht in .env? 

Super!
 

Bitte
1_langchain_basics.ipynb
aufrufen.

🦜🔗 Wie tickt LangChain?

Ziele: 

• be data-aware Daten für LLMs bereitstellen

• be agentic Agenten als Kernstrategie

Dafür wird bereitgestellt: 

• Komponenten Abstraktionen für typische Aufgaben

• Off-the-shelf chains (fast) fertige Lösungsstrecken

🦜🔗 Chains

🦜🔗
01_basics.ipynb

02_langchain_repo.ipynb

🦜🔗 Long Term Memory

Natürliche Sprache != Strukturierte Daten

! SQL, !NoSQL, !DocumentDB, !GraphDB


Wenn man bloss was hätte, was man mit Sprache abfragen könnte ...

🦜🔗 VectorStores

Superspezialdatenbanken mit 3 Spalten:

• hochdimensionaler Vektorindex

• Textblob

• Metadata

Der Vektorindex kommt aus Embeddings.

🦜🔗 Embeddings

• Texte sind in LLMs in Token 

• Embeddings sind Vektoren, die den "Sinn" von einem Stapel Token abbilden

"Liebe Vektordatenbank, gib mir mal alles inhaltlich ähnliches hierzu."

🦜🔗
03_rag_basics.ipynb

https://python.langchain.com/docs/use_cases/more/agents

🦜🔗 Default: ReAct Agents

https://blog.research.google/2022/11/react-synergizing-reasoning-and-acting.html

Der agile
Plan-Do-Check-Act-Loop der Agenten.

ReAct

Agents

https://blog.research.google/2022/11/react-synergizing-reasoning-and-acting.html

🦜🔗
04_react.ipynb

• Every other "Chat My $stuff" Chatbot
   

• Dokumentation verwendbar machen
   

• Callcenter und Supportanfragen automatisch beantworten
   

• Kundenbriefe und Mails auf Basis vergangener ähnlicher Anfragen beantworten
   

• Alles Consultingwissen, von SAP bis Legal.

🦜🔗 VectorStores einsetzen bei Agenten

🦜🔗
05_agentic_rag.ipynb

ReAct

Tools

🦜🔗 Tools

Im Beispiel: search und llm-math

Viele Tools, wachsend ... 

• Alle Suchplattformen, Wikipedia, Arxiv, WolframAlpha, DuckDuckGo, ...

• Libraries: HuggingFace Tools

• Code ausführen: Shell , Python, Lambda

• Interaktion: Human

🦜🔗
06_langgraph_intro.ipynb

🦜🔗
07_checkpoints.ipynb

Context oder VectorStore?

🦜🔗
08_memory.ipynb

🦜🔗 Strukturierte Daten

Hey, schön, dass Du Dich so
über Deinen VectorStore freust.

Unsere Daten liegen trotzdem in Oracle.

🦜🔗 Existierende Datenbanken anbinden

SQLDatabaseToolkit kümmert sich um:

• Parsen der Schemata

• Interpretieren der Daten

• Erzeugen der SQL-Statements

Bitte

09_agent_with_sql_toolkit.ipynb

aufrufen.

🦜🔗 Plan & Solve

🦜🔗 Plan and Execute Agent

Der Waterfall unter den Agenten:

Bitte

6_plan_and_execute.ipynb

aufrufen.

🦜🔗 BabyAGI

AGIs, das MakeMoneyFast!!!111elf der AI.

Wer hat schon mal AutoGPT, BabyAGI, DevGPT, ... genutzt?

GrundIdee: jedes Problem von der AI lösen lassen ohne selbst zu arbeiten.

🦜🔗 BabyAGI

Bitte

7_BabyAGI.ipynb

aufrufen.

🦜🔗 BabyAGI

Praxiserfahrungen:

• es funktioniert in limitierten Domänen

• as in: Abteilungen, Arbeitsbereichen

• es braucht Long Term Memory 

• es braucht Interaktion

• DRY in Richtig.

🦜🔗 Your PAL for formal stuff

Program Aided Language

Wenn eine formelle Sprache ein Problem besser lösen kann sollte sie es tun. 

In Langchain:

LLMath, Bash, Python, SQL etc ...

🦜🔗 Your PAL for formal stuff

Bitte

8_CPAL.ipynb

aufrufen.

🦜🔗 CAMEL: Teamwork

• Eigentlich als Simulation für Games etc gedacht
   

• Erstaunlich kluge Ergebnisse
   

• Kann alle anderen Features in Kooperation integrieren
   

• Wirr aber wahr: Teamwork funktioniert auch für AI besser.

Bitte

9_camel.ipynb

aufrufen.

🦜🔗 CAMEL: Teamwork

🦜🔗 Multimodale Agenten

• Multimodale Large Language Models: Image, Video, Audio

• OCR, Object Recognition, Question Answering im Vorübergehen

• "Trainierst Du noch oder bist Du schon Multimodal?"

• Dokumentenprüfung, Extraktion, Zusammenfassung und Beantwortung

Bitte

14_agent_with_vision.ipynb

aufrufen.

🦜🔗 Multimodale Agenten

Praxis und Ausblick

• Vieles ist noch instabil

• Wenn man bleeding edge mag cool

• Aber: lokal schnell große Benefits realisierbar
   

• Infrastruktur drumherum entsteht erst

  • Observability (Langsmith etc)

  • Deployment

  • Automation (SuperAgent)

Q&A

Slides:  https://slides.com/johann-peterhartmann/autonome-agenten/

Code: https://github.com/mayflower/codetalks23/

Langchain-Buch: http://hub.mayflower.de/langchain-buch