Autonome Agenten mit LangChain

🦜🔗

Wer es selbst probieren will braucht ...

• einen OpenAI Key
  (sorry dafür, is aber so)
   
• einen SerpAPI-Key
   
• ein Jupyter-Env 
  • Docker wird mitgeliefert
• Internet

• Bekommt Ihr alles unter der URL gleich, und ich erzähl was, solange Ihr einrichtet.

Was sind Agenten?

• fast so alt wie ich, 1977  Hewitt
   
• führt aus eigener Initiative Aktionen aus und arbeitet unabhängig vom Nutzer
   
• kommuniziert mit dem Nutzer und anderen Agenten
   
• passt sich an die Umwelt an und lernt langfristig aus Beobachtungen und Entscheidungen

https://tinyurl.com/codetalks23

Was sind Agenten?

https://tinyurl.com/codetalks23

Sie sind schuld.

https://tinyurl.com/codetalks23

ChatGPT und die
LLM-(R)Evolution

Das geht jetzt intelligent& einfach

• führt aus eigener Initiative Aktionen aus und arbeitet unabhängig vom Nutzer
   
• kommuniziert mit dem Nutzer und anderen Agenten
   
• passt sich an die Umwelt an und lernt langfristig aus Beobachtungen und Entscheidungen

https://tinyurl.com/codetalks23

ChatGPT und die
LLM-(R)Evolution

https://arxiv.org/pdf/2309.07864.pdf

Das Problem mit LLMs und Agenten ... 

• Der LLM-Fuckup: XX token/s
   
• Chat & Streaming geht in UX gerade so - aber nicht bei Agenten
   
• Fazit: Agenten sind asynchrone Services 

🦜🔗 LangChain

🦜🔗 LangChain

🦜🔗 LangChain

• Alternatives
  • AutoChain
  • Semantic Kernel
  • Haystack
  • llama Index
• Langchain Community
  • Features, Doku, Entwickler
  • viel Forks, viele Comitter
  • Häufige compability breaks
• Gegenargumente
  • Zu gross, zu schnell, zu viel
• Wird noch eine Weile populär bleiben.

🦜🔗 Wie tickt LangChain?

Ziele: 

• be data-aware Daten für LLMs bereitstellen
• be agentic Agenten als Kernstrategie

Dafür wird bereitgestellt: 

• Komponenten Abstraktionen für typische Aufgaben
• Off-the-shelf chains (fast) fertige Lösungsstrecken

🦜🔗 Chains

https://python.langchain.com/docs/use_cases/more/agents

https://arxiv.org/pdf/2309.07864.pdf

Default: ReAct Agents

https://blog.research.google/2022/11/react-synergizing-reasoning-and-acting.html

Der agile
Plan-Do-Check-Act-Loop der Agenten.

ReAct

Agents

https://blog.research.google/2022/11/react-synergizing-reasoning-and-acting.html

🦜🔗 ReAct Example

HandsOn 2: ReAct mit LangChain

Bitte
2_react.ipynb
aufrufen.

🦜🔗 Tools

Im Beispiel: search und llm-math

Viele Tools, wachsend ... 

• Alle Suchplattformen, Wikipedia, Arxiv, WolframAlpha, DuckDuckGo, ...
• Libraries: HuggingFace Tools
• Code ausführen: Shell , Python, Lambda
• Interaktion: Human

🦜🔗 Stand da gerade Shell? 

Kommt Ihr noch klar?

Ich soll allen Ernstes OpenAI auf meinem Rechner was ausführen lassen?
 

Bitte
3_react_with_humantool.ipynb
aufrufen.

Wer neugierig ist: unter
https://github.com/mayflower/cloudbot

ist ein kubernetes/aws-bot.

🦜🔗 Long Term Memory

Natürliche Sprache != Strukturierte Daten

! SQL, !NoSQL, !DocumentDB, !GraphDB


Wenn man bloss was hätte, was man mit Sprache abfragen könnte ...

🦜🔗 VectorStores

Superspezialdatenbanken mit 3 Spalten:

• hochdimensionaler Vektorindex
• Textblob
• Metadata

Der Vektorindex kommt aus Embeddings.

🦜🔗 Embeddings

• Texte sind in LLMs in Token 
   
• Embeddings sind Vektoren, die den "Sinn" von einem Stapel Token abbilden

"Liebe Vektordatenbank, gib mir mal alles inhaltlich ähnliches hierzu."

• Every other "Chat My $stuff" Chatbot
   
• Dokumentation verwendbar machen
   
• Callcenter und Supportanfragen automatisch beantworten
   
• Kundenbriefe und Mails auf Basis vergangener ähnlicher Anfragen beantworten
   
• Alles Consultingwissen, von SAP bis Legal.

🦜🔗 Nutzen bei Agenten

🦜🔗 Docstore in Agenten verwenden

Bitte

4_react_with_docstore.ipynb

aufrufen.

🦜🔗 Strukturierte Daten

Hey, schön, dass Du Dich so
über Deinen VectorStore freust.

Unsere Daten liegen trotzdem in Oracle.

🦜🔗 Existierende Datenbanken anbinden

SQLDatabaseToolkit kümmert sich um:

• Parsen der Schemata
• Interpretieren der Daten
• Erzeugen der SQL-Statements

Bitte

5_agent_with_sql_toolkit.ipynb

aufrufen.

🦜🔗 Plan & Solve

🦜🔗 Plan and execute

Der Waterfall unter den Agenten ...

Bitte

6_plan_and_execute.ipynb

aufrufen.

🦜🔗 BabyAGI

AGIs, das MakeMoneyFast!!!111elf der AI.

Wer hat schon mal AutoGPT, BabyAGI, DevGPT, ... genutzt?

GrundIdee: jedes Problem von der AI lösen lassen ohne selbst zu arbeiten.

🦜🔗 BabyAGI

Bitte

7_BabyAGI.ipynb

aufrufen.

🦜🔗 BabyAGI

Praxiserfahrungen:

• es funktioniert in limitierten Domänen
• as in: Abteilungen, Arbeitsbereichen
• es braucht Long Term Memory 
• es braucht Interaktion
• DRY in Richtig.

🦜🔗 Your PAL for formal stuff

Program Aided Language

Wenn eine formelle Sprache ein Problem besser lösen kann sollte sie es tun. 

In Langchain:

LLMath, Bash, Python, SQL etc ...

🦜🔗 Your PAL for formal stuff

Bitte

8_CPAL.ipynb

aufrufen.

🦜🔗 CAMEL: Teamwork

🦜🔗 CAMEL: Teamwork

🦜🔗 CAMEL: Teamwork

• Eigentlich als Simulation für Games etc gedacht
   
• Erstaunlich kluge Ergebnisse
   
• Kann alle anderen Features in Kooperation integrieren
   
• Wirr aber wahr: Teamwork funktioniert auch für AI besser.

🦜🔗 CAMEL: Teamwork

Bitte

9_camel.ipynb

aufrufen.

🦜🔗 Integration in Unternehmens-IT

🦜🔗 Integration in Unternehmens-IT

Bitte

10_office.ipynb

aufrufen.

Q&A

Ausblick

• Vieles ist noch instabil
• Wenn man bleeding edge mag cool
• lokal schnell grosse Benefits realisierbar
• Infrastruktur drumherum entsteht erst
  • Observability (Langsmith etc)
  • Deployment
  • Automation (SuperAgent)