![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10895040/pasted-from-clipboard.png)
Wer seid Ihr?
-
ChatGPT-Nutzer? CoPilot?
-
Python-Entwickler?
-
Kennt AutoGPT, AgentVerse, BabyAGI, MetaGPT etc?
-
Schon mit LangChain gearbeitet?
-
Und mit LangGraph?
![](https://media1.giphy.com/media/cXblnKXr2BQOaYnTni/giphy.gif)
Vorstellungsrunde
-
Was macht Ihr?
-
Was würdet Ihr gerne mitnehmen?
![](https://media4.giphy.com/media/xUySTIOsf7QxHx1gk0/giphy.gif)
Mitmachen!
Ein Internetzugang und ein Browser reichen aus!
Sourcen sind alle Online.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10992103/pasted-from-clipboard.png)
Was sind Agenten?
-
ALT! (1977 Hewitt)
-
führt aus eigener Initiative Aktionen aus und arbeitet unabhängig vom Nutzer
-
kommuniziert mit dem Nutzer
und anderen Agenten
-
passt sich an die Umwelt an und lernt eigenständig und langfristig aus Beobachtungen und Entscheidungen
![](https://media4.giphy.com/media/9vk7uNCSJaOqI/giphy.gif)
Was sind Agenten?
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10939731/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748093/pasted-from-clipboard.png)
llm = ChatOpenAI(model="gpt-3.5-turbo-0125", temperature=0)
prompt = hub.pull("hwchase17/openai-functions-agent")
tools = [TavilySearchResults()]
agent = create_tool_calling_agent(llm, tools, prompt)
agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
agent_executor.invoke({"input": "how can langsmith help with testing?"})
Welchen Businessprozess
unterstützt ChatGPT?
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10989795/pasted-from-clipboard.png)
GenAI Agenten sind universelle
Problemlöser für eine Business-Domäne.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10989785/pasted-from-clipboard.png)
... und sie sind schuld daran.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744475/pasted-from-clipboard.png)
Das wusste
OpenAI.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744528/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748571/pasted-from-clipboard.png)
Wer sich umorientieren möchte ..
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744535/pasted-from-clipboard.png)
![](https://media2.giphy.com/media/MnN8CPLwABPPSv0u46/giphy.gif)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10938551/pasted-from-clipboard.png)
Warum jetzt?
Agenten gibt es doch schon lange, Sprachmodelle auch.
Warum jetzt auf einmal
so einen Wirbel machen?
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748573/pasted-from-clipboard.png)
Language Models
Gibt es seit den 80ern.
-
Können:
-
Übersetzen
-
Text Generation
-
Lücken füllen
-
Entities erkennen
...
-
-
Das statistisch Wahrscheinliche auf Basis von Model & Input
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10749616/pasted-from-clipboard.png)
Das Teekesselchen-Dilemma
-
Warum haben Fische Schuppen? Damit sie ihre Fahrräder unterstellen können.
-
Treffen sich zwei Kerzen. Fragt die eine die andere:
„Wollen wir zusammen ausgehen?"
Context matters ...
Erst mit dem Kontext kann man herausfinden, was tatsächlich gemeint ist.
![](https://developers.reinfer.io/blog/embeddings/bert-light.gif)
Attention is all You need
Was muss ich berücksichtigen, was nicht?
![](https://miro.medium.com/v2/resize:fit:2176/1*fL8arkEFVKA3_A7VBgapKA.gif)
Input | Prediction |
---|---|
Hello! | How |
Hello! How | can |
Hello! How can | I |
Hello! How can I | as- |
Hello! How can i as- | -sist |
Hello! How can i assist | you |
Hello! How can i assist you | today |
Hello! How can i assist you today | ? |
Transformer Based
Large Language Models
Text-Generation: Sag mir statistisch das nächste Wort voraus ...
![](https://developers.reinfer.io/blog/prompting/next-word-pred-light.gif)
GPT: LARGE Language Models
-
Billionen von Ausgangsdaten
-
Milliarden von Parametern(Gewichten)
-
Sehr teuer zu trainieren:
GPT-4 100.000.000 $ -
"Weltwissen", um korrekt arbeiten zu können
Training:
Die richtige Fortsetzung für
"Zähl mal von 1 bis 12"
ist
"1,2,3,4,5,6,7,8,9,10,11,12"
Wie man aus Text Generation
Instruction Following macht
-
Wenn man nicht das ganze trainieren kann, dann nur den relevanten Teil.
-
Finetuning bzw. PEFT (parameter efficient fine tuning) - nur das trainieren, was man braucht.
-
Mit Lora & co sogar noch kleiner und dazuladbar
-
Wie bei rekursiver Komprimierung wird nicht alles besser mit mehr: Catastrophic forgetting
Finetuning
Finetuning
<|im_start|>system
Sie sind ein KI-Assistent. Sie erhalten eine Aufgabe. Sie müssen eine detaillierte und lange Antwort generieren.
<|im_start|>user
Generieren Sie einen Satz mit etwa fünfzehn Wörtern, der all diese Daten beschreibt:
Mitsommerhaus
Typ: Restaurant;
Essen Chinesisch;
Preisspanne: moderat;
Kundenbewertung: 3 von 5;
Ort: in der Nähe vom Hofbräuhaus
<|im_start|>assistant
Das Mittsommerhaus ist ein moderatpreisiges Restaurant in der Nähe vom Hofbräuhaus, bietet chinesisches Essen an und hat eine Kundenbewertung von 3 von 5.
<|im_end|>
Systemprompt
Prompt
Antwort
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744837/pasted-from-clipboard.png)
FLAN-Palm Finetuning
Und was tuned man so fein?
Warum Agenten jetzt funktionieren
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744837/pasted-from-clipboard.png)
TAFKA-In-Context-Learning:
Prompt Engineering
-
Transformer-Architekturen setzen auf dem Input auf
-
Das kann für neue Informationen genutzt werden
-
Neudeutsch "Prompt Engineering"
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748644/pasted-from-clipboard.png)
Few-Shot-Prompting
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10745167/pasted-from-clipboard.png)
https://the-prompt-engineer.beehiiv.com/p/3-fewshot-prompting
![](https://developers.reinfer.io/blog/prompting/next-word-pred-light.gif)
Chain of Thought Prompting
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10745154/pasted-from-clipboard.png)
Größere Modelle, besseres Finetuning
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744920/pasted-from-clipboard.png)
Ende 2022...
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744906/pasted-from-clipboard.png)
... und seitdem sind alle hibbelig.
Finetuning
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11215646/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10744925/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10566481/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10566485/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10566489/pasted-from-clipboard.png)
- Generate Texts
- Summarization
- Classification
- Question Answering
Planned ...
- Follow Instructions
- Reasoning
- Decision making
- Evaluate Results
Emergent...
-
führt aus eigener Initiative Aktionen aus und arbeitet unabhängig vom Nutzer
-
kommuniziert mit dem Nutzer und anderen Agenten
-
passt sich an die Umwelt an und lernt langfristig aus Beobachtungen und Entscheidungen
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10939639/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10939645/pasted-from-clipboard.png)
Agenten von ChatGPT
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10939702/pasted-from-clipboard.png)
Agenten für Entwickler:Innen
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10943428/pasted-from-clipboard.png)
Wer nutzt CoPilot?
Probleme von LLM-Applikationen
-
Sie halluzinieren, man kann Ihnen nicht trauen
-
Sie könne nur einfache Aufgaben erledigen. Für komplexe Aufgaben braucht es einen Menschen zum Prompten.
-
Sie antworten falsch, und ich muss dann dafür haften.
-
Was ist mit Prüfung mittels Rag?
-
Mit Self-Critique?
-
Mit Schleifen, um es zu korrigieren nach Prüfung?
Text
![](https://media2.giphy.com/media/GDp7LycxkT3LG/giphy.gif)
Kahnemans System 1 vs System 2
-
System 1: Automatisch, unreflektiert, unbewusst.
-
System 2: bewusst, gezielt, reflektiert, selbstkritisch, analytisch und informiert
Das LLM und Agenten verhalten sich
wie System 1 und System 2.
Verlässlichkeit und geprüfte
Information gibt es nur von Agenten.
https://www.linkedin.com/pulse/state-autonomous-ai-agents-dean-meyer/
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11365292/pasted-from-clipboard.png)
Warum LLMs mühsam sind ...
-
LLMs sind sehr langsam: XX token/s
-
Chat & Streaming geht in UX gerade so - aber nicht bei Agenten
-
Fazit: Agenten sind asynchrone Services
-
"Autonom". Ja genau.
![](https://media1.giphy.com/media/l2JHVUriDGEtWOx0c/giphy.gif)
🦜🔗 LangChain
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10745226/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10745265/pasted-from-clipboard.png)
🦜🔗 LangChain
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748103/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748107/pasted-from-clipboard.png)
🦜🔗 LangChain
-
Alternativen
-
AutoChain, Semantic Kernel, Haystack, LlamaIndex
-
-
Langchain Community
-
Features, Doku, Entwickler
-
viel Forks, viele Committer
-
-
Vollständigstes Framework
-
Größte Verbreitung
-
Industriestandard, zB Kurse bei Deeplearning.ai
🦜🔗 LangChain
-
Gegenargumente
-
Umfangreich
-
Steile Lernkurve
-
zum Teil hohe Komplexität
-
zum Teil veraltete Dokumentation
-
häufige Compability Breaks
-
-
Wird noch eine Weile populär bleiben.
🦜🔗 LangChain
🦜🔗 LangChain
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213227/pasted-from-clipboard.png)
🦜🔗 LangSmith
Tracing
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213227/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213241/pasted-from-clipboard.png)
🦜🔗 LangSmith
Promptlogging,
Testing, Annotation,
Model-Testing
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213227/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213428/pasted-from-clipboard.png)
🦜🔗 LangSmith
Promptlogging,
Testing, Annotation,
Model-Testing
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213227/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213428/pasted-from-clipboard.png)
🦜🔗 LangChain
Core
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11213236/pasted-from-clipboard.png)
🦜🔗 HandsOn
Bitte
https://workshop.aisaisbaby.com/
aufrufen!
Bitte mit Realnamen registrieren, damit wir bei Bedarf unterstützen können.
Für die Mutigen:
https://github.com/mayflower/langchain_agents
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748086/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11365001/pasted-from-clipboard.png)
JupyterHub unter
https://workshop.aisaisbaby.com/
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11365015/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11365019/pasted-from-clipboard.png)
Im Folder langchain_agents:
🦜🔗 Wie tickt LangChain?
Ziele:
-
be data-aware Daten für LLMs bereitstellen
-
be agentic Agenten als Kernstrategie
Dafür wird bereitgestellt:
-
Komponenten Abstraktionen für typische Aufgaben
-
Off-the-shelf chains (fast) fertige Lösungsstrecken
🦜🔗 Chains
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10745527/pasted-from-clipboard.png)
🦜🔗
01_basics.ipynb
02_langchain_repo.ipynb
🦜🔗 Long Term Memory
Natürliche Sprache != Strukturierte Daten
Es gibt keine eindeutigen Keys für den Lookup.
! SQL, !NoSQL, !DocumentDB, !GraphDB
Wenn man bloss was hätte, was man
mit Sprache abfragen könnte ...
![](https://media4.giphy.com/media/u4KibgMsDLWM0/giphy.gif)
🦜🔗 VectorStores
Superspezialdatenbanken mit 3 Spalten:
-
hochdimensionaler Vektorindex
-
Textblob
-
Metadata
Der Vektorindex kommt aus Embeddings.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10566878/pasted-from-clipboard.png)
🦜🔗 Embeddings
-
Texte sind in LLMs in Token
-
Embeddings sind Vektoren, die den "Sinn" von einem Stapel Token abbilden
"Liebe Vektordatenbank, gib mir mal alles inhaltlich ähnliches hierzu."
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748719/pasted-from-clipboard.png)
🦜🔗
03_rag_basics.ipynb
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748093/pasted-from-clipboard.png)
https://python.langchain.com/docs/use_cases/more/agents
🦜🔗 Default: ReAct Agents
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10745453/pasted-from-clipboard.png)
https://blog.research.google/2022/11/react-synergizing-reasoning-and-acting.html
Der agile
Plan-Do-Check-Act-Loop der Agenten.
ReAct
Agents
https://blog.research.google/2022/11/react-synergizing-reasoning-and-acting.html
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10745476/pasted-from-clipboard.png)
🦜🔗
04_react.ipynb
-
Every other "Chat My $stuff" Chatbot
-
Dokumentation verwendbar machen
-
Callcenter und Supportanfragen automatisch beantworten
-
Kundenbriefe und Mails auf Basis vergangener ähnlicher Anfragen beantworten
-
Alles Consultingwissen, von SAP bis Legal.
🦜🔗 VectorStores einsetzen bei Agenten
🦜🔗
05_agentic_rag.ipynb
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10939731/pasted-from-clipboard.png)
ReAct
Tools
🦜🔗 Tools
Im Beispiel: search und llm-math
Viele Tools, wachsend ...
-
Alle Suchplattformen, Wikipedia, Arxiv, WolframAlpha, DuckDuckGo, ...
-
Libraries: HuggingFace Tools
-
Code ausführen: Shell , Python, Lambda
-
Interaktion: Human
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10747983/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11361158/pasted-from-clipboard.png)
🦜🔗 Einfache Toolnutzung
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11361160/pasted-from-clipboard.png)
🦜🔗 Flexible Toolnutzung
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11216597/pasted-from-clipboard.png)
🦜🔗 Gegenseitige Aufrufe
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11361161/pasted-from-clipboard.png)
https://github.com/jwa91/LangGraph-Expense-Tracker/
🦜🔗 Workflows mit Aufruffolgen
https://blog.langchain.dev/code-execution-with-langgraph/
🦜🔗 Appium Flow
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11366128/pasted-from-clipboard.png)
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11361162/pasted-from-clipboard.png)
https://github.com/assafelovic/gpt-researcher/
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11361169/pasted-from-clipboard.png)
🦜🔗 GTP-Researcher
State
Nodes
Edges
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11361204/pasted-from-clipboard.png)
Agenten-Workflows werden als State-Machine modeliert
from langgraph.graph import MessageGraph, END
workflow = MessageGraph()
workflow.add_node("chatbot", model)
workflow.set_entry_point("chatbot")
workflow.add_edge("chatbot", END)
graph_app = workflow.compile()
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11361226/pasted-from-clipboard.png)
-
StateGraph
- Enthält den Graphen
- Status und Konfiguration als Parameter
- Jedes Statuselement kann einen Reducer haben
from langgraph.graph import StateGraph, MessageGraph
def reducer(a: list, b: int | None) -> int:
if b is not None:
return a + [b]
return a
class State(TypedDict):
x: Annotated[list, reducer]
class ConfigSchema(TypedDict):
r: float
graph = StateGraph(State, config_schema=ConfigSchema)
- meist Python-Funktionen
- erster Parameter der Funktion ist der State
- zweiter (optionaler Parameter) ist configuration
- kommunizieren über Status
- Sonderknoten START und END
def myfunc(state):
answer = state["x"][-1]
graph.add_node("agent", myfunc)
graph.add_node("chatbot", async (state: BaseMessage[]) => {
return model.invoke(state);
});
workflow.add_node("action", ToolNode(tools))
Nodes / Knoten
- Direkte verbindungen zwischen zwei Nodes
- Bedingte Verbindungen zwischen zwei Nodes
- Können parallel ausgeführt werden
graph.add_edge("step1", "step2") def should_continue(data) if isinstance(data["agent_outcome"], AgentFinish): return "end" else: return "continue" graph.add_conditional_edges("agent", should_continue, {"continue": "next_action",
"end": END}
)
Edges / Kanten
🦜🔗
06_langgraph_intro.ipynb
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11216604/pasted-from-clipboard.png)
🦜🔗
07_checkpoints.ipynb
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/11216593/pasted-from-clipboard.png)
Context oder VectorStore?
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10941808/pasted-from-clipboard.png)
🦜🔗
08_memory.ipynb
🦜🔗 Strukturierte Daten
Hey, schön, dass Du Dich so
über Deinen VectorStore freust.
Unsere Daten liegen trotzdem in Oracle.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748071/pasted-from-clipboard.png)
🦜🔗 Existierende Datenbanken anbinden
SQLDatabaseToolkit kümmert sich um:
-
Parsen der Schemata
-
Interpretieren der Daten
-
Erzeugen der SQL-Statements
Bitte
09_agent_with_sql_toolkit.ipynb
aufrufen.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748982/pasted-from-clipboard.png)
🦜🔗 Plan & Solve
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748123/pasted-from-clipboard.png)
🦜🔗 Plan and Execute Agent
Der Waterfall unter den Agenten:
Bitte
6_plan_and_execute.ipynb
aufrufen.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10748990/pasted-from-clipboard.png)
🦜🔗 BabyAGI
AGIs, das MakeMoneyFast!!!111elf der AI.
Wer hat schon mal AutoGPT, BabyAGI, DevGPT, ... genutzt?
GrundIdee: jedes Problem von der AI lösen lassen ohne selbst zu arbeiten.
🦜🔗 BabyAGI
Bitte
7_BabyAGI.ipynb
aufrufen.
🦜🔗 BabyAGI
Praxiserfahrungen:
-
es funktioniert in limitierten Domänen
-
as in: Abteilungen, Arbeitsbereichen
-
es braucht Long Term Memory
-
es braucht Interaktion
-
DRY in Richtig.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10749001/pasted-from-clipboard.png)
🦜🔗 Your PAL for formal stuff
Program Aided Language
Wenn eine formelle Sprache ein Problem besser lösen kann sollte sie es tun.
In Langchain:
LLMath, Bash, Python, SQL etc ...
🦜🔗 Your PAL for formal stuff
Bitte
8_CPAL.ipynb
aufrufen.
![](https://media3.giphy.com/media/mTPjPA6SSXgTsnZ1Dh/giphy.gif)
🦜🔗 CAMEL: Teamwork
-
Eigentlich als Simulation für Games etc gedacht
-
Erstaunlich kluge Ergebnisse
-
Kann alle anderen Features in Kooperation integrieren
-
Wirr aber wahr: Teamwork funktioniert auch für AI besser.
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10829455/pasted-from-clipboard.png)
Bitte
9_camel.ipynb
aufrufen.
🦜🔗 CAMEL: Teamwork
![](https://media4.giphy.com/media/DhstvI3zZ598Nb1rFf/giphy.gif)
🦜🔗 Multimodale Agenten
-
Multimodale Large Language Models: Image, Video, Audio
-
OCR, Object Recognition, Question Answering im Vorübergehen
-
"Trainierst Du noch oder bist Du schon Multimodal?"
-
Dokumentenprüfung, Extraktion, Zusammenfassung und Beantwortung
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10989910/pasted-from-clipboard.png)
Bitte
14_agent_with_vision.ipynb
aufrufen.
🦜🔗 Multimodale Agenten
![](https://s3.amazonaws.com/media-p.slid.es/uploads/1073786/images/10989915/pasted-from-clipboard.png)
Praxis und Ausblick
-
Vieles ist noch instabil
-
Wenn man bleeding edge mag cool
-
Aber: lokal schnell große Benefits realisierbar
-
Infrastruktur drumherum entsteht erst
-
Observability (Langsmith etc)
-
Deployment
-
Automation (SuperAgent)
-
Q&A
![](https://media4.giphy.com/media/3otPoOxyDTXjzpMbIY/giphy.gif)
Slides: https://slides.com/johann-peterhartmann/autonome-agenten/
Code: https://github.com/mayflower/codetalks23/
Langchain-Buch: http://hub.mayflower.de/langchain-buch
Autonome Agenten mit Langchain
By Johann-Peter Hartmann
Autonome Agenten mit Langchain
- 274