Casi d'uso per l'integrazione di LLM in applicazioni di prodotto
NonCompila Tech Talks
Dic 2025
lbarasti
Punti di forza degli LLM 👀
-
Inventare coseFare stime plausibili - Agire da smistatori
- Convertire il linguaggio naturale in codice (e viceversa)
Debolezze degli LLM 📉
- Incapacità di agire nel mondo reale
- Risposte inventate
- Errori grossolani su problemi basilari
Focus di questo talk
Tecniche d'uso degli LLM che siano
- Efficaci
- Pratiche
- A basso rischio
- Stimolanti
... un meccanismo che permette ad un LLM di
Cosa
- selezionare una funzione da una lista
- fornire i parametri di input della funzione
- consumarne l'output
LLM + tool API
LLM che invocano tool
Come
LLM che invocano tool
Come
LLM che invocano tool
Come
LLM che invocano tool
Come
per i Tool
Casi d'uso
Linguaggio naturale → ...
Linguaggio naturale → bash script
🙋 La porta 1234 è in uso?
[⠋] Thinking... Executing command:
lsof -i :1234
[⠦] Thinking...
🤖 La porta 1234 è in uso da:
- com.docker (PID: 13054) - LISTEN
Linguaggio naturale → SQL
🙋 Chi ha inviato l'ultimo ordine nel database?
[⠋] Thinking... Executing query:
SELECT users.username FROM orders JOIN users ON
orders.user_id = users.id ORDER BY orders.order_date DESC
LIMIT 1;
[⠋] Thinking...
🤖 L'ultimo ordine nel database è stato inviato dall'utente alex_wilson
Invocare tool...
... affronta alcune delle debolezze degli LLM
- Incapacità di agire nel mondo reale
- Risposte inventate
- Errori grossolani su problemi basilari
Mancanza di accesso a
- Eventi recenti
- Documenti privati
Retrieval
Augmented
Generation
Ricerca
Semantica
- Embedding (immersione)
- Database vettoriali
Word embeddings
Database vettoriali
0.692
RAG pipeline - preprocessing
RAG pipeline - query
Esempio
Problema: gli LLM non sono aggiornati sulle ultime versioni delle librerie che uso
Soluzione
1. Indicizza periodicamente la documentazione delle librerie e salvale in un database vettoriale
2. Quando faccio una domanda, applica RAG per arrichire la query con la documentazione corrente
🙋 ruby_llm supporta la generazione di immagini?
[⠋] Thinking... Query: ruby_llm image generation
[⠋] Thinking...
🤖 Sì, RubyLLM supporta la generazione di immagini. Puoi creare immagini usando il metodo RubyLLM.paint.
Esempio - in pratica
🙋 Che tipo di licenza ha tty-prompt?
[⠋] Thinking... Query: tty-prompt license
[⠋] Thinking...
🤖 La libreria `tty-prompt` è rilasciata sotto licenza MIT. Questo significa che è open source e consente...
Esempio - in pratica
References
- ruby_assistant - companion repository to my talk
- ruby_llm - unified Ruby interface to various LLM models
- text-to-SQL
- paper: C3: Zero-shot Text-to-SQL with ChatGPT (2023)
- Embeddings and semantic search
- LLM embeddings explained by Hesam Sheikh Hassani
- pgvector - Open-source vector similarity search for Postgres
- Extensive intro to using PostgreSQL as vector database by Timescale
- Building an AI-powered Slackbot by Amanda Bizzinotto
- OpenAI model (cost) comparison
Agent failures
Costs
Open-weight vs proprietary models
Privacy
Infosec
MCP
Bonus material
MCP example
Considerations on cost
Casi d’uso per l’integrazione di LLM in applicazioni di prodotto
By Lorenzo Barasti
