Casi d'uso per l'integrazione di LLM in applicazioni di prodotto

NonCompila Tech Talks

Dic 2025

lbarasti

Punti di forza degli LLM 👀

~~Inventare cose~~ Fare stime plausibili
Agire da smistatori
Convertire il linguaggio naturale in codice (e viceversa)

Debolezze degli LLM 📉

Incapacità di agire nel mondo reale
Risposte inventate
Errori grossolani su problemi basilari

Focus di questo talk

Tecniche d'uso degli LLM che siano

Efficaci
Pratiche
A basso rischio
Stimolanti

... un meccanismo che permette ad un LLM di

Cosa

selezionare una funzione da una lista
fornire i parametri di input della funzione
consumarne l'output

LLM + tool API

LLM che invocano tool

Come

LLM che invocano tool

Come

LLM che invocano tool

Come

LLM che invocano tool

Come

per i Tool

Casi d'uso

Linguaggio naturale → ...

Linguaggio naturale → bash script

🙋 La porta 1234 è in uso?

[⠋] Thinking... Executing command:

lsof -i :1234

[⠦] Thinking...

🤖 La porta 1234 è in uso da:

- com.docker (PID: 13054) - LISTEN

Linguaggio naturale → SQL

🙋 Chi ha inviato l'ultimo ordine nel database?

[⠋] Thinking... Executing query:

SELECT users.username FROM orders JOIN users ON
orders.user_id = users.id ORDER BY orders.order_date DESC LIMIT 1;
[⠋] Thinking...

🤖 L'ultimo ordine nel database è stato inviato dall'utente alex_wilson

Invocare tool...

... affronta alcune delle debolezze degli LLM

Incapacità di agire nel mondo reale
Risposte inventate
Errori grossolani su problemi basilari

Mancanza di accesso a

Eventi recenti
Documenti privati

Retrieval

Augmented

Generation

Ricerca

Semantica

Embedding (immersione)
Database vettoriali

Word embeddings

Database vettoriali

0.692

RAG pipeline - preprocessing

RAG pipeline - query

Esempio

Problema: gli LLM non sono aggiornati sulle ultime versioni delle librerie che uso

Soluzione

1. Indicizza periodicamente la documentazione delle librerie e salvale in un database vettoriale

2. Quando faccio una domanda, applica RAG per arrichire la query con la documentazione corrente

🙋 ruby_llm supporta la generazione di immagini?

[⠋] Thinking... Query: ruby_llm image generation
[⠋] Thinking...

🤖 Sì, RubyLLM supporta la generazione di immagini. Puoi creare immagini usando il metodo RubyLLM.paint.

Esempio - in pratica

🙋 Che tipo di licenza ha tty-prompt?

[⠋] Thinking... Query: tty-prompt license
[⠋] Thinking...

🤖 La libreria `tty-prompt` è rilasciata sotto licenza MIT. Questo significa che è open source e consente...

Esempio - in pratica

References

ruby_assistant - companion repository to my talk
ruby_llm - unified Ruby interface to various LLM models
text-to-SQL
- paper: C3: Zero-shot Text-to-SQL with ChatGPT (2023)
Embeddings and semantic search
- LLM embeddings explained by Hesam Sheikh Hassani
- pgvector - Open-source vector similarity search for Postgres
- Extensive intro to using PostgreSQL as vector database by Timescale
- Building an AI-powered Slackbot by Amanda Bizzinotto
OpenAI model (cost) comparison

Agent failures

Costs

Open-weight vs proprietary models

Privacy

Infosec

MCP

Bonus material

MCP example

Considerations on cost