Prompt, RAG o fine-tuning: cosa scegliere
Un albero decisionale per capire se ti basta un buon prompt, se serve il RAG o se vale la pena fare fine-tuning, con costi, tempi e rischi.
Davanti a un progetto AI la domanda ricorre: miglioro il prompt, collego i documenti (RAG) o riaddestro il modello (fine-tuning)? La risposta giusta quasi sempre segue questo ordine.
La scala di complessità
- Prompt migliore (ore): istruzioni, esempi, formato.
- Contesto e strumenti: documenti allegati, ricerca, tool use.
- RAG (giorni/settimane): conoscenza esterna e aggiornabile.
- Fine-tuning (settimane): cambiare comportamento o stile in profondità.
- Modello proprio (mesi, enormi costi): quasi mai necessario.
Regola: sali di un gradino solo quando quello sotto non basta, misurandolo.
Quando usare cosa
| Il problema è… | Soluzione tipica |
|---|---|
| Il modello non segue il formato | Prompt + esempi + output strutturato |
| Non conosce i miei documenti | RAG |
| Le informazioni cambiano spesso | RAG |
| Serve un tono/stile molto specifico, costante | Esempi nel prompt; se non basta, fine-tuning |
| Compito ripetitivo ad altissimo volume, costi da ridurre | Fine-tuning di un modello piccolo |
| Serve citare le fonti | RAG |
| Compito di nicchia con molto dato etichettato | Fine-tuning |
| Dati che non possono uscire | Modello in locale (guida) |
Cosa non fa il fine-tuning
- Non è il modo giusto per "insegnare fatti": il modello può memorizzarli male e non sai citarli.
- Non aggiorna le conoscenze: dovresti riaddestrare ad ogni cambio.
- Non sostituisce una buona valutazione: serve un set di test.
Checklist prima di fare fine-tuning
- Hai provato prompt con esempi e RAG?
- Hai almeno centinaia/migliaia di esempi di qualità?
- Hai un set di valutazione separato?
- Hai stimato costi e manutenzione (ogni nuovo modello base richiede di rifare)?
- Il miglioramento atteso giustifica la complessità?
Un esempio concreto
Caso: assistente per uno studio legale che risponde su pratiche interne.
- Fase 1: prompt con ruolo, tono, formato → ok sullo stile.
- Fase 2: RAG sui fascicoli → risposte con fonti.
- Fase 3: solo se resta un problema di stile ripetitivo, fine-tuning su 2.000 risposte approvate.
Spesso ti fermerai alla fase 2.