Modelli AI in locale con Ollama e LM Studio
Come eseguire un LLM sul tuo computer, senza internet e senza inviare dati a nessuno: requisiti, installazione, scelta del modello e uso con le tue app.
Eseguire un modello in locale significa che tutto resta sul tuo computer: privacy totale, nessun costo per richiesta, funziona offline. Il prezzo: i modelli che girano su un PC sono meno potenti dei più grandi in cloud.
Quando ha senso
- Documenti riservati (legali, sanitari, aziendali).
- Uso intensivo dove l'API costerebbe troppo.
- Sperimentazione e sviluppo.
- Lavoro offline.
Gli strumenti
| Strumento | Caratteristiche |
|---|---|
| Ollama | Linea di comando semplicissima, tanti modelli, API locale |
| LM Studio | Interfaccia grafica con chat e scaricamento modelli |
| llama.cpp | Motore sottostante, massimo controllo |
| Open WebUI | Interfaccia web stile ChatGPT da collegare a Ollama |
Requisiti: la memoria è tutto
La regola: il modello deve entrare nella memoria (RAM o VRAM della GPU).
| Dimensione modello | Memoria indicativa | Per cosa |
|---|---|---|
| Piccoli (≈ 3–8 miliardi di parametri) | 8–16 GB | Chat, riassunti, compiti semplici |
| Medi (≈ 12–32 miliardi) | 16–32 GB | Qualità buona, codice, ragionamento |
| Grandi (70+ miliardi) | 48 GB e oltre | Workstation o server |
La quantizzazione (versioni compresse come "Q4") riduce la memoria con piccole perdite di qualità. I Mac con memoria unificata e le GPU con molta VRAM sono ideali.
Installare Ollama
- Scarica Ollama dal sito ufficiale e installalo.
- Apri il terminale e scarica un modello:
ollama pull NOME_MODELLO
ollama run NOME_MODELLO- Chatta direttamente nel terminale, oppure collega Open WebUI per un'interfaccia grafica.
Usarlo dal codice
Ollama espone un'API locale compatibile con molti strumenti:
curl http://localhost:11434/api/generate -d '{"model":"NOME_MODELLO","prompt":"Spiegami il RAG in 3 frasi."}'Così puoi collegarlo a script, n8n, editor di codice e sistemi RAG.
Come scegliere il modello
- Cerca modelli recenti nel catalogo Ollama o su Hugging Face.
- Prova 2–3 dimensioni sul tuo hardware.
- Valuta la qualità in italiano con un tuo compito reale.
- Controlla la licenza (uso commerciale).
Realismo: per compiti molto complessi i modelli in cloud restano superiori. Una strategia diffusa è ibrida: locale per i dati sensibili, cloud per tutto il resto.
Vedi anche DeepSeek e modelli aperti e privacy e GDPR.