Come funziona un modello linguistico (LLM)
Token, contesto, temperatura, addestramento: le idee essenziali per capire perché i modelli rispondono come rispondono, senza matematica.
Un LLM (Large Language Model) è un modello addestrato su enormi quantità di testo per prevedere la parola successiva (più precisamente il token successivo). Da questo compito apparentemente semplice emergono capacità sorprendenti: ragionare, tradurre, programmare.
Token
I modelli non leggono lettere né parole, ma token: pezzetti di testo, spesso una parola breve o una porzione di parola. In italiano una parola vale mediamente 1,5–2 token. Questo conta perché limiti e costi si misurano in token.
Finestra di contesto
È la "memoria di lavoro" del modello: tutto ciò che può tenere presente in una conversazione (le tue domande, le sue risposte, i documenti allegati). Oltre quel limite, le parti più vecchie vengono perse o riassunte. Una finestra ampia permette di caricare libri o interi repository di codice, ma più il contesto è lungo più è facile che dettagli in mezzo vengano trascurati.
Come viene addestrato
- Pre-addestramento: il modello legge una quantità immensa di testo e impara le regolarità del linguaggio e della conoscenza.
- Post-addestramento: lo si rifinisce con esempi di buone risposte e con il feedback umano (RLHF e tecniche simili) per renderlo utile, onesto e sicuro.
- Modelli di ragionamento: alcune versioni sono addestrate a "pensare" a lungo prima di rispondere, ottenendo risultati migliori su matematica, logica e codice, al prezzo di più tempo.
Temperatura e creatività
La temperatura regola quanto il modello rischia nella scelta del token successivo. Bassa = risposte prevedibili e coerenti; alta = più varietà e fantasia. Nelle app di chat è già impostata per te; la trovi nelle API.
Perché sbaglia
Il modello non "consulta" un database di fatti: ricostruisce risposte plausibili. Quando non sa, può comunque generare qualcosa di plausibile ma falso. Ecco perché esistono strumenti come la ricerca web, i documenti allegati e il RAG, che gli forniscono fonti reali da citare.
Cosa significa per te
- Dai contesto e materiali: più informazioni pertinenti, risposte migliori.
- Per i compiti importanti, chiedi di ragionare passo per passo o usa un modello di ragionamento.
- Verifica sempre i fatti critici.
- Non incollare dati riservati in strumenti che non conosci: leggi la guida su privacy e GDPR.