Capire che cosa sono i token aiuta a comprendere molti aspetti dei sistemi IA di uso comune. Per esempio, aiuta a comprendere perché una conversazione con un chatbot non può diventare infinitamente lunga, perché il numero delle parole è differente da quello dei token, perché il numero di token varia a seconda della lingua e perché molti servizi di IA hanno logiche di prezzo legate al numero di token utilizzati. Spieghiamo cos’è un token e come funziona senza fare ricorso a troppi tecnicismi.

Un token è una delle unità nelle quali un programma chiamato tokenizer divide il testo prima di consegnarlo ai modelli linguistici quali, per esempio, i modelli Gpt di ChatGpt di OpenAI, Claude di Anthropic o Gemini di Google.

È importante sapere che un token non coincide necessariamente con una parola, può coincidere con un pezzo di parola, un singolo carattere, un segno di punteggiatura oppure una sequenza che comprende anche uno spazio.

Un tokenizer dispone di propri dizionari (sistemi di decodifica), composti da decine o centinaia di migliaia di queste sequenze. Quando riceve un testo, cerca di rappresentarlo usando le voci disponibili nel suo vocabolario e sostituisce ciascuna di esse con un numero identificativo.

Il modello, quindi, non riceve la frase nello stesso modo in cui un utente la scrive.

Numero di parole e di token non coincidono

Un esempio reale rende immediatamente visibile la differenza.

La frase “intelligenza artificiale” è formata da due parole. Usando tiktoken con la codifica o200k_base di OpenAI (uno dei sistemi di decodifica), la frase viene invece suddivisa in cinque token: “int” – “elligen” – “za” – “ artific” – “iale”. I rispettivi identificatori numerici sono 491, 160125, 2051, 105453 e 16193.

Due parole, quindi, diventano cinque token. Lo spazio che precede “artificiale” è incorporato nel token “artific”. Questo è il normale funzionamento della tokenizzazione, ovvero del processo che suddivide le parole in token, e non è un risultato che può essere considerato universale. Infatti, usando tokenizer o vocabolari interni diversi, la stessa frase può essere suddivisa in altri modi. Questo è anche il motivo per cui non esiste una formula esatta che permetta di trasformare automaticamente un numero di parole in un numero di token.

Perché non usare semplicemente le parole

L’idea più spiccia è quella di assegnare un numero a ogni parola di una lingua. Così facendo, però, il dizionario di un modello IA diventerebbe enorme e non sarebbe mai completo.

Bisognerebbe prevedere tutte le forme dei verbi, singolari e plurali, nomi propri, termini tecnici, parole straniere, errori di battitura, indirizzi internet, neologismi, eccetera.

Dividere il testo in frammenti (token) permette invece di utilizzare un vocabolario di dimensioni finite e, combinando tali frammenti, rappresentare una quantità più grande di parole e quindi di testo.

Chi decide dove spezzare una parola

Non esiste un solo metodo. Tiktoken, il tokenizer open source di OpenAI, utilizza una tecnica basata sul Byte Pair Encoding (BPE). Durante la costruzione del vocabolario vengono individuate sequenze che ricorrono spesso nei dati e alcune di queste possono essere trattate come un'unica unità.

Ciò è possibile perché il dizionario interno non deve rispettare la grammatica di una lingua. Infatti, un tokenizer non è un insegnante di lingue, non cerca le radici delle parole, i prefissi o i suffissi, cerca un modo efficiente per rappresentare il testo usando il proprio vocabolario.

È per questo che la suddivisione delle parole “intelligenza artificiale” può sembrare peregrina, ma la tokenizzazione non è stata progettata per riprodurre il modo in cui un essere umano esamina o usa una parola.

Anche spazi, accenti e maiuscole contano

La tokenizzazione non riguarda soltanto le lettere.

Uno spazio può essere incorporato nel token che segue, come visto sopra, e un accento cambia la sequenza di caratteri. Lo stesso vale per maiuscole, minuscole e per la punteggiatura. “Roma”, “roma” e “ROMA” sono tre sequenze diverse. Non c'è alcuna regola che obblighi il tokenizer a rappresentarle nello stesso modo. Questo spiega anche perché modifiche apparentemente minime a un testo possono cambiare il numero di token.

Il tokenizer non stabilisce se una frase è vera, non risolve un'ambiguità e non comprende il significato di una parola. Applica le proprie regole e restituisce una sequenza di identificatori numerici e qui termina il suo lavoro. Divide e codifica il testo e il modello linguistico lo elabora.

Come fanno i numeri ad acquistare un significato

Ricevere una sequenza come 491, 160125, 2051, 105453 e 16193 non basta ovviamente per comprendere una frase.

All'interno del modello IA ogni identificatore viene associato a una rappresentazione matematica chiamata embedding. Invece di un solo numero, il token viene rappresentato mediante una lunga serie di valori numerici.

Si può immaginare l'embedding iniziale come il punto di partenza matematico dal quale il modello comincia a elaborare quel token. Il passaggio decisivo avviene dopo, quando questa rappresentazione viene messa in relazione con quelle degli altri token presenti nel testo.

Il significato dipende dal contesto

Nella frase “la ricevuta va redatta con una penna nera”, la parola “penna” indica uno strumento per scrivere. Nella frase “la penna dell'aquila è caduta dal cielo” indica invece una piuma.

Il tokenizer non deve scegliere tra questi significati, deve solo codificare il testo. È compito del modello linguistico elaborare i token della frase e costruire una rappresentazione diversa a seconda del contesto. Parole come “redatta” e “ricevuta” spingono l'interpretazione in una direzione, mentre le parole “aquila” e “cielo” in un'altra. Il token di partenza non viene riscritto. Cambia invece la rappresentazione matematica che il modello sta costruendo di quel token nel suo contesto.

Anche l'ordine delle parole conta. Il modello deve inoltre sapere dove si trovano i token. Pure scadendo nella banalità, le frasi “il cane morde l'uomo” e “l'uomo morde il cane” utilizzano le stesse parole ma non significano la stessa cosa. Ciò vuole dire che il modello IA deve poter distinguere sia gli elementi di una frase, sia il loro ordine.

Come nasce una risposta

Per i modelli generativi utilizzati nei chatbot, il compito consiste nel prevedere quale token potrebbe seguire quelli che sono già presenti. Dopo avere elaborato il contesto, il modello assegna dei punteggi ai possibili token successivi. Questi punteggi vengono trasformati in una distribuzione di probabilità.

Il sistema di generazione seleziona quindi un token secondo le regole impostate e lo aggiunge alla sequenza. A questo punto il modello calcola nuovamente quale token potrebbe venire dopo e così via fino ad avere fornito all’utente il risultato completo.

È per questo che una risposta viene costruita progressivamente, ovvero, più semplicemente, se una parola è composta da tre token, per produrla possono essere necessari tre successivi passaggi di generazione. L’utente vede comparire una parola sola ma, al proprio interno, il sistema IA ha prodotto tre token.

Come impara a prevedere il token successivo

Durante la fase di addestramento, i modelli linguistici vengono esposti a enormi quantità di sequenze di token e imparano a prevedere ciò che viene dopo. Immaginiamo una sequenza costituita dai token A, B, C e D. Il modello può imparare a prevedere B dopo A, C dopo A e B, D dopo A, B e C.

Quando la previsione è sbagliata, l'errore viene utilizzato durante l'addestramento per modificare i parametri. Ripetuto su enormi quantità di dati, questo processo permette al sistema di apprendere regolarità del linguaggio, relazioni tra concetti, strutture sintattiche e molte altre caratteristiche statistiche presenti nei dati.

Dire che un modello “prevede il prossimo token” è quindi corretto, ma può risultare fuorviante se viene interpretato come un'operazione banale. Per riuscire a fare bene una previsione, un modello IA costruisce rappresentazioni matematiche del contesto molto complesse.

Non tutti i modelli usano lo stesso tokenizer

BPE è molto diffuso, ma non è l'unico sistema disponibile. Esistono tecniche come WordPiece e Unigram. SentencePiece, un software open source sviluppato da ricercatori di Google, può utilizzare per esempio sia BPE sia il modello Unigram e può essere addestrato direttamente su testo non precedentemente diviso in parole.

La parola token indica quindi il risultato generale della segmentazione, non un unico algoritmo universale. Per questo 1.000 token in un sistema non corrispondono necessariamente allo stesso testo rappresentato da 1.000 token in un altro.

Perché i token limitano anche la lunghezza delle conversazioni

I modelli linguistici hanno una finestra di contesto, ovvero la quantità massima di informazioni che possono elaborare in una determinata richiesta.

Questo limite viene normalmente espresso in token e comprende il contesto fornito al modello e, a seconda dell’architettura e del servizio, lo spazio necessario per i token generati nella risposta. Nel contesto di input possono rientrare non soltanto il messaggio dell’utente, ma anche istruzioni, parti precedenti della conversazione, documenti e altri contenuti. Più token sono necessari per rappresentare queste informazioni, più rapidamente viene occupata la finestra di contesto disponibile.

Perché la lingua può fare la differenza

La diversa efficienza della tokenizzazione ha conseguenze concrete. Se due testi equivalenti in lingue diverse richiedono quantità differenti di token, quello che ne utilizza di più occupa una parte maggiore della finestra di contesto disponibile e, a parità di modello e di condizioni tariffarie, può costare di più quando viene elaborato attraverso un'API - interfaccia che permette a un'applicazione di inviare richieste a un modello linguistico e riceverne le risposte - il cui prezzo dipende dal numero di token.