Sulle risorse web dell’Unione europea i documenti vengono pubblicati in tutte le 24 lingue ufficiali. Abbiamo preso cinque leggi e, usando la logica dei token, abbiamo stabilito quanto ognuna di queste ha un costo maggiore rispetto all’inglese, lingua di riferimento nel campo delle intelligenze artificiali perché lo sviluppo, l’addestramento e i test dei modelli IA sono stati costruiti soprattutto su dati e prove in inglese, che è diventato così il parametro di confronto dominante.

Non è una superiorità linguistica, ma l’effetto storico della maggiore disponibilità di contenuti e strumenti in inglese, come confermano gli studi LingualX64 e MuBench che hanno misurato il vantaggio della lingua di Shakespeare rispetto alle altre.

Per calcolare lo sforzo e il costo delle 24 lingue riconosciute all’interno dell’Ue, abbiamo usato tiktoken, il tokenizzatore sviluppato da OpenAI e il metodo o200K che stabilisce come parole e frasi devono essere spezzate in token.

Ci siamo quindi concentrati su ChatGPT ma, pure secondo metodi di calcolo diversi, tutti i modelli IA seguono le medesime logiche di sforzo e costo a seconda dell’idioma parlato dall’utente.

La questione dei token

Un token è un pezzo di testo che un modello di intelligenza artificiale tratta come un'unità elementare. Per potere elaborare una frase, un modello deve prima trasformarla in una sequenza di token e poi associare a ciascun token un numero. Il problema di fondo, quindi, è stabilire quali siano questi pezzi di testo che non coincidono per forza di cose con delle parole, perché vengono definiti secondo convenzioni stabilite da un tokenizzatore. Non c’è una misura standard: un token può corrispondere a una parola intera, a una parte di parola, a un segno di punteggiatura o ad altre sequenze di caratteri che il sistema considera unità autonome.

Cosa vuole dire che una lingua può costare più di un’altra

Chi usa ChatGPT con un normale abbonamento mensile paga una quota fissa per accedere al sito o all’app. OpenAI – azienda che sviluppa i modelli GPT - non aggiunge alla fattura il costo dei singoli token utilizzati durante le conversazioni e per un abbonato scrivere in una lingua, invece che in un’altra, non cambia l’entità dell’esborso mesile.

La logica cambia quando si usano le API, collegamenti tecnici che permettono a programmi esterni di comunicare con i modelli IA. Per esempio, il software di un’azienda può inviare automaticamente un documento al modello IA, chiedergli di riassumerlo e ricevere il risultato, senza che una persona apra ChatGPT.

L’API viene usata e pagata dallo sviluppatore, dall’azienda o dall’ente che gestisce il programma terzo che si interfaccia al modello IA. In questo caso non esiste una quota mensile con utilizzo incluso e OpenAI conta il testo inviato al modello e quello generato in risposta, lo converte in token e fattura il consumo al titolare dell’API. Se una lingua richiede più token per comunicare lo stesso contenuto, chi gestisce l’API paga di più per elaborarla. OpenAI descrive il sistema nella documentazione sul conteggio dei token e pubblica le tariffe nel listino ufficiale delle API.

Le disuguaglianze linguistiche

Non si tratta di discriminazione linguistica né di un concetto nuovo, lo scopo di questo approfondimento è quello di mostrare – a parità di testo da elaborare – le differenze di costo tra un idioma e l’altro. Non c’è alcuna intenzionalità da parte di chi sviluppa modelli IA e, di conseguenza, non c’è una penalizzazione volontaria.

Nello specifico, l’Unione europea redige e pubblica i regolamenti e gli altri atti di portata generale in tutte le 24 lingue ufficiali. Un regolamento mantiene i medesimi contenuti in ogni idioma, cambia solo la forma linguistica. Per il tokenizer, invece, quelle forme non sono equivalenti perché diventano sequenze numeriche di lunghezza diversa.

La metodologia

Abbiamo preso cinque norme europee a caso, per potere calcolare valori medi più affidabili. I risultati non sono relativi a traduzioni o a riassunti delle norme affidate alle IA. Sono state confrontate le versioni ufficiali già tradotte e pubblicate su EUR-Lex, il sito ufficiale dell’Unione europea che raccoglie e pubblica le leggi, e usando tiktoken abbiamo convertito i testi in token.

Stabilendo, per esempio, che i documenti in lingua italiano producono il 38,5% di token in più rispetto a quelli inglesi, emerge che se quegli stessi documenti fossero inviati a un’API per riassumerli, esaminarli o tradurli, il costo del testo fornito dal modello IA sarebbe più alto rispetto alle stesse operazioni svolte in lingua inglese. Tuttavia, ciò non inficia sulla qualità del risultato restituito. Nel campione dei cinque testi presi in esame, nessuna delle altre 23 lingue richiede meno token dell’inglese.

Il maggiore costo della lingua italiana

I cinque testi europei presi in esame sono: la Direttiva 2026/470 (semplificazione degli obblighi di rendicontazione e due diligence), la Direttiva 2021/1021 (lotta alla corruzione), Regolamento 2026/1165 (protezione dei dati sui biocidi), il Regolamento 2026/1744 (Digital Omnibus sull’intelligenza artificiale) e il Regolamento 2026/1818 (benessere e tracciabilità di cani e gatti), tutti scelti in modo casuale.

(Infografica creata con Gemini Notebook) 

L’infografica qui sopra, creata con Gemini Notebook, mostra un maggior costo della lingua italiana in termini di token che oscilla tra il 29,99% e il 40,34% a seconda del testo di riferimento.

La differenza media è del 36,71% mentre, considerando il totale dei token delle cinque versioni in inglese (109.2017) e il totale dei token delle cinque versioni italiane (151.243) la differenza complessiva è del 38,47%.

Il calcolo spiegato e il costo reale

I testi in lingua italiana sono più lunghi di quelli in inglese del 9,4%, contengono quindi più parole.

Inoltre, la lingua italiana viene suddivisa dall’IA in un numero di token superiore circa del 26,6% rispetto alla lingua inglese quindi il numero di parole, pari al 109,4% (circa) rispetto a quelle inglesi, va moltiplicato per 26,6% da qui si ottiene 109,4 x 1,266 (circa) che restituisce 138,5%.

Tuttavia, non si può dire che tradurre in italiano costa il 38,5% in più, perché una traduzione necessita che un testo di partenza venga inviato al modello IA a pagamento, rappresentando un costo iniziale identico indipendentemente dal fatto che la traduzione finale sia in lingua inglese o in italiano. Nell’infografica sotto vengono indicati, secondo il tariffario attuale di OpenAI, i costi dell’analisi dei cinque regolamenti per ogni singola lingua.

Il rapporto tra le 23 lingue europee e l’inglese

Unendo i dati dei cinque documenti si ottiene questo grafico che tiene conto della lunghezza del testo nelle differenti lingue ufficiali dell’Unione, del costo per la produzione (espresso in dollari) della differenza di token generati dai documenti nel loro complesso.

Emerge un certo svantaggio nelle lingue greca, ungherese e irlandese, il cui divario percentuale in numero di token, rispetto all’inglese, è più marcato. Olandese, spagnolo e portoghese, mostrano i divari più contenuti ma comunque superiori al 20%.

Quando un testo più corto pesa di più

Il confronto fra caratteri e token mostra perché la sola lunghezza non basta. Per esempio, il compendio dei documenti in lingua lettone contiene il 5,5 % di caratteri in meno dell’inglese ma richiede il 71% di token in più. Il ceco è più corto del 6,4% ma richiede il 56,4% di token in più rispetto all’inglese.

Un tokenizer costruisce il proprio vocabolario a partire dalle frequenze osservate nei dati con cui è stato progettato. Sequenze comuni possono diventare un solo token e sequenze meno rappresentate vengono spezzate più spesso. Il conteggio non misura quindi la ricchezza, la difficoltà o il valore di una lingua. Misura la sua compatibilità statistica con un particolare sistema di codifica.