Da testo a binario

Se converti la lettera A in binario ottieni una sequenza ordinata di otto cifre: 01000001. Se provi a convertire un emoji allo stesso modo, il risultato finale risulta quattro volte più lungo, perché lo standard UTF-8 non avrebbe mai potuto contenere tutte le scritture del pianeta nei soli sette bit su cui era fondato ASCII.

Come funziona la codifica binaria di un singolo carattere

Nel sistema ASCII la lettera maiuscola A corrisponde al codice decimale 65. In formato binario questo valore diventa 01000001: procedendo da destra verso sinistra, i singoli bit rappresentano le potenze 1, 2, 4, 8, 16, 32, 64 e 128, dove 64 sommato a 1 restituisce esattamente 65. Qualsiasi testo memorizzato in un computer non è altro che una successione continua di questi blocchi da otto bit.

La lettera minuscola a possiede invece il valore 97, espresso in binario come 01100001. La sequenza coincide con quella di A ad eccezione di un singolo bit attivo, quello di valore 32: è proprio questo meccanismo a determinare lo scarto fisso di 32 posizioni tra le lettere maiuscole e minuscole dell’alfabeto.

La transizione da ASCII a UTF-8 nei caratteri moderni

L’architettura di UTF-8 è stata concepita affinché i suoi primi 128 caratteri corrispondano in modo identico a quelli di ASCII, occupando un singolo byte con il bit iniziale costantemente impostato a 0. Questa compatibilità spiega perché i testi privi di accenti mantengano la medesima struttura binaria sotto entrambe le codifiche.

Oltre il codice 127, UTF-8 fa ricorso a sequenze su più byte distinte da prefissi precisi: un byte iniziale che si apre con 110 introduce un carattere a due byte, un inizio con 1110 indica tre byte, mentre 11110 ne segnala quattro. Ciascun byte successivo della serie inizia sempre con 10, permettendo ai software di identificare immediatamente un byte di continuazione rispetto all’inizio di un nuovo carattere.

Rappresentazione binaria dei caratteri multi-byte in UTF-8

Osserva ad esempio la lettera é (e con accento acuto), corrispondente al punto di codice Unicode 233. Poiché non rientra nello spazio di un singolo byte, UTF-8 la memorizza in due: 11000011 10101001, corrispondenti in esadecimale a C3 A9. Il prefisso 110 individua la sequenza a due byte, mentre il valore 10 identifica il secondo elemento.

Un emoji si colloca ancora più avanti nella mappa dei caratteri e sfrutta tutti i quattro byte previsti da UTF-8, con un byte d’apertura che comincia con 11110. Per questo motivo, calcolando il peso dei byte effettivi, un simbolo grafico risulta notevolmente più pesante rispetto a una semplice lettera alfabetica.

Origine degli errori di decodifica tra standard incompatibili

• ASCII non contempla codici superiori a 127, rendendo impossibile mappare lettere accentate o simboli complessi in quel set ridotto.
• Quando un sistema analizza un testo byte per byte senza riconoscere la struttura UTF-8, finisce per spezzare i caratteri composti mostrando frammenti privi di significato.
• Questo disallineamento genera i consueti errori di mojibake, trasformando parole leggibili in sequenze di punti interrogativi o caratteri anomali a causa di passaggi errati tra tabelle di codifica.

Domande frequenti sulla conversione da testo a binario