Transkribus, un software per la trascrizione di manoscritti

Abbiamo recentemente aggiornato il tutorial di Transkribus.

Transkribus è una piattaforma basata sull’intelligenza artificiale per la digitalizzazione, il riconoscimento automatico e la trascrizione di documenti storici, sia a stampa che manoscritti. Il progetto ha origine nell’ambito del programma europeo READ (Recognition and Enrichment of Archival Documents), finanziato con fondi Horizon 2020, ed è dal 2019 sviluppato e mantenuto da READ-COOP SCE.

La piattaforma mette a disposizione strumenti integrati per:

• la trascrizione manuale e automatica dei testi;
• l’addestramento di modelli personalizzati di riconoscimento;
• la ricerca avanzata nelle trascrizioni;
• l’annotazione e la marcatura dei documenti;
• la collaborazione tra utenti;
• l’esportazione in diversi formati standard.

Grazie a queste funzionalità, Transkribus si configura come una soluzione completa per la gestione, lo studio e la valorizzazione del patrimonio documentario.

Come usare Transkribus

Vai sul sito: https://www.transkribus.org/it registrati e accedi alla piattaforma.

Fig. 1. Transkribus login

Hai a disposizione tre modalità principali per elaborare i tuoi documenti storici:

1. Riconoscimento rapido del testo
2. Utilizzo di modelli pubblici pre-addestrati
3. Addestramento di modelli personalizzati

Nei paragrafi seguenti vedremo tutte le modalità.

1. Riconoscimento rapido del testo

Quando non è necessario ricorrere a un modello specifico, oppure si opera con lingue e scritture di uso comune, la funzione di riconoscimento rapido rappresenta la soluzione più immediata: basta selezionare la lingua, caricare il documento e il testo viene generato in pochi istanti. Le pagine che sono state caricate vengono salvate e possono essere trovate nella raccolta denominata “Riconoscimento testo rapido”.

Fig. 2. Scelta del modello

Puoi caricare i tuoi documenti (JPEG/JPG, TIFF e PNG fino a 20MB) e scegliere uno dei modelli per il riconoscimento rapido del testo. La scelta del modello è semplice grazie alle note descrittive disponibili per ciascuno di essi. Una volta caricata l’immagine e scelto il modello l’elaborazione si avvia in automatico e a questo punto sarà possibile editare il testo cliccando sul pulsante: Open in Editor.

Fig. 3. Riconoscimento rapido del testo

2. Utilizzo di modelli pubblici pre-addestrati

Fig. 4. Utilizzo di modelli pubblici pre-addestrati

Clicca la voce Collezioni del menu, crea una collezione, aggiungi i tuoi documenti e clicca su Create document.

Fig. 5. Crea collezione

La piattaforma non è sempre velocissima e quindi potresti dover aspettare un po’ prima di vedere i documenti nella tua collezione.

Fig. 6. Seleziona i documenti

Seleziona i documenti che vuoi trascrivere e clicca sul pulsante “Processo con IA”. Puoi scegliere uno tra i tanti modelli presenti già nell’applicativo. I cosiddetti Super Model, come The Text Titan I sono disponibili facendo un upgrade dell’abbonamento. (per conoscere i costi clicca qui) Ogni modello ha una propria pagina con i dettagli e le metriche.

2.1. I modelli

Cliccando su questo indirizzo: https://app.transkribus.org/models è possibile visionare tutti i modelli presenti nella piattaforma. Nella pagina sono presenti filtri per lingua e anche per tipologia (scritto a mano / stampato). Nell’esempio riportato di seguito possiamo vedere che il modello Medieval_Scripts_M2.4 è stato addestrato su oltre 7 milioni di parole: corrispondenti a 24.764 pagine di training e 179 di validazione. Il risultato raggiunto è un CER pari al 7.1%

Fig. 7. I modelli

2.2. Cos’è il CER e come si calcola

CER è l’acronimo di Character Error Rate ed è la metrica standard per misurare l’accuratezza.

$$CER = \frac{\text{sostituzioni} + \text{inserzioni} + \text{cancellazioni}}{\text{numero totale di caratteri nel testo corretto}}$$

Facciamo un esempio:

• Testo corretto: dominus (7 caratteri)
• OCR: doninus → 1 errore (scambio di lettere)
• CER = 1/7 ≈ 14%

Un solo errore in una parola di 7 caratteri ha un peso rilevante. Per questo motivo un modello con un CER al di sotto del 10% è discreto ma è necessario fare delle correzioni.

2.3. Correzione manuale

Nella versione gratuita può capitare di dover aspettare la coda di elaborazione di altri utenti. Una volta completato il riconoscimento, cliccando su ogni singolo documento caricato, sarà possibile correggere gli errori. Transkribus permette di esportare sia le immagini che il testo in formato txte xml. Si possono inoltre inserire dei tag come: abbreviazione, paragrafo, heading ecc.

Fig. 8. Correzione manuale

3. Addestramento di modelli personalizzati

Prima di addestrare un modello di riconoscimento del testo è indispensabile predisporre il Ground Truth, cioè le immagini affiancate dalle loro trascrizioni corrette, che fungeranno da base di apprendimento per l’IA.

Il Ground Truth è il set di dati corretti (immagini + trascrizioni esatte) usato come riferimento per addestrare un modello. In Transkribus indica il materiale costituito dalle pagine digitalizzate e dalle relative trascrizioni verificate. È fondamentale che queste ultime siano prive di errori, poiché ogni errore nel Ground Truth verrà appreso dal modello e riprodotto nelle trascrizioni.

La quantità di dati necessari dipende dal tipo di fonte e dal numero di mani scrittorie coinvolte. In genere servono tra le 5.000 e le 15.000 parole (pari a circa 25–75 pagine) per avviare un addestramento efficace. Le reti neurali imparano rapidamente, ma la qualità cresce con l’aumentare dei dati forniti.

Per testi a stampa, circa 5.000 parole possono essere sufficienti per raggiungere un buon livello di accuratezza. Per i manoscritti, invece, è consigliabile almeno 10.000 parole per ogni mano. I modelli basati su dataset molto ampi (oltre 100.000 parole) e su più mani della stessa epoca o area geografica riescono spesso a trascrivere anche scritture non incluse nel training, sebbene con prestazioni leggermente inferiori rispetto al dato di validazione.

Fig. 9. Addestramento di modelli personalizzati

PRIMA HTR Model — Italian Early Modern Manuscripts (late 16th–18th c.)

È disponibile anche un modello HTR specifico per l’italiano moderno antico, pubblicato dal progetto europeo PRIMA – Manuscripts in the Age of Print. Si tratta di un modello addestrato su manoscritti tra la fine del XVI e il XVIII secolo, pensato per riconoscere grafie corsive e cancelleresche tipiche dell’età della stampa. Il modello è distribuito tramite Zenodo con licenza aperta, ma può essere utilizzato solo all’interno della piattaforma Transkribus, dove compare come modello personalizzato per la trascrizione automatica di fonti manoscritte di quell’epoca.

Link al modello: https://zenodo.org/records/18220238