Oltre la vista: il ruolo del gruppo di Disegno e Metodi dell’Ingegneria Industriale nel settore dei Beni Culturali

Rocco Furferi

Per le persone non vedenti o con seri problemi alla vista, godere delle creazioni artistiche e degli heritage culturali non è generalmente possibile dal momento che questi sono «mondi visivi» quasi esclusivamente creati da e per le persone vedenti. Nonostante molti progressi siano stati fatti per rendere più universale la partecipazione all’arte ed alla vita culturale in genere, i musei inevitabilmente prediligono tecnologie che possano aumentare la partecipazione, anche virtuale, del più ampio pubblico possibile, escludendo quindi i non vedenti. L’accessibilità per tali persone non dipende solo dalla capacità di fare fronte agli ostacoli nell’ambiente ma anche dalla incapacità di percepire le opere stesse; pertanto, non sono facilitate nella fruizione di opere d’arte, in special modo pittoriche. L’assistenza umana è ancora il metodo più comune nelle istituzioni culturali e le esposizioni rimangono off-limits per coloro che devono toccare per apprezzare i manufatti perché gli oggetti dell’esposizione sono troppo antichi, troppo preziosi per essere esaminati in modo tattile. Per il non vedente, infatti, l’esplorazione tattile è il mezzo principale di conoscenza dell’ambiente circostante e degli oggetti che lo popolano, mediante la manipolazione e mediante tutte le sensazioni che concorrono a quel processo che viene definito come ‘esplorazione aptica’, dal greco haptomai, afferrare trattenere, toccare con attenzione. L’accesso alle rappresentazioni scultoree/architettoniche tridimensionali è stato il primo grado di interazione per i disabili visivi nell’ambiente museale; questo fenomeno ha visto, a partire dagli anni Novanta, il diffondersi di diverse iniziative temporanee e permanenti. Se nel caso di musei per arti visive tridimensionali si è evidenziata negli ultimi anni una crescente attenzione verso l’inclusione sociale di persone portatrici di disabilità visiva, nel caso dei musei di arte pittorica solo pochi dipinti sono stati ‘tradotti’ in rappresentazioni tattili. Ciò è dovuto principalmente al fatto che i criteri ed i metodi di ‘traduzioni in linguaggio tattile di immagini visive’, non erano ancora completamente codificati in ambito nazionale ed internazionale e le riproduzioni tattili sono state spesso realizzate manualmente da artisti e quindi molto dispendiose sia in termini di tempo che di denaro. La mancanza di criteri standardizzati diffusi per l’elaborazione di rappresentazioni tattili è testimoniata dalla presenza in letteratura di numerosi metodi di ‘traduzione’. Fra questi quelli più diffusi sono quelli che convertono l’immagine in forma di ‘diagramma tattile’ o in forma di ‘bassorilievo’.

A differenza dei ‘diagrammi tattili’, mappe che indicano la composizione delle figure, differenziando ed evidenziando eventualmente alcuni aspetti formali ma anche distintivi dell’opera, la riproduzione in forma di bassorilievo, riproducendo le forme presenti nel dipinto con rilievi diversi a seconda della posizione nella scena, è in grado di fornire informazioni aggiuntive sulla profondità della scena stessa. Questa metodologia di ‘traduzione’ dei dipinti è stata sviluppata per la prima volta a livello nazionale dal Museo tattile di pittura antica e moderna ‘Anteros’ di Bologna e si basa su sistemi ‘tradizionali’ in cui materie e processo creativo. Altre esperienze museali e non a livello nazionale ed internazionale che hanno introdotto questa metodologia di ‘traduzione’ sono: il progetto Tac Tile Paintings for the Blind presente all’Art Institute di Chicago, l’esposizione tattile al Birmingham Museum of Art in Alabama, il progetto Chiaroscuro, elaborato dal Centro internazionale del libro parlato A. Sernagiotto di Feltre in provincia di Belluno, gli Uffizi, La Pinacoteca Comunale di Ancona, il Museo diocesano Francesco Gonzaga di Mantova, il Museo civico d’arte di Pordenone, i Musei Vaticani a Roma, il Museo della fotografia Alinari a Firenze.

Visti gli studi presenti in letteratura e i diversi approcci proposti per la traduzione in forma tattile di opere d’arte bidimensionali, appare evidente come non esistessero fino al 2013 criteri condivisi e come sia stato quindi necessario svolgere ulteriori indagini per identificare le strategie di ‘traduzione’ più efficaci. In questo complesso quadro, i ricercatori della Sezione di Disegno e Metodi dell’Ingegneria Industriale (IIND-03/B) del DIEF hanno pensato di sviluppare una serie di metodi computerizzati per la realizzazione di bassorilievi tattili a partire da rappresentazioni bidimensionali quali quelle dei dipinti. Nel 2013, con il Progetto denominato Ricostruzione Tridimensionale per non Vedenti di Opere d’arte pittoriche (T-VedO), finanziato dalla Regione Toscana su fondi PAR FAS REGIONE TOSCANA Linea di Azione 1.1.a.3, ambito disciplinare Scienze e tecnologie per la salvaguardia e la valorizzazione dei beni culturali, ha avuto inizio un lungo percorso volto allo sviluppo di numerose tecniche volte alla traduzione interattiva di opere d’arte impiegando sia metodi di ricostruzione al CAD della scena dipinta, sia tecniche di Stampa 3D per la realizzazione prototipale del bassorilievo tattile. La prima attività svolta dagli allora ricercatori Rocco Furferi e Yary Volpe, sotto la guida della Prof. Monica Carfagni e dell’allora ricercatore Lapo Governi, è stata quella di formalizzare attraverso prove sperimentali quale fosse la tipologia di riproduzione più adatta ad una fruizione da parte dei non vedenti. Questo obiettivo è stato perseguito realizzando un insieme di rappresentazioni tattili di due diversi dipinti e presentandole ad un gruppo di utenti non vedenti in modo da poter valutare il risultato ottenuto in termini di percezione dell’opera. Sono stati dunque selezionati due dipinti (Figura 50) interpretanti il soggetto iconografico della ‘natura morta’ eseguiti da due grandi maestri del 900: Fernando Botero (1932-2023) – Natura morta con frutta, 1989 e Giorgio Morandi (1890-1964) – Natura morta I (Buonamici et al. 2015).

Per ogni opera sono state realizzate quattro diverse rappresentazioni tattili (due diagrammi tattili e due pseudo-bassorilievi); in particolare: un modello con contorno in rilievo, dove gli oggetti raffigurati nei dipinti sono rappresentati per mezzo di linee in rilievo in corrispondenza dei contorni degli oggetti stessi, un modello con pattern testurizzato, simile al precedente ma in cui ciascun oggetto raffigurato è caratterizzato da una differente testurizzazione in rilievo, un bassorilievo a strati piatti, dove ciascun oggetto raffigurato è rappresentato da uno strato piatto posto ad un’altezza opportuna rispetto allo sfondo ed il bassorilievo vero e proprio.

Figura 50 – A sinistra, Natura morta con frutta, Fernando Botero, 1989; a destra: Natura morta I, Giorgio Morandi, 1956.

Le opere sono state presentate ad un campione di persone non vedenti, con il contributo dell’Unione Italiana dei Ciechi e degli Ipovedenti, nella figura dell’allora Presidente della Sezione Provinciale di Firenze, Prof. Antonio Quatraro (n. 1946 - m. 2022). La fase di esplorazione tattile, nella quale sono stati fatti fruire i quattro modelli, si è articolata in una fase in completa autonomia senza alcun tipo di informazione e guida (Fase I), una fase in autonomia agevolata tramite una descrizione preliminare dell’opera (Fase II) e una fase di esplorazione guidata da un operatore esterno (Fase III). Ogni fase dello svolgimento del test si è conclusa con un questionario valutativo rivolto a sondare la comprensione dell’opera da parte del soggetto, che ha dimostrato come le riproduzioni di tipo «bassorilievo» siano quelle che favoriscono maggiormente la fruibilità dell’opera da parte dei non vedenti.

A partire da tali considerazioni è stato sviluppato un nuovo approccio al problema basato sull’implementazione di un procedimento semi-automatico per la ricostruzione della struttura spaziale della scena in opere d’arte pittoriche, con particolare riferimento alle rappresentazioni in prospettiva frontale tipiche del Rinascimento italiano. Impiegando tecniche di elaborazione dell’immagine, di visione artificiale e di Computer Vision, la scena dipinta dall’artista è trasformata in una rappresentazione tridimensionale semplificata (2.5D) in forma di bassorilievo, ove la posizione reciproca dei soggetti è fissata automaticamente in funzione della prospettiva. Lo strumento sviluppato è stato applicato a due casi studio di particolare importanza nel territorio fiorentino. Il primo caso studio selezionato è stato l’affresco intitolato Guarigione dello Storpio e Resurrezione di Tabita di Masolino da Panicale, situato nella Cappella Brancacci nella basilica di Santa Maria del Carmine a Firenze. L’opera, di dimensioni pari a circa 6x2,6 m, è databile attorno al 1424-25 e ritrae due miracoli di san Pietro (Atti degli Apostoli III, 1-10 e IX, 36-41). La scelta del secondo caso studio è invece ricaduta sull’Annunciazione (detta del «Corridoio Nord») dipinta dal Beato Angelico tra il 1440 ed il 1450 e situata nel Convento di San Marco a Firenze, che rappresenta indubbiamente una delle più apprezzate e conosciute opere dell’artista toscano (Figura 51).

La metodologia sviluppata è costituita da quattro fasi (Furferi et al. 2014) ed è di seguito illustrata facendo riferimento al primo caso studio (Guarigione dello Storpio e Resurrezione di Tabita):

Fase 1. Acquisizione ed elaborazione dell’immagine acquisita

L’immagine è stata acquisita utilizzando una camera ad alta risoluzione (Canon EOS 6D – Reflex digitale da 20,2 megapixel con sensore full-frame) e sono state successivamente utilizzate tecniche note dell’image processing volte ad eliminare sia l’aberrazione dovuta alle imperfezioni delle lenti che la distorsione prospettica.

Figura 51 – A sinistra, Guarigione dello Storpio e Resurrezione di Tabita, Masolino da Panicale, 1424 ca.; a destra, Annunciazione, Beato Angelico, 1440 ca.

Fase 2. Ricostruzione del bassorilievo a forme piatte

La fase di ricostruzione spaziale ha previsto una serie di operazioni schematizzabili come di seguito elencato:

a) segmentazione preliminare dell’immagine acquisita in cluster (sviluppando un approccio ibrido ed interattivo basato su metodi di Watershed segmentation e Mortensen’s livewire) e classificazione degli oggetti rappresentati (Figura 52a);

b) individuazione del punto di fuga prospettico nell’immagine (Figura 52b);

c) posizionamento nello spazio dei segmenti individuati;

d) ricostruzione della depth map sfruttando le informazioni ricavate dall’analisi della prospettiva (Figura 52c) e ricostruzione della superficie a partire dalla depth map.

Fase 3. Modellazione 3D del bassorilievo digitale

Al fine di ottenere le forme arrotondate tipiche del bassorilievo sono stati inoltre sviluppati algoritmi innovativi basati sull’analisi della ombreggiatura (Shape From Shading) (Lapo et al. 2014). In particolare, sono state sviluppate le seguenti procedure:

a) Volume inflating dei soggetti della scena con tecniche interattive (Figura 52d);

b) Conversione della superficie in mesh triangolare solida (file STL) e generazione del modello digitale 3D completo (Figura 52e).

Fase 4. Conversione del modello virtuale in un modello fisico

Il modello virtuale è, infine, convertito in un modello fisico tramite l’impiego di macchine di prototipazione rapida (Objet Eden 250™ – PolyJet™ technology) al fine di renderlo fruibile ai non vedenti (Figura 52f).

Nelle Figure 53a e 53b sono mostrati, rispettivamente, il modello digitale e quello fisico dell’opera del Beato Angelico (Annunciazione), esposto insieme all’opera originale (Figura 53c).

A valle del completamento del progetto T-VedO, le tecniche sviluppate sono state ulteriormente implementate sia ampliando il numero di casi di studio, sia adottando differenti metodologie sulla base della tipologia di opera pittorica in esame.

Sono state in particolare esplorate e sviluppate metodologie basate su algoritmi di tipo Shape From Shading (SFS) in grado di ricavare la (presunta) forma 3D di un soggetto pittorico sulla base della sua ombreggiatura, su metodi di ottimizzazione (Puggelli et al. 2023), su metodi interattivi di volume inflation e su altre tecniche tipiche del Reverse Engineering. Sono numerose le opere d’arte per le quali è stata effettuata una ricostruzione sia virtuale che fisica (mediante stampa 3D); tra esse, sono di rilevante interesse artistico le seguenti:

Altare di Santa Lucia de’ Magnoli di Domenico Veneziano, Galleria degli Uffizi, Firenze; Matrimonio mistico di Santa Caterina di Ridolfo del Ghirlandaio, Villa La Quiete, Firenze; Madonna con Bambino e Angeli di Niccolò Gerini, Villa La Quiete, Firenze.

Figura 52 – a) Segmentazione dell’immagine digitale; b) Individuazione del punto di fuga prospettico; c) Ricostruzione della depth map; d) Volume inflating di alcuni soggetti della scena; modello digitale 3D dell’opera; prototipo fisico dell’opera (bassorilievo tattile).

Figura 53 – a) Modello digitale full 3D dell’opera Annunciazione del Beato Angelico; b) Modello fisico stampato in 3D; c) Modello esposto presso il Museo di San Marco (Firenze).

Figura 54 – Ricostruzione 3D dell’opera Altare di Santa Lucia de’ Magnoli di Domenico Veneziano.

Figura 55 – Ricostruzione 3D dell’opera Matrimonio mistico di Santa Caterina di Ridolfo del Ghirlandaio.

Oltre allo sviluppo dei metodi basati su CAD per la ricostruzione dei bassorilievi, i ricercatori della Sezione, soprattutto con il contributo di Luca Puggelli, Francesco Buonamici e Michaela Servi e sotto la guida dei Proff. Rocco Furferi e Yary Volpe, hanno sviluppato un sistema costituito da diversi moduli che concorrono alla corretta guida di soggetti non vedenti nell’esplorazione di dipinti tattili.

Figura 56 – Ricostruzione 3D dell’opera Madonna con Bambino e Angeli di Niccolò Gerini.

I suddetti moduli (Figura 57) constano in una depth camera RGB-D (in grado di acquisire in 3D le mani dell’utente), un software per tracciare la posizione delle mani, una serie di algoritmi in grado di rilevare la posizione del bassorilievo nello stesso sistema di riferimento definito dal sensore di acquisizione, una serie di algoritmi mirati a rilevare la posizione e la distanza della mano/dito dell’utente rispetto al modello, il modello digitale 3D del bassorilievo e un’appropriata descrizione verbale collegata agli oggetti/soggetti rilevanti nella scena (Figura 57) (Buonamici et al. 2016).

Figura 57 – A sinistra, moduli costituenti il sistema di esplorazione tattile; a destra, layout del sistema sviluppato.

Il sistema progettato, integrando le ultime metodologie e algoritmi, rappresenta un primo passo coerente nella costruzione di un sistema di assistenza (non ovviamente mirato a sostituire completamente l’assistenza umana) per aiutare BP nell’esplorazione tattile. Il bassorilievo è stato posizionato ad un’altezza di circa 1,2 m da terra e con un’inclinazione verso l’utente di 45°. Questa posizione è stata determinata come la più confortevole per l’utente, grazie alle informazioni raccolte dagli autori in test eseguiti insieme a un panel di persone non vedenti, nell’ambito del progetto T-VedO. A partire da questa configurazione, è stato possibile determinare le occlusioni introdotte nella scena dalla mano dell’utente (informazione fondamentale per posizionare il sensore visivo) e, quindi, individuare le aree adatte ad ospitare altri elementi del sistema. Il layout finale del prototipo proposto è quello raffigurato nella Figura 8b.

La tematica dell’inclusività dei non vedenti nell’ambito della fruizione di opere d’arte originariamente concepite solo per persone normovedenti è stata recentemente ripresa, insieme al tema della fruibilità di opere d’arte normalmente inaccessibili perché locate in punti non raggiungibili fisicamente o perché troppo delicate per una corretta esposizione museale, nell’ambito dei finanziamenti per il Piano nazionale di Ripresa e Resilienza (PNRR) nell’ambito del Partenariato Esteso 5 (Missione 4 Componente 2 Investmento 1.3 – NextGenerationEU) denominato CHANGES – Cultural Heritage Active Innovation for Sustainable Society.

Coordinato da Sapienza – Università di Roma, il progetto promuove l’innovazione scientifico-tecnologica e lo sviluppo sostenibile del patrimonio culturale, connettendo ricerca di eccellenza, imprese, istituzioni e cittadini per creare una grande rete di riferimento in Italia su questi temi. Svolgiamo attività di supporto alla ricerca, alla formazione e al trasferimento tecnologico nell’ambito dei beni culturali, della cultura e della tutela del patrimonio storico-culturale. All’interno del Progetto, ed in particolare nello Spoke 4 denominato Virtual Technologies for Museums and Art Collections, i ricercatori del DIEF, coordinati dal Prof. Furferi, stanno portando avanti l’attività di ricostruzione 3D di alcune opere d’arte pittoriche e di alcune fotografie storiche locate nel museo CSAC di Parma (Furferi et al. 2024). Nell’ambito del progetto, oltre alle tecniche di ricostruzione CAD-based, i ricercatori stanno anche implementando metodi basati sull’intelligenza artificiale (IA). In particolare, a partire dai modelli quali DALL-E, Stable Diffusion, e Large Re-construction Model (LRM) per la conversione da immagine singola a 3D, è stata testata la ricostruzione di due soggetti del dipinto Guarigione dello Storpio e Resurrezione di Tabita mediante il compendio di una descrizione testuale degli stessi, oltre che l’immagine digitale. I sistemi di IA utilizzati sono stati in grado di restituire un modello full 3D dei soggetti e non una restituzione in forma di bassorilievo tattile. I risultati apparentemente sorprendenti mostrati nella Figura 58 raffigurano un modello 3D abbastanza dettagliato dei due soggetti, ottenuto in meno di un’ora; pertanto, il metodo richiede meno tempo rispetto a quello deterministico sviluppato in passato. Tuttavia, il risultato è una combinazione di una mesh ricostruita con la sovrapposizione dei colori dei pixel (RGB); ciò ha l’effetto di rendere il modello 3D con una geometria sufficientemente dettagliata.

Figura 58 – A sinistra, modello digitale 3D dei soggetti presenti nella scena dell’opera; in centro, parti ‘nascoste’ dei soggetti dell’opera, interpretati dal sistema di IA; a destra, mesh del modello 3D.

Analoga tecnica è stata applicata per la ricostruzione tridimensionale di un’opera di arte contemporanea di Mario Sironi, La giovinezza Uomo a cavallo (cartone per il mosaico dell’Italia corporativa, Milano, Palazzo dei Giornali, 1936), cm. 316x317x4 Olio su carta intelata (Figura 59), per la quale è stato realizzato un modello digitale 2.5D pronto ad essere realizzato per Prototipazione Rapida. Il Prof. Furferi ha ricevuto nel 2024 a Roma il Premio CHANGES AWARD per il contributo del gruppo di ricerca nel settore dei beni culturali.

Visto l’elevato interesse da parte dei ricercatori della Sezione nel settore dei Beni Culturali, a partire dal 2018 e con cadenza biennale, i Proff. Rocco Furferi, Lapo Governi e Yary Volpe hanno organizzato, con il supporto del Salone dell’Arte ed il Restauro di Firenze, una Conferenza internazionale dal titolo Florence Heritech, giunta nel 2024 alla sua quarta edizione.

La Conferenza ha l’obiettivo di promuovere la mobilità europea e la cooperazione tra studenti e personale specializzato dei musei al fine di migliorare lo sviluppo dell’Europa come società multiculturale e incoraggiare il concetto che la ricerca scientifico-culturale deve essere parte integrante della società. Promuove inoltre reti internazionali tra università, istituti di formazione e aziende per creare opportunità di collaborazione a lungo termine e dimostra l’influenza delle nuove tecnologie nelle arti e come possono essere utilizzate per un insegnamento e un apprendimento innovativi. Dalla Conferenza è originata anche una Special Issue pubblicata sul prestigioso Heritage Science Journal della Springer, a cura di Rocco Furferi, Maria Perla Colombini (Università di Pisa), Kate Seymour (Stichting Restauratie Atelier Limburg (SRAL), Netherlands), Anna Pelagotti (European Research Council (ERC), Belgium), Francesco Gherardini (Università di Modena e Reggio Emilia).

Figura 59 – La giovinezza Uomo a cavallo di Mario Sironi insieme al Modello 2.5D ricostruito.

Nell’ambito della Conferenza, diversi ricercatori della Sezione hanno presentato lavori inerenti allo sviluppo di tecnologie per i beni culturali non solo nel contesto della ricostruzione di opere d’arte per non vedenti ma anche nello sviluppo di sistemi di scansione 3D Laser per l’acquisizione in alta risoluzione di opere d’arte (Figura 60a), nell’impiego di dispositivi di scansione 3D per la ricostruzione di opere architettoniche (Figure 60b e 60c) e per il recupero di opere distrutte dalla guerra (Figura 60d). Il lavoro svolto dai ricercatori del DIEF rappresenta un significativo passo avanti verso l’inclusività nel campo della fruizione delle opere d’arte da parte delle persone non vedenti. Grazie allo sviluppo di tecniche avanzate di ricostruzione 3D e alla collaborazione con enti e progetti internazionali, è stato possibile realizzare bassorilievi tattili di grande precisione, rendendo accessibili capolavori pittorici e scultorei in modi innovativi.

Questo percorso, avviato con il progetto T-VedO e proseguito in ambito PNRR, ha aperto nuove strade per l’impiego della tecnologia a supporto del patrimonio culturale e dell’inclusione sociale, dimostrando come le tecniche ingegneristiche tipiche del settore industriale possano essere applicate con successo anche in ambiti completamente diversi quale quello, estremamente rilevante per il territorio fiorentino, dei Beni Culturali.

In futuro, ci si aspetta un’evoluzione significativa delle tecnologie utilizzate per rendere l’arte accessibile ai non vedenti, grazie a nuovi strumenti di intelligenza artificiale e di elaborazione digitale. Il lavoro del DIEF e di altri istituti continuerà a sviluppare metodologie sempre più raffinate, come l’uso di algoritmi di Computer Vision e modelli IA avanzati, per trasformare le opere bidimensionali in esperienze tattili tridimensionali sempre più accurate. Inoltre, si prevede un’espansione dei progetti collaborativi nell’ambito del PNRR e di altri programmi internazionali, come CHANGES, volti a connettere ricerca scientifica, istituzioni culturali e imprese, per promuovere l’innovazione tecnologica applicata ai beni culturali. L’uso di strumenti come la stampa 3D e sistemi basati su IA potrà ridurre i tempi e i costi di traduzione tattile delle opere, rendendo questi approcci più ampiamente disponibili.

Nel 2025, il Prof. Furferi ha ricevuto il premio CHANGES Award – Cultural Heritage Active Innovation for Next-Gen Sustainable Society, Patrimonio Culturale al Futuro (2025) Per il Progetto T-VedO: Beyond Sight: 3D Reconstruction of paintings for tactile exploration.

References Buonamici, F. et al. 2015. “Making Blind People Autonomous in the Exploration of Tactile Models: A Feasibility Study.” In M. Antona, C. Stephanidis (eds.). Universal Access in Human-Computer Interaction: Access to Interaction (Part II), 82-93. Springer International. Buonamici, F. et al. 2016. “Are We Ready to Build a System for Assisting Blind People in Tactile Exploration of Bas-Reliefs?.” Sensors 16(9): 1-16. Furferi, R. et al. 2014. “Tactile 3D Bas-Relief from Single-Point Perspective Paintings: A Computer Based Method.” Journal of Information and Computational Science 11(16): 5667-80. Furferi, R. et al. 2024. “Enhancing Traditional Museum Fruition: Current State and Emerging Tendencies.” Heritage Science 12. Lapo, G. et al. 2014. “Digital Bas-Relief Design: A Novel Shape from Shading-Based Method.” Computer-Aided Design and Applications 11(2): 153-64. Puggelli, L. 2023. “ARTE – Augmented Readability Tactile Exploration: The Tactile Bas-Relief of Piazza San Francesco Painting.” In R. Furferi et al. The Future of Heritage Science and Technologies. Florence Heri-Tech 2022, 113-26. Springer Nature Switzerland.