logo SBA

ETD

Archivio digitale delle tesi discusse presso l’Università di Pisa

Tesi etd-09032025-124626


Tipo di tesi
Tesi di laurea magistrale
Autore
NOVELLI, MATTEO
URN
etd-09032025-124626
Titolo
Realtà aumentata con HoloLens 2 per la simulazione chirurgica: calibrazione utente-specifica per task di precisione
Dipartimento
INGEGNERIA DELL'INFORMAZIONE
Corso di studi
INGEGNERIA BIOMEDICA
Relatori
relatore Prof. Ferrari, Vincenzo
correlatore Dott. Nocera, Alessio
Parole chiave
  • accuratezza di registrazione
  • calibrazione utente-specifica
  • HoloLens 2
  • realtà aumentata
  • simulazione chirurgica
Data inizio appello
10/10/2025
Consultabilità
Completa
Riassunto
La presente tesi affronta il tema della realtà aumentata (AR) in ambito chirurgico, con particolare attenzione al problema dell’accuratezza della registrazione tra contenuti virtuali e reali e alla possibilità di introdurre una calibrazione utente-specifica per migliorare le prestazioni del sistema. L’adozione di visori di nuova generazione, come il Microsoft HoloLens 2, ha aperto prospettive interessanti per integrare informazioni cliniche e traiettorie operative direttamente nel campo visivo del chirurgo, senza interrompere la connessione con il paziente e con l’ambiente circostante. Questo approccio rappresenta una significativa evoluzione rispetto alla realtà virtuale (VR), che rimane confinata a scenari di simulazione e training, proprio perché isola l’utente dal contesto reale.
La AR è parte della cosiddetta realtà estesa (XR), concetto introdotto per descrivere l’intero spettro delle tecnologie immersive che si collocano lungo il continuum reale-virtuale definito da Milgram e Kishino. In questo scenario, la realtà aumentata si distingue come strumento per arricchire la percezione del mondo fisico con strati di informazioni digitali, anziché sostituirlo. In campo medico ciò significa poter visualizzare strutture anatomiche, traiettorie chirurgiche, dati diagnostici e parametri del paziente direttamente sul campo operatorio, con l’obiettivo di aumentare precisione, sicurezza e consapevolezza situazionale.
Nonostante il potenziale, l’adozione diffusa della AR in sala operatoria incontra ancora delle criticità. La più importante è la registrazione accurata dei contenuti virtuali nello spazio reale: anche un errore di pochi millimetri può compromettere la sicurezza di una procedura. Altri problemi riguardano la stabilità del tracking, le variazioni dovute a illuminazione o movimenti imprevisti, nonché aspetti ergonomici come peso del visore e affaticamento visivo. Numerosi studi hanno confermato la validità concettuale di questi strumenti, ma sottolineano la necessità di un’accurata validazione sperimentale. Tra questi, il lavoro di Condino et al. (2020) ha rappresentato un riferimento importante: utilizzando un visore video see-through, gli autori hanno valutato la capacità di utenti non esperti di riprodurre traiettorie virtuali 2D e 3D sovrapposte a manichini anatomici, misurando l’accuratezza tramite dime con finestre di tolleranza progressiva. I risultati hanno mostrato percentuali elevate di successo entro 0.5 e 1 mm di errore, con valori più bassi solo per traiettorie particolarmente complesse. Questo protocollo ha costituito la base metodologica anche per il presente lavoro di tesi.
L’obiettivo principale del progetto è stato sviluppare e validare un ambiente sperimentale basato su HoloLens 2 per valutare l’accuratezza della registrazione in contesti chirurgici simulati, introducendo una procedura di calibrazione personalizzata che tenga conto delle caratteristiche visive individuali, in particolare dell’occhio dominante. La scelta di utilizzare un visore optical see-through, a differenza del video see-through, consente di ridurre la latenza percepita e di mantenere la percezione diretta dell’ambiente reale, ma introduce nuove sfide legate all’allineamento e alla resa stereoscopica. Per questo motivo è stata implementata una calibrazione intrinseca dei parametri del visore, regolata in tempo reale tramite script in Unity, che permette all’utente di sovrapporre correttamente contenuti virtuali e marker reali prima di iniziare i test.
La simulazione sperimentale è stata realizzata progettando tre manichini anatomici di difficoltà crescente (T1, T2 e T3) con traiettorie 2D e 3D di lunghezza e complessità variabile. I modelli, sviluppati in Blender e stampati in 3D, sono stati importati in Unity e integrati con il sistema di tracciamento Vuforia. Le traiettorie virtuali, visualizzate attraverso HoloLens 2, venivano riprodotte dai partecipanti con una matita su carta adesiva applicata ai manichini. La valutazione prevedeva due livelli: qualitativo, tramite la dima da 4.5 mm che determinava il successo della prova (errore ≤2 mm), e quantitativo, tramite dime da 2.5 mm e 1.5 mm per misurare la percentuale di traiettoria entro 1 mm e 0.5 mm di accuratezza. Oltre all’accuratezza, per ogni prova è stato registrato il tempo di esecuzione, da cui è stata calcolata la velocità normalizzata di tracciamento. Al termine delle prove, ogni partecipante ha compilato un questionario Likert a 5 punti per valutare chiarezza, stabilità, affaticamento visivo, fiducia e comfort nell’uso del sistema.
I dati raccolti sono stati organizzati in tabelle e analizzati statisticamente calcolando medie, deviazioni standard e percentuali di successo per ciascun manichino e per ciascun soggetto. I risultati ottenuti saranno confrontati con quelli riportati in letteratura, in particolare con lo studio di Condino et al. (2020), per verificare l’impatto della calibrazione personalizzata e dell’uso di HoloLens 2. Ci si attende che la calibrazione utente-specifica migliori l’allineamento e riduca gli errori, specialmente nelle traiettorie più complesse (T3), dove la percezione della profondità gioca un ruolo cruciale.
Oltre agli aspetti quantitativi, il questionario Likert permetterà di analizzare la percezione soggettiva degli utenti, evidenziando eventuali vantaggi dell’OST rispetto al VST e il contributo della calibrazione nel ridurre affaticamento e ambiguità visive. Questi dati qualitativi sono fondamentali perché, accanto all’accuratezza tecnica, l’accettabilità clinica di un sistema dipende anche dal comfort e dalla fiducia che trasmette all’operatore.
Le conclusioni della tesi trarranno sintesi dai risultati sperimentali, evidenziando i punti di forza della calibrazione personalizzata e i limiti ancora presenti. Verranno inoltre proposti sviluppi futuri, tra cui: l’estensione dei test a un campione più ampio e clinicamente rilevante (chirurghi in formazione e specialisti), l’integrazione con sistemi di imaging intraoperatorio, l’ottimizzazione degli algoritmi di tracciamento e la valutazione in contesti chirurgici reali.
In definitiva, questo lavoro si colloca nel percorso di transizione della realtà aumentata da tecnologia emergente a strumento realmente applicabile nella pratica clinica. La dimostrazione che una calibrazione utente-specifica possa migliorare l’accuratezza e la stabilità della registrazione rappresenta un contributo concreto verso l’adozione quotidiana della AR in sala operatoria. La combinazione tra dispositivi come HoloLens 2, procedure di validazione rigorose e approcci personalizzati costituisce un passo decisivo verso una chirurgia più precisa, sicura e potenziata digitalmente.
File