• 3D-2D registration
• augmented reality
• CAS
• fracture reduction
• image registration

L'obiettivo del seguente lavoro di tesi è sviluppare un sistema di guida per la riduzione di fratture complesse, con registrazione 3D-2D, della pianificazione della riduzione virtuale 3D dei frammenti rispetto alla loro configurazione reale in sala operatoria utilizzando le immagini 2D dell’arco a C, e visualizzazione in realtà aumentata direttamente sulle immagini RX. Il contesto delle fratture ossee, soprattutto relativo a quelle di tipo pluriframmentarie, riguarda lesioni complesse e difficili da trattare; idealmente è necessario avere un buon planning chirurgico per poter riposizionare al meglio i frammenti e ripristinare l'anatomia originale. Esistono software e metodologie che partendo dalle immagini CT dell’osso sano (controlaterale illeso) e dalle immagini CT dell’osso fratturato, permettono di riallineare la frattura con un approccio di tipo puzzle-solving, e di ottenere così il planning di riduzione 3D. Questo lavoro ha l'obiettivo di implementare un sistema di guida alla riduzione delle fratture in contesto operatorio, per poter portare in sede intraoperatoria il planning eseguito in sede preoperatoria. Sebbene recenti progressi nella chirurgia assistita da computer come l'utilizzo di tracking chirurgico e imaging 3D intraoperatorio, riescano a portare il planning preoperatorio in sede intraoperatoria, questi prevedono l'utilizzo di marker posizionati sul paziente e sullo strumentario chirurgico. Inoltre, l'utilizzo di navigatori chirurgici e di scanner 3D intraoperatori nella pratica ortopedica è raro, dovuto in parte al costo, ma anche alle modifiche al workflow richieste. L'imaging 2D rimane un elemento fondamentale nella chirurgia ortopedica traumatologica, e quindi la registrazione 3D-2D rappresenta potenzialmente un importante progresso in questo ambito, consentendo di integrare efficacemente il planning preoperatorio 3D in sede intraoperatoria senza la necessità di ulteriori macchinari complessi e allo stesso tempo offrendo una guida più precisa e migliorando la sicurezza della procedura. La prima parte di questo lavoro di tesi consiste in uno studio dello stato dell'arte delle tecniche di registrazione 3D-2D, al fine di identificare quella adatta, sulla base dell'utilizzo sia nella ricerca che nella pratica clinica. Questa prima parte ha portato alla scelta di una tecnica di registrazione 3D-2D basata sull'intensità. Nella seconda parte, viene presentato il framework proposto per migliorare il processo di riduzione attraverso un workflow che prevede: la creazione di un planning preoperatorio 3D, una registrazione 3D-2D intraoperatoria, e una navigazione sia 2D -in realtà aumentata sulle immagini intraoperatorie- che 3D. Il metodo di registrazione 3D-2D implementato è stato testato e validato su due casi studio: sulle immagini 3D di un osso ex-vivo di bovino e su quelle di un fantoccio di articolazione di ginocchio umano ottenuto tramite stampa 3D a partire dalle immagini CT di una reale frattura complessa.
I risultati più significativi mostrano che, per la registrazione del frammento di dimensioni maggiori, i Target Registration Error 2D (TRE 2D) mediani sono stati 0.93 mm (osso ex-vivo) e 0.18 mm (phantom), mentre i TRE 3D mediani sono stati 3.81 mm e 1.23 mm rispettivamente. Questi risultati evidenziano che, sebbene la registrazione a singolo frammento presenti un errore 3D superiore rispetto ai corrispettivi errori 2D, il metodo si dimostra altamente robusto e accurato nella gestione delle traslazioni e rotazioni limitate al piano dell'immagine 2D. L'aumento dell'errore 3D è principalmente dovuto alla traslazione out-of-plane. Questo comporta che la funzionalità di guida 2D implementata risulti un valido strumento, che fornisce una corretta informazione (a patto di registrare bene sul piano dell’immagine); mentre per la visualizzazione 3D, i risultati mostrano come attualmente non si possa garantire la correttezza dell’informazione a priori, poiché l’errore di traslazione out-of-plane, nelle tre dimensioni, non è più trascurabile. Nella parte conclusiva, sono presentate ulteriori valutazioni e possibili direzioni e sviluppi futuri per questo lavoro di tesi.

The goal of this thesis is to develop a guidance system for reducing complex fractures through 3D–2D registration, aligning the 3D virtual reduction plan of the fragments with their actual intraoperative configuration using C-arm 2D images, and displaying it in augmented reality directly on the X-ray images. Fractures involving multiple fragments are complex and challenging to treat; ideally, a well-designed surgical plan is required to optimally reposition the fragments and restore their original anatomy. Existing software and methods can realign fractures using a puzzle-solving approach—starting from CT images of the healthy (contralateral, uninjured) bone and CT images of the fractured bone—thus obtaining a 3D reduction plan.
The main objective of this work is to implement a fracture reduction guidance system in the operating room, making it possible to bring the preoperative plan into the intraoperative setting. While recent progress in computer-assisted surgery, such as surgical tracking and intraoperative 3D imaging, can integrate a preoperative plan into the operating room, these approaches require the use of markers placed on both the patient and the surgical instruments. Moreover, the use of surgical navigation systems and intraoperative 3D scanners is still rare in orthopedic practice, partly because of cost and workflow changes. Since 2D imaging remains fundamental in orthopedic trauma surgery, 3D–2D registration represents a potentially significant advancement, enabling effective integration of 3D preoperative planning in the operating room without complex additional equipment, while offering more precise guidance and improving procedural safety.
The first part of this thesis reviews the state of the art of 3D–2D registration techniques, with the aim of identifying the most suitable approach based on applications in both research and clinical practice. This led to selecting an intensity-based 3D–2D registration technique. The second part presents the proposed framework for improving the reduction process by means of a workflow that includes: generating a 3D preoperative plan, performing intraoperative 3D–2D registration, and providing both 2D (augmented reality on intraoperative images) and 3D navigation. The implemented 3D–2D registration method was tested and validated on two case studies: 3D images of an ex vivo bovine bone and those of a human knee joint phantom obtained by 3D printing from CT scans of a real complex fracture.
The most significant results show that, for the registration of the biggest fragment, the median 2D Target Registration Errors (TRE 2D) were 0.93 mm (ex vivo bone) and 0.18 mm (phantom), whereas the median 3D Target Registration Errors (TRE 3D) were 3.81 mm and 1.23 mm, respectively. These findings indicate that although single-fragment registration yields a higher 3D error compared with the corresponding 2D errors, the method proves to be highly robust and accurate in managing in-plane translations and rotations. The increase in 3D error is primarily due to out-of-plane translation. Consequently, the implemented 2D guidance feature proves to be a valid tool that provides accurate information (provided the in-plane registration is done correctly). However, for 3D visualization, the results show that currently the accuracy of the information cannot be guaranteed a priori, as the out-of-plane translation error in the three dimensions is no longer negligible. In the concluding section, additional evaluations and potential future developments for this thesis work are presented.