• augmented reality
• chirurgia robotica
• realtà aumentata
• robotic surgery
• tracciamento
• tracking

Questa lavoro di tesi consiste nello sviluppo e implementazione di un sistema di realtà aumentata durante lo svolgimento di una nefrectomia parziale robotica, effettuata tramite l’ausilio del robot chirurgico teleoperato da Vinci e di una Cone Beam Computed Tomography (CBCT) intraoperatoria. La tesi ha lo scopo di sviluppare un precedente studio di fattibilità intitolato: “Guida per nefrectomie parziali robotiche con imaging 3D intraoperatorio e localizzazione endoscopica”. Nel precedente lavoro è stata studiata l’anatomia di un caso paziente specifico dalla quale è stato costruito un modello fisico del rene attraverso la stampa 3D. È stato inoltre studiato l’endoscopio del robot andando a creare un modello mock-up basandosi sulle proprietà ottenute dalla calibrazione. È stato inoltre studiata la forma e il posizionamento dei marker da utilizzare per il tracciamento del rene durante l’intervento. Infine, è stato studiato un primo sistema di registrazione basato sui punti fiduciali e una registrazione statica basata sui click dei marker corrispondenti nelle immagini sinistra e destra dell’endoscopio.
La seguente tesi ha quindi avuto lo scopo di sviluppare il lavoro precedente con l’ottica di inserire la guida all’interno di un contesto operatorio. In particolare, è stato necessario lo sviluppo degli algoritmi di registrazione e tracciamento in quanto troppo legati all’interazione con un operatore, quindi soggetti a possibili errori da parte dell’operatore e richiedenti troppo tempo.
La prima parte di questo lavoro consiste quindi in uno studio degli algoritmi di registrazione automatica 3D-3D basati sui volumi, sono stati testati numerosi algoritmi utilizzando il software open source 3D Slicer, andando a creare una immagine intraoperatoria simulata sfruttando le immagini TAC preoperatorie e quelle CBCT del modello fisico del rene. Sono stati svolti quindi i test sfruttando un algoritmo di registrazione rigida basato sull’intensità dei voxel chiamato “elastix”, andando a calcolare il Target Registration Error (TRE) nel caso in cui le immagini intraoperatorie simulate fossero in presenza o in assenza dei marker. I risultati hanno mostrato un TRE sub millimetrico in entrambi i casi e molto simile, dimostrando che la registrazione funziona e che la presenza dei marker nell’immagine intraoperatoria non va a inficiare il risultato della registrazione.
La seconda parte ha riguardato il sistema di tracciamento automatico dei marker. Questo è effettuato attraverso le camere RGB dell’endoscopio con un riconoscimento delle soglie di colore nel modello Hue Saturation Value (HSV) in quanto meno soggetto a situazioni di luminosità variabile. È effettuata una segmentazione, seguita da una blob detection e dal riconoscimento della forma sferica. Tuttavia, si sono dovute affrontare alcune limitazioni dovute a un forte errore di triangolazione causato dalla vicinanza delle due camere stereoscopiche nell’endoscopio (baseline tra le camere inferiore al centimetro), e dalla richiesta per il tracciamento di una conformazione triangolare dei tre marker non ambigua (il triangolo formato dai tre marker non deve contenere lati uguali). Per risolvere questi problemi è stato quindi sviluppato un sistema di guida che permetta al chirurgo di posizionare i marker ai vertici di un triangolo scaleno al netto dell’incertezza. Per far questo è stato sviluppato un codice MATLAB che, nota la posizione di due marker fissati su piano, va a calcolare la posizione ottimale per il fissaggio del terzo marker, in modo da ottenere la conformazione richiesta. Questo codice è stata in seguito tradotto in linguaggio C# in modo da poter creare un applicativo Unity 3D, successivamente è stato ampliato inserendo un’interfaccia grafica che seguisse il posizionamento sequenziale dei marker svolto dal chirurgo. Infine, l’intero codice è stato inserito all’interno di un framework contenente le librerie per la triangolazione e il tracciamento ottenendo l’applicazione finale. Questa è stata testata sfruttando l’endoscopio mock-up, una procedura di fissaggio concordata assieme al chirurgo e utilizzando come base carta millimetrata e il modello fisico del rene. Tutte le trenta prove effettuate hanno fornito esito positivo fornendo un tracciamento sicuro, automatico e soprattutto dinamico, dando infine la possibilità di proseguire con il sistema di registrazione delle immagini virtuali che fornisce un’accuratezza alla pari di quella ottenuta nel lavoro precedente.

English Version:
This thesis involves the development and implementation of an augmented reality system during robotic partial nephrectomy, carried out with the aid of the teleoperated Da Vinci surgical robot and intraoperative Cone Beam Computed Tomography (CBCT). The aim of this thesis is to build upon a previous feasibility study titled: “Guidance for Robotic Partial Nephrectomies with Intraoperative 3D Imaging and Endoscopic Localization.” In the previous work, the anatomy of a specific patient case was studied, from which a physical model of the kidney was constructed through 3D printing. Additionally, the robot's endoscope was studied, creating a mock-up model based on properties obtained from calibration. The shape and positioning of the markers to be used for kidney tracking during surgery were also examined. Lastly, a preliminary registration system based on fiducial points and static registration based on clicking corresponding markers in the left and right endoscope images was developed.
The purpose of this thesis was to further develop the previous work with the goal of incorporating the guidance into an operational context. Specifically, the development of registration and tracking algorithms was necessary as they were too dependent on operator interaction, thus prone to possible operator errors and time-consuming.
The first part of this work consists of a study of automatic 3D-3D registration algorithms based on volumes. Several algorithms were tested using the open-source software 3D Slicer, creating a simulated intraoperative image by leveraging preoperative CT images and CBCT images of the physical kidney model. Tests were conducted using a rigid registration algorithm based on voxel intensity called “elastix,” calculating the Target Registration Error (TRE) in cases where the simulated intraoperative images had or lacked markers. The results showed sub-millimetric TRE in both cases and were very similar, demonstrating that the registration works and that the presence of markers in the intraoperative image does not affect the registration result.
The second part focused on the automatic tracking system for the markers. This is done through the endoscope's RGB cameras, recognizing color thresholds in the Hue Saturation Value (HSV) model, as it is less susceptible to varying lighting conditions. Segmentation is performed, followed by blob detection and spherical shape recognition. However, some limitations had to be addressed due to significant triangulation errors caused by the proximity of the two stereoscopic cameras in the endoscope (baseline between the cameras is less than a centimeter), and the requirement, for the tracking, of an unambiguous triangular configuration of the three markers (the triangle formed by the three markers must not have equal sides). To solve these problems, a guidance system was developed to allow the surgeon to position the markers at the vertices of a scalene triangle within the margin of uncertainty. A MATLAB code was developed which, knowing the position of two markers fixed on a plane, calculates the optimal position for the third marker to achieve the required configuration. This code was later translated into C# language to create a Unity 3D application, which was then expanded by adding a graphical interface that followed the sequential placement of the markers performed by the surgeon. Finally, the entire code was integrated into a framework containing the libraries for triangulation and tracking, resulting in the final application. This was tested using the mock-up endoscope, a fixation procedure agreed upon with the surgeon, and using graph paper and the physical kidney model as a base. All thirty tests conducted were successful, providing safe, automatic, and especially dynamic tracking, ultimately allowing the continuation of the virtual image registration system which provides accuracy comparable to that achieved in the previous work.