• realtà aumentata
• hololens
• augmented reality

Il presente lavoro di tesi si è posto l’obiettivo di indagare l’impiego della tecnologia definita “Realtà Aumentata” per lo sviluppo di una soluzione innovativa destinata al training medico e paramedico. Per fare ciò, il primo passo è stato quello di studiare lo stato dell’arte e quelle che sono le attuali soluzioni adottate a tale scopo. È stata presentata una panoramica di alcuni sistemi ed è stata fatta una distinzione tra quelli che utilizzano approcci basati su ambiente reale, ambiente virtuale ed ambiente misto. Il focus è stato messo proprio su quest’ultimo ambiente di lavoro, il quale si presenta come un approccio ad alto potenziale per lo sviluppo di nuove tecnologie, le quali potrebbero presentare i vantaggi delle altre senza però svilupparne gli svantaggi. In particolare, un ambiente totalmente reale presenta i vantaggi di una interazione fisica con oggetti e manichini ed una migliore percezione e comprensione delle manovre, ma lunghi tempi per il setup degli scenari e dei costi elevati; un ambiente totalmente virtuale risolve alcuni dei punti negativi del reale, con la possibilità di cambiare velocemente uno scenario e dei costi ridotti, anche in virtù del fatto che non sono più richiesti locali attrezzati, ma si perde l’interazione fisica con gli oggetti.
Per poter meglio comprendere la tecnologia, si sono studiate quelle che sono le attuali differenti strumentazioni che implementano la Realtà Aumentata, ovvero i sistemi OST (Optical See-Through) e VST (Video See-Through) nella categoria dei dispositivi HMD (Head-Mounted Display), in modo da poter selezionare il dispositivo che più si adattava allo scopo prefissato. Sono state infine studiate le componenti software ed i loro strumenti per lo sviluppo di una simulazione funzionale.
Si è passati poi alla fase di sviluppo, in particolare utilizzando l’ambiente di sviluppo Unity3D e confrontando due differenti toolkit a disposizione: il Pacelab WEAVR, un pacchetto su licenza sviluppato dall’azienda PACE, ed il MRTK, un pacchetto di strumenti open source messo a disposizione da Microsoft. Dopo una fase di sviluppo in parallelo utilizzando i due kit, alcune limitazioni del primo hanno portato alla scelta di proseguire nelle successive fasi con i soli scenari sviluppati utilizzando il pacchetto open source.
La fase successiva è stata quella di testing su dispositivo, in particolare è stato scelto il Microsoft HoloLens 2, con prova pratica da parte di utenti esperti e principianti e successivo questionario di valutazione. I dati ottenuti sono risultati utili per avere una comprensione generale di quelli che sono aspetti rilevanti ai fini della simulazione e di come l’integrazione reale-virtuale era percepita, andando a valutare in particolare le differenti risposte in base al background di esperienza dell’utente rispetto a dispositivi di Realtà Aumentata. Le risposte ottenute dai due gruppi di utenti si sono generalmente rivelate in linea con quelle attese, andando ad evidenziare come alcuni aspetti della simulazione fossero più evidenti a persone che avessero già avuto esperienze con quel tipo di tecnologia. Nello specifico, le affermazioni di carattere più tecnico hanno ottenuto punteggi migliori tra gli utenti esperti, mentre le affermazioni di carattere più soggettivo hanno ottenuto risultati alternati tra utenti esperti e principianti. Affermazioni, infine, riguardo alle possibili interazioni hanno ottenuto punteggi mediamente migliori tra gli utenti principianti, forse anche a causa di un diverso approccio alle gesture presentate in tale elaborato da parte di utenti che avevano già familiarità con il dispositivo utilizzato. Complessivamente, i punteggi ottenuti dai due gruppi hanno portato ai risultati sperati.
In conclusione, questo elaborato di tesi ha voluto mostrare alcune delle potenzialità della simulazione in ambienti medicali utilizzando una tecnologia che implementa la Realtà Aumentata. I risultati hanno mostrato come alcune applicazioni siano più inclini ad un approccio utilizzando questo tipo di tecnologie, ma anche alcuni limiti rispetto ad altro tipo di scenario.

This thesis work has set itself the objective of investigating the use of the technology defined as "Augmented Reality" for the development of an innovative solution for medical and paramedical training. To do this, the first step was to study the state of the art and what are the current solutions adopted for this purpose. An overview of some systems was presented and a distinction was made between those using approaches based on real environment, virtual environment and mixed environment. The focus was placed precisely on the latter work environment, which presents itself as an approach with high potential for the development of new technologies, which could present the advantages of the others without however developing their disadvantages. In particular, a totally real environment has the advantages of a physical interaction with objects and mannequins and a better perception and understanding of the manoeuvres, but long times for setting up the scenarios and high costs; a totally virtual environment solves some of the negative points of reality, with the possibility of quickly changing a scenario and reduced costs, also by virtue of the fact that equipped rooms are no longer required, but the physical interaction with the objects is lost.
In order to better understand the technology, what are the current different instruments that implement Augmented Reality have been studied, i.e. the OST (Optical See-Through) and VST (Video See-Through) systems in the category of HMD (Head-Mounted Display), in order to be able to select the device that best suited the intended purpose. Finally, the software components and their tools for the development of a functional simulation were studied.
We then moved on to the development phase, in particular using the Unity3D development environment and comparing two different toolkits available: the Pacelab WEAVR, a licensed package developed by the PACE company, and the MRTK, an open source toolkit made available by Microsoft. After a parallel development phase using the two kits, some limitations of the first led to the decision to continue in the subsequent phases with only the scenarios developed using the open source package.
The next phase was that of testing on the device, in particular the Microsoft HoloLens 2 was chosen, with a practical test by expert and novice users and a subsequent evaluation questionnaire. The data obtained were useful for having a general understanding of what are relevant aspects for the purposes of the simulation and how the real-virtual integration was perceived, evaluating in particular the different responses based on the user's experience background compared to Augmented Reality devices. The answers obtained from the two groups of users generally proved to be in line with those expected, highlighting how some aspects of the simulation were more evident to people who had already had experience with that type of technology. Specifically, the more technical statements scored better among experienced users, while the more subjective statements scored mixed results among experienced and novice users. Finally, statements regarding possible interactions obtained averagely better scores among novice users, perhaps also due to a different approach to the gestures presented in this paper by users who were already familiar with the device used. Overall, the scores obtained by the two groups led to the desired results.
In conclusion, this thesis work wanted to show some of the potential of simulation in medical environments using a technology that implements Augmented Reality. The results showed how some applications are more inclined to an approach using this type of technology, but also some limits compared to other scenarios.