ETD

• xr, computer vision, mass distribution

Extended Reality, including Virtual Reality, Augmented Reality, and Mixed Reality, enables immersive interaction but still lacks realistic physical behavior in virtual objects, such as mass and weight. In particular, current virtual environments cannot largely represent and simulate intrinsic physical properties such as mass distribution and weight, which are essential for achieving truly immersive and physically consistent experiences. This thesis, developed to assist with some objectives of the EU-funded Social and Human-centered XR project, proposes a system for estimating mass distribution to generate high-quality ground-truth data for learning-based applications. The proposed system integrates both hardware and software components to enable scalable, accurate, and repeatable data acquisition. The hardware setup consists of a multi-camera acquisition box with four calibrated cameras, a passive hand-shaped gripper equipped with force sensors, and a modular 3D-printed object with configurable internal mass distributions. These components are coordinated through a central control unit. The software framework is divided into two modules: a synchronized data acquisition module and a computer vision module. The following performs camera calibration, object pose estimation, and gripper fingertip tracking using fiducial markers, producing precise affine transformation matrices. The system is designed to automate data acquisition for estimating inertial properties, with a focus on accuracy and scalability. Experimental results demonstrate an acceptable baseline of the proposed approach in estimating object and gripper poses and highlight the system’s potential to support learning-based models that incorporate physical properties into virtual environments. This work contributes a solid baseline for data acquisition in XR applications and lays the basis for future research on embedding realistic physical behavior into virtual objects.

La realtà estesa, che comprende realtà virtuale, realtà aumentata e realtà mista, consente un'interazione immersiva, ma resta carente di comportamenti fisici realistici negli oggetti virtuali, come la massa e il peso. In particolare, gli ambienti virtuali attuali non sono in grado di rappresentare e simulare in modo esaustivo le proprietà fisiche intrinseche quali la distribuzione della massa e il peso, elementi essenziali per ottenere esperienze veramente immersive e fisicamente coerenti. Questa tesi, sviluppata per supportare gli obiettivi del progetto europeo Social and Human-centered XR, propone un sistema per la stima della distribuzione della massa al fine di generare dati di riferimento di alta qualità per applicazioni di apprendimento. Il sistema proposto integra componenti hardware e software per consentire un'acquisizione di dati scalabile, accurata e ripetibile. La configurazione hardware è composta da una scatola per l'acquisizione multicamera con quattro camere calibrate, una pinza a forma di mano dotata di sensori di forza e un oggetto modulare stampato in 3D per le distribuzioni di massa interne configurabili. Questi componenti sono coordinati tramite un'unità di controllo. Il framework software è suddiviso in due moduli: un modulo di acquisizione dati sincronizzato e un modulo di computer vision. Quest'ultimo esegue la calibrazione delle camere, la stima della posa dell'oggetto e delle dita della pinza utilizzando i fiducial marker, producendo matrici di trasformazione affine precise. Il sistema è progettato per automatizzare l'acquisizione dei dati per la stima delle proprietà inerziali, con particolare attenzione all'accuratezza e alla scalabilità. I risultati sperimentali dimostrano una base di riferimento accettabile per l'approccio proposto alla stima delle pose dell'oggetto e della pinza ed evidenziano il potenziale del sistema per supportare modelli basati sull'apprendimento che incorporano proprietà fisiche in ambienti virtuali. Questo lavoro fornisce una solida base di partenza per l'acquisizione dei dati nelle applicazioni XR e pone le basi per future ricerche sull'integrazione di comportamenti fisici realistici in oggetti virtuali.