ETD

• Co-Speech Gesture Generation
• Human–Robot Interaction
• Motion Tokenization
• Social Robotics
• Transformer Networks
• VQ-VAE

This thesis presents a data-driven framework for generating co-speech gestures for humanoid robots starting from textual transcriptions. The research focuses on ABEL, a hyper-realistic humanoid robot developed at the University of Pisa, with the goal of enabling more natural and expressive human–robot interaction. The proposed system maps linguistic input into physically plausible motion trajectories synchronized with speech rhythm and semantic content.

To address the complexity of gesture generation, the work investigates several techniques for pose-space discretization, including PCA, UMAP, HDBSCAN, and Vector Quantized Variational Autoencoders (VQ-VAE), enabling the construction of a discrete gesture vocabulary. On top of this representation, multiple neural architectures are explored, including GRU- and Transformer-based models enhanced with Cross-Attention, FiLM conditioning, Rotary Positional Embeddings, and Classifier-Free Guidance.

The framework also integrates a Kalman Filter operating in the latent space to improve motion smoothness and temporal coherence. Experimental results demonstrate that the proposed architecture produces gestures that are more realistic, fluid, and rhythmically aligned with speech, while remaining suitable for real-time deployment on humanoid robotic platforms.

Questa tesi presenta un framework data-driven per la generazione di gesti co-speech per robot umanoidi a partire da trascrizioni testuali. La ricerca è focalizzata su ABEL, un robot umanoide iper-realistico sviluppato presso l’Università di Pisa, con l’obiettivo di rendere l’interazione uomo–robot più naturale ed espressiva. Il sistema proposto trasforma l’input linguistico in traiettorie motorie fisicamente plausibili, sincronizzate con il ritmo e il contenuto semantico del parlato.

Per affrontare la complessità della generazione gestuale, il lavoro esplora diverse tecniche di discretizzazione dello spazio delle pose, tra cui PCA, UMAP, HDBSCAN e Vector Quantized Variational Autoencoders (VQ-VAE), permettendo la costruzione di un vocabolario discreto di movimenti. Su questa rappresentazione vengono studiate differenti architetture neurali, incluse soluzioni basate su GRU e Transformer arricchite con Cross-Attention, FiLM conditioning, Rotary Positional Embeddings e Classifier-Free Guidance.

Il framework integra inoltre un filtro di Kalman nello spazio latente per migliorare fluidità e coerenza temporale dei movimenti. I risultati sperimentali mostrano che l’architettura proposta genera gesti più realistici, fluidi e ritmicamente coerenti con il parlato, risultando adatta all’esecuzione in tempo reale su piattaforme robotiche umanoidi.