ETD

• Perceptive
• Reinforcement Learning
• Robotic Manipulation

The execution of complex robotic manipulation tasks traditionally requires highly specific control architectures. Using classical techniques, the implementation of different operations, such as Pick-and-Place and Push, necessitates the design of separate controllers for each task. Adding to this fragmentation is the extreme complexity of integrating visual feedback from a camera: traditional methods require rigid computer vision pipelines to accurately estimate the spatial pose of objects, resulting in systems that are inflexible and vulnerable in unstructured environments. To overcome these obstacles, Deep Reinforcement Learning (DRL) can be employed, an approach that allows the robot to autonomously learn a unified control policy based directly on experience and sensory data. This thesis presents a multi-task manipulation framework enabling the robot to autonomously perform Pick-and-Place and Push tasks on various objects. To address the limitations of multi-task training, an asymmetric Teacher-Student architecture was developed: two expert policies learn to solve individual tasks using perfect data from the simulator, subsequently transferring their knowledge to a single student policy that makes decisions based exclusively on visual input from a camera and the robot's internal state. The advantages of this approach primarily lie in the flexibility and autonomy of the agent, which becomes capable of interacting with unforeseen objects without prior knowledge of their exact pose. Training and physical parameter identification were conducted through massive parallelization in the NVIDIA Isaac Lab simulator, followed by the successful validation of the model transfer (Sim-to-Real) on the physical Franka Research 3 robotic manipulator equipped with an adaptive gripper.

L'esecuzione di complessi task di manipolazione robotica richiede tradizionalmente architetture di controllo altamente specifiche. Utilizzando le tecniche classiche, l'implementazione di operazioni diverse, come il Pick-and-Place e il Push, impone la progettazione di controllori separati per ciascun task. A questa frammentazione si aggiunge l'estrema complessità nell'integrare il feedback visivo di una telecamera: i metodi tradizionali richiedono infatti rigide pipeline di visione artificiale per stimare con precisione la posa spaziale degli oggetti, risultando poco flessibili e vulnerabili in ambienti non strutturati. Per superare questi ostacoli è possibile ricorrere al Deep Reinforcement Learning (DRL), un approccio che permette al robot di apprendere autonomamente una politica di controllo unificata, basata direttamente sull'esperienza e sui dati sensoriali. In questa tesi è presentato un framework di manipolazione multi-task per permettere al robot di eseguire autonomamente i task di Pick-and-Place e Push su oggetti diversi. Per superare i limiti di addestramento su task multipli, è stata sviluppata un'architettura asimmetrica di tipo Teacher-Student: due policy esperte imparano a risolvere i singoli task utilizzando dati perfetti dal simulatore, per poi trasferire la loro conoscenza a un'unica policy student che prende decisioni basandosi esclusivamente sull'input visivo di una telecamera e sullo stato interno del robot. I vantaggi di questo approccio si presentano soprattutto nella flessibilità e nell'autonomia dell'agente, che diventa in grado di interagire con oggetti imprevisti senza conoscerne a priori la posa esatta. L'addestramento e l'identificazione dei parametri fisici sono stati effettuati tramite parallelizzazione massiva nel simulatore NVIDIA Isaac Lab, per poi validare con successo il trasferimento del modello (Sim-to-Real) sul robot manipolatore fisico Franka Research 3, equipaggiato con un gripper adattivo.