ETD

• Apprendimento per rinforzo
• Artificial intelligence
• Intelligenza artificiale
• Locomozione quadrupede
• Navigazione robotica
• Path planning
• Pianificazione dei percorsi
• Quadrupedal locomotion
• Reinforcement learning
• Robot navigation

This thesis investigates the integration of reinforcement learning and path planning for robotic control and navigation. The work presents a set of modular software projects to implement and evaluate Q-learning, DQN, PPO, and SAC, initially in the Gymnasium environments CartPole and LunarLander and subsequently on mobile vehicles and quadruped robots simulated in MuJoCo. Navigation policies are integrated with A*, RRT, and RRT* planners: the global path is converted into intermediate goals, while the learned policy generates robot commands. For Boston Dynamics Spot quadruped robot, equipped with a robotic arm, a hierarchical control architecture separates navigation from locomotion, which is handled by a previously trained low-level policy that remains fixed. The experiments assess performance, robustness to disturbances, and planning and navigation times, highlighting trade-offs that depend on the robot and configuration. An extension of SAC using Model-Based Policy Optimization (MBPO), which employs synthetic transitions generated by a learned model, is also investigated to evaluate its impact on performance and sample efficiency compared with the model-free approach. Experimental validation is conducted entirely in simulation.

La tesi studia l’integrazione tra apprendimento per rinforzo (Reinforcement Learning) e pianificazione dei percorsi (Path Planning) per il controllo e la navigazione robotica. Il lavoro presenta un insieme di progetti software modulari per implementare e valutare Q-learning, DQN, PPO e SAC, inizialmente negli ambienti Gymnasium CartPole e LunarLander e successivamente su veicoli mobili e robot quadrupedi simulati in MuJoCo. Le politiche di navigazione sono integrate con i pianificatori A*, RRT e RRT*: il percorso globale viene trasformato in obiettivi intermedi, mentre la politica appresa genera i comandi del robot. Per il robot quadrupede Spot di Boston Dynamics, dotato di braccio robotico, è adottato un controllo gerarchico che separa la navigazione dalla locomozione, affidata a una politica di basso livello precedentemente addestrata e mantenuta fissa. Gli esperimenti analizzano prestazioni, robustezza ai disturbi e tempi di pianificazione e navigazione, evidenziando compromessi dipendenti dal robot e dalla configurazione. È inoltre studiata un’estensione di SAC con Model-Based Policy Optimization (MBPO), che impiega transizioni sintetiche generate da un modello appreso, per valutarne l’impatto sulle prestazioni e sull’efficienza nell’uso dei dati rispetto all’approccio privo di modello. La validazione sperimentale è condotta interamente in simulazione.