ETD

• ai
• model based RL
• monte carlo tree search
• neural network
• reinforcement learning
• robot control

This thesis investigates Reinforcement Learning (RL) methods that incorporate Monte Carlo Tree Search (MCTS), considering their historical development in game-playing and their extension to robotic control problems. The goal is to analyze the impact of transferring these approaches in terms of relevant performance aspects, with particular focus on two dimensions: training sample efficiency (evaluated as the amount of experience/episodes required to obtain effective policies) and the computational cost of the algorithm. The experimental assessment is conducted through Python-based implementations, comparing learning behavior and computational overhead across the considered configurations.

La tesi affronta lo studio di metodi di Reinforcement Learning (RL) che impiegano la Monte Carlo Tree Search (MCTS), considerando il loro utilizzo in ambiti nati storicamente nei giochi e la successiva estensione a problemi di controllo robotico. L’obiettivo del lavoro è analizzare l’impatto del trasferimento di tali approcci su aspetti prestazionali rilevanti, con particolare attenzione a due dimensioni: l’efficienza nell’uso dei campioni durante l’addestramento (sample efficiency, valutata in termini di esperienza/episodi necessari per ottenere politiche efficaci) e il costo computazionale richiesto dall’algoritmo. Le valutazioni sperimentali sono state condotte tramite implementazioni in ambiente Python, confrontando l’andamento dell’apprendimento e l’onere di calcolo nelle diverse configurazioni considerate.