ETD

Digital archive of theses discussed at the University of Pisa

 

Thesis etd-04132021-165559


Thesis type
Tesi di laurea magistrale
Author
RABITTI, RUGGERO
email address
r.rabitti@studenti.unipi.it, rabitti.ruggero@gmail.com
URN
etd-04132021-165559
Thesis title
Design and Implementation of a Framework for Reinforcement Learning for self-driving cars
Department
INGEGNERIA DELL'INFORMAZIONE
Course of study
COMPUTER ENGINEERING
Supervisors
relatore Amato, Giuseppe
relatore Di Benedetto, Marco
relatore Falchi, Fabrizio
relatore Gennaro, Claudio
Keywords
  • deep q learning
  • deep q network
  • carla simulation environment
  • deep reinforcement learning
  • reinforcement learning
  • authonomous driving
Graduation session start date
30/04/2021
Availability
Full
Summary
In this work, we aim to apply Artificial Intelligence techniques, based on the Machine Learning approach, to develop automated driving tools for preventing traffic accidents or, at least, minimizing the resulting damage. In particular, in this project we created a framework designed for testing Reinforcement Learning and Deep Reinforcement Learning algorithms in simulated driving scenarios. We tested multiple configurations of Deep Q-Learning agents to solve the same autonomous driving task, consisting in avoiding efficiently an obstacle on our driving path, without stopping the car if not necessary. These testing driving scenarios were reproduced using CARLA simulation environment, an open-source simulation environment, running on top of Unreal 4 engine, designed to assist autonomous driving research by enacting and visualizing the driving simulations episodes. We present our simulations results, in ascending level of agent configuration complexity, resulting in progressively better performance in the autonomous driving task.

Lo scopo del lavoro che presentiamo consiste nell’applicazione di tecniche di Intelligenza Artificiale, basate su approcci di tipo Machine Learning, per sviluppare degli agenti per la guida autonoma, con lo scopo di prevenire incidenti stradali o per lo meno minimizzarne i possibili danni. In particolare in questo progetto abbiamo creato un framework per testare algoritmi di tipo Reinforcement Learning e Deep Reinforcement Learning in scenari di guida simulati. Abbiamo testato più configurazioni di agenti basati sull’algoritmo di Deep Q-Learning per risolvere il medesimo task di guida autonoma, dove l’agente cerca di evitare efficientemente un ostacolo sulla propria corsia di guida, senza frenare fino a fermarsi, se non strettamente necessario. Le simulazioni di sessioni di guida autonoma sono stati creati usando CARLA, un ambiente di simulazione open-source, creato per assistere le ricerche nell'ambito della guida autonoma. Presentiamo in fine i risultati ottenuti da diverse simulazioni, in cui utilizziamo configurazioni dell’agente progressivamente più sofisticate, ottenendo performance via via migliori nel medesimo compito di guida autonoma.
File