ETD

• Obstacle Detection Avoidance Camera

Autonomous mobile robots operating in human-shared environments must detect, track, and avoid dynamic obstacles in real time under tight computational constraints. This thesis presents the development of an integrated perception and obstacle avoidance system based on LiDAR and depth/RGB camera fusion, implemented in ROS 2 Jazzy on Ubuntu 24.04 within a Docker environment.
The work extends LV-DOT, an open-source framework for dynamic obstacle detection and tracking originally developed in ROS 1, with several original contributions: a full migration to ROS 2 Jazzy; an automatic LiDAR-to-camera calibration node based on Iterative Closest Point (ICP), replacing the fixed transform of the original system; a dedicated node for runtime estimation of ground, ceiling, and planar walls; a four-stream detection pipeline (UV detector, depth-cloud DBSCAN, LiDAR-cloud DBSCAN, YOLOv11) with hierarchical IoU/IoV-based fusion and per-stream nested box filtering; a constant-acceleration Kalman filter tracker with multi-factor data association and a motion-selective track admission gate; and a three-path cascade classifier with temporal consistency checks to prevent label flickering.
The system is integrated with Nav2 for reactive obstacle avoidance. LiDAR points belonging to detected dynamic obstacles are removed from the costmap to prevent corrupted path planning. A critical zone matching the obstacle bounding box is inflated directly in the costmap, surrounded by an elongated elliptical high-cost region oriented along the obstacle velocity vector and scaled proportionally to its estimated speed. The full pipeline was validated on indoor bag sequences featuring moving pedestrians.

I robot mobili autonomi che operano in ambienti condivisi con esseri umani devono rilevare, tracciare ed evitare ostacoli dinamici in tempo reale, con risorse computazionali limitate. Questa tesi presenta lo sviluppo di un sistema integrato di percezione e obstacle avoidance basato sulla fusione di dati LiDAR e camera depth/RGB, implementato in ROS 2 Jazzy su Ubuntu 24.04 in ambiente Docker.
Il lavoro prende come punto di partenza LV-DOT, un framework open-source per il rilevamento e il tracciamento di ostacoli dinamici originariamente sviluppato in ROS 1, e ne estende significativamente le capacità. I contributi principali includono: la migrazione completa dell'architettura a ROS 2 Jazzy; l'introduzione di un nodo di calibrazione automatica LiDAR-camera basato su ICP (Iterative Closest Point), che sostituisce la trasformazione fissa del sistema originale; un nodo dedicato alla stima dinamica del suolo, del soffitto e delle pareti della scena; un pipeline di detection a quattro stream paralleli (UV detector, DBSCAN su depth cloud, DBSCAN su point cloud LiDAR, YOLOv11) con filtraggio gerarchico basato su IoU e IoV; un tracker Kalman a modello di accelerazione costante con associazione multi-fattore e gestione avanzata del ciclo di vita dei track; e una classificazione dinamico/statico a tre percorsi in cascata con verifica di consistenza temporale anti-flickering.
Il sistema è integrato con Nav2 per l'obstacle avoidance: i punti LiDAR appartenenti agli ostacoli dinamici rilevati vengono rimossi dalla costmap per evitare pianificazioni errate, mentre viene creata una zona critica della dimensione della bounding box dell'ostacolo e una zona ad alto costo a forma ellittica, orientata e scalata proporzionalmente alla velocità stimata dell'oggetto. Il sistema è stato validato su sequenze indoor con pedoni in movimento.