ETD

• Amazon
• drones
• EVT
• extreme value theory
• package delivery
• safety
• UAV

This thesis develops an integrated methodology for the safety assessment of autonomous systems under extreme scenarios, applied to the MK30 delivery drone operated by Amazon Prime Air. The work is structured around two complementary tracks: an industrial track focused on the implementation of an automated stress testing framework integrated into the company's CI/CD pipeline, and a scientific track based on the application of Extreme Value Theory (EVT) for the quantitative estimation of failure probabilities in rare events.
In the industrial track, over 120 adversarial test scenarios were designed and implemented for 12 perception-critical algorithms of the drone, including descent obstacle detection (DPC-V) and mid-air collision avoidance (MACA). In the scientific track, by applying the Block Maxima method and the GEV distribution to simulation data, it is shown that the tail of the detection-distance distribution follows the Fréchet class (estimated shape parameter ξ̂ = 0.806), indicating a risk systematically underestimated by Gaussian models. The results show that the critical safety threshold of 2.1 m is breached on average approximately every 2,000 flights, with an estimated per-flight failure probability of the order of 5 × 10⁻⁴.

La presente tesi sviluppa una metodologia integrata per la valutazione della sicurezza di sistemi autonomi soggetti a scenari estremi, con applicazione al drone di consegna MK30 di Amazon Prime Air. Il lavoro si articola in due componenti complementari: un filone industriale, incentrato sull'implementazione di un framework automatizzato di stress testing integrato nella pipeline CI/CD aziendale, e un filone scientifico, fondato sull'applicazione della Teoria dei Valori Estremi (EVT) per la stima quantitativa della probabilità di guasto in eventi rari.
Nel filone industriale sono stati progettati e implementati oltre 120 scenari di test avversariali per 12 algoritmi critici per la percezione del drone, inclusi il rilevamento ostacoli in discesa (DPC-V) e l'anti-collisione in volo (MACA). Nel filone scientifico, applicando il metodo Block Maxima e la distribuzione GEV ai dati di simulazione, si dimostra che la coda della distribuzione delle distanze di rilevamento è di tipo Fréchet (parametro di forma stimato ξ̂ = 0,806), indicando un rischio sistematicamente sottostimato dai modelli gaussiani. I risultati evidenziano che la soglia di sicurezza critica di 2,1 m viene violata mediamente ogni circa 2.000 voli, con una stima della probabilità di guasto per volo dell'ordine di 5 × 10⁻⁴.