ETD

• Ambiente cislunare
• Autonomous Rendezvous
• Circular Restricted Three-Body Problem
• Cislunar Environment
• CR3BP
• GNC Formation Manager
• Halo Orbits
• Multi-Agent Reinforcement Learning
• Orbite Halo
• PPO
• Problema Circolare Ristretto dei Tre Corpi
• Proximal Policy Optimization
• Reinforcement Learning
• Reinforcement Learning multi-agente
• Spacecraft Formation Flying

The growing shift in space agencies' focus toward the lunar environment, driven by programs such as Artemis and infrastructure such as the Lunar Gateway, has made the study of missions involving multiple spacecraft cooperating in formation on non-Keplerian orbits increasingly relevant — typically Halo or Near-Rectilinear Halo orbits about the Lagrange points of the Earth-Moon system. In this context, proximity operations such as rendez-vous, scene-visibility maintenance, and formation network-connectivity maintenance are complicated by the nonlinear nature of the reference dynamics, governed by the Circular Restricted Three-Body Problem (CR3BP). Classical guidance, navigation, and control techniques rely on explicit models and optimization methods solved point-by-point at every planning cycle, incurring significant online computational cost and limited robustness to operating conditions that differ from those assumed at design time; the reference work by Pilone addressed this same mission scenario using precisely this approach, both centralized and decentralized. This thesis explores an alternative paradigm, on-policy Reinforcement Learning, in which an agent learns a control policy through repeated interaction with a simulated environment, shifting the computational burden from the operational phase to the offline training phase; among on-policy algorithms, Proximal Policy Optimization (PPO) is chosen for its training stability and its natural applicability to discrete action spaces.
The case study is a four-satellite formation consisting of a passive target, a chaser, an observer, and a communication satellite, positioned in the vicinity of a Southern Halo L2 orbit in the Earth-Moon system, consistent with the Lunar Gateway architecture. The work first develops the necessary theoretical framework: the CR3BP equations of motion in the synodic frame, the Lagrange points, periodic Halo orbits, and, finally, the theory of quasi-periodic orbits and invariant tori that emerge through bifurcation from the Halo family, which underlies the third methodological variant. The relative dynamics in the Local Vertical Local Horizon (LVLH) frame are then introduced, along with the Lambert problem, solved via shooting within the full CR3BP dynamics, which constitutes the tool with which every single-impulse maneuver is generated and applied to the agents. On the RL methodology side, the thesis reviews Markov Decision Process theory, policy-gradient and actor-critic methods, PPO's clipped surrogate objective, and the main multi-agent architectures proposed in the literature; the adopted choice is a sequential curriculum learning scheme, in which the three agents are first trained in isolation and then jointly, as a compromise between implementation simplicity and multi-agent training stability.
The central methodological contribution is the development and comparison of two simulation-environment variants that share the observation space, action space, potential-shaping-based reward function, and a five-phase training curriculum with convergence gates, differing in the time-stepping strategy: one with a fixed integration step dt = 30 minutes, and one with an adaptive step, in which the timestep decreases as a function of chaser-target distance. The thesis then extends the fixed-step environment to a third scenario, in which the free-space geometric goals of the observer and comm are replaced by anchoring to an invariant quasi-halo torus of the CR3BP dynamics; this variant introduces a structural constraint on the action space, consisting of phase-hop and shell-change templates, complementary to the more traditional soft constraint in the reward.
The three configurations were evaluated on a sample of N = 10,000 independent episodes under a deterministic policy. The rendez-vous success rate was 96.8% for the fixed step, 93.6% for the adaptive step, and 99.2% for the quasi-halo variant. The direct comparison between fixed and adaptive step showed a reduction in Δv consumption for all active agents, at the cost of a slightly lower success rate. The quasi-halo variant showed a markedly lower formation-keeping energy cost for the observer and comm compared to the free-space variants, a result achieved only after abandoning an initial kinematic model of the torus and recalibrating the reward function relative to the free-space cases. The comparison with Pilone's explicit optimization approach confirmed the expected online computational advantage of the learned policy. The thesis closes by discussing related future developments, including a comparison with more centralized multi-agent architectures (MAPPO, MADDPG), extending the adaptive timestep to the quasi-halo variant, and moving toward more complex but targeted models such as real ephemerides.

Il progressivo spostamento dell'interesse delle agenzie spaziali verso l'ambiente lunare, con programmi come Artemis e infrastrutture come il Lunar Gateway, ha reso rilevante lo studio di missioni con più veicoli spaziali cooperanti in formazione su orbite non kepleriane, tipicamente orbite Halo o Near-Rectilinear Halo attorno ai punti lagrangiani del sistema Terra-Luna. In questo contesto, operazioni di prossimità come rendez-vous, mantenimento della visibilità della scena e mantenimento della connettività di rete della formazione sono complicate dalla natura non lineare della dinamica di riferimento, governata dal Problema Circolare Ristretto dei Tre Corpi (CR3BP). Le tecniche di guida, navigazione e controllo classiche si basano su modelli espliciti e metodi di ottimizzazione risolti punto per punto ad ogni ciclo di pianificazione, con un costo computazionale online significativo e una robustezza limitata a condizioni operative diverse da quelle previste; il lavoro di riferimento di Pilone ha affrontato lo stesso scenario di missione proprio con questo approccio, centralizzato e decentralizzato. Questa tesi esplora un paradigma alternativo, il Reinforcement Learning On-policy, in cui un agente apprende una politica di controllo attraverso l'interazione ripetuta con un ambiente simulato, spostando l'onere computazionale dalla fase operativa a quella di addestramento offline; tra gli algoritmi on-policy, il Proximal Policy Optimization (PPO) è scelto per la sua stabilità di addestramento e la naturale applicabilità a spazi di azione discreti.
Il caso di studio è una formazione di quattro satelliti, costituita da un target passivo, un chaser, un observer e un satellite di comunicazione, posta nell'intorno di un'orbita Halo Sud-polare L2 nel sistema Terra-Luna, coerentemente con l'architettura del Lunar Gateway. Il lavoro sviluppa inizialmente l'impianto teorico necessario: le equazioni del moto del CR3BP nel frame sinodico, i punti di Lagrange, le orbite periodiche Halo e, in chiusura, la teoria delle orbite quasi-periodiche e dei tori invarianti che emergono per biforcazione dalla famiglia Halo, alla base della terza variante metodologica. Viene poi introdotta la dinamica relativa nel frame Local Vertical Local Horizon (LVLH) e il problema di Lambert, risolto per shooting all'interno della dinamica completa del CR3BP, che costituisce lo strumento con cui ogni manovra a impulso singolo viene generata e applicata agli agenti. Sul piano metodologico del RL, la tesi richiama la teoria dei Processi Decisionali di Markov, i metodi policy-gradient e actor-critic, l'obiettivo surrogato clippato di PPO e le principali architetture multi-agente proposte in letteratura; la scelta adottata è un curriculum learning sequenziale, in cui i tre agenti vengono addestrati prima in isolamento e poi congiuntamente, come compromesso tra semplicità implementativa e stabilità dell'addestramento multi-agente.
Il contributo metodologico centrale è lo sviluppo e il confronto di due varianti dell'ambiente di simulazione che condividono spazio di osservazione, spazio delle azioni, funzione di reward basata su potential shaping e curriculum di addestramento a cinque fasi con gate di convergenza, differendo per la strategia di avanzamento temporale: una a passo di integrazione fisso dt=30 minuti e una a passo adattivo, in cui il timestep si riduce in funzione della distanza chaser-target. La tesi estende poi l'ambiente a passo fisso a un terzo scenario, in cui gli obiettivi geometrici di observer e comm in spazio libero sono sostituiti dall'ancoraggio a un toro quasi-halo invariante della dinamica CR3BP; questa variante introduce un vincolo strutturale sullo spazio delle azioni, costituito da template di hop di fase e cambio di shell, complementare al più tradizionale vincolo soft nel reward.
Le tre configurazioni sono state valutate su un campione di N=10000 episodi indipendenti con politica deterministica. Il tasso di successo del rendez-vous è risultato pari al 96.8% per il passo fisso, al 93.6% per il passo adattivo e al 99.2% per la variante quasi-halo. Il confronto diretto tra passo fisso e passo adattivo ha mostrato una riduzione del consumo di Δv per tutti gli agenti attivi, a fronte di un tasso di successo lievemente inferiore. La variante quasi-halo ha mostrato un costo energetico di mantenimento della formazione per observer e comm nettamente inferiore rispetto alle varianti free-space, un risultato ottenuto solo dopo l'abbandono di un primo modello cinematico del toro e ricalibrazioni della funzione di reward rispetto alle casistiche free-space. Il confronto con l'approccio di ottimizzazione esplicita di Pilone ha confermato il vantaggio computazionale online atteso della politica appresa. La tesi si chiude discutendo relativi sviluppi futuri, tra cui un confronto con architetture multi-agente più centralizzate (MAPPO, MADDPG), l'estensione del timestep adattivo alla variante quasi-halo e il passaggio verso modelli più complessi ma puntuali quali effemeridi reali.