ETD

• Decentralized Federated Learning
• Federated Learning
• Network Theory

This thesis examines the fundamental role of network topology in fully decentralized
federated learning (FDFL) systems, combining empirical investigation with rigorous the-
oretical analysis. As data volumes grow and edge devices proliferate, current centralized
federated learning (CFL) architectures that depend on a central server face substantial
challenges including limited scalability, communication bottlenecks, and vulnerability
to single points of failure. FDFL addresses these limitations by eliminating the central
server and enabling direct peer-to-peer communication among nodes, making it par-
ticularly suitable for large-scale distributed applications. However, the decentralized
structure of FDFL creates intricate interdependencies between network topology and
learning behavior that are not yet well understood. This thesis seeks to clarify these
interdependencies through a dual-strategy that combines extensive empirical analysis
with theoretical framework development.
Using comprehensive experiments on standard benchmark datasets (MNIST, Fashion-
MNIST, CIFAR-10, EMNIST), we show that network topology has significant and non-
trivial effects on learning dynamics. Our findings indicate that nodes with high central-
ity can either facilitate or hinder knowledge propagation depending on how data is dis-
tributed across the network, and that FDFL systems possess inherent resilience against
node failures.
From the theoretical standpoint, we investigate the FDFL learning dynamics trough
the lens of Complex Network Theory. We develop a framework based on spectral graph
theory that rigorously relates network structural properties to learning dynamics, en-
abling both explanation of observed phenomena and prediction of system performance.
Our model goes beyond previous research, which usually only takes into account simpler
network architectures, by characterising convergence behaviour on arbitrary graphs.
Notably, our framework captures both the asymptotic convergence properties and the
transient dynamics of the learning process. Through extensive numerical validation, we
demonstrate strong quantitative agreement between theoretical predictions and empiri-
cal observations across various topological configurations. These contributions provide
both theoretical insights and practical guidance for designing and implementing decen-
tralized learning systems in real-world networked environments, advancing both the
fundamental understanding and practical application of distributed machine learning at
scale

La tesi analizza il ruolo fondamentale della topologia della rete di comunicazione nei sistemi di apprendimento federato completamente decentralizzato (Fully Decentralized Federated Learning, FDFL), combinando un’indagine empirica con un’analisi teorica rigorosa. La crescita dei volumi di dati e la proliferazione dei dispositivi edge, ha fatto sì che le attuali architetture di apprendimento federato centralizzato (Centralized Federated Learning, CFL), che dipendono da un server centrale, risultino inadeguate nel lungo periodo. Esse presentano, infatti, delle sfide significative, tra cui limitata scalabilità, colli di bottiglia nella comunicazione e vulnerabilità a singoli punti di guasto. FDFL affronta tali limitazioni eliminando il server centrale e abilitando la comunicazione diretta tra i nodi, risultando particolarmente adatto per applicazioni su larga scala. Tuttavia, la struttura decentralizzata introduce complesse interdipendenze tra la topologia di rete e il processo di apprendimento che sono ancora sconosciute. Questa tesi mira a chiarire tali interdipendenze attraverso una strategia che combina un’ampia analisi empirica con lo sviluppo di un quadro teorico.

Mediante esperimenti approfonditi su dataset di riferimento standard (MNIST, Fashion-MNIST, CIFAR-10, EMNIST), si mostra che la topologia di rete esercita effetti significativi e non banali sulle dinamiche del processo d'apprendimento. I risultati indicano che i nodi con elevata centralità possono facilitare o ostacolare la propagazione della conoscenza a seconda della distribuzione dei dati nella rete, e che i sistemi FDFL presentano una resilienza intrinseca rispetto alla perdita di funzionamento dei nodi.

Dal punto di vista teorico, si analizzano le dinamiche di apprendimento nel FDFL mediante la teoria delle reti complesse. Si sviluppa un quadro basato sulla teoria spettrale dei grafi che mette in relazione in modo rigoroso le proprietà strutturali della rete con le dinamiche di apprendimento, consentendo sia la spiegazione dei fenomeni osservati sia la previsione delle prestazioni del sistema. Il modello proposto supera gli approcci precedenti, che considerano tipicamente architetture di rete più semplici, caratterizzando il comportamento di convergenza su grafi arbitrari. In particolare, il quadro teorico presentato cattura sia le proprietà di convergenza asintotica sia le dinamiche transitorie del processo di apprendimento. Attraverso un’estesa validazione numerica, si dimostra una forte concordanza quantitativa tra le previsioni teoriche e le osservazioni empiriche su diverse configurazioni topologiche. Questi contributi forniscono sia intuizioni teoriche sia indicazioni pratiche per la progettazione e l’implementazione di sistemi di apprendimento decentralizzato in ambienti reali basati su reti, contribuendo ad avanzare sia la comprensione fondamentale sia l’applicazione pratica del machine learning distribuito su larga scala.