ETD

• Compositionality
• Continual Learning
• Foundation Models

Artificial Intelligence has entered the era of Foundation Models: large-scale architectures achieving remarkable performance across tasks. However, they are computationally expensive, environmentally demanding, and inherently static, struggling to adapt to evolving data distributions. Concurrently, continual learning research shows neural networks are prone to catastrophic forgetting, making stable long-term adaptation a fundamental challenge.

This dissertation argues that compositionality offers a principled solution. Rather than treating networks as monolithic, compositionality constructs intelligent systems through reusable, modular components that can be selectively combined. This exploit reuse, enhances efficiency, reduces task interference, and enables scalable adaptation.

We ground this in Continual Learning, analyzing its core challenges and algorithmic families, demonstrating how multi-expert systems mitigate forgetting and enable zero-shot composition. We then extend this to Foundation Models, studying Parameter-Efficient Fine-Tuning and introducing modular adaptation and merging techniques for continual fine-tuning without full retraining.

Through theoretical and empirical evaluation, this work shows compositional adaptation reduces forgetting, limits parameter growth, and improves efficiency. We conclude that sustainable AI lies not in scaling models, but in structuring them—embracing compositionality for efficient, responsible adaptation.

L'Intelligenza Artificiale è nell'era dei Foundation Models: architetture su larga scala dalle prestazioni straordinarie. Tuttavia, si tratta di soluzioni costose, impattanti a livello ambientale e statiche, con problemi ad adattarsi a dati in evoluzione. Parallelamente, la ricerca nel continual learning ha dimostra che le reti neurali soffrono di catastrophic forgetting, rendendo l'adattamento a lungo termine una sfida cruciale.

Questa tesi sostiene che la composizionalità offra una soluzione di principio. Invece di considerare le reti come monolitiche, essa costruisce sistemi intelligenti tramite componenti modulari e riutilizzabili, combinabili selettivamente. Ciò sfrutta il riutilizzo, aumenta l'efficienza, riduce l'interferenza tra task e offre un adattamento scalabile.

Inquadrato il tema nel Continual Learning, mostreremo come i sistemi multi-esperto mitighino il forgetting e consentano la composizione zero-shot. Estenderemo poi il framework ai Foundation Models, studiando il Parameter-Efficient Fine-Tuning e introducendo tecniche di adattamento modulare e merging per il fine-tuning continuo senza riaddestramento.

Analisi teoriche ed empiriche dimostreranno che l'adattamento composizionale riduce il forgetting, limita il numero di parametri e migliora l'efficienza. Il futuro dell'IA sostenibile non risiede nello scaling dei modelli, ma nella loro strutturazione, eleggendo la composizionalità a principio guida.