ETD

• Clip
• Hybrid LoRA
• Image Generation
• LLaVA Critic
• LoRA
• Stable Diffusion

This thesis explores the fusion of LoRA adapters on Stable Diffusion XL 1.0 for the rapid and efficient learning of concepts such as pose, style and subject matter. In particular, it involves the development of a new fusion framework called ‘Hybrid LoRA’, so named for its hybrid nature, which acts on both the U-Net blocks and the diffusion steps. The study reviews the state of the art regarding adapter fusion and seeks to explore the problem of multi-concept fusion in ‘training-free’ mode. The thesis also examines the fragility of the classic evaluation metrics (Clip, Arcface, Dino) used by the majority of studies on image evaluation and experiments with a new, emerging method for this task, based on multimodal models (LLaVA Critic in our case).

La tesi esplora lo studio della fusione tra adattatori LoRA su Stable Diffusion XL 1.0 per l'apprendimento rapido e efficiente di concetti come la posa, lo stile e il soggetto da rappresentare. In particolare viene incluso lo sviluppo di un nuovo framework di fusione denominato "Hybrid LoRA", per la sua natura ibrida che agisce sia sui blocchi della U-Net che sugli step di diffusione. Lo studio fa un punto sullo stato dell'arte relativo alla fusione degli adattatori e cerca di esplorare il problema della fusione multiconcettuale nella modalità "Training-Free". La tesi inoltre verifica la fragilità del metro di giudizio classico (Clip, Arcface, Dino) assunto dalla maggioranza delle ricerche relativo alla valutazione di immagini e sperimenta un nuovo metodo in ascesa per questo task, basato su modelli multimodali (LLaVA Critic nel nostro caso).