ETD

• Computer Vision
• Deepfake Detection
• Diffusion Models
• Generative AI

The rapid progress of vision generative models has transformed digital content creation, enabling the synthesis of photorealistic images and videos from textual inputs. This thesis investigates three core challenges in this area: (i) assessing the degree of alignment between a user’s intent and the generated output, (ii) improving generative performance and efficiency by leveraging evaluation signals, and (iii) detecting synthetic media to reduce the risks associated with misuse.
The first part of the thesis addresses the evaluation of generated content. In the first chapter, we present ViCE, a framework that emulates key aspects of human judgment in text-to-image evaluation by decomposing the assessment into interpretable sub-tasks centered on visual concept verification. While ViCE targets image generation, Chapter two extends the evaluation setting to instruction-based image editing. There, we propose DICE, a learnable metric designed to identify and assess localized, object-level edits, achieving improved agreement with human preferences and providing more transparent explanations than existing CLIP-based or LLM-based evaluators.
Building on these insights, the second part of the thesis explores how evaluation metrics can be used not only to measure, but also to enhance, generative models. Chapter 3, tackles hallucinations in diffusion models and introduces HEAD (Hallucination Early Detection), a method that monitors intermediate generation states to detect likely failures early, enabling premature termination of flawed samples and thus reducing unnecessary computation. Subsequently, Chapter 4 examines inference-time scaling strategies for video diffusion models, showing that strengthening the metric used to guide inference-time optimization yields substantial gains in temporal coherence and overall visual fidelity.
The third part focuses on synthetic media detection. Chapter 5, studies the robustness of deepfake detectors built on pre-trained feature extractors, highlighting pronounced sensitivity to common image transformations. Motivated by these findings, Chapter 6 introduces CoDE (Contrastive Deepfake Embeddings), a contrastive learning framework that learns discriminative representations from both authentic and manipulated images, attaining state-of-the-art detection performance with a lightweight ViT-Tiny backbone. To facilitate training and evaluation at scale, we also release the D3 (Diffusion-generated Deepfake Detection) dataset, comprising more than nine million images generated by a diverse set of diffusion models. While CoDE demonstrates the benefits of large-scale supervision, Chapter 7 investigates the few-shot regime, analyzing effective strategies for training detectors against novel generators when only limited synthetic data are available.
Beyond task-specific objectives for evaluation, optimization, and detection, this thesis also studies representation learning as a shared bottleneck across the proposed systems. In practice, motivated by limitations of Masked Image Modeling, such as the discrepancy introduced by masking during pre-training and the limited modeling of dependencies among corrupted patches, we investigate alternative self-supervised objectives for Vision Transformers. Chapter 8, introduces Mapet, which combines masked and permutation-based prediction with auxiliary positional information to better align pre-training and fine-tuning, and proposes a CLIP-based discrete tokenizer (k-CLIP) that provides semantically richer targets without training a dataset-specific tokenizer.

Il rapido progresso dei modelli generativi per la visione artificiale ha trasformato la creazione di contenuti digitali, consentendo la sintesi di immagini e video fotorealistici a partire da input testuali. Questa tesi indaga tre sfide fondamentali in quest’area: (i) valutare il grado di allineamento tra l’intento dell’utente e l’output generato, (ii) migliorare le prestazioni e l’efficienza dei modelli generativi sfruttando segnali di valutazione, e (iii) rilevare contenuti sintetici per ridurre i rischi associati a un uso improprio.

La prima parte della tesi affronta il problema della valutazione dei contenuti generati. Nel primo capitolo si presenta ViCE, un framework che emula aspetti chiave del giudizio umano nella valutazione text-to-image, scomponendo l’analisi in sottocompiti interpretabili incentrati sulla verifica di concetti visivi. Sebbene ViCE sia pensato per la generazione di immagini, il secondo capitolo estende il contesto valutativo all’editing di immagini guidato da istruzioni. In tale contesto proponiamo DICE, una metrica apprendibile progettata per identificare e valutare modifiche localizzate a livello di oggetto, ottenendo una maggiore concordanza con le preferenze umane e fornendo spiegazioni più trasparenti rispetto ai valutatori esistenti basati su CLIP o modelli linguistici di grandi dimensioni (LLM).

Basandosi su queste intuizioni, la seconda parte della tesi esplora come le metriche di valutazione possano essere utilizzate non solo per misurare, ma anche per migliorare i modelli generativi. Il Capitolo 3 affronta il problema delle allucinazioni nei modelli a diffusione e introduce HEAD (Hallucination Early Detection), un metodo che monitora gli stati intermedi della generazione per individuare precocemente probabili fallimenti, consentendo l’interruzione anticipata dei campioni difettosi e riducendo così il calcolo non necessario. Successivamente, il Capitolo 4 esamina strategie di scaling al tempo di inferenza per modelli di diffusione video, mostrando come il rafforzamento della metrica utilizzata per guidare l’ottimizzazione in fase di inferenza produca miglioramenti sostanziali nella coerenza temporale e nella qualità visiva complessiva.

La terza parte si concentra sul rilevamento dei contenuti sintetici. Il Capitolo 5 studia la robustezza dei rilevatori di deepfake basati su backbones pre-addestrati, evidenziando una marcata sensibilità a comuni trasformazioni dell’immagine. Motivato da questi risultati, il Capitolo 6 introduce CoDE (Contrastive Deepfake Embeddings), un framework di apprendimento contrastivo che apprende rappresentazioni discriminative sia da immagini autentiche sia da immagini manipolate, raggiungendo prestazioni allo stato dell’arte nel rilevamento utilizzando un backbone leggero ViT-Tiny. Per facilitare l’addestramento e la valutazione su larga scala, rendiamo inoltre disponibile il dataset D3 (Diffusion-generated Deepfake Detection), composto da oltre nove milioni di immagini generate da un insieme eterogeneo di modelli a diffusione. Sebbene CoDE dimostri i benefici della supervisione su larga scala, il Capitolo 7 esplora il regime few-shot, analizzando strategie efficaci per addestrare rilevatori contro nuovi generatori quando sono disponibili soltanto quantità limitate di dati sintetici.

Oltre agli obiettivi specifici di valutazione, ottimizzazione e rilevamento, questa tesi studia anche il representation learning come collo di bottiglia condiviso tra i sistemi proposti. In particolare, motivati dai limiti del Masked Image Modeling, quali la discrepanza introdotta dal masking durante il pre-addestramento e la limitata modellazione delle dipendenze tra patch corrotte, si analizzano obiettivi alternativi di apprendimento auto-supervisionato per i Vision Transformer. Il Capitolo 8 introduce Mapet, un approccio che combina predizione mascherata e basata su permutazione con informazioni posizionali ausiliarie per migliorare l’allineamento tra pre-addestramento e fine-tuning, e propone un tokenizer discreto basato su CLIP (k-CLIP) che fornisce target semanticamente più ricchi senza richiedere l’addestramento di un tokenizer specifico per dataset.