ETD

• Benchmark
• Multimodal Ai Assesment
• NLP
• Omnimodale
• Visual language model

The thesis studies unimodal collapse in vision-language and omnimodal models, that is, the risk that strong performance depends on a single input channel rather than genuine cross-modal understanding. It builds on MAIA, the first Italian benchmark for video comprehension, and on the intermediate study Lost in Transcription, which showed that in the original videos vision was clearly dominant and audio nearly irrelevant, because those videos had not been selected with the acoustic track in mind. To address this limitation, the thesis introduces MAIA-AV: one hundred new videos from Italian culture with audio directly anchored to the images, three hundred questions covering spatial, temporal, and causal reasoning, four independent human answers per question, and caption-foil pairs generated with GPT-4o and then validated. The method uses a Modality-Ablation Design, with conditions ranging from no input to video combined with audio or transcription, measured through four metrics (Conditional Modality Gain, Repair Rate, Damage Rate, Aggregated Accuracy) and an attention analysis.
On the Gemma and Qwen models, unlike in MAIA, audio consistently improves accuracy, by up to nearly 10 percentage points, and in larger models transcription yields even greater gains. True multimodal competence lies in selecting and integrating the right evidence, not in the number of available channels.

La tesi studia il collasso unimodale nei modelli linguistici visivi e omnimodali, cioè il rischio che le buone prestazioni dipendano da un solo canale d'input e non da una vera comprensione cross-modale. Parte da MAIA, il primo benchmark italiano per la comprensione video, e dallo studio Lost in Transcription, che aveva mostrato come nei video originali il visivo fosse dominante e l'audio quasi ininfluente, perché quei video non erano stati scelti pensando alla traccia acustica. Per superare il limite, la tesi introduce MAIA-AV: cento nuovi video della cultura italiana con audio ancorato direttamente alle immagini, trecento domande su ragionamento spaziale, temporale e causale, quattro risposte umane per domanda e coppie caption-foil generate con GPT-4o e poi validate. Il metodo usa un design di ablazione delle modalità, con condizioni che vanno da nessun input a video più audio o trascrizione, misurate con quattro metriche (Conditional Modality Gain, Repair Rate, Damage Rate, Accuratezza Aggregata) e un'analisi dell'attenzione.
Sui modelli Gemma e Qwen, a differenza di MAIA, l'audio migliora sempre l'accuratezza, fino a quasi 10 punti percentuali, e nei modelli più grandi la trascrizione porta guadagni ancora più alti. La vera competenza multimodale sta nel saper selezionare e integrare le evidenze giuste, non nel numero di canali disponibili.