• abstract concepts
• figurative language
• indirect grounding
• LLMs
• multimodality
• VLMs

L'obiettivo di questa ricerca è studiare il grounding multimodale dei concetti astratti e comprendere come un termine astratto (es. conoscenza) possa essere interpretato metaforicamente attraverso un’immagine concreta (es. libro).
Attraverso indagini psicolinguistiche sono stati raccolti dati sulle associazioni tra concetti astratti e concreti tramite metodi di elicitazione (associazioni stimolo astratto – parole concrete / immagini / situazioni). Si è osservata l’esistenza di tendenze prototipiche di associazioni tra concetti astratti, parole concrete e situazioni, e che tali associazioni si confermano anche attraverso l’associazione multimodale tra sistemi visivi e linguistici.
Si è studiata, inoltre, la capacità dei Large Language Models (LLMs) e dei Vision Language Models (VLMs) di generare associazioni astratto-concreto tramite compiti di generazione linguistica, image retrieval e image generation. Le tecniche utilizzate hanno dimostrato che questi modelli possono riprodurre percorsi associativi in modo simile agli umani.
I risultati indicano che le immagini che rappresentano scenari concreti possono essere metaforicamente interpretate attraverso concetti astratti, in quanto raffigurano situazioni che forniscono contesto e li collegano a eventi reali e ai vincoli sensoriali del mondo fisico. La ricerca ha portato alla creazione di una risorsa multimodale italiana, SituaMet, che collega stimoli astratti, situazioni e immagini.


This research aims to study the multimodal grounding of abstract concepts and understand how an abstract term (e.g., knowledge) can be metaphorically interpreted through a concrete image (e.g., a book).
Through psycholinguistic investigations, data were collected on the associations between abstract and concrete concepts using elicitation methods (abstract stimulus associations - concrete words/images/situations). Prototypical trends in associations between abstract concepts, concrete words, and situations were observed, and these associations were confirmed through multimodal associations between visual and linguistic systems.
Additionally, the ability of Large Language Models (LLMs) and Vision Language Models (VLMs) to generate abstract-concrete associations was studied through linguistic generation, image retrieval, and image generation tasks. The techniques used demonstrated that these models can reproduce associative paths similarly to humans.
The results show that images representing concrete scenarios can be metaphorically interpreted through abstract concepts because they depict situations that provide context and relate them to real-world events and sensory constraints. The research led to the creation of an Italian multimodal resource, SituaMet, which connects abstract stimuli, situations, and images.