• coerenza
• coherence
• language models
• linguistica computazionale
• nlp
• transformer

Obiettivo della tesi è sperimentare e valutare metodologie per la modellazione della coerenza a partire dai language models, in particolare dai loro embedding: la natura distribuzionale delle informazioni codificate si presta potenzialmente a catturare informazioni semantiche, linguistiche e situazionali complesse come quelle considerate nella valutazione della coerenza. Il metro su cui l'efficacia delle metodologie testate è valutato sono i giudizi umani, che se disponibili sono il sistema di valutazione della coerenza più valido.
Preliminarmente è stato condotto un monitoraggio linguistico sul dataset utilizzato per studiare quali caratteristiche linguistiche correlassero maggiormente con le valutazioni umane. Sono state poi testate varie metodologie non supervisionate per l'analisi della coerenza: usare la perplessità o la pseudoperplessità come proxy oppure dati statistici sulla distanza (ad es. la media) tra gli embedding delle frasi consecutive; per questa analisi sono stati confrontati una varietà di modelli con caratteristiche differenti. Come approccio supervisionato dei modelli scelti sono stati addestrati sulla regressione rispetto ai giudizi umani. Entrambi gli approcci sono poi stati sottoposti a probing test per analizzare più nel dettaglio la natura degli embedding.