logo SBA

ETD

Digital archive of theses discussed at the University of Pisa

 

Thesis etd-08252023-101350


Thesis type
Tesi di laurea magistrale
Author
PELAGATTI, TOMMASO
URN
etd-08252023-101350
Thesis title
Accordi e disaccordi: studio linguistico-computazionale sulla percezione della similarità semantica tra frasi
Department
FILOLOGIA, LETTERATURA E LINGUISTICA
Course of study
INFORMATICA UMANISTICA
Supervisors
relatore Venturi, Giulia
Keywords
  • profilazione linguistica
  • linguistic profiling
  • Transformer models
  • automatic prediction
  • predizione automatica
  • inter-annotator agreement
  • accordo tra annotatori
  • human perception
  • percezione umana
  • semantic similarity
  • similarità semantica
Graduation session start date
28/09/2023
Availability
Full
Summary
La tesi affronta il tema della percezione e del riconoscimento automatico della similarità semantica tra frasi in uno studio che approfondisce diversi aspetti legati alla misurazione della similarità semantica e all’accordo tra annotatori. È stato analizzato un corpus annotato con giudizi umani di similarità, misurando l’accordo tra annotatori singoli e tra gruppi selezionati in base a caratteristiche demografiche. Ne è emerso che annotatori con caratteristiche demografiche simili tendono a esprimere giudizi di similarità tra loro più coesi. Inoltre, è stata studiata la correlazione tra i giudizi umani e misure di similarità lessicali, morfosintattiche e sintattiche tra le frasi. Lo studio è stato svolto sia con i giudizi di similarità aggregati attraverso l’uso di quattro diversi metodi, che per i giudizi di ogni singolo annotatore. La sovrapposizione lessicale è risultata la misura di similarità con maggiore correlazione in entrambi i casi. Tuttavia, oltre il 75% degli annotatori ha espresso giudizi di similarità che correlano con 10 o più caratteristiche morfosintattiche o sintattiche delle frasi. Successivamente, sono stati condotti degli esperimenti di riconoscimento della similarità addestrando dei modelli di apprendimento automatico in un compito di regressione. I modelli sono stati addestrati nella predizione dei giudizi di similarità aggregati con i quattro metodi di aggregazione sopra citati. La sovrapposizione lessicale e le rappresentazioni semantiche implicite ottenute attraverso il fine-tuning di un modello BERT pre-addestrato sono risultate le feature linguistiche più predittive della similarità semantica. I risultati ottenuti sfruttando i diversi metodi di aggregazione dei giudizi mostrano tendenze simili. Infine, sono stati svolti alcuni esperimenti per indagare l’effetto dell’accordo tra gli annotatori nell’addestramento e valutazione dei modelli di predizione della similarità semantica. Ne è emerso che, nei modelli che usano la sovrapposizione lessicale e le rappresentazioni di BERT specializzato sul compito come input feature, la capacità di predizione aumenta all’aumentare dell’accordo tra gli annotatori. Per quanto riguarda i modelli che usano le rappresentazioni semantiche profonde ricavate dal fine-tuning di BERT, non si osserva una tendenza altrettanto regolare. I risultati ottenuti mostrano l’importanza di considerare l’accordo tra gli annotatori in compiti di riconoscimento della similarità semantica, includendo nei set di training e test esempi per cui gli annotatori hanno espresso giudizi in disaccordo tra loro.
File