ETD

Archivio digitale delle tesi discusse presso l'Università di Pisa

Tesi etd-04012021-124533


Tipo di tesi
Tesi di laurea magistrale
Autore
MARZIANO, GIUSEPPE
URN
etd-04012021-124533
Titolo
Analisi delle capacità inferenziali dei transformer: Il caso dell’iperonimia
Dipartimento
FILOLOGIA, LETTERATURA E LINGUISTICA
Corso di studi
INFORMATICA UMANISTICA
Relatori
relatore Prof. Lenci, Alessandro
Parole chiave
  • transformer
  • natural language inference
  • probing task
  • word embedding
  • sentence embedding
  • challenge dataset
Data inizio appello
26/04/2021
Consultabilità
Tesi non consultabile
Riassunto
La tesi è l'esito di un tirocinio svolto nel 2020 durante il quale è stato elaborato un challenge dataset sul fenomeno dell'iperonimia, utilizzato per testare le capacità inferenziali di modelli transformer fine-tuned sul task di Natural Language Inference. La tesi è suddivisa in cinque capitoli. Nel primo capitolo si descrive lo stato dell'arte relativo al mondo NLP (rappresentazioni vettoriali di parole, word e sentence embedding, probing task e Natural Language Inference). Nel secondo viene descritto i fenomeni sui quali è stata basata la costruzione del dataset, ossia iperonimia e monotonicità. Il terzo capitolo è relativo al dataset elaborato, le modalità di composizione delle coppie di frasi, le label utilizzati e alcuni casi esempio. Il quarto fa riferimento ai modelli computazionali considerati durante la fase di sperimentazione (CBOW, BERT e RoBERTa). Nell'ultimo capitolo vengono riportati i risultati ottenuti dai modelli con i punteggi relativi alle metriche utilizzate.
File