• challenge dataset
• natural language inference
• probing task
• sentence embedding
• transformer
• word embedding

La tesi è l'esito di un tirocinio svolto nel 2020 durante il quale è stato elaborato un challenge dataset sul fenomeno dell'iperonimia, utilizzato per testare le capacità inferenziali di modelli transformer fine-tuned sul task di Natural Language Inference. La tesi è suddivisa in cinque capitoli. Nel primo capitolo si descrive lo stato dell'arte relativo al mondo NLP (rappresentazioni vettoriali di parole, word e sentence embedding, probing task e Natural Language Inference). Nel secondo viene descritto i fenomeni sui quali è stata basata la costruzione del dataset, ossia iperonimia e monotonicità. Il terzo capitolo è relativo al dataset elaborato, le modalità di composizione delle coppie di frasi, le label utilizzati e alcuni casi esempio. Il quarto fa riferimento ai modelli computazionali considerati durante la fase di sperimentazione (CBOW, BERT e RoBERTa). Nell'ultimo capitolo vengono riportati i risultati ottenuti dai modelli con i punteggi relativi alle metriche utilizzate.