logo SBA

ETD

Digital archive of theses discussed at the University of Pisa

 

Thesis etd-06182023-112835


Thesis type
Tesi di laurea magistrale
Author
MORONI, LUCA
URN
etd-06182023-112835
Thesis title
Augmenting NLMs using reading Gaze Features
Department
INFORMATICA
Course of study
INFORMATICA
Supervisors
relatore Prof. Dell'Orletta, Felice
relatore Prof. Monreale, Anna
Keywords
  • Explainable AI
  • Gaze Features
  • Large Language Models
  • Linguistic Complexity
  • Multilingual NLP
Graduation session start date
21/07/2023
Availability
Full
Summary
IT: Il mio lavoro ha esplorato la possibilità di utilizzare le Gaze fetures di lettura per migliorare i neural language models (NLMs) in tasks downstream semantici e sintattici e, se l'apprendimento di tali features di lettura può migliorare la spiegabilità di tali modelli. Abbiamo studiato come cambiano i modelli linguistici dopo aver appreso le Gaze features. Per fare ciò, abbiamo utilizzato tecniche di probing, studiando come cambiano le rappresentazioni, ed infine abbiamo esplorato le correlazioni tra l'attenzione del modello e le Gaze features.

EN: My work explored the possibility to use reading gaze features to improve the Neural Language Models in semantic and syntactic downstream tasks and, if the learning of predicting such reading features can improve the explainability of such models. We studied how language models change after learning gaze features. To do so, we used probing techniques, to study how the representations change, and we explored correlations between model attention and gaze features.
File