logo SBA

ETD

Archivio digitale delle tesi discusse presso l’Università di Pisa

Tesi etd-06182023-112835


Tipo di tesi
Tesi di laurea magistrale
Autore
MORONI, LUCA
URN
etd-06182023-112835
Titolo
Augmenting NLMs using reading Gaze Features
Dipartimento
INFORMATICA
Corso di studi
INFORMATICA
Relatori
relatore Prof. Dell'Orletta, Felice
relatore Prof. Monreale, Anna
Parole chiave
  • Large Language Models
  • Gaze Features
  • Linguistic Complexity
  • Explainable AI
  • Multilingual NLP
Data inizio appello
21/07/2023
Consultabilità
Completa
Riassunto
IT: Il mio lavoro ha esplorato la possibilità di utilizzare le Gaze fetures di lettura per migliorare i neural language models (NLMs) in tasks downstream semantici e sintattici e, se l'apprendimento di tali features di lettura può migliorare la spiegabilità di tali modelli. Abbiamo studiato come cambiano i modelli linguistici dopo aver appreso le Gaze features. Per fare ciò, abbiamo utilizzato tecniche di probing, studiando come cambiano le rappresentazioni, ed infine abbiamo esplorato le correlazioni tra l'attenzione del modello e le Gaze features.

EN: My work explored the possibility to use reading gaze features to improve the Neural Language Models in semantic and syntactic downstream tasks and, if the learning of predicting such reading features can improve the explainability of such models. We studied how language models change after learning gaze features. To do so, we used probing techniques, to study how the representations change, and we explored correlations between model attention and gaze features.
File