logo SBA

ETD

Archivio digitale delle tesi discusse presso l’Università di Pisa

Tesi etd-11142023-151819


Tipo di tesi
Tesi di laurea magistrale
Autore
MARINELLI, ALBERTO ROBERTO
Indirizzo email
a.marinelli9@studenti.unipi.it, albertorobertoemme@libero.it
URN
etd-11142023-151819
Titolo
Updating knowledge in Large Language Models: an Empirical Evaluation
Dipartimento
INFORMATICA
Corso di studi
INFORMATICA
Relatori
relatore Prof. Carta, Antonio
correlatore Prof.ssa Passaro, Lucia C.
controrelatore Prof. Zavattari, Cesare
Parole chiave
  • continual learning
  • large language models
Data inizio appello
01/12/2023
Consultabilità
Completa
Riassunto
I modelli linguistici pre-addestrati su testi provenienti da un'ampia varietà di fonti costituiscono la base dell'odierno NLP. Nonostante le loro performance, questi diventano obsoleti in un mondo in continua evoluzione in cui la risoluzione di compiti richiede informazioni aggiornate. Questo problema deriva dai metodi con cui i LM vengono addestrati, in particolare utilizzando esclusivamente un dataset fisso ad un arco temporale. In questo lavoro si valuta l'adattabilità dei LM a corpus di conoscenza frequentemente aggiornati come Wikipedia, in particolare utilizzando tecniche di Continual Learning che permettono di continuare la fase di addestramento, bilanciando tra dati pregressi e informazioni fattuali recenti.
File