ETD

• continual learning
• large language models

I modelli linguistici pre-addestrati su testi provenienti da un'ampia varietà di fonti costituiscono la base dell'odierno NLP. Nonostante le loro performance, questi diventano obsoleti in un mondo in continua evoluzione in cui la risoluzione di compiti richiede informazioni aggiornate. Questo problema deriva dai metodi con cui i LM vengono addestrati, in particolare utilizzando esclusivamente un dataset fisso ad un arco temporale. In questo lavoro si valuta l'adattabilità dei LM a corpus di conoscenza frequentemente aggiornati come Wikipedia, in particolare utilizzando tecniche di Continual Learning che permettono di continuare la fase di addestramento, bilanciando tra dati pregressi e informazioni fattuali recenti.