logo SBA

ETD

Archivio digitale delle tesi discusse presso l’Università di Pisa

Tesi etd-02022024-131102


Tipo di tesi
Tesi di laurea magistrale
Autore
ARCELLI, DIEGO
URN
etd-02022024-131102
Titolo
Analysis of prompt selection in continual learning
Dipartimento
INFORMATICA
Corso di studi
INFORMATICA
Relatori
relatore Prof. Carta, Antonio
relatore Hurtado, Julio
Parole chiave
  • continual learning
  • learning to prompt
  • prompt learning
  • vision transformers
Data inizio appello
23/02/2024
Consultabilità
Tesi non consultabile
Riassunto
In this work, we focus on a novel continual learning strategy called Learning to Prompt (L2P), which is based on prompting methodologies. The strategy maintains a pool of learnable soft-prompts and performs predictions by selecting with a query-key matching mechanism a subset of prompts from the pool. The selected prompts are used to condition the predictions of a frozen pre-trained vision transformer. The goal of the work is to analyze the prompt selection mechanism of L2P to better understand how it works, by performing a series of experiments on two continual learning benchmarks (Split CIFAR-100 and the 5-datasets).

--
In questo lavoro, studiamo una nuova strategia di continual learning chiamata Learning to Prompt (L2P), che si basa su metodologie di prompting. La strategia mantiene un pool di soft-prompt apprendibili ed effettua predizioni selezionando un sottoinsieme di prompt dal pool tramite un meccanismo di matching tra query e chiavi. I prompt selezionati vengono utilizzati per condizionare le predizioni di un Vision Transformer pre-allenato, i cui parametri non vengono allenati. L'obiettivo del lavoro è analizzare il meccanismo di selezione dei prompt di L2P per comprenderne meglio il funzionamento, eseguendo una serie di esperimenti su due benchmark di continual learning (Split CIFAR-100 e 5-datasets).
File