Analysis of prompt selection in continual learning
Dipartimento
INFORMATICA
Corso di studi
INFORMATICA
Relatori
relatore Prof. Carta, Antonio relatore Hurtado, Julio
Parole chiave
continual learning
learning to prompt
prompt learning
vision transformers
Data inizio appello
23/02/2024
Consultabilità
Tesi non consultabile
Riassunto
In this work, we focus on a novel continual learning strategy called Learning to Prompt (L2P), which is based on prompting methodologies. The strategy maintains a pool of learnable soft-prompts and performs predictions by selecting with a query-key matching mechanism a subset of prompts from the pool. The selected prompts are used to condition the predictions of a frozen pre-trained vision transformer. The goal of the work is to analyze the prompt selection mechanism of L2P to better understand how it works, by performing a series of experiments on two continual learning benchmarks (Split CIFAR-100 and the 5-datasets).
-- In questo lavoro, studiamo una nuova strategia di continual learning chiamata Learning to Prompt (L2P), che si basa su metodologie di prompting. La strategia mantiene un pool di soft-prompt apprendibili ed effettua predizioni selezionando un sottoinsieme di prompt dal pool tramite un meccanismo di matching tra query e chiavi. I prompt selezionati vengono utilizzati per condizionare le predizioni di un Vision Transformer pre-allenato, i cui parametri non vengono allenati. L'obiettivo del lavoro è analizzare il meccanismo di selezione dei prompt di L2P per comprenderne meglio il funzionamento, eseguendo una serie di esperimenti su due benchmark di continual learning (Split CIFAR-100 e 5-datasets).