ETD

• BM25
• Dense Retrieval
• Index Efficiency
• Information Retrieval
• Information Retrieval Neurale
• Learned Sparse Retrieval
• Lexical Retrieval
• Metadata
• Metadati
• Modelli Neurali
• Motori di ricerca
• MS MARCO
• Neural Information Retrieval
• Neural Models
• Passage quality estimation
• Passage Retrieval
• QualT5
• Retrieval Effectiveness
• SPLADE
• Static Index Pruning
• Stima della qualità dei passaggi
• T5
• TAS-B

The increasing adoption of neural models in Information Retrieval systems has led to substantial improvements in retrieval effectiveness, but also to a significant increase in the computational costs associated with representing, indexing, and searching large document collections. This issue is particularly relevant in passage retrieval systems, where documents are divided into shorter textual units that are subsequently indexed independently. Although this strategy enables the use of neural models designed for limited-length input sequences, it also produces very large collections in which not every passage is equally useful for satisfying future information needs.
In this context, passage quality estimation aims to assign each passage a query-independent score representing the likelihood that it may be relevant to some information need submitted by the user. Such a score can be used for static index pruning, removing low-quality passages before indexing and thereby reducing index size and the computational cost of subsequent retrieval operations. Recent neural approaches, such as QualT5, have shown that the textual content of a passage provides an effective signal for this task. However, relying exclusively on text may fail to capture structural, statistical, and representational properties that can also be associated with passage quality.
This thesis therefore investigates whether integrating metadata can improve neural passage quality estimation and, more importantly, whether these additional signals can lead to a better trade-off between corpus reduction and retrieval effectiveness. To address this problem, the thesis introduces MetaQual, a model that extends a T5-based text-only quality estimator by incorporating additional information extracted both from the passage itself and from the representations generated by the Transformer model.
The metadata considered in this work are divided into three main families. Lexical metadata describe directly observable properties of the passage text, including passage length, average token length, lexical diversity, repetition, lexical entropy, and the proportion of stopwords and content words. Embedding-level metadata are computed from the contextualized representations produced by the encoder and describe global properties of the passage representation through statistics such as vector norms, mean, variance, and the proportion of near-zero values. Finally, token-level metadata characterize the distribution of individual token representations by considering statistics such as the mean, standard deviation, maximum of token norms and the similarity between token representations and the overall passage representation. Before being integrated into the model, the different features are normalized using transformations selected according to their statistical characteristics.
MetaQual employs dedicated modules to project the different metadata families into the latent space of the language model and to allow interactions among the resulting representations to be learned. Several strategies for combining textual information and metadata are investigated. In particular, the experiments consider configurations based on representation concatenation, attention-based fusion, and the construction of a unified metadata representation. The purpose of these approaches is not to replace the semantic information learned by the language model, but rather to enrich it with complementary signals that may help distinguish passages of different quality.
Training is performed starting from a previously supervised QualT5 model, using MS MARCO Passage as the main experimental collection. To promote stable learning of the newly introduced components, a two-stage training strategy is also adopted. In the first stage, the metadata-related modules are optimized while most of the language model remains frozen. In the second stage, the decoder and the MetaQual components are jointly optimized. A fixed diagnostic set is used during model development to compare checkpoints and select the models subsequently employed to produce passage quality scores for the full corpus.
The evaluation is organized at two complementary levels. First, an intrinsic analysis directly investigates the ability of the quality estimators to distinguish passages of different quality, mainly through ROC curves and ROC-AUC. Second, and more importantly from an application-oriented perspective, the resulting quality scores are used to rank the entire corpus and progressively remove passages with the lowest scores. Different pruned indexes are constructed at multiple pruning ratios, and their effectiveness is compared with that of the corresponding unpruned index. To determine whether the conclusions depend on a specific retrieval architecture, experiments are conducted across three different retrieval paradigms: BM25 as a traditional lexical retrieval model, SPLADE as a learned sparse retriever, and TAS-B as a dense retriever. The evaluation includes MS MARCO dev.small and the TREC Deep Learning 2019 and 2020 query sets, using ranking and recall metrics together with statistical testing to assess differences with respect to the baselines.
The results show that the contribution of metadata cannot be characterized solely in terms of improvements in global ROC-AUC. Passage quality estimation should therefore be evaluated jointly with the downstream retrieval system in which the resulting scores are applied. The best MetaQual configurations remain broadly comparable to the QualT5 baseline according to this metric. However, the analysis of the ROC curves reveals local differences in the way passages are ordered, particularly in the regions associated with the portion of the corpus that is most likely to be removed. This observation is important in the context of static pruning because improving the ordering of the entire collection uniformly is not strictly necessary; what matters most is the ability to correctly identify the least useful passages.
The downstream evaluation further supports this observation. Among the investigated strategies, the concatenation-based configuration emerges as the most robust solution across different pruning ratios and retrieval systems. The other fusion strategies exhibit less uniform behavior, but can produce larger improvements in specific neural retrieval scenarios. In particular, under more aggressive pruning conditions, some metadata-enriched configurations outperform the baseline for SPLADE and TAS-B, showing that additional signals can beneficially affect the selection of passages retained in the corpus. BM25 is generally more tolerant to corpus reduction, whereas neural retrievers are more sensitive to passage removal while also exhibiting the clearest benefits from metadata-aware quality estimation.
Overall, this thesis shows that integrating lexical information and signals derived from neural representations represents a promising direction for passage quality estimation.
MetaQual provides a general framework for investigating metadata integration in passage quality estimation and demonstrates that such signals can contribute to the construction of more compact collections while preserving, and in some cases improving, retrieval effectiveness. Future work could extend the evaluation to additional collections and domains and perform feature-level ablation studies to better understand the individual contribution of each metadata family and identify the combinations that are most effective for different retrieval architectures.

La crescente diffusione di modelli neurali nei sistemi di Information Retrieval ha portato a importanti miglioramenti nell’efficacia della ricerca, ma anche a un significativo aumento dei costi computazionali associati alla rappresentazione, indicizzazione e interrogazione di collezioni documentali di grandi dimensioni. Questo problema è particolarmente evidente nei sistemi basati su passage retrieval, nei quali i documenti vengono suddivisi in unità testuali più brevi che vengono successivamente indicizzate in modo indipendente. Sebbene questa strategia renda possibile l’impiego di modelli neurali progettati per sequenze di lunghezza limitata, produce allo stesso tempo collezioni molto grandi, nelle quali non tutti i passaggi risultano effettivamente utili per soddisfare una futura richiesta informativa.
In questo contesto, la passage quality estimation mira ad assegnare a ciascun passaggio un punteggio indipendente dalla query che rappresenti la probabilità che esso possa risultare rilevante per una qualche richiesta da parte dell'utente. Tale stima può essere utilizzata per effettuare static index pruning, eliminando prima dell’indicizzazione i passaggi considerati di qualità inferiore e riducendo quindi lo spazio occupato dall’indice e il costo delle successive operazioni di retrieval. Recenti approcci neurali, come QualT5, hanno mostrato che il contenuto testuale del passaggio costituisce un segnale efficace per questo compito. Tuttavia, una valutazione basata esclusivamente sul testo può non catturare completamente alcune proprietà strutturali, statistiche e semantiche associate alla qualità di un passaggio.
Questa tesi studia quindi se l’integrazione di metadati possa migliorare la stima neurale della passage quality e, soprattutto, se tali informazioni possano produrre un migliore compromesso tra riduzione della collezione (e quindi dei costi computazionali) ed efficacia del sistema di retrieval. A questo scopo viene proposto MetaQual, un modello che estende un estimatore text-only basato su T5 integrando informazioni aggiuntive estratte dal passaggio e dalle rappresentazioni prodotte dal Transformer.
I metadati considerati appartengono a tre famiglie principali. I lexical metadata descrivono proprietà direttamente osservabili nel testo, come la lunghezza del passaggio, la lunghezza media dei token, la varietà lessicale, il livello di ripetizione, l’entropia lessicale e la proporzione di stopword e content word. Gli embedding-level metadata vengono invece calcolati sulle rappresentazioni contestualizzate prodotte dall’encoder e descrivono proprietà globali dell’embedding del passaggio, attraverso statistiche quali norme, media, varianza e proporzione di valori prossimi allo zero. Infine, i token-level metadata caratterizzano la distribuzione delle rappresentazioni dei singoli token, considerando grandezze quali media, deviazione standard, massimo delle loro norme e la similarità tra le rappresentazioni dei token e quella complessiva del passaggio. Prima dell’integrazione nel modello, le diverse feature vengono normalizzate mediante trasformazioni selezionate in funzione delle loro caratteristiche statistiche.
MetaQual utilizza moduli dedicati per proiettare le diverse famiglie di metadati nello spazio latente del language model e permettere al modello di apprenderne congiuntamente le interazioni. Sono state analizzate diverse strategie di fusione tra informazione testuale e metadati. In particolare, sono state sperimentate configurazioni basate sulla concatenazione delle rappresentazioni, sulla fusione diretta da meccanismi di attenzione e sulla costruzione di una rappresentazione complessiva dei metadati. L’obiettivo non è sostituire il segnale semantico appreso dal modello linguistico, ma arricchirlo con informazioni complementari che possano contribuire a distinguere passaggi di qualità differente.
L’addestramento è stato condotto a partire da un modello QualT5 precedentemente supervisionato, utilizzando MS MARCO Passage come principale collezione sperimentale. Per favorire un apprendimento stabile delle nuove componenti è stata inoltre adottata una strategia di addestramento in due fasi: inizialmente vengono ottimizzati i moduli dedicati ai metadati mantenendo congelata la maggior parte del modello linguistico; successivamente, il decoder e i componenti di MetaQual vengono ottimizzati congiuntamente. Un insieme diagnostico fisso è stato utilizzato durante lo sviluppo per confrontare i checkpoint e selezionare i modelli da impiegare nella successiva produzione dei quality score.
La valutazione è stata progettata su due livelli complementari. Una prima analisi intrinseca studia direttamente la capacità degli estimatori di distinguere passaggi di qualità differente, principalmente attraverso curve ROC e ROC-AUC. Una seconda valutazione, più importante dal punto di vista applicativo, utilizza invece i quality score per ordinare l’intera collezione e rimuovere progressivamente i passaggi con punteggio inferiore. Sono stati costruiti indici corrispondenti a diversi livelli di pruning e la loro efficacia è stata confrontata con quella dell’indice completo. Per verificare che le conclusioni non dipendessero da una particolare architettura di retrieval, gli esperimenti sono stati condotti utilizzando tre paradigmi differenti: BM25 come modello lessicale tradizionale, SPLADE come learned sparse retriever e TAS-B come dense retriever. La valutazione comprende MS MARCO dev.small e le query TREC Deep Learning 2019 e 2020, utilizzando metriche di ranking e recall e test statistici per analizzare le differenze rispetto alle baseline.
I risultati mostrano che l’effetto dei metadati non può essere descritto esclusivamente attraverso un miglioramento della ROC-AUC globale. La qualità del modello deve quindi essere analizzata congiuntamente al sistema di retrieval nel quale viene impiegato. Le migliori configurazioni MetaQual rimangono infatti complessivamente vicine alla baseline QualT5 secondo questa misura. L’analisi delle curve ROC evidenzia però differenze locali nel modo in cui i modelli ordinano i passaggi, in particolare nelle regioni associate alla parte di collezione candidata alla rimozione. Questo risultato è rilevante perché, nel contesto dello static pruning, non è necessario migliorare uniformemente l’ordinamento dell’intera collezione: è soprattutto importante identificare correttamente i passaggi meno utili.
La valutazione downstream conferma questa osservazione. Tra le strategie studiate, la configurazione basata sulla concatenazione emerge come la soluzione più robusta tra diversi livelli di pruning e differenti sistemi di retrieval. Le altre strategie di fusione mostrano un comportamento meno uniforme, ma in alcuni scenari neurali producono miglioramenti più marcati. In particolare, sotto pruning più aggressivo, alcune configurazioni arricchite con metadati ottengono risultati superiori alla baseline per SPLADE e TAS-B, mostrando che le informazioni aggiuntive possono modificare favorevolmente la selezione dei passaggi conservati. BM25 risulta invece generalmente più tollerante alla riduzione della collezione, mentre i retriever neurali sono maggiormente sensibili alla rimozione dei passaggi e, allo stesso tempo, evidenziano più chiaramente i benefici derivanti dall’utilizzo dei metadati.
Nel complesso, la tesi mostra che l’integrazione di informazioni lessicali e di segnali ricavati dalle rappresentazioni neurali costituisce una direzione promettente per la passage quality estimation.
MetaQual fornisce così un framework generale per studiare l’integrazione di metadati nella quality estimation e dimostra che tali segnali possono contribuire a costruire collezioni più compatte mantenendo, e in alcuni casi migliorando, l’efficacia del retrieval. Ulteriori sviluppi potrebbero estendere la valutazione ad altre collezioni e domini e condurre studi di ablazione sulle singole feature, così da comprendere più precisamente il contributo delle diverse famiglie di metadati e individuare le combinazioni più efficaci per ciascuna architettura di retrieval.