ETD

• empirical evaluation
• explainability
• knowledge graph
• knowledge-augmented generation
• large language models
• police reports
• question answering systems
• retrieval-augmented generation
• synthetic data

This thesis presents the formalization, design, and evaluation of a Question Answering (QA) system based on the Knowledge-Augmented Generation (KAG) paradigm for the domain of police reports. The work addresses the need for reliable and explainable access to complex document collections characterized by sensitive information, rich relational structures, and strict accuracy requirements. The proposed framework integrates hybrid retrieval, graph-based evidence extraction, and answer generation grounded on retrieved subgraphs. A key contribution is the design of a synthetic data generation procedure that produces realistic police reports from a limited set of original documents, preserving privacy while supporting both knowledge base construction and benchmark creation. The system is evaluated through controlled experiments on answer quality, grounding, and explainability, and is compared with a baseline RAG pipeline. The results show that the KAG-based approach improves the reliability and traceability of generated answers, providing a generalizable architecture for knowledge-grounded question answering in complex information-intensive domains.

La tesi propone la formalizzazione, progettazione e valutazione di un sistema di Question Answering (QA) basato sul paradigma Knowledge-Augmented Generation (KAG) per il dominio dei rapporti di polizia. Il lavoro affronta il problema dell’accesso affidabile e spiegabile a collezioni documentali complesse, caratterizzate da informazioni sensibili, relazioni articolate e forti requisiti di accuratezza. Il framework integra tecniche di recupero ibrido, estrazione di evidenze da knowledge graph e generazione di risposte fondate su sottografi recuperati. Un contributo centrale riguarda la produzione di dati sintetici realistici a partire da un insieme limitato di documenti originali, al fine di preservare la privacy e supportare sia la costruzione della base di conoscenza sia la creazione di benchmark sperimentali. Il sistema viene confrontato con una pipeline RAG di riferimento attraverso esperimenti controllati su qualità delle risposte, grounding e spiegabilità. I risultati mostrano che l’approccio KAG migliora l’affidabilità e la tracciabilità delle risposte, offrendo un’architettura generalizzabile per domini informativi complessi.