ETD

• Bias Detection, LLM, Tabular Data, Counterfactual

This thesis focuses on the study and analysis of bias in Machine Learning models, particularly in Large Language Models (LLMs). The widespread adoption of these models across various application domains has highlighted the importance of understanding not only their predictive and generative capabilities but also the potential for biased behavior to emerge during their training and deployment. Bias can be introduced or amplified at various stages of a model's lifecycle—from the data used for training to the methods employed for evaluation and deployment. Consequently, identifying, measuring, and mitigating bias are crucial steps toward developing more reliable, robust, and fair Artificial Intelligence systems.
The initial phase of this work involved an extensive and systematic review of existing scientific literature on the subject. Specifically, the study examined key approaches proposed for identifying, assessing, and mitigating bias in Machine Learning models, with a particular focus on models handling tabular data and on Large Language Models. This literature review identified the primary categories of bias addressed in existing studies, the metrics used to quantify them, and the various strategies developed to reduce their impact. Concurrently, the advantages and disadvantages of these approaches were considered, along with their applicability across different experimental contexts.
Based on the findings of the literature review, the key contributions and limitations of currently available methods were identified. In particular, it became evident that individual approaches often focus on specific dimensions of the problem; while effective at addressing certain aspects, they may lack comprehensiveness when considered in isolation. This insight led to the core concept of this thesis: combining different methodologies to leverage their respective strengths while simultaneously compensating for their primary limitations. Based on this foundation, two distinct pipelines were designed: one dedicated to machine learning models for tabular data and another specifically tailored to Large Language Models (LLMs).
Before integration into the proposed pipelines, each method identified in the literature was implemented and validated individually. Validation relied on official documentation provided by the authors and, where available, the official project repositories. This phase aimed to verify the correct functioning of the methodologies and ensure that subsequent comparisons and integrations were based on implementations consistent with the original proposals. This step also allowed for a deeper analysis of each method's behavior, highlighting its strengths, limitations, and conditions of applicability.
Subsequently, drawing on insights gained during the analysis and validation phase, the two proposed pipelines were designed and implemented. The goal was to create a more structured and comprehensive process in which the various techniques could operate complementarily rather than in isolation. The pipelines for tabular models and LLMs were developed with due regard for the specific characteristics of each model type and the different ways bias can manifest and be measured.
The implemented solutions then underwent an experimental phase to evaluate their effectiveness and compare their performance against the individual methods previously considered. The experiments were designed to enable both quantitative and qualitative analysis of the results, utilizing metrics and evaluation criteria appropriate to the problem at hand. The resulting data were collected, analyzed, and compared, with particular attention paid to any improvements achieved through the integration of the different methodologies.
Finally, the experimental results were critically analyzed, highlighting not only instances where the proposed pipelines outperformed individual approaches but also any critical issues or limitations encountered. The analysis thus enabled a comprehensive assessment of the developed solutions, highlighting their effectiveness, potential trade-offs, and the conditions under which their use is most advantageous. The work concludes with a discussion of the results obtained and the identification of possible future developments.

Il presente lavoro di tesi si concentra sullo studio e sull’analisi del problema dei bias nei modelli di Machine Learning e, in particolare, nei Large Language Models (LLMs). La crescente diffusione di questi modelli in contesti applicativi differenti ha evidenziato l’importanza di comprendere non solo le loro capacità predittive e generative, ma anche i possibili comportamenti distorti che possono emergere durante il processo di apprendimento e di utilizzo. I bias possono infatti essere introdotti o amplificati in diverse fasi del ciclo di vita di un modello, a partire dai dati utilizzati per l’addestramento fino alle modalità con cui il modello viene valutato e impiegato. Per questo motivo, la loro individuazione, misurazione e mitigazione rappresentano aspetti fondamentali per lo sviluppo di sistemi di Intelligenza Artificiale più affidabili, robusti ed equi.
La prima fase del lavoro è stata dedicata a una ricerca estesa e sistematica della letteratura scientifica esistente sul tema. In particolare, sono stati analizzati i principali approcci proposti per l’identificazione, la valutazione e la mitigazione dei bias nei modelli di Machine Learning, con un’attenzione specifica ai modelli che operano su dati tabulari e ai Large Language Models. L’analisi della letteratura ha permesso di individuare le principali categorie di bias considerate dagli studi esistenti, le metriche utilizzate per quantificarle e le diverse strategie sviluppate per ridurne l’impatto. Parallelamente, sono stati presi in considerazione i vantaggi e gli svantaggi dei diversi approcci, valutandone l’applicabilità nei differenti contesti sperimentali.
A partire dai risultati ottenuti dalla revisione della letteratura, sono stati individuati i principali contributi e i limiti dei metodi attualmente disponibili. In particolare, è emerso come i singoli approcci possano spesso concentrarsi su specifiche dimensioni del problema, risultando quindi efficaci nel trattamento di determinati aspetti ma meno completi se considerati isolatamente. Questo ha portato alla definizione dell’idea alla base del lavoro: combinare metodologie differenti in modo da sfruttarne i rispettivi punti di forza e, al contempo, compensarne le principali limitazioni. Su questa base sono state progettate due pipeline distinte, una dedicata ai modelli di Machine Learning su dati tabulari e una specificamente orientata ai Large Language Models.
Prima dell’integrazione nelle pipeline proposte, ciascun metodo individuato nella letteratura è stato implementato e validato singolarmente. La validazione è stata effettuata facendo riferimento alla documentazione ufficiale fornita dagli autori e, ove disponibili, alle repository ufficiali dei relativi progetti. Questa fase ha avuto l’obiettivo di verificare il corretto funzionamento delle metodologie considerate e di garantire che le successive comparazioni e integrazioni fossero effettuate a partire da implementazioni coerenti con quelle originariamente proposte. Tale passaggio ha inoltre consentito di analizzare in maniera più approfondita il comportamento dei singoli metodi, evidenziandone punti di forza, limitazioni e condizioni di applicabilità.
Successivamente, sulla base delle conoscenze acquisite durante la fase di analisi e validazione, sono state progettate e implementate le due pipeline proposte. L’obiettivo è stato quello di costruire un processo maggiormente strutturato e completo, nel quale le diverse tecniche potessero operare in maniera complementare anziché essere applicate singolarmente. La pipeline dedicata ai modelli tabulari e quella dedicata ai LLMs sono state sviluppate tenendo conto delle caratteristiche specifiche delle rispettive tipologie di modello e delle differenti modalità con cui il bias può manifestarsi e può essere misurato.
Le soluzioni implementate sono state successivamente sottoposte a una fase sperimentale volta a valutarne l’efficacia e a confrontarne il comportamento con quello dei singoli metodi considerati. Gli esperimenti sono stati definiti in modo da consentire un’analisi quantitativa e qualitativa dei risultati, attraverso l’utilizzo di metriche e criteri di valutazione coerenti con il problema affrontato. I risultati ottenuti sono stati quindi raccolti, analizzati e confrontati, prestando particolare attenzione agli eventuali miglioramenti introdotti dall’integrazione delle diverse metodologie.
Infine, i risultati sperimentali sono stati analizzati criticamente, evidenziando non soltanto i casi in cui le pipeline proposte hanno mostrato benefici rispetto all’utilizzo dei singoli approcci, ma anche eventuali criticità e limitazioni. L’analisi ha permesso quindi di formulare una valutazione complessiva delle soluzioni sviluppate, mettendone in luce l’efficacia, i possibili compromessi e le condizioni nelle quali il loro utilizzo risulta maggiormente vantaggioso. Il lavoro si conclude con una discussione dei risultati ottenuti e con l’individuazione di possibili sviluppi futuri,