ETD

• Accessibilità digitale
• Agente conversazionale
• End-User Development (EUD)
• Human-Computer Interaction (HCI)
• Intelligenza Artificiale
• Large Language Models (LLM)
• SADD
• Seaknot

This thesis work presents the design, implementation, and evaluation of SADD (Severe Accident Database Directory) and SADD Assistant, two complementary software applications developed at the University of Pisa within the framework of the European project SEAKNOT (Severe Accident Research and Knowledge Management for LWRS, HORIZON-EURATOM-2021-NRT-01, Grant Agreement No. 101060327). SADD is an online, publicly accessible directory hosted at https://sadd.dici.unipi.it/, which catalogs experimental facilities, phenomenologies, and tests relevant to the validation of calculation codes for Severe Accidents (SA): accident scenarios in nuclear reactors where fuel damage exceeds design limits, with potential releases of radioactive materials, which are the subject of extensive international experimental safety research. SADD Assistant is a conversational agent that allows users to query the directory's content using natural language; it is based on Mistral, a Large Language Model (LLM) developed by the European company Mistral AI, chosen to ensure compliance with the project's digital sovereignty requirement and for the availability of a hosted API without requiring dedicated GPU infrastructure. At the time of writing, SADD Assistant is available as a working prototype at https://sadd.dici.unipi.it/chatbot.php; its integration into the main menu of the public platform is subject to a decision by the SEAKNOT project consortium, discussed in Section 6.2. This thesis work is framed within Human-Computer Interaction (HCI), aiming to investigate how technologies can support both researchers (regardless of their experience level) and non-specialist users in accessing scientific content that is often difficult to retrieve. The study aims to overcome current access barriers that hinder the consultation of STEM documentation, thereby improving its overall usability.The problem addressed is twofold. On the one hand, the severe accident research community lacked an open, interactive web directory similar to what TIETHYS (TIETHYS – The International Experimental Thermal HYdraulics Systems database - OECD Nuclear Energy Agency) offers to the thermal-hydraulics community on behalf of the OECD-NEA (Organisation for Economic Co-operation and Development - Nuclear Energy Agency): data was fragmented across static reports or restricted-access portals. On the other hand, even once such a directory is created, information remains distributed across multiple pages, panels, and records: anyone seeking an overview (which facilities, which phenomena, which codes are relevant to a given problem) must manually piece it together by navigating the interface. This reconstruction effort affects every user, but becomes significantly more burdensome for those accessing content through assistive technologies such as screen readers, for whom information-dense graphical interfaces (interactive maps, accordion panels, multiple filters, complex tables) pose significant barriers, even when the front-end formally complies with accessibility guidelines.This thesis work aims to investigate how LLM-mediated interaction shifts the paradigm: natural language becomes a universal synthesis interface. In response to a query phrased as one would ask a colleague, the user receives an answer that already provides the comprehensive overview that would otherwise have to be assembled manually across multiple pages and records using the graphical interface: the main relevant facilities, countries, phenomena covered, and simulation codes. This benefit—obtaining a clear overview without having to navigate the site structure first—applies to anyone needing access to discipline-specific information, from a novice researcher to an expert seeking a quick summary. For users who cannot see the content or have difficulty interpreting it visually (for example, when using a screen reader), this same mechanism offers an additional advantage: they no longer need to mentally reconstruct the topography of a visual interface, but can instead directly interact with the scientific data. To render this mediation reliable in a safety-critical domain such as nuclear engineering, SADD Assistant adopts a dual-context grounding strategy that anchors every model response strictly to the data actually present in the SQL database, alongside a set of anti-hallucination rules and an accessibly designed chat interface (including screen reader support, ARIA live regions, semantic roles, and keyboard navigation).The work combines technical skills (relational databases, web development, prompt engineering, integration of language model APIs) with a humanistic reflection on access to knowledge, the inclusion of people with disabilities in STEM (Science, Technology, Engineering, and Mathematics) disciplines, and the epistemological and ethical implications of algorithmic mediation of scientific information. The developed prototypes were evaluated by users (Section 5.5) across two parallel studies. The first involves users who are non-experts in the nuclear domain, including BVI (Blind and Visually Impaired) users, to verify the effectiveness of SADD Assistant in making specialized STEM content accessible. The second involves expert SA researchers recruited through the SEAKNOT consortium and the NUGENIA and IAEA professional networks, to evaluate information retrieval quality and grounding accuracy in realistic code validation scenarios. Both studies were conducted as part of this thesis (n=10 for the general public, n=18 for SA experts; Section 5.9): across all collected metrics, SADD Assistant's conversational mediation was preferred over traditional navigation, although the modest sample sizes warrant cautious interpretation, and a greater representation of regular screen reader users remains a goal for future developments (Section 6.2).

Questo lavoro di tesi presenta la progettazione, la realizzazione e la valutazione di SADD (Severe Accident Database Directory) e di SADD Assistant, due applicazioni software complementari sviluppate presso l'Università di Pisa nell'ambito del progetto europeo SEAKNOT (Severe Accident Research and Knowledge Management for LWRS, HORIZON-EURATOM-2021-NRT-01, Grant Agreement n. 101060327). SADD è una directory online, pubblicamente accessibile all'indirizzo https://sadd.dici.unipi.it/, che cataloga impianti sperimentali, fenomenologie e prove rilevanti per la validazione dei codici di calcolo per gli incidenti gravi (in inglese Severe Accidents, abbreviato SA): scenari incidentali nei reattori nucleari in cui il danneggiamento del combustibile va oltre i limiti di progetto, con possibili rilasci di sostanze radioattive, oggetto di un'estesa ricerca sperimentale internazionale per la sicurezza. SADD Assistant è un agente conversazionale che consente di interrogare in linguaggio naturale i contenuti della directory; è basato su Mistral, un modello linguistico di grandi dimensioni (Large Language Model, LLM) sviluppato dall'azienda europea Mistral AI, scelto per garantire la conformità al requisito di sovranità digitale del progetto e per la disponibilità di un'API ospitata senza necessità di infrastruttura GPU dedicata. Al momento della stesura SADD Assistant è disponibile come prototipo funzionante all’indirizzo https://sadd.dici.unipi.it/chatbot.php; la sua integrazione nel menu principale della piattaforma pubblica è oggetto di una decisione del consorzio del progetto SEAKNOT, discussa nella sezione 6.2.
Il presente lavoro di tesi si colloca nell’ambito dell’Interazione Uomo-Macchina (HCI), proponendosi di indagare come le tecnologie possano supportare sia i ricercatori (a prescindere dal loro livello di esperienza), sia gli utenti non specialisti nella fruizione di contenuti scientifici spesso di difficile reperibilità. Lo studio intende colmare le attuali barriere d'accesso che penalizzano la consultazione della documentazione STEM, migliorandone la fruibilità complessiva.
Il problema affrontato è duplice. Da un lato, la comunità di ricerca sugli incidenti gravi era priva di una directory web interattiva e aperta, analoga a quella che TIETHYS (TIETHYS – The International Experimental Thermal HYdraulics Systems database - OECD Nuclear Energy Agency) offre alla comunità termoidraulica per conto dell'OCSE-NEA (Organizzazione per la Cooperazione e lo Sviluppo Economico - Agenzia per l'Energia Nucleare): i dati erano frammentati in rapporti statici o portali ad accesso ristretto. Dall'altro lato, anche una volta realizzata tale directory, l'informazione resta distribuita su più pagine, pannelli e record: chi cerca una panoramica (quali impianti, quali fenomeni, quali codici sono rilevanti per un dato problema) deve ricostruirla manualmente esplorando l'interfaccia. Questo costo di ricostruzione è presente per qualunque utente, ma diventa significativamente più oneroso per chi accede ai contenuti attraverso tecnologie assistive come gli screen reader, per cui le interfacce grafiche dense di informazione (mappe interattive, pannelli a fisarmonica, filtri multipli, tabelle complesse) pongono barriere significative, anche quando il front-end rispetta formalmente le linee guida di accessibilità.
Questo lavoro di tesi intende investigare che l'interazione mediata da un LLM sposta il paradigma: il linguaggio naturale diventa un'interfaccia di sintesi universale. A una domanda formulata come la porrebbe a un collega, l'utente riceve una risposta che è già la vista d'insieme che, con l'interfaccia grafica, andrebbe assemblata a mano da più pagine e record: i principali impianti pertinenti, i paesi, i fenomeni coperti, i codici di simulazione. Questo beneficio (ottenere una panoramica chiara senza dover prima orientarsi nella struttura del sito) vale per chiunque debba accedere alle informazioni di uno specifico ambito disciplinare, da un ricercatore alle prime armi a un esperto che vuole un riepilogo rapido. Per chi non può vedere i contenuti o ha difficoltà a interpretarli visivamente (per esempio perché utilizza uno screen reader) lo stesso meccanismo ha un effetto ulteriore: non deve più ricostruire mentalmente la topografia di un'interfaccia visuale, ma può dialogare direttamente con i dati scientifici. Per rendere questa mediazione affidabile in un dominio safety-critical come l'ingegneria nucleare, SADD Assistant adotta una strategia di grounding a doppio contesto, che ancora ogni risposta del modello ai soli dati effettivamente presenti nella base di dati SQL, insieme a un sistema di regole anti-allucinazione e a un'interfaccia di chat progettata accessibile (anche per gli screen reader, regioni ARIA live, ruoli semantici, navigazione da tastiera).
Il lavoro combina competenze tecniche (basi di dati relazionali, sviluppo web, prompt engineering, integrazione di API di modelli linguistici) con una riflessione umanistica sull'accesso alla conoscenza, sull'inclusione delle persone con disabilità nelle discipline STEM (Science, Technology, Engineering and Mathematics: scienza, tecnologia, ingegneria e matematica) e sulle implicazioni epistemologiche ed etiche della mediazione algoritmica dell'informazione scientifica. I prototipi sviluppati sono stati valutati da utenti (sezione 5.5) in due studi paralleli. Il primo coinvolge utenti non esperti del dominio nucleare, inclusi utenti BVI (sigla inglese per Blind and Visually Impaired, cioè ciechi e ipovedenti), per verificare l'efficacia di SADD Assistant nel rendere accessibili contenuti STEM specialistici. Il secondo coinvolge ricercatori esperti SA reclutati tramite il consorzio SEAKNOT e le reti professionali NUGENIA e IAEA, per valutare la qualità del recupero informativo e l'accuratezza del grounding in scenari realistici di validazione dei codici. Entrambi gli studi sono stati condotti nell'ambito di questa tesi (n=10 per il pubblico generale, n=18 per gli esperti SA; sezione 5.9): su ogni misura raccolta, la mediazione conversazionale di SADD Assistant risulta preferita alla navigazione tradizionale, sebbene la dimensione contenuta dei campioni imponga cautela nell'interpretazione e una rappresentanza di utenti abituali di screen reader resti un obiettivo per gli sviluppi successivi (sezione 6.2).