ETD

• dispositivi medici
• health technology assessment
• hospital-based health technology assessment
• intelligenza artificiale
• multi-criteria decision analysis
• radiologia
• valutazione multicriterio

The use of artificial intelligence in healthcare has increased significantly, with a marked acceleration in diagnostic imaging. In radiology, AI-based software is now used as an operational aid; it can help flag abnormalities, prioritize exams, and reduce reporting times. However, this evolution raises a methodological challenge: established evaluation tools, such as Health Technology Assessment (HTA), were designed primarily for “stable” technologies—particularly drugs—and do not always fully capture devices that depend on data, development choices, and model updates.
This thesis addresses this issue by analyzing the limitations of traditional HTA frameworks when applied to AI-based medical devices and by proposing an integration of evaluation criteria better suited to algorithmic and data-driven technologies. In particular, the focus is on factors that, in the case of AI, directly affect reliability and risks: the quality and representativeness of datasets, robustness with respect to heterogeneous data, the presence and management of bias, transparency and interpretability of the output, the need for clinical supervision, methods for updating and monitoring over time, as well as aspects related to data protection and the sustainability of digital infrastructure. The objective of this study is to expand the set of criteria already provided by a hospital-based HTA tool—the THE mini-HTA, developed by the Interdepartmental Center for HTA Research at the University of Pisa (CIRHTA) and based on the PROMETHEE multi-criteria methodology—by introducing additional criteria tailored to the specific characteristics of AI-based devices. The research process unfolds in several phases: a systematic literature review to identify recurring critical issues and relevant evaluation dimensions, followed by the definition and organization of the proposed criteria across the main areas of HTA.
The application phase focuses on the BoneView software, evaluating its user experience in a real-world clinical setting through a survey conducted at Sant’Andrea Hospital in La Spezia, supplemented by a subsequent application of the THE mini-HTA tool, carried out with the involvement of a multidisciplinary panel of experts.
This approach allows for exploring the contribution of the developed criteria to the evaluation of AI-based medical devices and analyzing their utility within hospital decision-making processes.
The results obtained support the need to adapt HTA to the specific characteristics of AI-based medical devices.The proposed framework represents a methodological contribution in this direction, with the aim of making hospital-based HTA approaches more consistent with the characteristics and implications of artificial intelligence-based technologies.

L’impiego dell’intelligenza artificiale in sanità è aumentato in modo significativo, con un’accelerazione evidente nell’imaging diagnostico. In radiologia, software AI-based vengono oggi utilizzati come supporto operativo, possono aiutare a segnalare anomalie, a ordinare la priorità degli esami e a ridurre i tempi di refertazione. Questa evoluzione pone però un problema di metodo: strumenti di valutazione consolidati, come l’Health Technology Assessment (HTA), sono stati costruiti soprattutto per tecnologie “stabili”, in particolare i farmaci e non sempre riescono a descrivere in modo completo dispositivi che dipendono dai dati, da scelte di sviluppo e da aggiornamenti del modello.
La tesi affronta questo nodo analizzando i limiti dei framework HTA tradizionali quando applicati a dispositivi medici basati su intelligenza artificiale e proponendo un’integrazione dei criteri di valutazione più adatta a tecnologie di natura algoritmica e data-driven. In particolare, l’attenzione si concentra su fattori che, per l’AI, incidono direttamente su affidabilità e rischi: qualità e rappresentatività dei dataset, robustezza rispetto a dati eterogenei, presenza e gestione di bias, trasparenza/interpretabilità dell’output, necessità di supervisione clinica, modalità di aggiornamento e monitoraggio nel tempo, oltre ad aspetti legati alla protezione dei dati e alla sostenibilità delle infrastrutture digitali.
L’obiettivo del lavoro è arricchire il set di criteri già previsto da uno strumento di hospital-based HTA, il THE mini-HTA, sviluppato dal Centro Interdipartimentale di Ricerca sull’HTA dell’Università di Pisa (CIRHTA) e basato sulla metodologia multicriterio PROMETHEE, introducendo criteri aggiuntivi orientati alle specificità dei dispositivi AI-based. Il percorso di ricerca si sviluppa in più fasi: una revisione sistematica della letteratura per identificare criticità ricorrenti e dimensioni valutative rilevanti, seguita dalla definizione e organizzazione dei criteri proposti nelle principali aree dell’HTA.
La fase applicativa si concentra sul software BoneView, valutandone l’esperienza d’uso, nel contesto clinico reale, tramite una survey proposta presso l’Ospedale Sant’Andrea della Spezia integrata con una successiva applicazione dello strumento THE mini-HTA, realizzata attraverso il coinvolgimento di un panel multidisciplinare di esperti.
Tale approccio consente di esplorare il contributo dei criteri sviluppati alla valutazione dei dispositivi medici basati su intelligenza artificiale e di analizzarne l’utilità nell’ambito dei processi decisionali ospedalieri.
I risultati ottenuti sostengono la necessità di adattare l’HTA alle peculiarità dei dispositivi medici AI-based. Il framework proposto rappresenta un contributo metodologico in questa direzione, con l’obiettivo di rendere gli approcci di hospital-based HTA più coerenti con le caratteristiche e le implicazioni delle tecnologie basate su intelligenza artificiale.