ETD

• automated evaluation
• distillazione dei modelli
• heuristic evaluation
• Human-Computer Interaction
• Large Language Model
• model distillation
• modelli multimodali
• multimodal models
• usabilità
• usability
• valutazione automatica
• valutazione euristica

Heuristic evaluation is an inspection method widely used to identify usability problems in interfaces, but it requires time and the involvement of expert evaluators. This thesis explores the possibility of automating this process using a large multimodal language model, connected to an agent capable of opening and navigating web pages through a browser. ACUME (Analisi Critica di Usabilità Mediante Euristiche) was therefore developed: a tool that evaluates pages according to Nielsen's ten usability heuristics and returns the identified problems in a structured form. The system also includes a self-review stage, which subjects each finding to a second check before presenting it, verifying that it is grounded in what was actually observed on the page. The tool was employed in a campaign covering a wide set of pages from Italian cultural institutions, each evaluated multiple times, in order to analyse the problems detected and the variability across repeated runs. The collected evaluations were also used to build a dataset for fine-tuning a smaller model. The results of the distilled model are finally compared with those of the original model and with an independent human assessment, obtained by applying the same method to the same pages.

La valutazione euristica è un metodo ispettivo ampiamente utilizzato per individuare problemi di usabilità nelle interfacce, ma richiede tempo e il coinvolgimento di valutatori esperti. La tesi esplora la possibilità di automatizzare questo processo utilizzando un modello linguistico di grandi dimensioni multimodale, collegato a un agente in grado di aprire e percorrere pagine web attraverso un browser. È stato quindi sviluppato ACUME (Analisi Critica di Usabilità Mediante Euristiche), uno strumento che valuta le pagine secondo le dieci euristiche di Nielsen e restituisce i problemi individuati in forma strutturata. Il sistema comprende anche una fase di auto-revisione, che sottopone ogni rilievo a un secondo controllo prima di presentarlo, verificando che sia ancorato a ciò che è stato effettivamente osservato sulla pagina. Lo strumento è stato utilizzato in una campagna su un ampio insieme di pagine di istituzioni culturali italiane, valutate più volte ciascuna, per analizzare i problemi rilevati e la variabilità tra esecuzioni successive. Le valutazioni raccolte sono state inoltre utilizzate per costruire un dataset destinato al fine-tuning di un modello di dimensioni inferiori. I risultati del modello distillato vengono infine confrontati con quelli del modello di partenza e con un riscontro umano indipendente, ottenuto applicando lo stesso metodo alle medesime pagine.