logo SBA

ETD

Archivio digitale delle tesi discusse presso l’Università di Pisa

Tesi etd-04112019-171305


Tipo di tesi
Tesi di laurea magistrale
Autore
DI SARLI, LEONARDO
URN
etd-04112019-171305
Titolo
Reasoning on Local Explanations of Classifications Operated by Black Box Models
Dipartimento
INFORMATICA
Corso di studi
DATA SCIENCE AND BUSINESS INFORMATICS
Relatori
relatore Prof.ssa Giannotti, Fosca
relatore Prof. Guidotti, Riccardo
relatore Prof. Pedreschi, Dino
Parole chiave
  • Explanation Methods
  • Black Box Models
  • Machine Learning
Data inizio appello
03/05/2019
Consultabilità
Non consultabile
Data di rilascio
03/05/2089
Riassunto
Nell'ultimo decennio si è assistito al crescente utilizzo dei black box models parallelamente al loro aumento di efficacia ed accuratezza. Questi sofisticati algoritmi, vengono utilizzati per predire caratteristiche individuali che spaziano dalla salute, al rischio di credito fino alla profilazione della persona. Prendono il nome di black box, perché è incomprensibile per l'utente, quale processo di classificazione abbiano seguito per assegnare una certa label o score. Qui nasce un problema etico, sia in termini di trasparenza dei dati, sia per la possibile presenza di bias all'interno dei dati che potrebbero portare ad una predizione distorta. Questo problema etico è stato recentemente affrontato dall'Unione Europea, con la promulgazione del EU General Data Protection Regulation (GDPR), entrato in vigore in tutti gli stati membri in data 25 Maggio 2018. Il GDPR introduce il diritto dell'individuo di ottenere informazioni chiare e comprensibili, quando decisioni con effetti legali vengono prese su di esso, utilizzando sistemi automatici di decisione. Dunque senza tecnologie in grado di interpretare gli algoritmi black box, essi risultano essere illegali in molte applicazioni.
Molti metodi di spiegazione di algoritmi black box sono presenti in letteratura. Ogni metodo di spiegazione segue una propria logica, per cui il primo obiettivo che viene posto è quello di poter utilizzare un framework per testare e confrontare un metodo di spiegazione locale, in modo da identificare i suoi punti di forza e debolezza, riuscendolo a comparare poi con altri metodi di spiegazione locale.
Viene proposto un framework che pone a confronto un metodo di spiegazione locale, con le regole locali estratte da un algoritmo white box come il decision tree. L'idea è che più la spiegazione fornita da un metodo, sarà simile per attributi e per lunghezza a quella di un decision tree (DT), più essa sarà facilmente comprensibile e dettagliata, essendo il DT un algoritmo interpretabile. Una volta individuato quale metodo restituisce spiegazioni e performance migliori, esse possono essere ancora migliorate? Le performance del metodo dipendono strettamente solo da alcune features? E' possibile utilizzare i metodi di features selection presenti in letteratura per velocizzare l'applicazione dei metodi di spiegazione?
Viene proposto un approccio in grado di identificare e assegnare uno score alle features che risultano essere indispensabili ad un metodo di spiegazione, per produrre delle spiegazioni comprensibili. Viene mostrato come è possibile ottenere score di importanza delle features, differenti da quelli ottenuti con metodi di features selection.
File