• social humanoid robot
• skeleton data
• sensori indossabili
• robot sociale umanoide
• riconoscimento di attività umane
• RGB-D camera
• RF
• RF
• patologie neurodegenerative
• neurodegenerative diseases
• inertial data
• human activity recognition
• depth camera
• dati inerziali
• dati degli scheletri
• assisted living
• SVM
• SVM
• videocamera di profondità
• videocamera RGB-D
• wearable sensors

Abstract (inglese)
The increasing number of people affected by major neurocognitive disorders rises the question of care and hospitalization. They often require a placement in nursing home with constant surveillance, consequently increasing the care-related costs. New initiatives based on psychosocial interventions, such as social-robot-based therapy, have been developed to improve the quality of life of patients and caregivers. In the next future, robots will permeate daily activities in different sectors, therefore it is crucial to facilitate a natural interaction between humans and robots. In particular, Human Activity Recognition (HAR) is an important research area that could increase robot abilities of interaction and cognitive stimulations. State of the art technologies are mainly based on two systems: wearable sensor systems and camera based systems. However, both technologies have limitations such that no single modality can cope with all the various realistic situations that occur in real-world settings. The aim of this thesis is to study, develop and experiment a system based on the fusion of visual and inertial sensors for several applications, and especially in the case of neurodegenerative diseases. Indeed, it is expected that the simultaneous acquisition of the two modalities could improve the recognition ability of the system, which could be used to support early clinical diagnosis, as well as to periodically monitor patients’ motor performances over time. The contribution of this work is twofold. Firstly, an HAR system capable of recognizing gestures in a 'real-case scenarios' has been developed, while dealing with transitions from one action to the other. Secondly, it will be shown that the combination of information from inertial and camera data outperforms the use of a single modality sensor, as expected. Data have been collected from 20 young subjects performing 10 gestures and, after a data pre-processing, a multi-modal dataset has been created. Then, classification has been performed using two machine learning techniques, i.e. a multiclass Support Vector Machine (SVM) and a Random Forest (RF). Following the proposed approach, high levels of accuracy are reached (85%) using depth cameras and just the inertial sensor on the dominant index finger, showing that an excellent yet non-invasive activity recognition system can be obtained with just a few sensors.
Abstract (italiano)
Il numero sempre maggiore di individui affetti da disturbi neurocognitivi solleva la questione relativa all’assistenza e sorveglianza di tali soggetti, facendo aumentare di conseguenza i costi relativi a questo settore. A tal proposito sono state lanciate diverse iniziative fondate sull’intervento psicosociale, come ad esempio la terapia basata su robot sociali, con l’obiettivo di migliorare la qualità di vita dei pazienti e dei loro assistenti sanitari. In futuro i robot prenderanno parte a numerose attività quotidiane nei settori più disparati, per tale ragione è di cruciale importanza facilitare l’interazione tra esseri umani e robot. Nello specifico, la Human Activity Recognition (HAR) è un’area di ricerca fondamentale che potrebbe migliorare ulteriormente le abilità di interazione dei robot. Le tecnologie all’avanguardia utilizzate in tale settore sono principalmente basate su due sistemi: sensori indossabili e videocamere. Tuttavia, nessuno dei due è in grado di far fronte al numero elevatissimo di situazioni realistiche che si presentano in uno scenario di vita quotidiana. Lo scopo di questa tesi è studiare, sviluppare e sperimentare un sistema che si basi sulla fusione dei sistemi visivi e inerziali per numerose applicazioni, con particolare attenzione al suo utilizzo in presenza di patologie neurodegenerative. Infatti, si prevede che l’acquisizione simultanea delle due modalità possa migliorare l’abilità di riconoscimento del sistema, che potrebbe successivamente essere utilizzata come supporto alle diagnosi cliniche precoci, ma anche come aiuto nel monitoraggio periodico delle performance motorie dei pazienti. Questo lavoro apporterà un duplice contributo. In primo luogo, è stato sviluppato un sistema HAR capace di riconoscere gesti svolti in una “situazione reale” e di occuparsi della transizione da un’azione a quella successiva. In secondo luogo, è stato dimostrato che l’utilizzo combinato delle due modalità sensoriali ha prestazioni migliori rispetto all’utilizzo di un solo sensore. I dati sono stati raccolti da un campione di 20 giovani soggetti che eseguivano 10 gesti di vita quotidiana. La classificazione è avvenuta attraverso l’utilizzo di due tecniche di machine learning, vale a dire una multiclasse Support Vector Machine (SVM) e una Random Forest (RF). Seguendo l’approccio suggerito sono state raggiunte performance molto positive (85% di accuratezza) utilizzando videocamere di profondità e solamente un sensore inerziale posizionato sul dito indice dominante, dimostrando che è possibile ottenere un eccellente -e non invasivo- sistema di riconoscimento di attività con pochi sensori.