ETD

• Chatbot
• Distilling-step-by-step
• Fine-tuning
• LLM
• Medication adherence
• NLP
• Patient engagement

Questa tesi affronta il problema della non-aderenza terapeutica nei pazienti con malattie croniche attraverso lo sviluppo di un sistema di assistenza conversazionale basato su intelligenza artificiale. Il lavoro valuta l'applicazione del paradigma Distilling Step-by-Step per addestrare modelli linguistici compatti capaci di eseguire workflow complessi nel dominio medico, mantenendo rigorosi standard di sicurezza. Il sistema implementa un'analisi a tre stadi: rilevamento di potenziali effetti collaterali farmacologici, identificazione di segnali di disagio psicologico e generazione di risposte empatiche che rispettano i vincoli normativi evitando la formulazione di consigli medici. Per rispettare i requisiti di privacy dei dati sanitari, la ricerca utilizza un dataset sintetico di 500 scenari paziente generati tramite GPT-4.1 come modello teacher. Il processo di distillazione della conoscenza trasferisce sia le capacità di generazione degli output che le abilità di ragionamento complesso a un modello student Gemma3 da 4 miliardi di parametri, addestrato mediante tecniche di fine-tuning parameter-efficient con LoRA. I risultati sperimentali dimostrano che il modello addestrato raggiunge miglioramenti sostanziali nella conformità alla sicurezza e nella qualità del ragionamento, validando la fattibilità tecnica dell'approccio per applicazioni safety-critical nel settore healthcare. Il lavoro evidenzia inoltre dinamiche di addestramento inattese, rivelando che batch size ridotti sono essenziali per il trasferimento efficace delle capacità di ragionamento e che la differenziazione dei formati di output previene la confusione tra task multipli. L'architettura risultante consente il deployment su infrastrutture cloud private, garantendo protezione dei dati, riduzione dei costi operativi e latenza minima mantenendo performance comparabili a modelli significativamente più grandi.

This thesis addresses the problem of medication non-adherence in chronic disease patients through the development of an AI-based conversational assistance system. The work evaluates the application of the Distilling Step-by-Step paradigm for training compact language models capable of executing complex workflows in the medical domain while maintaining rigorous safety standards. The system implements a three-stage analysis: detection of potential medication side effects, identification of psychological distress signals, and generation of empathetic responses that respect regulatory constraints while avoiding medical advice. To address healthcare data privacy requirements, the research employs a synthetic dataset of 500 patient scenarios generated using GPT-4.1 as the teacher model. The knowledge distillation process transfers both output generation capabilities and complex reasoning abilities to a Gemma3 student model with 4 billion parameters, trained using parameter-efficient fine-tuning techniques with LoRA. Experimental results demonstrate that the trained model achieves substantial improvements in safety compliance and reasoning quality, validating the technical feasibility of this approach for safety-critical healthcare applications. The work also reveals unexpected training dynamics, showing that small batch sizes are essential for effective reasoning transfer and that output format differentiation prevents confusion between multiple tasks. The resulting architecture enables deployment on private cloud infrastructure, ensuring data protection, reduced operational costs, and minimal latency while maintaining performance comparable to significantly larger models.