ETD

• immersive
• italian as a L2
• speech recognition
• syllabus
• Unity
• virtual reality

ItalianVRExperience is an immersive virtual reality prototype designed for adult English speakers with no prior knowledge of Italian. Developed in Unity 6 for the Meta Quest 2 headset, the system simulates four situated interaction scenarios (a train station, a residential neighborhood, a bar, and a home environment) where language is not the object of study but a necessary tool for orienting oneself in simulated communication situations. The prototype integrates a gesture interaction interface without physical controllers via hand tracking, a Whisper-based speech recognition system, a grammatical and lexical tutor powered by a local generative language model (Ollama/Mistral), and an automatic behavioral logging module. The syllable is based on the A1 survival skills defined by the Profile of the Italian Language, with a privileged orientation towards oral production and situated communicative functions.
The study revolves around four research questions: whether the immersive VR environment promotes the acquisition of a survival repertoire in Italian A1; whether the Whisper speech recognition system supports the pronunciation variability of English-speaking participants sufficiently to support interaction; and whether behavioral data automatically collected during play constitute an adequate measurement tool, comparable or complementary to traditional language post-testing and whether the system achieves a minimum level of perceived usability and sense of presence in the virtual environment. The data collection involves 15 complete novice English speakers and combines a multiple-choice post-test, the automatic behavioral log, the System Usability Scale, and the Slater-Usoh-Steed presence questionnaire.

ItalianVRExperience è un prototipo di realtà virtuale immersiva progettato per parlanti anglofoni adulti privi di qualsiasi conoscenza pregressa dell'italiano. Sviluppato in Unity 6 per il visore Meta Quest 2, il sistema simula quattro scenari di interazione situata (una stazione ferroviaria, un quartiere residenziale, un bar e un ambiente domestico) in cui la lingua non è oggetto di studio ma strumento necessario per orientarsi in situazioni comunicative simulate. Il prototipo integra un'interfaccia di interazione gestuale senza controller fisici tramite hand tracking, un sistema di riconoscimento vocale basato su Whisper, un tutor grammaticale e lessicale alimentato da un modello linguistico generativo locale (Ollama/Mistral), e un modulo automatico di logging comportamentale. Il sillabo è fondato sulle competenze di sopravvivenza A1 definite dal Profilo della Lingua Italiana, con un orientamento privilegiato alla produzione orale e alle funzioni comunicative situate.
Lo studio si articola attorno a quattro domande di ricerca: se l'ambiente VR immersivo favorisce l'acquisizione di un repertorio di sopravvivenza in italiano A1; se il sistema di riconoscimento vocale Whisper regge alla variabilità di pronuncia dei partecipanti anglofoni in misura sufficiente a supportare l'interazione; se i dati comportamentali raccolti automaticamente durante il gioco costituiscono uno strumento di misurazione adeguato, comparabile o complementare al post-test linguistico tradizionale; e se il sistema raggiunge un livello minimo di usabilità percepita e senso di presenza nell'ambiente virtuale. La raccolta dati coinvolge 15 parlanti anglofoni principianti assoluti e combina un post-test a risposta multipla, il log comportamentale automatico, la System Usability Scale e il questionario di presenza Slater-Usoh-Steed.