• proficiency test
• oral production
• second language assessment
• italian L2
• second language pronunciation
• produzione orale
• test di profitto
• valutazione della pronuncia
• competenza fonologica
• italiano L2

La tesi si pone nell’intersezione tra Second Language Acquisition e Second Language Testing and Assessment, intendendo, mediante l’incrocio tra i due ambiti di ricerca, fornire un contributo allo studio del funzionamento e delle caratteristiche dell’acquisizione fonologica in differenti livelli di competenza dell’italiano come lingua seconda (L2), e proporre nuove prospettive sul testing del medesimo piano di analisi linguistica, al fine di apportare miglioramenti e rendere maggiormente consapevoli la valutazione e l’insegnamento di pronuncia e intonazione in italiano L2. Lo studio è stato condotto in prospettiva certificatoria avendo come oggetto di analisi un campione di apprendenti che in anni recenti ha preso parte all’esame di produzione orale della Certificazione di Italiano Lingua Straniera dell’Università per Stranieri di Siena (CILS), valutati, secondo le procedure specifiche previste per questo lavoro e per un tipico test di profitto, da un gruppo di valutatori esperti di certificazioni linguistiche e di insegnanti di italiano L2 tramite scale di valutazione globali e analitiche e modalità di valutazione tradizionali e Thinking aloud.
Il lavoro prende avvio da alcuni studi fondamentali che ne hanno guidato l’ideazione, l’inquadramento teorico, la progettazione e l’interpretazione, basti citare le ricerche di Okim Kang (2008, 2018), che si è occupata del rapporto tra produzione orale e valutazione in inglese L2, indagando l’impatto sulla comunicazione parlata degli aspetti segmentali, legati alla produzione più o meno corretta dei fonemi, e dei fattori soprasegmentali relativi all’intonazione e alla fluenza temporale (velocità di eloquio e pause); e lo studio di Sandra Götz (2012), che, procedendo dal complesso inquadramento teorico dei fenomeni ad elevata variabilità legati alla fluenza, la analizza in senso strettamente temporale, individuando i singoli aspetti che la caratterizzano in produzione e in percezione/valutazione – velocità di eloquio, tempo di fonazione, lunghezza media degli enunciati, pause silenti e pause non silenti, false partenze, ripetizioni, marcatori discorsivi, parole di riempimento/smallwords – e mettendo i due piani a confronto. Sullo sfondo si pone il modello tridimensionale della percezione della pronuncia di Derwing, Munro e Levis (Munro & Derwing 1995; Levis 2005, 2020), basato su una concezione integrata e complessa della pronuncia in termini di costi comunicativi che essa prevede rispetto al grado di facilità/sforzo richiesti nell’ascolto del parlato non nativo; tale visione aggiornata sulla pronuncia, riflesso dei passi in avanti compiuti dalla ricerca, è stata assorbita dal Quadro Comune Europeo di Riferimento per l’apprendimento, l’insegnamento e la valutazione delle lingue. (QCER 2001, 2020), sottoposto ad una intensa rivisitazione per quanto concerne la valutazione della competenza fonologica.
Dopo aver ripercorso le varie fasi storiche della ricerca sull’acquisizione linguistica e sul Language Testing e i modelli teorici elaborati nel corso degli anni, focalizzandosi in particolare sulle caratteristiche specifiche della macro-abilità di produzione orale, considerata, in maniera specifica, dal punto di vista del Quadro, vengono definite le modalità di analisi utilizzate per le prove monologiche dell’esame di produzione orale, oggetto dello studio, sottoposte ad un’osservazione insieme oggettiva/strumentale e soggettiva/valutativa del piano fonologico, per verificare quali aspetti caratterizzano il parlato degli apprendenti in termini quantitativi e qualitativi, l’impatto dell’indicatore Pronuncia e intonazione in relazione alle altre dimensioni linguistiche rappresentate nella scala di valutazione della produzione orale, il peso delle singole componenti della competenza fonologica nella valutazione analitica di Pronuncia e intonazione da parte dei valutatori, la correlazione tra i tratti emersi nell’analisi strumentale e la valutazione analitica di Pronuncia e intonazione effettuata dai valutatori.
L’analisi strumentale è stata condotta in tre fasi, trascrizione ortografica, etichettatura ed estrazione dei parametri temporali della fluenza (velocità di eloquio, velocità di articolazione, tempo di fonazione, lunghezza media degli enunciati, pause silenti, pause piene, false partenze, ripetizioni) e dei parametri intonativi (range tonale); l’analisi valutativa ha previsto tre sessioni di valutazione: la prima svolta secondo gli indicatori standard dell’esame di produzione orale, la seconda e la terza basate su una griglia di pronuncia e intonazione costruita ad hoc; la seconda sessione è stata realizzata nella modalità di valutazione silente, la terza sessione nella modalità Thinking aloud, verbalizzando ad alta voce le scelte valutative compiute dai valutatori.
I risultati hanno evidenziato il maggiore impatto della velocità di eloquio e della variazione intonativa sulla valutazione della competenza fonologica e la maggiore significatività degli stessi aspetti nella differenziazione tra i livelli B1-B2 da una parte e il livello C1 dall’altra; tale tendenza è in linea con quanto emerso in letteratura (Kang et al. 2010; Kang 2013; Isaacs & Trofimovich 2012; Saito et al. 2017), anche rispetto al grado di facilità/difficoltà richiesto nell’ascolto (comprensibilità) del parlato non nativo. In questo lavoro, si conferma, inoltre, la difficoltà della valutazione della produzione orale, come riscontrato negli studi, per le numerose variabili operanti e per la complessa separazione tra piani di analisi linguistica tra loro strettamente legati. Per questa abilità e per le componenti che la definiscono è, dunque, necessario condurre le valutazioni certificatorie in maniera sia globale sia analitica/a tratti multipli al fine di garantire la loro affidabilità.


The dissertation stands at the interface between Second Language Acquisition and Second Language Testing and Assessment. Through the crossover between the two fields of research, it aims to provide a contribution to the study of the functions and features of phonological acquisition at different levels of proficiency in Italian as a second language (L2), as well as to propose new perspectives on the testing of the same language analysis level, in order to improve and increase awareness of the assessment and teaching of pronunciation and intonation in Italian L2. The study was carried out in a certification context by analysing a sample of learners who in recent years took part in the oral production exam of the Certificate of Italian as a Foreign Language of the University for Foreigners of Siena (CILS). They were assessed, according to the specific procedures provided for this work and for a typical proficiency test, by a group of expert assessors of language certifications and teachers of Italian L2 using global and analytical assessment scales and traditional and Thinking aloud assessment methods.
The work takes its origin from some crucial studies that have guided its conceptualisation, theoretical framework, design and interpretation. Let us just mention the research by Okim Kang (2008, 2018), who worked on the relationship between oral production and assessment in English L2. She investigated the impact on spoken communication of segmental factors linked to the more or less correct production of phonemes, and suprasegmental factors concerning intonation and temporal fluency (speech rate and pauses). Let us mention also Sandra Götz's study (2012), which proceeds from the complex theoretical framework of highly variable phenomena related to fluency and analyses it in a strictly temporal way, identifying the individual factors of production and perception/evaluation - speech rate, phonation time ratio, mean length of runs, silent pauses and non-silent pauses, false starts, repetitions, discursive markers, filler words/smallwords - and comparing the two levels. In its background is the three-dimensional model of pronunciation perception of Derwing, Munro and Levis (Munro & Derwing 1995; Levis 2005, 2020), based on an integrated and complex understanding of pronunciation in terms of the communicative costs with respect to the degree of ease/effort required in listening to non-native speech. This updated view on pronunciation, which reflects the progress made by research, has been absorbed by the Common European Framework of Reference for Languages Learning, Teaching and Assessment. (CEFR 2001, 2020), which has undergone an intensive review with regard to the assessment of phonological competence.
After reviewing the several historical stages of research on language acquisition and language testing and the theoretical models developed throughout the years, we focused in detail on the specific characteristics of the macro-skill of oral production, specifically viewed from the perspective of the Framework. Then, the analysis methods used are defined for the monological tests of the oral production examination, the object of the study. They were submitted to a combined objective/instrumental and subjective/assessment observation of the phonological level, in order to check which aspects characterise the learners' speech in quantitative and qualitative terms, the impact of the Pronunciation and Intonation marker in respect to the other linguistic domains accounted for on the oral production rating scale, the weight of the individual components of phonological competence in the assessors' analytical assessment of Pronunciation and Intonation, the correlation between the traits revealed in the instrumental analysis and the assessors' analytical assessment of Pronunciation and Intonation.
The instrumental analysis was performed in three steps, orthographic transcription, labelling and extraction of temporal parameters of fluency (speech rate, articulation speed, phonation time ratio, mean length of runs, silent pauses, full pauses, false starts, repetitions) and intonation parameters (tonal range). The assessment analysis involved three assessment sessions: the first one carried out according to the standard markers of the oral production exam, the second and third sessions based on an ad hoc built pronunciation and intonation scale. The second session was conducted in the silent mode of assessment, the third session in the Thinking aloud mode, by verbalising aloud the assessment decisions taken by the assessors.
The results highlighted the greater impact of speech rate and intonational variation on the assessment of phonological competence and the greater significance of the same features in the distinction between B1-B2 levels on the one side and C1 level on the other. This trend is in line with findings in the relevant literature (Kang et al. 2010; Kang 2013; Isaacs & Trofimovich 2012; Saito et al. 2017), also with regard to the degree of ease/difficulty required in listening (comprehensibility) of non-native speech. In this study, we also confirm the difficulty of assessing oral production, as noted in other studies, due to the many variables at work and the complex disjunction between closely related linguistic levels of analysis. For this skill and the components that shape it, it is thus necessary to conduct certification assessments in both a global and analytical/multi-trait way in order to ensure reliability.