• NLP
• NLM
• BERT
• Transformers
• Neural Language Model
• complessità
• accettabilità

Il presente lavoro descrive uno studio sull’accettabilità e la complessità linguistica svolto a seguito di un’esperienza di tirocinio presso l’Istituto di Linguistica Computazionale “Antonio Zampolli” di Pisa.
In particolare, è stato valutato in che modo le percezioni di accettabilità e complessità linguistiche da parte di un parlante influenzino la conoscenza interna di un Neural Language Model (BERT). A questo scopo, partendo da un corpus valutato con giudizi di accettabilità e complessità, rilasciato per il task AcCompl-it della campagna di valutazione EVALITA 2020, sono stati addestrati diversi modelli su compiti di valutazione dei due giudizi a livello di frase e sono state analizzate le performance ottenute sia direttamente sui singoli task sia da modelli di transfer learning.
Infine, per ciascun modello elaborato, si è indagata la conoscenza acquisita in ciascun layer, per comprendere sia quanto differescono le informazioni linguistiche immagazzinate prima e dopo il processo di fine tuning sia qual è l’impatto del transfer learning sulla competenza relativa ai compiti di valutazione di accettabilità e complessità.
In questo studio, quindi, si cercherà di rispondere a domande come: “quali sono le caratteristiche linguistiche che rendono una frase più o meno accettabile o complessa?”, “quanto un Neural Language Model riesce a modellare giudizi umani di accettabilità e complessità linguistica?”, “come varia la conoscenza di un Neural Language Model dopo il fine tuning sui due compiti linguistici?”.
Nel tentativo di rispondere a questi interrogativi si proverà a comprendere, anche, quanto questi due compiti sono simili tra loro.