• AI
• biases
• hate speech
• Large Language Models
• LLM
• machine learning
• moderation
• social network

In questa tesi andiamo ad analizzare un dataset molto grande di commenti di odio estrapolati da diversi social network che sono stati annotati da annotatori con un background molto diverso tra loro. Nella prima fase ci occupiamo di verificare eventuali bias presenti nel dataset sfruttando le diverse informazioni in esso presenti. Successivamente andiamo a replicare queste annotazioni usando i Large Language model con l'obiettivo di verificare se anche essi presentano dei bias e in particolare se riproducono gli stessi bias osservati per gli annotatori umani. Scopo di questa ricerca è valutare se gli LLM possono essere usati o meno in alcuni task di annotazione e in particolare anche nell'ambito della moderazione.

In this thesis, we analyze a large dataset of hate comments extracted from various social networks, annotated by individuals from diverse backgrounds. In the first phase, we investigate potential biases in the dataset using the diverse information it contains. Next, we replicate these annotations using Large Language Models to determine if they also exhibit biases, specifically whether they replicate the biases observed in human annotators. The goal of this research is to assess whether LLMs can be effectively used for certain annotation tasks, particularly in the context of moderation.