ETD

• content moderation
• intervention deployment
• intervention evaluation
• misbehavior detection
• social media analysis

Online social networks have become essential spaces for communication and participation but also fertile grounds for online harms such as hate speech, harassment, and disinformation. These phenomena not only affect individuals through direct psychological harm but also undermine collective trust, polarize communities, and enable the manipulation of public discourse. To counter these risks, platforms deploy moderation pipelines that define ethical guidelines, detect harmful content, apply interventions, and evaluate their effectiveness. Yet, despite increasing sophistication, moderation remains fraught with challenges. Automated toxicity detectors inherit biases from human annotations, limiting their fairness and accuracy. Detection of disinformation still struggles to capture the coordination strategies that underpin large-scale information operations. Interventions are often generic or reactive, lacking contextual adaptation to the communities and conversations in which harms occur. Finally, evaluations of moderation are mostly retrospective, producing fragmented insights and overlooking long-term or unintended effects.
This thesis addresses these gaps by advancing the study of moderation across its core components: detection, intervention, and evaluation. First, to better understand coordinated disinformation, we construct novel datasets from two major state-sponsored information operations on Twitter/X and apply network-science methods to disentangle malicious coordination from organic interactions. Our analysis reveals distinct strategies used by malicious actors and clarifies their role in shaping online debates. In parallel, we examine the biases embedded in hate speech detection by analyzing a large annotated dataset and comparing the behavior of human annotators with persona-driven large language models. This dual perspective shows how demographic attributes shape labeling decisions and how such biases are reproduced in automated systems. Together, these studies improve the reliability of detection while exposing its inherent limitations.
Second, we move to the deployment of moderation interventions, introducing a framework for generating contextualized counterspeech with large language models. Unlike traditional approaches that rely on generic replies, our method adapts responses to the community context, the target user, and the surrounding conversation. Through both automated measures and a large-scale crowdsourcing study, we evaluate the qualities that make counterspeech more persuasive and effective, highlighting the potential of personalization in reducing online toxicity.
Third, we examine the outcomes of hard moderation by analyzing the Reddit Great Ban, a large-scale deplatforming intervention. We provide causal evidence of both intended reductions in toxicity and unintended side effects, showing how some users escalated their harmful behaviors after the intervention. Building on these insights, we then shift from description to prediction by developing models that forecast moderation outcomes before deployment. By leveraging behavioral traces, we show that user abandonment can be anticipated, opening the way to proactive moderation strategies that balance effectiveness with community sustainability.
Taken together, these contributions offer a systematic exploration of the moderation pipeline. By combining coordination analysis, bias auditing, personalized intervention design, and predictive evaluation, this thesis advances our understanding of how platforms can mitigate online harms while acknowledging the complexity and trade-offs inherent in moderation. The findings underscore both the potential and the limitations of algorithmic and socio-technical solutions, paving the way for more effective, context-aware, and ethically grounded approaches to governing digital communities.

I social network sono diventati spazi essenziali per la comunicazione e la partecipazione degli utenti, ma anche terreno fertile per problematiche online quali ad esempio incitamento all'odio, molestie e disinformazione. Questi fenomeni non solo colpiscono gli individui attraverso danni psicologici diretti, ma minano anche la fiducia collettiva, polarizzano le comunità e consentono la manipolazione del dibattito pubblico. Per contrastare questi rischi, le piattaforme implementano procedure di moderazione che definiscono linee guida etiche, individuano contenuti dannosi, applicano interventi e ne valutano l'efficacia. Tuttavia, nonostante il crescente sviluppo, la moderazione rimane piena di sfide. I rilevatori automatici di tossicità ereditano i pregiudizi dalle annotazioni umane, limitandone l'equità e l'accuratezza. Il rilevamento della disinformazione fatica ancora a cogliere le strategie di coordinamento che sono alla base delle operazioni di informazione su larga scala. Gli interventi sono spesso generici o reattivi, privi di un adattamento contestuale alle comunità e alle conversazioni in cui si verificano i comportamenti tossici. Infine, le valutazioni della moderazione sono per lo più retrospettive, producendo intuizioni frammentarie e trascurando gli effetti a lungo termine o indesiderati.
Questa tesi affronta tali lacune promuovendo lo studio della moderazione attraverso le sue componenti fondamentali: individuazione, intervento e valutazione. Innanzitutto, per comprendere meglio la disinformazione coordinata, costruiamo nuovi set di dati provenienti da due importanti operazioni di informazione sponsorizzate dai governi su Twitter/X e applichiamo metodi di network science per distinguere il coordinamento dannoso dalle interazioni organiche. La nostra analisi rivela le diverse strategie utilizzate dagli utenti malintenzionati e chiarisce il loro ruolo nel plasmare i dibattiti online. Parallelamente, esaminiamo i pregiudizi insiti nel rilevamento dei discorsi di incitamento all'odio analizzando un ampio set di dati annotati e confrontando il comportamento degli annotatori umani con Large Language Models che interpretano determinate persone. Questa doppia prospettiva mostra come gli attributi demografici influenzano le decisioni di etichettatura e come tali pregiudizi vengono riprodotti nei sistemi di rilevamento automatizzati. Nel loro insieme, questi studi migliorano l'affidabilità del rilevamento, mettendone al contempo in luce i limiti intrinseci.
In secondo luogo, passiamo all'implementazione di interventi di moderazione, introducendo un framework per la generazione di contronarrative contestualizzate tramite Large Language Models. A differenza degli approcci tradizionali che si basano su risposte generiche, il nostro metodo adatta le risposte al contesto della comunità, all'utente target e alla conversazione circostante. Attraverso misure automatizzate e uno studio di crowdsourcing su larga scala, valutiamo le qualità che rendono le contronarrative più persuasive ed efficaci, evidenziando il potenziale della personalizzazione nella riduzione della tossicità online.
Infine, esaminiamo i risultati della moderazione rigida analizzando il Reddit Great Ban, un intervento di rimozione di utenti su larga scala. Forniamo prove causali sia della variazione della tossicità che degli effetti collaterali indesiderati, mostrando come alcuni utenti abbiano intensificato i loro comportamenti dannosi dopo l'intervento. Sulla base di queste intuizioni, passiamo dalla descrizione alla previsione sviluppando modelli che prevedono i risultati della moderazione prima della loro implementazione. Sfruttando le tracce comportamentali, dimostriamo che è possibile anticipare l'abbandono degli utenti, aprendo la strada a strategie di moderazione proattive che bilanciano l'efficacia con la sostenibilità della comunità.
Nel loro insieme, questi contributi offrono un'esplorazione sistematica del processo di moderazione. Combinando analisi di coordinazione, verifica dei pregiudizi, progettazione di interventi personalizzati e valutazione predittiva, questa tesi approfondisce la nostra comprensione di come le piattaforme possano mitigare i danni online, riconoscendo al contempo la complessità e i compromessi inerenti alla moderazione. I risultati sottolineano sia il potenziale che i limiti delle soluzioni algoritmiche e socio-tecniche, aprendo la strada ad approcci più efficaci, sensibili al contesto ed eticamente fondati per la gestione delle comunità digitali.