ETD

• agentic AI
• enterprise security
• guardrails
• large language models
• machine learning
• prompt injection
• text classification

The integration of Large Language Model (LLM) based Agentic AI systems into enterprise workflows introduces significant security, reliability, and compliance risks, including prompt injection, hallucinations, and logical derailment. Existing solutions impose a rigid trade-off between speed, semantic accuracy, and cost: static filters are fast but lack contextual understanding, while "LLM-as-a-judge" systems are accurate but add latency and expensive compute. This thesis proposes Adaptive Guardrail Routing, a grey-box hybrid architecture developed and validated at Sytel Reply Roma (Target Reply). A local Tier 1 layer, an ensemble of three specialised classifiers (toxicity, injection, jailbreak) built on semantic embeddings, screens every incoming request in real time (around 10 ms) and routes it into a Green, Yellow, or Red zone. Only ambiguous, Yellow-zone traffic is forwarded to a Tier 2 commercial LLM guardrail (Google Model Armor), reserving costlier computation for uncertain cases only. An asynchronous active-learning loop continuously adapts the local classification boundaries to company-specific jargon. Results, validated on real production client traffic, show an 18.9% cost reduction and roughly 42% lower latency compared to routing all traffic through the LLM judge alone, while preserving strong threat-detection performance.

L'integrazione di sistemi di Intelligenza Artificiale Agentica basati su Large Language Model (LLM) nei processi aziendali introduce rischi rilevanti di sicurezza, affidabilità e conformità normativa, tra cui prompt injection, allucinazioni e derive logiche. Le soluzioni esistenti impongono un compromesso rigido tra velocità, accuratezza semantica e costi: i filtri statici sono rapidi ma privi di comprensione del contesto, mentre i sistemi "LLM come giudice" sono accurati ma introducono latenza e costi elevati. Questa tesi propone un'architettura ibrida grey-box di Adaptive Guardrail Routing, sviluppata e validata presso Sytel Reply Roma (Target Reply). Un primo livello locale, un ensemble di tre classificatori specializzati (tossicità, injection, jailbreak) basati su embedding semantici, instrada ogni richiesta in tempo reale (circa 10 ms) verso una zona verde, gialla o rossa. Solo il traffico ambiguo viene inoltrato a un secondo livello, un LLM commerciale (Google Model Armor), riservando le risorse più costose ai soli casi incerti. Il sistema integra un ciclo di apprendimento attivo che adatta i confini di classificazione al gergo aziendale specifico. I risultati, validati anche su traffico reale di produzione, mostrano una riduzione dei costi del 18,9% e della latenza di circa il 42% rispetto all'uso esclusivo del giudice LLM, mantenendo un'elevata capacità di rilevamento delle minacce.