ETD

• ReID

The objective of this thesis was to design a pipeline for a subject retrieval application within images, capable of accepting both images and text as queries and returning the most relevant results. This task partially aligns with the field known in the scientific community as ReID. Person re-identification (ReID) is a task in computer vision that aims at matching individuals across different camera views. It plays a crucial role in applications such as video surveillance, security systems, and multi- camera tracking. Traditional approaches rely on supervised learning with large annotated datasets. However, recent advances in vision-language models such as CLIP have opened new possibilities for performing ReID tasks with limited or no task-specific train- ing, thanks to their general-purpose pretraining. Unlike traditional detectors, which are typically used only for localization, CLIP produces embeddings for both images and text in a shared representation space, allowing text queries to be compared directly against image embeddings. For the person detection stage, we additionally rely on YOLO, a widely used object detector, to extract candidate bounding boxes from raw images prior to embedding extraction. In this thesis, we explore a multimodal ReID pipeline leveraging pretrained models, focusing on person detection, embedding extraction, and similarity- based retrieval across both image and text queries.

L’obiettivo di questa tesi è stato progettare una pipeline per un’applicazione di subject retrieval all’interno di immagini, in grado di accettare sia immagini sia testo come query e di restituire i risultati più rilevanti. Questo compito è parzialmente riconducibile al campo noto nella comunità scientifica come Person Re-Identification (ReID). La person re-identification (ReID) è un’attività di computer vision finalizzata all’identificazione e al riconoscimento di individui attraverso differenti visuali riprese da diverse telecamere. Essa riveste un ruolo fondamentale in applicazioni quali la videosorveglianza, i sistemi di sicurezza e il tracciamento di persone attraverso più telecamere. Gli approcci tradizionali si basano generalmente sull’apprendimento supervisionato mediante grandi dataset annotati. Tuttavia, i recenti progressi nel campo dei vision-language models, come CLIP, hanno aperto nuove possibilità per lo svolgimento di attività di ReID con una quantità limitata, o persino in assenza, di addestramento specifico per il task, grazie al loro pre-addestramento di carattere generale. A differenza dei detector tradizionali, che vengono tipicamente utilizzati esclusivamente per la localizzazione degli oggetti, CLIP produce embedding sia per le immagini sia per il testo all’interno di uno spazio di rappresentazione condiviso, consentendo di confrontare direttamente le query testuali con gli embedding delle immagini. Per la fase di rilevamento delle persone, viene inoltre utilizzato YOLO, un object detector ampiamente impiegato, al fine di estrarre le bounding box candidate dalle immagini originali prima della fase di estrazione degli embedding. In questa tesi viene esplorata una pipeline multimodale per la ReID basata su modelli pre-addestrati, con particolare attenzione alle fasi di rilevamento delle persone, estrazione degli embedding e recupero dei risultati basato sulla similarità, considerando sia query sotto forma di immagini sia query testuali.