Le papier de Mohamed Dhouib a été accepté à la Conférence sur la vision par ordinateur et la reconnaissance des formes

Une nouvelle publication de l'équipe ORAILIX a été accepté à CVPR 2025

Nous avons le plaisir d’annoncer que le papier de Mohamed Dhouib (doctorant)  intitulé « PACT: Pruning and Clustering-Based Token Reduction for Faster Visual Language Models » a été accepté à la conférence CVPR 2025, l’un des événements les plus prestigieux dans le domaine de la vision par ordinateur.

Cette recherche de pointe a été menée dans le cadre de la chaire « IA de confiance et responsable », en collaboration avec le Crédit Agricole.

PACT est une méthode innovante qui vise à réduire le temps d’inférence et la consommation de mémoire des modèles visuels de langage, s’inscrivant dans un effort collectif pour rendre l’usage des LLMs multimodaux, plus économe en ressources.

L’approche repose sur trois étapes clés : l'identification et suppression des tokens visuels sans importance, la fusion des tokens redondants à l'aide d'un nouvel algorithme de clustering (DBDPC) et la récupération des tokens clés pour préserver les informations.

Le DBDPC est un nouvel algorithme de regroupement qui fusionne les tokens visuellement redondants tout en les maintenant à une distance définie, préservant ainsi les informations visuelles clés à un faible coût de calcul. Après le regroupement, les tokens supprimés proches des centres de cluster sont réintégrés, et chaque cluster est fusionné en un seul token représentatif afin de minimiser la perte d'informations.

Pour en savoir plus sur ce sujet, consultez le lien suivant : https://arxiv.org/abs/2504.08966 

Félicitations à Mohamed Dhouib pour cette belle réussite, et merci à nos partenaires du Crédit Agricole pour leur soutien.