ImgEdit-Bench

Q: Combien de cas ce banc d'essai contient-il ?

La question n'a pas de réponse tranchée : l'addition des trois suites (734, 47 et 30) donne 811 cas, alors que le tableau de l'article annonce un total de 779. La publication se contredit sur ce point. Elle compte 14 sous-tâches.

Q: Qui corrige les copies ?

Pour les épreuves à un tour, c'est GPT-4o qui note de 1 à 5 sur trois axes : respect de l'instruction, qualité de l'édition, préservation des zones qui ne devaient pas changer. Les épreuves à plusieurs tours, elles, sont évaluées par des humains, par oui ou par non.

Q: Qu'est-ce qu'ImgEdit-Judge ?

C'est un juge ouvert publié par la même équipe : un modèle Qwen2.5-VL-7B affiné sur 200 000 évaluations, pour éviter de dépendre d'un modèle commercial. Les auteurs rapportent environ 70 % d'accord avec les annotateurs humains, à une tolérance d'un point.

Abstract

ImgEdit-Bench est un banc d'essai qui mesure si un modèle modifie correctement une image existante à partir d'une consigne écrite, en notant d'abord le respect de cette consigne.