Hugging Face utilisé pour des deepfakes non consensuels
Une étude d'AI Forensics révèle que 7 des 9 principaux modèles d'édition d'images sur Hugging Face permettent de déshabiller des femmes via des prompts simples. 73% des requêtes testées étaient sexuelles, dont 7% visant des enfants, sans garde-fous platform-level.
« "Most of the Spaces [tested] can be used for generating nonconsensual intimate images, and users are actually using it for these purposes" » — The Verge AI
Que faut-il retenir ?
- 7 des 9 modèles testés sur Hugging Face génèrent des images dénudées via des prompts simples.
- 73% des requêtes reçues dans les honeypots étaient sexuelles.
- 83% des requêtes sexuelles tentaient de déshabiller une personne (95% des cibles étaient des femmes).
- 7% des requêtes sexuelles ciblaient des enfants.
Pourquoi cette nouvelle compte-t-elle ?
Cet exposé révèle un grave défaut de modération sur une plateforme centrale de l'écosystème IA open-source. Les professionnels doivent évaluer les risques éthiques et légaux liés à l'hébergement ou l'utilisation de modèles non filtrés. Cela impacte aussi la réputation des acteurs de l'IA responsable.
73% des requêtes reçues étaient sexuelles
💬 Paul Bouchaud, Lead researcher à AI Forensics
Public concerné : développeurs, entreprises
Quelles mesures Hugging Face peut-il prendre contre les deepfakes non consensuels ?
AI Forensics recommande des filtres au niveau des prompts et des scans des outputs. La plateforme pourrait implémenter des garde-fous systématiques plutôt que laisser chaque développeur gérer la modération.
