Hugging Face face aux deepfakes non consensuels
Un rapport d'AI Forensics révèle que 7 des 9 modèles d'édition d'images testés sur Hugging Face permettent de créer des deepfakes non consensuels. 73% des requêtes analysées étaient sexuelles, avec 83% visant à déshabiller des femmes. 6,7% ciblaient des enfants.
« "Most of the Spaces [tested] can be used for generating nonconsensual intimate images, and users are actually using it for these purposes," says Paul Bouchaud. » — Wired AI
Que faut-il retenir ?
- 7 des 9 modèles d'édition d'images testés sur Hugging Face transforment facilement une image habillée en image dénudée.
- 73% des requêtes reçues lors des tests étaient de nature sexuelle.
- 83% des requêtes sexuelles visaient à déshabiller ou sexualiser une personne, dont 95% de femmes.
- 6,7% des requêtes sexuelles ciblaient des enfants apparents.
Pourquoi cette nouvelle compte-t-elle ?
Cet article met en lumière un problème critique de modération des contenus sur les plateformes d'IA open-source. Les professionnels du secteur doivent prendre conscience des risques liés à l'hébergement de modèles non régulés, pouvant être détournés à des fins malveillantes. Cela soulève des questions éthiques et juridiques urgentes pour les développeurs et les régulateurs.
73% des requêtes testées étaient de nature sexuelle.
💬 Paul Bouchaud, Lead researcher at AI Forensics
Public concerné : développeurs, entreprises
Comment Hugging Face modère-t-il les modèles générant des deepfakes non consensuels ?
Hugging Face interdit les deepfakes non consensuels dans sa politique de contenu, mais le rapport d'AI Forensics montre que cette modération est insuffisante, avec 7 modèles sur 9 testés permettant de créer facilement ce type de contenus.
🔧 Outils mentionnés