mC4
Terme IA
Intermédiaire
Mis à jour le
En bref
mC4 est un jeu de données de textes web multilingues (101 langues) tiré de Common Crawl, créé par Google en 2020 pour entraîner le modèle mT5 et, depuis, d'autres IA multilingues.
📖 Définition
mC4 (pour « multilingual Colossal Clean Crawled Corpus ») est un très grand jeu de données de textes web multilingues, nettoyé, conçu pour le pré-entraînement de modèles de langue. Il a été créé par des chercheurs de Google et présenté en octobre 2020 avec mT5, la version multilingue du modèle T5. mC4 étend à 101 langues le corpus C4, qui était surtout anglophone. Comme C4, il est extrait de Common Crawl (une archive publique du Web), puis filtré pour retirer les pages de mauvaise qualité. Son but : donner aux modèles de quoi apprendre bien au-delà de l'anglais. mC4 est depuis devenu une brique de base d'autres corpus : il forme, avec plusieurs versions d'OSCAR, l'essentiel de CulturaX. Comme tout corpus tiré du Web, il hérite des forces (volume, diversité) et des limites (biais, qualité inégale, contenu parfois protégé) de sa source.
🎯 Exemple concret
En 2020, Google a utilisé mC4 pour entraîner mT5, un modèle capable de traiter 101 langues ; le corpus a ensuite servi de base à des jeux de données plus récents comme CulturaX.
💡 Le saviez-vous ?
mC4 couvre 101 langues, contre une seule (l'anglais) pour le corpus C4 dont il est l'extension : c'est ce saut qui a rendu possible l'entraînement de modèles vraiment multilingues.
📖 Pour aller plus loin
❓ Questions fréquentes
Qui a créé mC4 et quand ?
mC4 a été créé par des chercheurs de Google et présenté en octobre 2020, dans l'article scientifique décrivant mT5 (la version multilingue du modèle T5).
Quelle différence entre mC4 et C4 ?
C4 est un corpus surtout anglophone, utilisé pour entraîner T5. mC4 en est l'extension multilingue : mêmes principes de nettoyage, mais 101 langues au lieu d'une seule.
Quel lien entre mC4 et CulturaX ?
CulturaX, un jeu de données plus récent, est construit en fusionnant et en renettoyant mC4 et plusieurs versions d'OSCAR ; mC4 en représente d'ailleurs la majorité des documents.
📚 Sources
- mT5: A Massively Multilingual Pre-trained Text-to-Text Transformer (arXiv:2010.11934) (Xue, Constant, Roberts, Kale, Al-Rfou, Siddhant, Barua, Raffel (Google Research), 2020)
- multilingual-t5 - dépôt officiel (Google Research) (Google Research, 2020)
🔗 Termes liés
🏷️ Catégorie parente