CulturaX
Terme IA
Intermédiaire
Mis à jour le
En bref
CulturaX est un jeu de données multilingue ouvert d'environ 6,3 billions de mots-jetons en 167 langues, nettoyé à partir de mC4 et d'OSCAR, qui sert à pré-entraîner des grands modèles de langue.
📖 Définition
CulturaX est un vaste jeu de données multilingue et ouvert, conçu pour le pré-entraînement des grands modèles de langue (LLM). Publié en septembre 2023 par des chercheurs de l'Université de l'Oregon et d'Adobe Research, il rassemble environ 6,3 billions de mots-jetons (« tokens ») répartis sur 167 langues. CulturaX n'est pas une nouvelle collecte du Web : il fusionne puis nettoie en profondeur deux grands corpus déjà existants, mC4 et plusieurs versions d'OSCAR, tous deux tirés de Common Crawl (une archive publique du Web). Sa principale valeur tient à ce nettoyage : réidentification de la langue de chaque document, retrait des textes de mauvaise qualité et déduplication, au point d'écarter près de la moitié (46,5 %) des documents de départ. Résultat : un corpus plus propre et mieux équilibré, où l'anglais ne pèse que 45 % du total, ce qui en fait une ressource de référence pour entraîner des IA au-delà du seul anglais.
💬 En termes simples
C'est comme réunir plusieurs vieilles bibliothèques du Web, en trier le contenu, jeter les doublons et les pages abîmées, puis tout ranger proprement par langue.
💡 Le saviez-vous ?
Dans CulturaX, le français est la 5e langue la plus présente (environ 5 %), derrière l'anglais (45 %), le russe, l'espagnol et l'allemand : plus de la moitié du corpus n'est pas anglophone.
📖 Pour aller plus loin
❓ Questions fréquentes
Qui a créé CulturaX et quand ?
CulturaX a été publié en prépublication en septembre 2023, puis présenté à la conférence scientifique LREC-COLING 2024, par une équipe de l'Université de l'Oregon et d'Adobe Research (dont Thuat Nguyen et Thien Huu Nguyen).
En quoi CulturaX diffère-t-il de mC4 et d'OSCAR ?
CulturaX ne collecte pas de nouvelles pages Web : il réunit mC4 et plusieurs versions d'OSCAR, puis applique un nettoyage et une déduplication plus stricts, retirant environ 46,5 % des documents pour améliorer la qualité.
CulturaX est-il libre d'accès ?
Le jeu de données est public sur la plateforme Hugging Face (dépôt uonlp/CulturaX), mais son accès est conditionné à l'acceptation de conditions d'utilisation. Comme il provient du Web public, il hérite aussi de ses limites : biais, contenu possiblement protégé et données personnelles résiduelles.
📚 Sources
- CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages (arXiv:2309.09400) (Nguyen et coll. (University of Oregon, Adobe Research), 2023)
- uonlp/CulturaX - fiche du jeu de données (University of Oregon / Adobe Research (Hugging Face), 2024)
🔗 Termes liés
🏷️ Catégorie parente