Modèle d'IA : qui décide du coût et de la vitesse? Le routeur des experts
D'après intelligence-artificielle.com (ActuIA) - Qui décide du coût et de la vitesse d'un modèle d'IA?, relayé par Intelligence-Artificielle.com
Image : générée (Gemini)
Rédigé à partir de la source originale; chaque fait est vérifié contre le texte source.
À retenir
- Un modèle Mixture of Experts peut compter des centaines de milliards de paramètres mais n'en activer qu'une fraction par token. Exemple cité : Mixtral 8x7B donne accès à 47 milliards de paramètres et n'en utilise qu'environ 13 milliards à chaque passage.
- Le routeur note chaque expert et ne garde que les meilleurs. La stratégie la plus répandue, le Top-K, laisse chaque token choisir : Mixtral active 2 experts sur 8, GPT-OSS-120B 4 sur 128, Qwen3-235B-A22B 8 sur 128.
- Un mauvais routage coûte cher : si trop de tokens vont au même expert, il devient un goulot d'étranglement; et répartir les experts sur plusieurs processeurs force des transferts de données entre cartes graphiques, qui pèsent sur la vitesse.
- En 2026, la recette dominante des grands modèles ouverts (DeepSeek-V3, GLM-4.5, Kimi K2) équilibre la charge par un biais ajusté après coup, sans "perte auxiliaire" : une expérience à un milliard de paramètres a fait tomber l'indicateur de déséquilibre de 0,72 à 0,04.
Pourquoi ça compte
Pour qui déploie un modèle, ces détails ne sont pas théoriques : ils déterminent la mémoire nécessaire, le trafic entre cartes graphiques et donc la facture. Le texte rappelle que la plupart des entreprises ne choisissent pas leur stratégie de routage (elle est déjà intégrée au modèle), mais qu'il faut la LIRE avant de déployer. Et changer le nombre d'experts actifs pendant l'inférence n'est pas un simple réglage de vitesse : cela modifie le comportement du modèle et demande des contrôles de qualité.
Chiffre-clé
Selon l'explicatif, Mixtral 8x7B donne accès à 47 milliards de paramètres mais n'en active qu'environ 13 milliards à chaque passage, ce qui réduit le coût de calcul sans réduire le modèle à un seul réseau.
Action concrète
Avant de déployer un modèle Mixture of Experts, ouvrir son fichier config.json et y relever quatre chiffres : le nombre total d'experts, le nombre activé par token, la présence d'un expert partagé et la méthode de sélection. Ils permettent d'anticiper la mémoire et le trafic réseau, donc le coût réel.
Fondée sur la source originale
