EMO : le modèle MoE modulaire révolutionnaire d'AllenAI
AllenAI lance EMO, un modèle MoE de 14 milliards de paramètres permettant d'utiliser seulement 1 expert sur 8 (12.5%) par tâche sans perte majeure de performance. Contrairement aux MoE classiques, sa modularité émerge directement des données sans biais humain.
« EMO - a 1B-active, 14B-total-parameter (8-expert active, 128-expert total) MoE trained on 1 trillion tokens - supports selective expert use: for a given task or domain, we can use only a small subset of experts (just 12.5% of total experts) while retaining near full-model performance. » — Hugging Face Blog
Que faut-il retenir ?
- EMO est un modèle MoE avec 128 experts au total mais seulement 8 experts actifs simultanément (12.5%).
- Le modèle a été entraîné sur 1 trillion de tokens avec 14 milliards de paramètres au total.
- Contrairement aux MoE classiques, EMO permet d'utiliser de petits sous-ensembles d'experts sans dégradation importante des performances.
- La modularité émerge directement des données sans domaines prédéfinis, évitant les biais humains.
Pourquoi cette nouvelle compte-t-elle ?
EMO révolutionne l'utilisation des modèles MoE en permettant une vraie modularité. Les entreprises pourront déployer seulement les experts nécessaires, réduisant les coûts computationnels. C'est particulièrement crucial pour les applications spécialisées (médical, juridique) où seuls certains domaines sont requis. La suppression des domaines prédéfinis permet aussi une adaptation plus flexible aux nouveaux cas d'usage.
12.5% d'experts utilisés par tâche (1 sur 8)
Public concerné : développeurs, entreprises
Comment EMO diffère-t-il des autres modèles MoE ?
EMO permet une vraie modularité en activant seulement 12.5% de ses experts par tâche sans perte majeure de performance, contrairement aux MoE classiques qui nécessitent souvent tous les experts. Sa modularité émerge aussi directement des données sans domaines prédéfinis.
Commentaires (0)
💡 Aucun lien externe ni code HTML accepté. Soyez respectueux. Les commentaires sont modérés avant publication.
Aucun commentaire pour le moment. Soyez le premier !