ZML lance un logiciel d'inférence IA multi-puces
ZML, une startup française soutenue par Yann LeCun, lance ZML/LLMD, un serveur d'inférence pour LLM compatible avec multiples puces. L'objectif : optimiser les performances et réduire les coûts, tout en évitant le verrouillage fournisseur.
« "The idea is to give people back the power to create their own system and achieve real efficiency gains that allow [AI] to be disseminated," Morin said. » — TechCrunch AI
Que faut-il retenir ?
- ZML/LLMD permet d'exécuter des LLM sur diverses puces (Nvidia, AMD, TPU, Apple Metal, Intel Arc).
- Le logiciel vise à atteindre des performances maximales, voire supérieures, sur ces puces.
- ZML a levé 20 millions de dollars auprès de fonds comme 20VC et Kima Ventures.
- L'équipe de ZML compte seulement 20 personnes, basées à Paris.
Pourquoi cette nouvelle compte-t-elle ?
ZML/LLMD pourrait réduire la dépendance aux puces Nvidia en optimisant l'inférence sur d'autres architectures. Cela ouvre la voie à des économies de coûts et d'énergie pour les entreprises, tout en favorisant l'écosystème européen des puces IA. La compatibilité multi-puces est un enjeu clé pour l'adoption massive de l'IA.
20 millions de dollars levés par ZML
💬 Steeve Morin, Fondateur de ZML
Public concerné : entreprises, développeurs
Comment ZML/LLMD améliore-t-il l'inférence des LLM ?
ZML/LLMD optimise l'exécution des modèles de langage sur différentes puces (Nvidia, AMD, etc.), permettant des gains de performance et une réduction des coûts. Le logiciel brise les silos matériels pour plus de flexibilité.
