Mistral lance Leanstral 1.5, modèle open-source pour vérification formelle
Mistral AI a publié Leanstral 1.5, un modèle open-source gratuit sous licence Apache 2.0 conçu pour la vérification formelle dans Lean 4. Il obtient 100% sur le benchmark mathématique miniF2F et a détecté 5 bugs inconnus dans des dépôts open-source.
« Mistral says the model hits 100 percent on miniF2F, a formal math benchmark covering problems from high school level up to math olympiad difficulty. » — The Decoder
Que faut-il retenir ?
- Leanstral 1.5 atteint 100% sur le benchmark miniF2F en mathématiques formelles.
- Il résout 587 problèmes sur 672 du concours Putnam (PutnamBench).
- Sur les benchmarks FATE-H et FATE-X, il obtient respectivement 87% et 34%.
- Le modèle a détecté 5 bugs inconnus dans 57 dépôts open-source testés.
Pourquoi cette nouvelle compte-t-elle ?
Leanstral 1.5 représente une avancée significative pour les développeurs et chercheurs en vérification formelle, combinant performances mathématiques et détection de bugs. Son modèle open-source et gratuit le rend accessible à une large communauté, potentiellement utile pour améliorer la qualité du code et des preuves formelles.
100% sur le benchmark miniF2F
Public concerné : développeurs, entreprises
Quelles sont les performances de Leanstral 1.5 en vérification formelle ?
Leanstral 1.5 atteint 100% sur le benchmark miniF2F, résout 587 problèmes sur 672 du PutnamBench, et obtient 87% et 34% sur FATE-H et FATE-X. Il a aussi détecté 5 bugs inconnus dans des dépôts open-source.
