Problèmes dans SWE-Bench Pro révélés par OpenAI
Une nouvelle analyse d'OpenAI met en lumière des problèmes dans SWE-Bench Pro, un benchmark de codage largement utilisé. Ces résultats soulèvent des inquiétudes quant à la fiabilité et la précision des évaluations des modèles d'IA.
Que faut-il retenir ?
- OpenAI a analysé SWE-Bench Pro, un benchmark de codage populaire.
- L'analyse révèle des problèmes de fiabilité et de précision.
- Ces résultats remettent en question l'utilisation de SWE-Bench Pro pour évaluer les modèles d'IA.
Public concerné : développeurs
