À propos de Retrace

Retrace est un moteur de rejeu d’exécution (execution replay) spécialement conçu pour les agents d’intelligence artificielle. Lancé pour répondre au besoin croissant d’observabilité et de débogage dans les systèmes agentiques, cet outil permet d’enregistrer, rejouer, forker et partager des traces complètes d’exécution d’agents. Chaque appel à un modèle de langage (LLM), chaque invocation d’outil et chaque erreur sont capturés avec précision, offrant une visibilité granulaire sur le comportement des agents.

La plateforme a été développée pour résoudre un problème récurrent dans le développement d’agents IA : l’impossibilité de reproduire et d’analyser les échecs une fois qu’ils surviennent en production. Retrace transforme les exécutions d’agents en artefacts reproductibles, consultables et partageables, ce qui en fait un outil précieux pour les équipes de développement qui construisent des pipelines complexes et multi-étapes.

Fonctionnalités principales

Enregistrement d’exécutions d’agents. Retrace capture automatiquement l’intégralité d’une session d’agent, incluant le cheminement des décisions, les appels aux modèles de langage et les résultats d’outils. Chaque trace est stockée avec l’ensemble des métadonnées nécessaires à une analyse détaillée.

Rejeu pas à pas. Une fonctionnalité clé permet de rejouer une exécution enregistrée, étape par étape, pour reproduire exactement le comportement qui a mené à un échec. Ce rejeu suit le même chemin que l’exécution originale, y compris les réponses des LLM et les retours d’outils.

Fonction de forking. Lorsqu’une divergence est identifiée, Retrace permet de forker l’exécution à l’étape exacte où le problème est survenu. Le développeur peut alors modifier le prompt, ajuster le paramétrage de l’outil ou corriger la logique, puis ré-exécuter le chemin modifié pour valider la correction.

Partage d’exécutions. Les traces peuvent être partagées avec les membres d’une équipe pour faciliter la collaboration sur le débogage et la révision de code.

Traçage complet des appels LLM, outils et erreurs. Chaque interaction avec un modèle de langage, chaque appel d’outil et chaque erreur est consigné dans une timeline consultable.

Instrumentation automatique via SDK. Retrace propose des SDK en Python et TypeScript qui s’intègrent automatiquement aux pipelines d’agents existants. La plateforme supporte officiellement les modèles d’OpenAI, d’Anthropic et de Gemini.

Compatibilité avec les frameworks d’agents. L’outil fonctionne avec des frameworks populaires comme LangChain, CrewAI, Vercel AI SDK, AutoGen et LlamaIndex.

Détection de défaillances et évaluation de qualité. Retrace analyse automatiquement les traces enregistrées pour détecter des anomalies, contrôler les limites, évaluer la qualité des réponses et comprendre le comportement des systèmes multi-agents.

Tarification

Retrace propose un modèle freemium avec trois plans publics. Aucune carte bancaire n’est requise pour démarrer avec le plan gratuit.

Plan Free. Ce plan est sans frais et inclut 1 000 traces par mois, une rétention de 7 jours, 10 rejeux avec forking par mois et 1 utilisateur. Il convient pour l’expérimentation initiale et les petits projets personnels.

Plan Starter. Ce plan coûte environ 29 dollars canadiens par mois (facturé 20 dollars américains). Il offre 10 000 traces par mois, une rétention de 30 jours, 100 rejeux avec forking par mois, la fonctionnalité de rejeu par cassette VCR, 25 exécutions de validation de correction par mois et 1 utilisateur.

Plan Pro. Ce plan est proposé à environ 99 dollars canadiens par mois (facturé 80 dollars américains). Il comprend 50 000 traces par mois, une rétention de 90 jours, des rejeux avec forking illimités, le rejeu par cassette VCR, 200 exécutions de validation de correction par mois, des tests de régression CI, des détecteurs multi-agents, un environnement bac à sable avec 5 000 traces incluses et 1 utilisateur.

Les plans publics sont actuellement centrés sur un utilisateur unique, ce qui peut nécessiter une négociation personnalisée pour les équipes ayant des besoins plus étendus.

Cas d’utilisation

Débogage d’agents IA après un échec en production. Retrace permet d’analyser précisément ce qui s’est produit lors d’une exécution qui a échoué, que ce soit en environnement de test ou en production.

Reproduction d’un bug. Le rejeu pas à pas d’une trace enregistrée reproduit exactement les mêmes conditions qui ont mené à l’erreur, ce qui évite d’avoir à deviner ou à reproduire manuellement le scénario problématique.

Validation d’une correction avant mise en production. La fonction de forking permet d’appliquer une correction à l’étape précise où le problème est survenu, puis de ré-exécuter le reste du chemin pour vérifier que la solution fonctionne sans introduire de nouveaux problèmes.

Analyse des divergences comportementales. Les outils de comparaison de divergence aident à comprendre pourquoi un agent se comporte différemment de ce qui était attendu, en comparant plusieurs exécutions entre elles.

Observabilité de workflows multi-étapes et multi-agents. Les systèmes complexes impliquant plusieurs agents ou de nombreuses étapes bénéficient d’une visibilité complète sur l’ensemble du pipeline.

Tests de non-régression. Les exécutions enregistrées peuvent être utilisées comme références pour des tests de régression automatisés, assurant que les modifications n’altèrent pas le comportement attendu des agents.

Notre avis

Points forts. Retrace offre un niveau de visibilité remarquable sur les appels LLM, les outils et les erreurs, ce qui en fait un outil de choix pour le débogage d’agents complexes. La reproduction fiable des échecs grâce au rejeu et au forking constitue un avantage décisif par rapport aux approches traditionnelles qui reposent sur des logs textuels difficiles à interpréter. L’intégration avec les SDK et les frameworks populaires facilite l’adoption pour les équipes qui utilisent déjà ces technologies. Le plan gratuit permet de tester l’outil sans engagement financier.

Points à améliorer. Le plan gratuit est limité à 1 000 traces par mois avec des quotas de rejeu modestes, ce qui peut être insuffisant pour des projets en phase de développement actif. Les plans payants sont actuellement centrés sur un utilisateur unique, ce qui peut poser problème pour les équipes qui souhaitent collaborer sur un même projet sans multiplier les abonnements individuels. Certains détails d’implémentation et le comportement précis du rejeu dans des cas particuliers ne sont pas toujours documentés de manière exhaustive. Enfin, le rejeu des appels d’outil se fait à partir des réponses enregistrées, ce qui peut être contraignant si l’on souhaite re-exécuter un outil avec des paramètres modifiés lors d’un forking.

Public cible. Retrace s’adresse principalement aux développeurs d’agents IA, aux équipes AI/ML et aux ingénieurs de plateforme qui construisent des workflows complexes. Les développeurs solo qui cherchent un outil de débogage abordable y trouveront également leur compte grâce au plan gratuit et au plan Starter. Les équipes de production qui ont besoin d’observabilité et de garde-fous contre les régressions seront bien servies par le plan Pro.

Comparaison avec les alternatives. Parmi les outils comparables, Langfuse propose également de l’observabilité LLM et des agents avec une offre open source et un plan cloud à partir d’environ 29 dollars canadiens par mois. D’autres outils de time-travel debugging existent pour le débogage applicatif général, mais peu sont spécifiquement conçus pour les agents IA comme Retrace. Il est important de ne pas confondre Retrace avec Retrace Software, un outil orienté débogage Python et CI qui n’a pas de lien avec la plateforme décrite ici.

Retrace se positionne comme un outil spécialisé et performant pour le débogage d’agents IA, avec une proposition de valeur forte pour les développeurs qui ont besoin de reproductibilité et de visibilité fine sur le comportement de leurs systèmes agentiques.