Durable, asynchronous LLM workflow engine in Rust

À propos de Durable, asynchronous LLM workflow engine in Rust

Durable, asynchronous LLM workflow engine in Rust, disponible sous le nom de crate langcontinuation sur crates.io, est un moteur de workflow durable open source spécialement conçu pour les environnements d’intelligence artificielle orientés agents (agentic AI). Développé en Rust, cet outil se distingue par son approche fondée sur la continuation-passing style (CPS), où les workflows sont des fonctions Rust ordinaires rendues persistantes et reprises après suspension grâce à des continuations explicites.

Ce moteur permet de créer des systèmes d’IA capables de s’interrompre, de reprendre leur exécution exactement là où elles se sont arrêtées, même après une intervention humaine ou une pause prolongée. L’état d’exécution est sérialisé, ce qui garantit une reprise fidèle et prévisible. La crate est conçue pour être minimaliste et explicite dans sa gestion des états, offrant un contrôle granulaire sans imposer de choix architecturaux stricts.

Le projet s’adresse principalement aux développeuses et développeurs Rust qui souhaitent construire des systèmes d’IA durables, performants et fiables, avec une emphase sur la reprise d’exécution, la concurrence (forks/joins) et l’intervention humaine en cours de processus.

Fonctionnalités principales

Moteur de workflow durable en continuation-passing style
Les workflows sont exprimés sous forme de fonctions Rust standard, mais chaque point de suspension ou d’interaction est géré par une continuation explicite. Le moteur peut arrêter l’exécution sur un besoin d’entrée humaine, puis reprendre plus tard à partir de l’état exact qui a été sérialisé.

Reprise après pause et état durable minimal
Un identifiant de run stable, un environnement JSON, l’étape active ou suspendue, et une pile LIFO de continuations constituent l’état minimal mais suffisant pour garantir une reprise après interruption. Cela permet de concevoir des workflows robustes capables de survivre à des redémarrages ou à des changements d’infrastructure.

Appels de modèles et outils côté client
La crate supporte les messages Anthropic via des clients enregistrés, avec prise en charge des message batches dans la fonctionnalité batch. Les outils (Tool) peuvent être exécutés directement côté client, ce qui réduit la latence et augmente la flexibilité.

Fork/join concurrent
L’exécution parallèle de branches est possible, avec persistance des workflows parent et branches en mode batch. Cette fonctionnalité permet de traiter plusieurs chemins d’exécution simultanément, puis de les réunir.

Runtime flexible
Un exécuteur live est intégré par défaut, mais il est possible d’utiliser un runtime personnalisé via WorkflowResult. La crate expose seulement un petit ensemble de primitives durables, laissant à l’application le soin de gérer les prompts, les outils, le stockage, le scheduling et les politiques fournisseur.

Primitives de contrôle de flux durables
L’utilisateur conserve un contrôle total sur l’orchestration, sans que la crate impose de choix sur le stockage ou la politique de gestion des fournisseurs LLM.

Tarification

Durable, asynchronous LLM workflow engine in Rust est un projet open source. Aucune tarification commerciale n’est associée à la crate langcontinuation. Il n’existe ni plans payants, ni paliers d’abonnement, ni prix pour une licence d’utilisation.

Les coûts réels d’utilisation dépendent entièrement de l’infrastructure que vous déployez : stockage d’état, runtime, et surtout les appels aux API LLM (par exemple Anthropic) que vous devez brancher vous-même. La crate ne facture rien, mais les fournisseurs LLM que vous utilisez peuvent avoir leurs propres tarifs (par exemple, facturés en dollars américains ou canadiens selon le fournisseur).

En résumé, cet outil est gratuit en tant que bibliothèque Rust ; votre budget dépendra des services externes que vous intégrez.

Cas d’utilisation

Agents IA durables avec reprise après interruption
Les workflows peuvent être suspendus pour attendre une entrée humaine ou une condition externe, puis reprendre exactement là où ils se sont arrêtés, sans perte d’état ni reprise du début.

Workflows avec intervention humaine
Idéal pour les processus qui nécessitent une validation manuelle, une décision éthique ou une correction en cours d’exécution, avec possibilité de reprendre automatiquement après l’intervention.

Automatisation avec outils locaux ou distants
Les outils exécutés côté client peuvent interagir avec des API, des bases de données ou des systèmes locaux, tout en restant intégrés dans un flux de contrôle durable.

Traitements parallèles et fork/join
Plusieurs branches d’exécution peuvent être lancées en parallèle (par exemple pour analyser différentes sources de données), puis réunies une fois toutes les branches terminées.

Systèmes nécessitant une reprise exacte
Applications critiques où chaque étape doit être rejouable à l’identique, comme les audits, les systèmes financiers ou les processus réglementaires.

Applications Rust sur mesure
Équipes qui veulent garder le contrôle total sur les prompts, le stockage et l’orchestration, sans dépendre d’une plateforme SaaS opaque.

Notre avis

Durable, asynchronous LLM workflow engine in Rust est un outil remarquablement bien conçu pour les développeuses et développeurs Rust qui ont besoin d’un contrôle granulaire sur l’exécution de workflows IA durables. Son approche par continuations explicites et état minimal sérialisé est à la fois élégante et puissante, surtout pour les systèmes nécessitant une reprise après interruption.

Points forts : la crate est très faible en abstraction, ce qui permet une maîtrise totale du flux d’exécution. La durabilité native, le support du human-in-the-loop et la flexibilité du runtime en font un excellent choix pour les architectures agentiques avancées. La performance et la sûreté mémoire de Rust sont des atouts supplémentaires pour le déploiement en production.

Points faibles : il ne s’agit pas d’une plateforme clé en main. L’utilisatrice ou l’utilisateur doit implémenter ou brancher lui-même les prompts, le stockage, le scheduling et la politique fournisseur. L’écosystème est plus étroit que celui d’un SaaS ou d’un framework plus large comme LangChain. La courbe d’apprentissage est plus forte en raison du modèle de continuations explicites.

Pour qui est-ce pertinent ? Pour les équipes Rust expérimentées qui souhaitent construire des systèmes IA durables sur mesure, avec un contrôle précis de l’état et de la reprise. Pour les architectes d’agents IA qui veulent éviter les dépendances externes lourdes et qui privilégient la robustesse et la performance.

En conclusion, langcontinuation est un outil de niche, mais d’une grande qualité pour son public cible. Si vous cherchez une solution clé en main avec support commercial, ce n’est pas le bon choix. Si vous voulez un moteur de workflow durable, performant et flexible en Rust, c’est une option sérieuse à considérer.