Jockey by TwelveLabs

À propos de Jockey by TwelveLabs

Jockey by TwelveLabs est un agent d’intelligence vidéo multimodale conçu pour interroger, organiser et analyser des bibliothèques de vidéos et d’images à l’aide du langage naturel. Développé par TwelveLabs, une entreprise spécialisée dans l’indexation vidéo et la recherche multimodale, Jockey se distingue par sa capacité à traiter des corpus entiers de médias plutôt que des fichiers isolés. L’outil repose sur des modèles propriétaires (Marengo, Pegasus et Search) pour offrir une compréhension fine des contenus visuels, audio et textuels.

Ce qui rend Jockey particulièrement pertinent, c’est son approche orientée « agent » : l’utilisateur pose une question en français, en anglais ou dans une autre langue, et l’agent retourne des résultats précis, associés à des moments exacts dans les vidéos ou à des images spécifiques. L’outil ne se limite pas à la recherche par mots-clés ; il comprend le contexte, les entités, les actions et les thèmes présents dans les médias. Au moment des sources disponibles, Jockey était présenté comme une recherche preview, ce qui indique un produit encore en évolution, mais déjà fonctionnel pour des cas d’usage professionnels.

Fonctionnalités principales

Jockey offre une gamme de fonctionnalités qui vont bien au-delà de la simple recherche vidéo :

• Recherche en langage naturel : il est possible de retrouver des moments, des objets, des personnes, des formats ou des thèmes dans des bibliothèques vidéo et image, sans avoir à connaître le nom précis des fichiers ou les timestamps.

• Compréhension d’entités globales : l’agent identifie et regroupe la même personne ou le même objet à travers plusieurs vidéos et photos, ce qui facilite le suivi transversal d’un sujet.

• Analyse au niveau du corpus : plutôt que d’analyser chaque fichier indépendamment, Jockey raisonne sur l’ensemble de la bibliothèque, ce qui permet de dégager des tendances, des récurrences ou des incohérences à grande échelle.

• Résultats structurés et citables : les réponses sont fournies avec des citations, des regroupements d’actifs et des schémas JSON. Cette structure facilite l’intégration dans d’autres applications ou des interfaces personnalisées.

• Sessions multi-tours : l’agent conserve le contexte sur plusieurs échanges, ce qui permet d’affiner progressivement une recherche ou d’explorer un sujet en profondeur.

• Segmentation et assemblage de contenu : Jockey peut générer des chapitres, des highlights, des compilations ou des reels à partir de critères exprimés en langage naturel. Cette fonctionnalité est particulièrement utile pour la post-production et le marketing.

• Suivi transversal d’un sujet : on peut reconstruire une timeline d’apparitions d’une personne, d’un produit ou d’un thème sur plusieurs vidéos, ce qui est précieux pour les équipes de contenu.

• Intégration développeur : une API complète est disponible, ainsi qu’une compatibilité avec Claude et le protocole MCP (Model Context Protocol) pour un usage conversationnel direct.

• Liens temporels profonds : chaque résultat peut renvoyer au moment exact dans la vidéo, ce qui élimine la recherche manuelle de segments.

• Recherche multimédia unifiée : la logique d’embedding commune permet de faire des recherches simultanées sur la vidéo, l’image, l’audio et le texte, selon la documentation officielle.

Tarification

Les tarifs publiés au moment du lancement sont indiqués en dollars canadiens approximatifs, convertis à partir des prix en dollars américains. La facturation est effectuée en dollars américains pour les plans payants.

Il est important de noter que ces quotas de stockage et de réponses quotidiennes peuvent devenir restrictifs pour les équipes qui manipulent de très gros volumes de médias. Les entreprises ayant des besoins intensifs devront évaluer si les paliers disponibles correspondent à leur charge de travail.

Cas d’utilisation

Jockey by TwelveLabs s’adresse à plusieurs secteurs et types de besoins :

• Marketing et publicité : les équipes peuvent taguer des publicités, détecter les hooks d’ouverture qui fonctionnent, comparer les performances par format, ou retrouver toutes les pubs où apparaissent une personne, une marque ou un talent. Cela accélère la veille concurrentielle et l’analyse de campagnes.

• Recherche et archivage média : dans les grandes bibliothèques (films, émissions, archives institutionnelles), Jockey permet de retrouver rapidement un extrait précis sans nom de fichier ni timestamp manuel, ce qui réduit le temps de recherche de plusieurs heures à quelques secondes.

• Production et post-production : les monteurs peuvent générer automatiquement des chapitres, des highlights, des compilations ou des assemblages de rushes à partir de critères métier. Par exemple, demander à l’agent de créer une compilation de toutes les scènes d’extérieur avec un certain acteur.

• Conformité et revue éditoriale : il est possible de filtrer et d’inspecter le contenu par thème, entité ou schéma métier, ce qui est utile pour les comités de vérification ou les processus de conformité.

• Éducation et formation : les enseignants et les concepteurs de cours peuvent indexer des contenus vidéo et retrouver des passages pertinents pour une question ou un concept spécifique, facilitant la préparation de leçons.

• Applications produit : les développeurs peuvent intégrer une couche de recherche et d’intelligence multimodale dans une application existante via l’API Jockey, offrant ainsi une expérience de recherche vidéo contextualisée à leurs utilisateurs finaux.

Notre avis

Jockey by TwelveLabs est un outil prometteur qui répond à un besoin réel : structurer et rendre interrogeables de grandes bibliothèques vidéo. Son approche multimodale et sa capacité à raisonner sur l’ensemble d’un corpus le distinguent nettement des solutions de recherche vidéo traditionnelles, souvent limitées à l’indexation de métadonnées ou à la détection d’objets. La sortie des résultats avec citations et timestamps est un atout majeur pour les équipes qui doivent justifier leurs choix ou intégrer les données dans des flux de travail automatisés.

Les forces principales sont la puissance d’analyse au niveau du corpus, la recherche en langage naturel vraiment fonctionnelle, et la flexibilité d’intégration via API ou Claude/MCP. Pour les équipes marketing et les studios de post-production, les fonctions de segmentation et d’assemblage de contenu représentent un gain de temps considérable.

Cependant, il faut être conscient des limites actuelles. Le produit était encore en research preview au moment des sources consultées, ce qui laisse présager une maturité en évolution et une couverture fonctionnelle qui pourrait s’étoffer. Les plans tarifaires avec quotas de stockage et de réponses quotidiennes peuvent devenir contraignants pour un usage à grande échelle, surtout si la bibliothèque dépasse 500 Go. De plus, Jockey est clairement optimisé pour la vidéo et l’image ; les équipes qui cherchent un moteur de recherche documentaire généraliste ou un DAM classique devront se tourner vers d’autres outils.

Enfin, la dépendance à l’écosystème TwelveLabs (Marengo, Pegasus, Search) est à considérer : si l’entreprise décide de modifier les modèles ou les conditions d’utilisation, les applications construites sur Jockey pourraient être affectées. Cela dit, pour les organisations qui ont un volume important de contenu vidéo à exploiter et une équipe technique capable d’utiliser l’API, Jockey représente une avancée significative par rapport aux solutions cloud classiques comme Google Cloud Video Intelligence ou Azure Video Indexer, qui restent davantage des outils de détection et de métadonnées que des agents conversationnels.

En résumé, nous recommandons Jockey by TwelveLabs aux équipes marketing, aux studios de production et aux entreprises disposant de grandes bibliothèques médias. L’outil est particulièrement adapté si vous avez besoin de réponses rapides, précises et exploitables. Les tarifs sont raisonnables pour les petites et moyennes structures, mais un audit d’utilisation est nécessaire avant de s’engager sur un palier supérieur. En attendant, l’évolution du produit devrait être suivie de près, car le potentiel est réel et les cas d’usage concrets.