Self-hosted web to Markdown scraper, CLI, lib. Own Trafilatura TS port

À propos de Self-hosted web to Markdown scraper, CLI, lib. Own Trafilatura TS port

Markdownee est un outil libre et auto-hébergé conçu pour extraire le contenu principal de pages Web et le convertir en Markdown propre et structuré. Il se présente comme un portage en TypeScript de Trafilatura, une bibliothèque Python réputée pour sa capacité à isoler le texte utile d’une page en éliminant les éléments parasites : navigation, publicités, scripts, cookies. L’outil est pensé pour les développeurs et les équipes techniques qui souhaitent intégrer une fonction de scraping convertisseur directement dans leurs pipelines Node.js ou TypeScript, sans dépendre d’un service externe. Markdownee offre à la fois une interface en ligne de commande (CLI) pour des tâches ponctuelles et une librairie réutilisable pour une intégration programmatique. En misant sur l’hébergement local, il garantit un contrôle total sur les données extraites et une confidentialité renforcée, ce qui le rend particulièrement adapté aux contextes où la sensibilité des informations est critique. Son approche légère et ciblée en fait un complément idéal aux architectures de retrieval-augmented generation (RAG), à la documentation technique et à l’archivage de contenu Web.

Fonctionnalités principales

• Extraction du contenu principal : Markdownee applique les algorithmes de Trafilatura pour détecter le corps de texte pertinent d’une page HTML. Il supprime le bruit (menus, pieds de page, encarts publicitaires, fenêtres modales) et ne conserve que les paragraphes, titres, listes et autres éléments de contenu utiles. Cette approche axée sur la lisibilité est particulièrement appréciée pour l’alimentation de modèles de langage ou la génération de documentation.

• Conversion HTML vers Markdown : Le résultat de l’extraction est converti en Markdown standard (images, liens, listes, tableaux, etc.). Le format Markdown est privilégié pour sa légèreté, sa compatibilité avec les outils de traitement de texte et son adoption dans l’écosystème des LLM et des bases vectorielles.

• Interface en ligne de commande (CLI) : L’outil peut être utilisé directement dans un terminal pour convertir une ou plusieurs URLs, des fichiers HTML locaux ou des listes de pages. Des options de filtrage, de sortie (STDOUT, fichier) et de format (Markdown, JSON) sont généralement offertes.

• Librairie TypeScript : Les développeurs peuvent importer Markdownee dans leur projet TypeScript et l’utiliser comme une bibliothèque. L’API expose des fonctions de conversion, de paramétrage des extracteurs, de gestion des erreurs et de traitement asynchrone, facilitant l’intégration dans des workflows automatisés.

• Gestion des métadonnées : L’outil est capable d’extraire des métadonnées de base (titre, auteur, date, description) et de les inclure dans le Markdown sous forme d’en‑tête YAML ou d’un bloc structuré, ce qui est utile pour l’indexation.

• Respect des fichiers robots.txt : En mode scraping, Markdownee tient compte des directives d’exclusion des sites Web pour une collecte éthique et conforme aux normes.

• Traitement par lots et cache : Possibilité de traiter plusieurs URLs en une seule commande, avec mise en cache des pages déjà visitées pour éviter des requêtes redondantes.

• Extensibilité : En tant que librairie open source, le projet peut être forké, modifié ou enrichi avec des fonctionnalités supplémentaires (support de JavaScript, gestion de sessions, proxy, etc.) selon les besoins.

Tarification

Markdownee est un projet open source diffusé sous licence permissive. Aucun plan tarifaire n’est exigé pour télécharger, installer et utiliser l’outil en local. Les seuls coûts potentiels sont ceux liés à l’hébergement de l’infrastructure, si l’on souhaite exposer l’outil via une API ou le déployer sur un serveur dédié : abonnement à un fournisseur de services infonuagiques, nom de domaine, bande passante, etc.

À titre de comparaison, les solutions hébergées concurrentes facturent généralement un abonnement mensuel basé sur le volume de pages traitées ou le nombre de requêtes. Par exemple :

• Firecrawl : le forfait Starter est facturé environ 20 $ US par mois, soit ≈ 27 $ CA/mois.
• ScrapingBee : un plan de base à environ 50 $ US par mois, soit ≈ 67 $ CA/mois.
• Apify : des crédits consommés à chaque exécution d’acteur, avec des coûts variables selon le temps d’exécution.

L’absence de redevance pour Markdownee en fait une option économique intéressante, mais elle implique que l’utilisateur prend en charge l’installation, la configuration et la maintenance de son propre environnement.

Cas d’utilisation

• Alimentation de bases vectorielles pour RAG et LLM : Les systèmes de retrieval-augmented generation ont besoin d’un contenu textuel nettoyé pour nourrir leurs index. Markdownee transforme des pages Web en documents Markdown directement exploitables par des bibliothèques comme LangChain, LlamaIndex ou des moteurs de recherche vectorielle.

• Documentation technique et aspirateurs de sites : Les équipes produit ou les rédacteurs techniques peuvent extraire de la documentation en ligne (guides, manuels, wikis) pour la convertir en Markdown et l’intégrer dans une base de connaissances interne ou un système de gestion de contenu.

• Archivage personnel ou professionnel : Sauvegarder une version propre et lisible d’une page Web, sans mise en page ou dépendances externes. Le format Markdown est pérenne et facile à versionner avec Git.

• Pipelines d’extraction de données internes : Les ingénieurs données peuvent intégrer Markdownee dans un flux ETL (Extract‑Transform‑Load) pour récupérer le contenu de sites métier, le normaliser et le stocker dans un entrepôt.

• Veille automatisée et monitoring : Un script programmé peut exécuter la CLI sur une liste de sites à intervalle régulier, détecter les changements dans le contenu extrait et notifier l’équipe via un canal de communication.

• Prétraitement pour analyse textuelle : Avant d’appliquer des algorithmes de NLP (classification, résumé, extraction d’entités), convertir des pages Web en texte brut débarrassé des artefacts HTML améliore la qualité des analyses.

Notre avis

Markdownee remplit bien la promesse d’un convertisseur Web vers Markdown auto-hébergé, léger et conçu pour les développeurs TypeScript. La filiation avec Trafilatura lui assure une extraction de contenu de bonne qualité sur les sites au balisage traditionnel. La double interface CLI et librairie facilite son adoption dans différents contextes, que ce soit pour un usage ponctuel ou une intégration à long terme.

Les points forts sont :

• L’indépendance vis‑à‑vis des API SaaS, garantissant confidentialité des données et maîtrise des coûts à grande échelle.
• La simplicité de déploiement dans un environnement Node.js, avec une installation via npm ou un gestionnaire de paquets comparable.
• La sortie Markdown de qualité, directement compatible avec les architectures modernes de RAG.

Les limites à prendre en compte :

• Comme la plupart des extracteurs statiques, Markdownee peut être moins performant sur les pages lourdement dynamiques qui nécessitent l’exécution de JavaScript pour afficher le contenu. Les sites avec chargement ajax, authentification complexe ou anti‑bot peuvent nécessiter un recours à un navigateur headless (Playwright, Puppeteer) en amont, une fonctionnalité absente de l’outil de base.
• La couche réseau est basique ; pour du scraping à grande échelle, des mécanismes de proxy, de gestion des cookies ou de rotation d’adresses IP devraient être ajoutés par l’utilisateur.
• Le projet étant probablement jeune, la documentation et la communauté peuvent être moins fournies que pour des alternatives plus matures comme Crawl4AI ou Firecrawl.
• Aucun tableau de bord, interface Web ou service de surveillance n’est intégré ; tout est à construire par l’équipe qui l’adopte.

Public cible : Développeurs et architectes techniques familiers avec Node.js/TypeScript, souhaitant une brique légère et contrôlée de conversion Web → Markdown pour alimenter des systèmes RAG, de documentation ou d’archivage. Idéal pour les organisations qui privilégient la confidentialité des données et la réduction des dépendances externes.

Verdict : Markdownee est un outil bien conçu pour son créneau. Il ne remplace pas une plateforme tout‑en‑un de scraping, mais il excelle là où l’on a besoin d’une conversion fiable du contenu principal d’une page Web en Markdown, directement dans un environnement TypeScript, sans frais de licence. Pour les usages avancés (JavaScript, anti‑bot, gestion de sessions), il faudra le combiner avec d’autres composants ou se tourner vers des solutions plus complètes.