tokens
Terme IA
Débutant
📖 Définition
Les tokens sont les unités de base que les modèles de langage (LLM) utilisent pour traiter le texte. En 2025-2026, un token peut être un mot, une ponctuation, un sous-mot (comme 'ing' ou 'tion') ou même un caractère, selon le tokenizer utilisé. Les LLM lisent et génèrent du texte token par token. Le nombre de tokens détermine le coût, la vitesse et la longueur maximale des entrées/sorties. Par exemple, 'intelligence' peut être un ou plusieurs tokens selon le modèle. Comprendre les tokens est essentiel pour optimiser les prompts et gérer les budgets d'API.
💬 En termes simples
Les tokens, ce sont les 'lettres' d'un alphabet moderne : pas toujours des lettres, mais les briques avec lesquelles l'IA construit et comprend le langage.