Knowledge Distillation
Terme IA
Intermédiaire
📖 Définition
La distillation de connaissances est une technique d'apprentissage où un modèle « élève » (généralement plus petit) apprend à imiter les prédictions d'un modèle « enseignant » (plus grand et performant). En 2025-2026, cette méthode est cruciale pour déployer des IA efficaces sur des appareils à ressources limitées (téléphones, capteurs IoT). Plutôt que de copier les réponses finales, l'élève apprend aussi les probabilités douces (soft labels), capturant la subtilité des jugements du maître. Cela permet de réduire la latence, la consommation énergétique et le coût, tout en conservant une grande partie de la performance.
💬 En termes simples
C'est comme un maître cuisinier qui transmet non seulement la recette, mais aussi le goût subtil qu'il perçoit — l'apprenti reproduit l'essence, pas juste les ingrédients.