LoRA
Low-Rank Adaptation
Acronyme
Intermédiaire
📖 Définition
LoRA est une technique d'ajustement fin (fine-tuning) économique pour les grands modèles de langage. Plutôt que de réentraîner les milliards de paramètres d'un modèle, LoRA gèle les poids existants et injecte de petites matrices entraînables de faible rang dans certaines couches. Résultat : le coût mémoire et calcul chute de 99 %, tout en préservant 95-99 % de la performance d'un fine-tuning complet. Pour les PME québécoises, c'est la voie pragmatique pour spécialiser un LLM open source (Llama, Mistral) sur leur domaine — ton de marque, jargon métier, base documentaire — avec un GPU loué à l'heure.
💬 En termes simples
C'est ajouter un module d'expertise spécifique à un cerveau existant plutôt que reconstruire un nouveau cerveau complet.
🎯 Exemple concret
Une firme d'avocats de Québec spécialise un Llama 3 70B sur ses 12 000 jugements internes via LoRA en 4 heures sur un GPU loué — coût total 35 $, le modèle parle désormais le jargon précis du droit civil québécois.
💡 Le saviez-vous ?
En 2026, LoRA et ses variantes (QLoRA, DoRA) représentaient plus de 80 % des fine-tunings publiés sur Hugging Face — la méthode reine pour adapter un LLM à moindre coût.