SubQ : l'IA générative révolutionnée par une attention sous-quadratique
Subquadratic a dévoilé SubQ, un modèle de langage utilisant une architecture d'attention sous-quadratique pour réduire les coûts de calcul des LLM. Cette innovation permet de gérer des contextes très longs à moindre coût, contournant la complexité quadratique des Transformers classiques.
