Innovations post-transformers pour les LLMs
Les transformers, base des LLMs actuels, montrent leurs limites en consommation d'énergie et capacité de traitement. Des startups innovent avec des mécanismes comme l'attention sparse pour rendre les LLMs plus efficaces. OpenAI prévoit de dépenser 50 milliards de dollars en calcul cette année.
« "The entire AI industry is built on transformers," says Justin Dangel, cofounder and CEO of the AI startup Subquadratic. » - MIT Technology Review AI
Que faut-il retenir ?
- Les transformers nécessitent 50 millions de multiplications pour un document de 10 000 mots.
- OpenAI dépensera 50 milliards de dollars en calcul cette année.
- L'attention sparse réduit les calculs en ne traitant que certaines paires de mots.
- Les LLMs+ représentent la prochaine génération de modèles de langage.
Pourquoi cette nouvelle compte-t-elle ?
Les limitations des transformers impactent directement les coûts et l'efficacité des LLMs. Les innovations en cours pourraient révolutionner leur performance et leur accessibilité, avec des implications majeures pour les entreprises et développeurs en IA.
50 milliards de dollars dépensés en calcul par OpenAI cette année
💬 Justin Dangel, cofondateur et CEO de Subquadratic
Public concerné : développeurs, entreprises
Quelles sont les principales limites des transformers dans les LLMs actuels ?
Les transformers consomment énormément d'énergie et ont des difficultés à traiter de grandes quantités de données simultanément. OpenAI prévoit ainsi 50 milliards de dollars de dépenses en calcul cette année.
