Meta, déterminé à rattraper ses rivaux dans le domaine de l'IA générative, dépense milliers de millions dans l'effort. Une partie de ces milliards va à recruter des chercheurs en IA. Mais une part encore plus importante est consacrée au développement matériel, en particulier aux puces permettant d'exécuter et de former les modèles d'IA de Meta.
Meta a dévoilé le dernier fruit de ses efforts de développement de puces, après Intel annoncer son dernier matériel d’accélérateur d’IA. Appelée Meta Training and Inference Accelerator (MTIA) de « nouvelle génération », successeur du MTIA v1 de l’année dernière, la puce exécute des modèles qui incluent le classement et la recommandation d’annonces graphiques sur les propriétés Meta (par exemple, Facebook).
Le MTIA de nouvelle génération est en 5 nm, contrairement au MTIA v1, qui a été développé pour un processus en 7 nm. (Le « processus » de fabrication des puces fait référence à la taille du plus petit composant pouvant être construit sur la puce en nanomètres, nm.) La conception physique du MTIA de nouvelle génération est plus grande et comporte plus de cœurs de traitement que son prédécesseur. Bien qu'il consomme plus d'énergie (90 W contre 25 W), il dispose également de plus de mémoire interne (128 Mo contre 64 Mo) et fonctionne à une vitesse d'horloge moyenne plus élevée (1,35 GHz contre 800 MHz).
Selon Meta, le MTIA de nouvelle génération est actuellement disponible dans 16 régions de centres de données et offre jusqu'à trois fois les performances globales du MTIA v1. Si l’énoncé « 3x » semble ambigu, vous n’avez pas tort. Cependant, Meta a affirmé que ce chiffre avait été obtenu en évaluant les performances de « quatre modèles clés » sur les deux puces.
"Nous pouvons obtenir une plus grande efficacité par rapport aux GPU disponibles dans le commerce car nous contrôlons l'intégralité de la pile", écrit Meta dans un article de blog.
En primer lugar, Meta anuncia en la publicación del blog que en este momento no está utilizando el MTIA de próxima generación para cargas de trabajo de entrenamiento de IA generativa, a pesar de que la empresa afirma que tiene «varios programas en marcha» para investigar ce thème. Deuxièmement, Meta reconnaît que le MTIA de nouvelle génération complétera plutôt que remplacera les GPU pour les modèles d'exécution ou de formation.
Meta avance lentement, peut-être plus que prévu.
Les équipes d'IA de Meta sont probablement sous pression pour réduire les coûts. D’ici fin 2024, la société devrait investir environ 18 milliards de dollars dans des GPU pour former et exécuter des modèles d’IA génératifs. Avec des coûts de formation pour les modèles génératifs de pointe s'élevant à des dizaines de millions de dollars, le matériel interne est une option intéressante.
À mesure que le matériel de Meta se détériore, les concurrents prennent le relais, ce qui inquiète le leadership de Meta.
Cette semaine, Google a présenté TPU v5p, sa puce personnalisée de cinquième génération pour la formation de modèles d'IA, et Axion, sa première puce d'exécution de modèles. Amazon propose une variété de familles de puces IA personnalisées. L'année précédente, Microsoft avait lancé l'accélérateur Azure Maia AI et le processeur Azure Cobalt 100.
Meta affirme dans son blog que « passer du premier silicium aux modèles de production » du MTIA de nouvelle génération a pris moins de neuf mois, ce qui, pour être honnête, est plus court que la fenêtre typique entre les TPU de Google. Cependant, Meta doit travailler dur pour se mettre à niveau s'il espère atteindre une certaine autonomie par rapport aux GPU tiers et suivre sa concurrence agressive.
