Meta, determinato a raggiungere i suoi rivali nello spazio dell’intelligenza artificiale generativa, sta spendendo migliaia di milioni nello sforzo. Una parte di quei miliardi va a reclutare ricercatori sull’intelligenza artificiale. Ma una quota ancora maggiore viene spesa per lo sviluppo dell’hardware, in particolare dei chip per eseguire e addestrare i modelli di intelligenza artificiale di Meta.
Meta ha presentato l'ultimo frutto dei suoi sforzi nello sviluppo dei chip, dopo Intel annunciare il suo ultimo hardware di accelerazione AI. Chiamato Meta Training and Inference Accelerator (MTIA) di “prossima generazione”, il successore del MTIA v1 dello scorso anno, il chip esegue modelli che includono il posizionamento e la raccomandazione di annunci display sulle proprietà Meta (ad esempio Facebook).
Il MTIA di prossima generazione è a 5 nm, a differenza del MTIA v1, che è stato sviluppato per un processo a 7 nm. (Il "processo" nella produzione dei chip si riferisce alla dimensione del componente più piccolo che può essere costruito sul chip in nanometri, nm.) Il design fisico del MTIA di prossima generazione è più grande e presenta più core di elaborazione rispetto al suo predecessore. Sebbene consumi più energia (90 W contro 25 W), ha anche più memoria interna (128 MB contro 64 MB) e funziona a una velocità di clock media più elevata (1,35 GHz contro 800 MHz).
Il MTIA di prossima generazione, secondo Meta, è attualmente disponibile in 16 regioni di data center e offre fino a tre volte le prestazioni complessive di MTIA v1. Se l’affermazione “3x” sembra ambigua, non hai torto. Tuttavia, Meta ha affermato che il dato è stato ottenuto valutando le prestazioni di "quattro modelli chiave" su entrambi i chip.
"Possiamo ottenere una maggiore efficienza rispetto alle GPU disponibili in commercio perché controlliamo l'intero stack", scrive Meta in un post sul blog.
Innanzitutto, Meta annuncia nel post sul blog che attualmente non sta utilizzando il MTIA di prossima generazione per carichi di lavoro di formazione sull'intelligenza artificiale generativa, nonostante la società affermi di avere "diversi programmi in atto" per indagare sulla questione. In secondo luogo, Meta riconosce che il MTIA di prossima generazione integrerà piuttosto che sostituire le GPU per l’esecuzione o l’addestramento dei modelli.
Meta avanza lentamente, forse più di quanto si aspettino.
I team di intelligenza artificiale di Meta sono probabilmente sotto pressione per ridurre i costi. Entro la fine del 2024, la società investirà circa 18 miliardi di dollari in GPU per addestrare ed eseguire modelli di intelligenza artificiale generativa. Con costi di formazione per modelli generativi all’avanguardia che ammontano a decine di milioni di dollari, l’hardware interno è un’opzione interessante.
Mentre l'hardware di Meta si deteriora, i concorrenti prendono il sopravvento, preoccupando la leadership di Meta.
Questa settimana, Google ha introdotto TPU v5p, il suo chip personalizzato di quinta generazione per l'addestramento dei modelli AI, e Axion, il suo primo chip di esecuzione del modello. Amazon offre una varietà di famiglie di chip AI personalizzate. L'anno prima, Microsoft aveva lanciato l'acceleratore AI Azure Maia e la CPU Azure Cobalt 100.
Meta afferma nel post sul blog che "il passaggio dal primo silicio ai modelli di produzione" del MTIA di prossima generazione ha richiesto meno di nove mesi, che, per essere onesti, è più breve della tipica finestra temporale tra i TPU di Google. Tuttavia, Meta deve lavorare sodo per aggiornarsi se spera di ottenere una certa autonomia dalle GPU di terze parti e tenere il passo con la sua aggressiva concorrenza.
