Vi è una carenza di GPU poiché cresce la domanda di intelligenza artificiale generativa per la formazione e l’esecuzione. I chip Nvidia più performanti, secondo i rapporti, sono esauriti fino al 2024. Il CEO del produttore di chip TSMC è stato recentemente meno ottimista, indicando che la carenza di GPU da parte di Nvidia, così come dei suoi rivali, potrebbe estendersi fino al 2025.
Per ridurre la loro dipendenza dalle GPU, le aziende che possono permetterselo (ovvero i giganti della tecnologia) stanno sviluppando (e in alcuni casi mettendo a disposizione dei clienti) chip personalizzati progettati per creare, iterare e produrre modelli di intelligenza artificiale. Una di queste aziende è Amazon, che alla conferenza annuale re:Invent ha presentato l’ultima generazione dei suoi chip per l’addestramento e l’inferenza dei modelli, ovvero l’esecuzione di modelli addestrati.
Il primo dei due, AWS Trainium2, è progettato per offrire prestazioni fino a 4 volte migliori e un’efficienza energetica 2 volte migliore rispetto al Trainium di prima generazione, introdotto a dicembre 2020, prevede Amazon. Tranium2, che sarà disponibile sulle istanze EC Trn2 in gruppi di 16 chip nel cloud AWS, può scalare fino a 100.000 chip nel prodotto AWS EC2 UltraCluster.
100.000 chip Trainium offrono 65 exaflop di elaborazione, afferma Amazon, che equivalgono a 650 teraflop per un singolo chip. “Exaflop” e “teraflop” misurano quante operazioni di calcolo al secondo può eseguire un chip. Probabilmente ci sono fattori complicati che rendono questi semplici calcoli non necessariamente così accurati. Ma supponendo che un singolo chip Tranium2 possa fornire circa 200 teraflop di prestazioni, ciò significa sono superiori alla capacità dei chip di addestramento AI personalizzati di Google dal 2017 circa.
Amazon afferma che un cluster di 100.000 chip Trainium può addestrare un grande modello linguistico AI con 300 miliardi di parametri in settimane anziché in mesi. ("I parametri" sono le parti di un modello apprese dai dati di training e definiscono essenzialmente la capacità del modello di risolvere un problema, come la generazione di testo o codice.) Si tratta di circa 1,75 volte la dimensione del GPT-3 di OpenAI, il predecessore del generatore di testo GPT-4.
"Il silicio è alla base di ogni carico di lavoro dei clienti, rendendolo un'area critica di innovazione per AWS", ha affermato David Brown, vicepresidente di Informatica e rete di AWS, in un comunicato stampa. “Con il crescente interesse per l’intelligenza artificiale generativa, Tranium2 aiuterà i clienti ad addestrare i propri modelli ML più velocemente, a costi inferiori e con una migliore efficienza energetica”.
Amazon non ha detto quando le istanze Trainium2 saranno disponibili per i clienti AWS, se non "l'anno prossimo".
Il secondo chip annunciato da Amazon, il basato su ARM Graviton4, è destinato all'inferenza. La quarta generazione della famiglia di chip Graviton di Amazon (come implicito dal "4" allegato a "Graviton"), è distinta dall'altro chip di inferenza di Amazon, Inferentia.
Amazon afferma che Graviton4 fornisce fino al 30% in più di prestazioni di elaborazione, il 50% in più di core e il 75% in più di larghezza di banda di memoria rispetto a un processore Graviton della generazione precedente, Graviton3 (ma non il più recente Graviton3E), che funziona su Amazon EC2. In un altro aggiornamento di Graviton3, tutte le interfacce hardware fisiche di Graviton4 sono "crittografate", afferma Amazon, apparentemente proteggendo meglio i carichi di lavoro AI e i dati di addestramento per i clienti con requisiti di crittografia più elevati.
"Graviton4 rappresenta la quarta generazione che abbiamo fornito in soli cinque anni ed è il chip più potente ed efficiente dal punto di vista energetico che abbiamo mai costruito per un'ampia gamma di carichi di lavoro", ha continuato Brown in una nota. Concentrando la progettazione dei nostri chip sui carichi di lavoro reali che contano per i clienti, possiamo offrire loro la soluzione migliore infrastruttura cloud più avanza.
Graviton4 sarà disponibile sulle istanze R2g di Amazon EC8, già disponibili in anteprima e la cui disponibilità generale è prevista nei prossimi mesi.
