Es besteht ein Mangel an GPUs, da die Nachfrage nach generativer KI für Training und Ausführung wächst. Nvidias leistungsstärkste Chips, laut Berichten, sind bis 2024 ausverkauft. Der CEO des Chipherstellers TSMC zeigte sich zuletzt weniger optimistisch, anzeigt, dass der GPU-Mangel bei Nvidia und seinen Konkurrenten bis ins Jahr 2025 andauern könnte.
Um ihre Abhängigkeit von GPUs zu verringern, entwickeln Unternehmen, die es sich leisten können (d. h. Technologiegiganten), maßgeschneiderte Chips (und stellen sie in einigen Fällen ihren Kunden zur Verfügung), die für die Erstellung, Iteration und Produktion von KI-Modellen konzipiert sind. Eines dieser Unternehmen ist Amazon, das auf seiner jährlichen re:Invent-Konferenz die neueste Generation seiner Chips für Modelltraining und Inferenz, also die Ausführung trainierter Modelle, vorstellte.
Das erste von beiden, AWS Trainium2, soll laut Amazon eine bis zu viermal bessere Leistung und eine zweimal bessere Energieeffizienz bieten als das im Dezember 4 eingeführte Trainium der ersten Generation. Tranium2, das auf EC Trn2020-Instanzen in Gruppen von 2 Chips in der AWS-Cloud verfügbar sein wird, kann im AWS EC2 UltraCluster-Produkt auf bis zu 16 Chips skaliert werden.
Laut Amazon bieten 100.000 Trainium-Chips 65 Exaflops Rechenleistung, was 650 Teraflops für einen einzelnen Chip entspricht. „Exaflops“ und „Teraflops“ messen, wie viele Rechenoperationen pro Sekunde ein Chip ausführen kann. Es gibt wahrscheinlich komplizierte Faktoren, die dazu führen, dass diese einfache Mathematik nicht unbedingt so genau ist. Aber wenn man davon ausgeht, dass ein einzelner Tranium2-Chip etwa 200 Teraflops Leistung liefern kann, heißt das liegen über der Kapazität der benutzerdefinierten KI-Trainingschips von Google ab ca. 2017.
Laut Amazon kann ein Cluster aus 100.000 Trainium-Chips ein großes KI-Sprachmodell mit 300 Milliarden Parametern in Wochen statt in Monaten trainieren. („Parameter“ sind die Teile eines Modells, die aus Trainingsdaten gelernt wurden und im Wesentlichen die Fähigkeit des Modells bei einem Problem definieren, z. B. beim Generieren von Text oder Code.) Das ist etwa das 1,75-fache der Größe von OpenAIs GPT-3, dem Vorgänger des GPT-4-Textgenerators.
„Silizium ist die Grundlage jeder Kundenarbeitslast und ist damit ein entscheidender Innovationsbereich für AWS“, sagte David Brown, Vice President of Computing and Networking bei AWS, in einer Pressemitteilung. „Angesichts des zunehmenden Interesses an generativer KI wird Tranium2 Kunden dabei helfen, ihre ML-Modelle schneller, zu geringeren Kosten und mit besserer Energieeffizienz zu trainieren.“
Amazon hat nicht gesagt, wann Trainium2-Instanzen für AWS-Kunden verfügbar sein werden, außer „irgendwann im nächsten Jahr“.
Der zweite Chip, den Amazon angekündigt hat, der basierend auf ARM Graviton4 ist für Rückschlüsse gedacht. Die vierte Generation der Graviton-Chipfamilie von Amazon (wie durch die „4“ bei „Graviton“ angedeutet) unterscheidet sich vom anderen Inferenzchip von Amazon, Inferentia.
Amazon behauptet, dass Graviton4 bis zu 30 % mehr Rechenleistung, 50 % mehr Kerne und 75 % mehr Speicherbandbreite bietet als ein Graviton-Prozessor der vorherigen Generation, Graviton3 (aber nicht der neuere Graviton3E), der auf Amazon EC2 läuft. In einem weiteren Update von Graviton3 sind alle physischen Hardwareschnittstellen von Graviton4 „verschlüsselt“, so Amazon, was offenbar KI-Workloads und Trainingsdaten für Kunden mit höheren Verschlüsselungsanforderungen besser schützt.
„Graviton4 markiert die vierte Generation, die wir in nur fünf Jahren ausgeliefert haben, und ist der leistungsstärkste und energieeffizienteste Chip, den wir je für ein breites Spektrum an Arbeitslasten gebaut haben“, fuhr Brown in einer Erklärung fort. Indem wir unsere Chipdesigns auf echte Arbeitslasten konzentrieren, die für Kunden wichtig sind, können wir ihnen das bieten Cloud-Infrastruktur mehr avanzada.
Graviton4 wird auf Amazon EC2 R8g-Instanzen verfügbar sein, die bereits in der Vorschau verfügbar sind und in den kommenden Monaten allgemein verfügbar sein sollen.
