Meta, das unbedingt mit seinen Konkurrenten im Bereich der generativen KI mithalten will, gibt Geld aus Tausende von Millionen in der Anstrengung. Ein Teil dieser Milliarden geht an Rekrutieren Sie KI-Forscher. Aber ein noch größerer Teil wird für die Hardware-Entwicklung ausgegeben, insbesondere für Chips zum Ausführen und Trainieren der KI-Modelle von Meta.
Meta stellte nach Intel das neueste Ergebnis seiner Chip-Entwicklungsbemühungen vor bekannt geben seine neueste KI-Beschleuniger-Hardware. Der Chip wird als Meta Training and Inference Accelerator (MTIA) der „nächsten Generation“ bezeichnet und ist der Nachfolger des letztjährigen MTIA v1. Er führt Modelle aus, die das Ranking und die Empfehlung von Display-Anzeigen auf Meta-Eigenschaften (z. B. Facebook) umfassen.
Der MTIA der nächsten Generation ist 5 nm, im Gegensatz zu MTIA v1, der für einen 7-nm-Prozess entwickelt wurde. (Der „Prozess“ bei der Chipherstellung bezieht sich auf die Größe der kleinsten Komponente, die auf dem Chip gebaut werden kann, in Nanometern, nm.) Das physische Design des MTIA der nächsten Generation ist größer und verfügt über mehr Prozessorkerne als sein Vorgänger. Obwohl es mehr Strom verbraucht (90 W gegenüber 25 W), verfügt es auch über mehr internen Speicher (128 MB gegenüber 64 MB) und läuft mit einer höheren durchschnittlichen Taktrate (1,35 GHz gegenüber 800 MHz).
Der MTIA der nächsten Generation ist laut Meta derzeit in 16 Rechenzentrumsregionen verfügbar und bietet bis zu dreimal die Gesamtleistung von MTIA v1. Wenn die Aussage „3x“ mehrdeutig erscheint, liegen Sie nicht falsch. Meta behauptete jedoch, dass die Zahl durch die Bewertung der Leistung von „vier Schlüsselmodellen“ auf beiden Chips ermittelt wurde.
„Wir können eine höhere Effizienz im Vergleich zu kommerziell erhältlichen GPUs erreichen, weil wir den gesamten Stack kontrollieren“, schreibt Meta in einem Blogbeitrag.
Erstens gibt Meta in dem Blogbeitrag bekannt, dass das MTIA der nächsten Generation derzeit nicht für generative KI-Trainings-Workloads verwendet wird, obwohl das Unternehmen angibt, dass es „mehrere Programme“ zur Untersuchung dieses Sachverhalts hat. Zweitens erkennt Meta an, dass MTIA der nächsten Generation GPUs zum Ausführen oder Trainieren von Modellen eher ergänzen als ersetzen wird.
Meta schreitet langsam voran, vielleicht schneller als erwartet.
Die KI-Teams von Meta stehen wahrscheinlich unter dem Druck, die Kosten zu senken. Bis Ende 2024 will das Unternehmen rund 18 Milliarden US-Dollar in GPUs investieren, um generative KI-Modelle zu trainieren und auszuführen. Da die Schulungskosten für hochmoderne generative Modelle mehrere zehn Millionen US-Dollar betragen, ist eigene Hardware eine attraktive Option.
Da sich die Hardware von Meta verschlechtert, übernehmen die Konkurrenten die Macht, was die Führungsposition von Meta beunruhigt.
Diese Woche stellte Google TPU v5p vor, seinen maßgeschneiderten Chip der fünften Generation für das Training von KI-Modellen, und Axion, seinen ersten Modellausführungschip. Amazon verfügt über eine Vielzahl benutzerdefinierter KI-Chipfamilien. Im Jahr zuvor stellte Microsoft den Azure Maia AI-Beschleuniger und die Azure Cobalt 100-CPU vor.
Meta behauptet in dem Blog-Beitrag, dass der Übergang vom ersten Silizium zu Serienmodellen des MTIA der nächsten Generation weniger als neun Monate gedauert habe, was fairerweise kürzer ist als das typische Zeitfenster zwischen den TPUs von Google. Allerdings muss Meta hart an der Aufrüstung arbeiten, wenn es eine gewisse Autonomie gegenüber GPUs von Drittanbietern erreichen und mit der aggressiven Konkurrenz mithalten will.
