Immer mehr Unternehmen betreiben Large Language Models (LLMs), die Zugriff auf GPUs erfordern. Die beliebtesten stammen bei weitem von Nvidia, was sie teuer und oft knapp macht. Es ist nicht unbedingt sinnvoll, eine Instanz langfristig bei einem Cloud-Anbieter zu mieten, wenn Sie nur für einen einzelnen Auftrag Zugriff auf diese teuren Ressourcen benötigen.
Um dieses Problem zu lösen, hat AWS Amazon Elastic Compute Cloud (EC2)-Kapazitätsblöcke für ML eingeführt, die es Kunden ermöglichen, für einen definierten Zeitraum Zugriff auf diese GPUs zu erwerben, normalerweise um damit verbundene Arbeiten auszuführen. mit KI, wie z Trainieren Sie ein Modell für maschinelles Lernen oder führen Sie ein Experiment mit einem vorhandenen Modell durch.
„Dies ist eine innovative neue Möglichkeit, GPU-Instanzen zu planen, bei der Sie die Anzahl der Instanzen, die Sie benötigen, für einen späteren Zeitpunkt reservieren können, genau für den Zeitraum, den Sie benötigen“, schrieb Channy Yun in einem Beitrag im AWS-Blog Ankündigung der neuen Funktion.
Das Produkt bietet Kunden Zugriff auf NVIDIA H100 Tensor Core GPU-Instanzen in Clustergrößen von einer bis 64 Instanzen mit 8 GPUs pro Instanz. Sie können bis zu 14 Wochen im Voraus Zeit für bis zu 1 Tage in 8-Tages-Schritten reservieren. Nach Ablauf des Zeitraums werden die Instanzen automatisch heruntergefahren.
Das neue Produkt ermöglicht es Benutzern, sich über einen definierten Zeitraum für beliebig viele Instanzen anzumelden, beispielsweise für die Buchung eines Hotelzimmers für eine bestimmte Anzahl von Tagen (wie das Unternehmen es ausdrückte). Aus Sicht des Kunden wissen Sie genau, wie lange der Auftrag dauern wird, wie viele GPUs er verwenden wird und wie viel er im Voraus kosten wird, was Ihnen Kostensicherheit gibt.
Für Amazon können sie diese gefragten Ressourcen in einer quasi-Auktionsumgebung einsetzen und sich so Einnahmen sichern (vorausgesetzt, die Kunden kommen natürlich). Nach Angaben des Unternehmens wird der Preis für den Zugang zu diesen Ressourcen wirklich dynamisch sein und je nach Angebot und Nachfrage variieren.
Wenn sich Benutzer für den Dienst anmelden, werden die Gesamtkosten für den Zeitraum und die Ressourcen angezeigt. Benutzer können es je nach Ressourcenbedarf und Budget erhöhen oder verringern, bevor sie dem Kauf zustimmen.
