Cada vez más empresas ejecutan modelos de lenguajes grandes (LLM), que requieren acceso a GPU. Los más populares son, con diferencia, de Nvidia, lo que los hace caros y, a menudo, escasos. Alquilar una instancia a largo plazo de un proveedor de nube cuando solo necesita acceso a estos caros recursos para un solo trabajo, no necesariamente tiene sentido.
Para ayudar a resolver ese problema, AWS ha lanzado los bloques de capacidad Amazon Elastic Compute Cloud (EC2) para ML, lo que permite a los clientes comprar acceso a estas GPU durante un período de tiempo definido, generalmente para ejecutar algún tipo de trabajo relacionado con la IA, como entrenar a un modelo de aprendizaje automático o ejecutar un experimento con un modelo existente.
«Esta es una nueva forma innovadora de programar instancias de GPU donde puede reservar la cantidad de instancias que necesita para una fecha futura solo por la cantidad de tiempo que necesita», escribió Channy Yun en una publicación en el blog de AWS anunciando la nueva característica.
El producto brinda a los clientes acceso a instancias de GPU NVIDIA H100 Tensor Core en tamaños de clúster de una a 64 instancias con 8 GPU por instancia. Pueden reservar tiempo por hasta 14 días en incrementos de 1 día, hasta con 8 semanas de anticipación. Cuando finalice el período de tiempo, las instancias se cerrarán automáticamente.
El nuevo producto permite a los usuarios registrarse en la cantidad de instancias que necesitan durante un período de tiempo definido, como reservar una habitación de hotel por una cierta cantidad de días (como lo expresó la compañía). Desde la perspectiva del cliente, sabrá exactamente cuánto tiempo durará el trabajo, cuántas GPU utilizará y cuánto costará por adelantado, lo que le dará certeza de costes.
Para Amazon, pueden poner a trabajar estos recursos en demanda en un entorno casi de subasta, asegurándoles ingresos (suponiendo que los clientes vengan, por supuesto). El precio de acceso a estos recursos será verdaderamente dinámico, variando en función de la oferta y la demanda, según la empresa.
Cuando los usuarios se registran en el servicio, se muestra el coste total del período de tiempo y los recursos. Los usuarios pueden aumentarlo o reducirlo, según su apetito por los recursos y su presupuesto antes de aceptar comprar.
