Cada vez mais empresas executam grandes modelos de linguagem (LLMs), que exigem acesso a GPUs. Os mais populares são de longe os da Nvidia, o que os torna caros e muitas vezes escassos. Alugar uma instância de longo prazo de um provedor de nuvem quando você só precisa de acesso a esses recursos caros para um único trabalho não faz necessariamente sentido.
Para ajudar a resolver esse problema, a AWS lançou blocos de capacidade Amazon Elastic Compute Cloud (EC2) para ML, permitindo que os clientes comprem acesso a essas GPUs por um período de tempo definido, geralmente para executar algum tipo de trabalho relacionado com IA, como como treinar um modelo de aprendizado de máquina ou executar um experimento com um modelo existente.
“Esta é uma maneira inovadora de agendar instâncias de GPU, onde você pode reservar o número de instâncias necessárias para uma data futura apenas pelo tempo necessário”, escreveu Channy Yun. em uma postagem no blog da AWS anunciando o novo recurso.
O produto dá aos clientes acesso a instâncias de GPU NVIDIA H100 Tensor Core em tamanhos de cluster de uma a 64 instâncias com 8 GPUs por instância. Eles podem reservar tempo de até 14 dias em incrementos de 1 dia, com até 8 semanas de antecedência. Quando o período terminar, as instâncias serão encerradas automaticamente.
O novo produto permite que os usuários se inscrevam em quantas instâncias precisarem durante um período de tempo definido, como reservar um quarto de hotel por um determinado número de dias (como disse a empresa). Da perspectiva do cliente, você saberá exatamente quanto tempo o trabalho levará, quantas GPUs usará e quanto custará antecipadamente, proporcionando certeza de custos.
Para a Amazon, eles podem colocar esses recursos sob demanda para funcionar em um ambiente de quase leilão, garantindo-lhes receita (assumindo que os clientes venham, é claro). O preço de acesso a estes recursos será verdadeiramente dinâmico, variando em função da oferta e da procura, segundo a empresa.
Quando os usuários se inscrevem no serviço, o custo total do período e dos recursos é exibido. Os usuários podem aumentá-lo ou diminuí-lo, dependendo de seu apetite por recursos e de seu orçamento antes de concordar com a compra.
