Sempre più aziende utilizzano modelli linguistici di grandi dimensioni (LLM), che richiedono l'accesso alle GPU. I più popolari sono di gran lunga quelli di Nvidia, il che li rende costosi e spesso scarsi. Affittare un'istanza a lungo termine da un fornitore di servizi cloud quando è necessario accedere a queste risorse costose solo per un singolo lavoro non ha necessariamente senso.
Per aiutare a risolvere questo problema, AWS ha lanciato i blocchi di capacità Amazon Elastic Compute Cloud (EC2) per ML, consentendo ai clienti di acquistare l'accesso a queste GPU per un periodo di tempo definito, in genere per eseguire qualche tipo di lavoro correlato con l'intelligenza artificiale, come ad esempio addestrare un modello di machine learning o eseguire un esperimento con un modello esistente.
"Si tratta di un modo nuovo e innovativo di pianificare le istanze GPU in cui puoi prenotare il numero di istanze di cui hai bisogno per una data futura solo per la quantità di tempo di cui hai bisogno", ha scritto Channy Yun in un post sul blog AWS annunciando la nuova funzionalità.
Il prodotto offre ai clienti l'accesso alle istanze GPU NVIDIA H100 Tensor Core in dimensioni di cluster da una a 64 istanze con 8 GPU per istanza. Possono prenotare tempo fino a 14 giorni con incrementi di 1 giorno, fino a 8 settimane in anticipo. Al termine del periodo di tempo, le istanze verranno arrestate automaticamente.
Il nuovo prodotto consente agli utenti di iscriversi per tutte le istanze di cui hanno bisogno in un periodo di tempo definito, come prenotare una camera d'albergo per un certo numero di giorni (come affermato dall'azienda). Dal punto di vista del cliente, saprai esattamente quanto tempo richiederà il lavoro, quante GPU utilizzerà e quanto costerà in anticipo, dandoti la certezza dei costi.
Per Amazon, possono mettere queste risorse richieste in un ambiente di quasi asta, garantendo loro entrate (supponendo che i clienti arrivino, ovviamente). Secondo la società, il prezzo di accesso a queste risorse sarà veramente dinamico e varierà a seconda della domanda e dell'offerta.
Quando gli utenti si iscrivono al servizio, viene visualizzato il costo totale del periodo di tempo e delle risorse. Gli utenti possono aumentarlo o diminuirlo, a seconda della loro voglia di risorse e del loro budget prima di accettare l'acquisto.
