De plus en plus d'entreprises exécutent des modèles de langage étendus (LLM), qui nécessitent un accès aux GPU. Les plus populaires sont de loin ceux de Nvidia, ce qui les rend chers et souvent rares. Louer une instance à long terme auprès d'un fournisseur de cloud lorsque vous n'avez besoin d'accéder à ces ressources coûteuses que pour une seule tâche n'a pas nécessairement de sens.
Pour aider à résoudre ce problème, AWS a lancé des blocs de capacité Amazon Elastic Compute Cloud (EC2) pour le ML, permettant aux clients d'acheter l'accès à ces GPU pour une période de temps définie, généralement pour exécuter un certain type de travail associé à l'IA, comme former un modèle d'apprentissage automatique ou exécuter une expérience avec un modèle existant.
"Il s'agit d'une nouvelle façon innovante de planifier des instances GPU où vous pouvez réserver le nombre d'instances dont vous avez besoin pour une date ultérieure juste pour le temps dont vous avez besoin", a écrit Channy Yun. dans un article sur le blog AWS annonçant la nouvelle fonctionnalité.
Le produit permet aux clients d'accéder aux instances GPU NVIDIA H100 Tensor Core dans des tailles de cluster allant de une à 64 instances avec 8 GPU par instance. Ils peuvent réserver du temps jusqu'à 14 jours par tranches d'un jour, jusqu'à 1 semaines à l'avance. À la fin de la période, les instances seront automatiquement arrêtées.
Le nouveau produit permet aux utilisateurs de s'inscrire pour autant d'instances dont ils ont besoin sur une période de temps définie, comme la réservation d'une chambre d'hôtel pour un certain nombre de jours (comme le dit l'entreprise). Du point de vue du client, vous saurez exactement combien de temps le travail prendra, combien de GPU il utilisera et combien cela coûtera au départ, vous donnant ainsi une certitude sur les coûts.
Pour Amazon, ils peuvent mettre à profit ces ressources très demandées dans un environnement de quasi-enchères, garantissant ainsi des revenus (en supposant que les clients viennent, bien sûr). Le prix d'accès à ces ressources sera véritablement dynamique, variant en fonction de l'offre et de la demande, selon l'entreprise.
Lorsque les utilisateurs s'inscrivent au service, le coût total de la période et des ressources est affiché. Les utilisateurs peuvent l'augmenter ou le diminuer, en fonction de leur appétit pour les ressources et de leur budget avant d'accepter l'achat.
