Há uma escassez de GPUs à medida que cresce a demanda por IA generativa para treinamento e execução. Os chips de melhor desempenho da Nvidia, de acordo com relatórios, estão esgotados até 2024. O CEO da fabricante de chips TSMC estava menos otimista recentemente, apontando que a escassez de GPU da Nvidia, assim como de seus rivais, pode se estender até 2025.
Para diminuir a sua dependência das GPUs, as empresas que podem pagar por isso (ou seja, os gigantes da tecnologia) estão a desenvolver (e, em alguns casos, a disponibilizar aos clientes) chips personalizados concebidos para criar, iterar e produzir modelos de IA. Uma dessas empresas é a Amazon, que na sua conferência anual re:Invent revelou a última geração dos seus chips para formação e inferência de modelos, ou seja, execução de modelos treinados.
O primeiro dos dois, AWS Trainium2, foi projetado para oferecer desempenho até 4x melhor e eficiência energética 2x melhor do que o Trainium de primeira geração, lançado em dezembro de 2020, prevê a Amazon. O Tranium2, que estará disponível em instâncias EC Trn2 em grupos de 16 chips na nuvem AWS, pode escalar até 100.000 chips no produto AWS EC2 UltraCluster.
100.000 chips Trainium oferecem 65 exaflops de computação, diz a Amazon, o que equivale a 650 teraflops para um único chip. “Exaflops” e “teraflops” medem quantas operações computacionais por segundo um chip pode realizar. Provavelmente existem fatores complicados que tornam essa matemática simples não necessariamente tão precisa. Mas supondo que um único chip Tranium2 possa fornecer cerca de 200 teraflops de desempenho, isso significa estão acima da capacidade dos chips de treinamento de IA personalizados do Google por volta de 2017.
A Amazon afirma que um cluster de 100.000 chips Trainium pode treinar um grande modelo de linguagem de IA com 300 bilhões de parâmetros em semanas, em vez de meses. (“Parâmetros” são as partes de um modelo aprendidas a partir de dados de treinamento e definem essencialmente a capacidade do modelo em um problema, como gerar texto ou código.) Isso é cerca de 1,75 vezes o tamanho do GPT-3 da OpenAI, o antecessor do gerador de texto GPT-4.
“O silício sustenta todas as cargas de trabalho do cliente, tornando-o uma área crítica de inovação para a AWS”, disse o vice-presidente de computação e redes da AWS, David Brown, em um comunicado à imprensa. “Com o crescente interesse em IA generativa, a Tranium2 ajudará os clientes a treinar seus modelos de ML mais rapidamente, com menor custo e com melhor eficiência energética.”
A Amazon não disse quando as instâncias do Trainium2 estarão disponíveis para os clientes da AWS, exceto “no próximo ano”.
O segundo chip que a Amazon anunciou, o baseado em ARM Graviton4, destina-se à inferência. A quarta geração da família de chips Graviton da Amazon (conforme implícito no "4" anexado a "Graviton") é diferente do outro chip de inferência da Amazon, o Inferentia.
A Amazon afirma que o Graviton4 oferece até 30% mais desempenho de computação, 50% mais núcleos e 75% mais largura de banda de memória do que um processador Graviton da geração anterior, Graviton3 (mas não o Graviton3E mais recente), que roda no Amazon EC2. Em outra atualização do Graviton3, todas as interfaces físicas de hardware do Graviton4 são “criptografadas”, diz a Amazon, aparentemente protegendo melhor as cargas de trabalho de IA e os dados de treinamento para clientes com requisitos de criptografia mais elevados.
“Graviton4 marca a quarta geração que entregamos em apenas cinco anos e é o chip mais poderoso e com maior eficiência energética que já construímos para uma ampla gama de cargas de trabalho”, continuou Brown em comunicado. Ao concentrar nossos projetos de chips em cargas de trabalho reais que são importantes para os clientes, podemos oferecer-lhes a infraestrutura em nuvem mais avançada.
Graviton4 estará disponível em instâncias R2g do Amazon EC8, que já estão disponíveis em versão prévia e estão programadas para disponibilidade geral nos próximos meses.
