Meta, empenhada em alcançar seus rivais no espaço generativo de IA, está gastando bilhões no esforço. Uma parte desses bilhões vai para recrutar pesquisadores de IA. Mas uma parcela ainda maior está sendo gasta no desenvolvimento de hardware, especificamente chips para executar e treinar os modelos de IA da Meta.
Meta revelou o mais recente fruto de seus esforços de desenvolvimento de chips, depois da Intel anunciar seu mais recente hardware acelerador de IA. Chamado de Meta Training and Inference Accelerator (MTIA) de “próxima geração”, o sucessor do MTIA v1 do ano passado, o chip executa modelos que incluem classificação e recomendação de anúncios gráficos em propriedades Meta (por exemplo, Facebook).
A próxima geração do MTIA é de 5 nm, em contraste com o MTIA v1, que foi desenvolvido para um processo de 7 nm. (O “processo” na fabricação de chips refere-se ao tamanho do menor componente que pode ser construído no chip em nanômetros, nm.) O design físico do MTIA de próxima geração é maior e possui mais núcleos de processamento do que seu antecessor. Embora consuma mais energia (90 W vs. 25 W), também possui mais memória interna (128 MB vs. 64 MB) e funciona a uma velocidade média de clock mais alta (1,35 GHz vs. 800 MHz).
O MTIA de próxima geração, de acordo com a Meta, está atualmente disponível em 16 regiões de data center e oferece até três vezes o desempenho geral do MTIA v1. Se a afirmação “3x” parece ambígua, você não está errado. No entanto, a Meta afirmou que o número foi obtido avaliando o desempenho de “quatro modelos principais” em ambos os chips.
“Podemos alcançar maior eficiência em comparação com GPUs disponíveis comercialmente porque controlamos toda a pilha”, escreve Meta em um blog.
En primer lugar, Meta anuncia en la publicación del blog que en este momento no está utilizando el MTIA de próxima generación para cargas de trabajo de entrenamiento de IA generativa, a pesar de que la empresa afirma que tiene «varios programas en marcha» para investigar Este assunto. Em segundo lugar, a Meta reconhece que o MTIA de próxima geração complementará, em vez de substituir, as GPUs para modelos de execução ou treinamento.
Meta avança lentamente, talvez mais do que esperam.
As equipes de IA da Meta provavelmente estão sob pressão para reduzir custos. Até o final de 2024, a empresa deverá investir cerca de US$ 18 bilhões em GPUs para treinar e executar modelos generativos de IA. Com os custos de treinamento para modelos generativos de ponta chegando a dezenas de milhões de dólares, o hardware interno é uma opção atraente.
À medida que o hardware da Meta se deteriora, os concorrentes assumem o controle, preocupando a liderança da Meta.
Esta semana, o Google apresentou o TPU v5p, seu chip personalizado de quinta geração para treinamento de modelos de IA, e o Axion, seu primeiro chip de execução de modelo. A Amazon possui uma variedade de famílias de chips de IA personalizados. No ano anterior, a Microsoft lançou o acelerador Azure Maia AI e a CPU Azure Cobalt 100.
Meta afirma na postagem do blog que “passar do primeiro silício aos modelos de produção” da próxima geração do MTIA levou menos de nove meses, o que, para ser justo, é mais curto do que a janela típica entre as TPUs do Google. No entanto, a Meta deve trabalhar duro para atualizar se quiser obter alguma autonomia de GPUs de terceiros e acompanhar sua concorrência agressiva.
