À medida que a concorrência no espaço de IA generativa se torna mais acirrada, a OpenAI está atualizando seus modelos de geração de texto e reduzindo os preços.
OpenAI anunciou o lançamento de novas versões de GPT-3.5-turbo e GPT-4, sendo esta última sua mais recente IA geradora de texto, com uma habilidade chamada função de chamada. Como a OpenAI explica em um postagem do blog A chamada de função permite que os desenvolvedores descrevam funções de programação para GPT-3.5-turbo e GPT-4 e tenham modelos que criem códigos para executar essas funções.
Por exemplo, as chamadas de função podem ajudar a criar chatbots que respondem a perguntas chamando ferramentas externas, convertem linguagem natural em consultas de banco de dados e extraem dados estruturados de texto. “Esses modelos foram ajustados para detectar quando uma função deve ser chamada… e para responder com JSON que adere à assinatura da função”, diz OpenAI. “As chamadas de função permitem que os desenvolvedores obtenham dados estruturados do modelo de forma mais confiável.”
Além das chamadas de função, OpenAI apresenta uma versão do GPT-3.5-turbo com uma janela de contexto bastante ampliada. Janela de contexto, medida em tokens ou fragmentos de texto bruto, refere-se ao texto que o modelo considera antes de gerar qualquer texto adicional. Modelos com pequenas janelas de contexto tendem a "esquecer" o conteúdo até mesmo de conversas muito recentes, levando-os a sair do assunto, muitas vezes de maneira problemática.
O novo GPT-3.5-turbo oferece quatro vezes o comprimento do contexto (16 tokens) do vanilla GPT-000-turbo pelo dobro do preço: US$ 3.5 por 0,003 tokens de entrada (ou seja, tokens inseridos no modelo) e US$ 1000 por 0,004 tokens de saída ( tokens gerados pelo modelo). A OpenAI diz que pode processar cerca de 1000 páginas de texto por vez, menos do que as centenas de páginas que o modelo principal da startup de IA Anthropic pode processar, para comparação. A OpenAI está testando uma versão do GPT-20 com uma janela de contexto de 4 tokens, mas apenas em uma versão limitada.
Pelo lado positivo, a OpenAI diz que está reduzindo o preço do GPT-3.5-turbo, o original, não a versão com a janela de contexto estendida, em 25%. Os desenvolvedores agora podem usar o modelo por US$ 0.0015 por 1000 tokens de entrada e US$ 0.002 por 1000 tokens de saída, o que equivale a aproximadamente 700 páginas por dólar.
O preço também está sendo reduzido para incorporação de texto-ada-002, um dos modelos de incorporação de texto OpenAI mais populares. As incorporações de texto medem a relação das strings de texto e são comumente usadas para pesquisa (onde os resultados são classificados por relevância para uma string de consulta) e recomendações (onde itens com strings de texto relacionadas são recomendados).
text-embedding-ada-002 agora custa $ 0.0001 por 1,000 tokens, uma redução de 75% em relação ao preço anterior. A OpenAI diz que a redução foi possível por uma maior eficiência em seus sistemas, uma área-chave de foco para a startup, com certeza, à medida que investe centenas de milhões dólares em P&D e infraestrutura.
A OpenAI observou que atualizações incrementais para modelos existentes, não novos modelos massivos do zero, são seus modus operandi após o lançamento do GPT-4 no início de março. Em uma recente conferência organizada pelo Economic Times, o CEO Sam Altman reafirmou que a OpenAI não começou a treinar o sucessor do GPT-4, indicando que a empresa “tem muito trabalho a fazer” antes de iniciar esse modelo.
