Chamar o ChatGPT, a IA gratuita de geração de texto desenvolvida pela startup OpenAI de São Francisco, um sucesso é um eufemismo.
Em dezembro, o ChatGPT teve um estimativa mais de 100 milhões de usuários ativos mensais. Ele atraiu a atenção da grande mídia e gerou inúmeros memes nas mídias sociais. tem sido usado para escrever centenas de e-books na loja Kindle da Amazon. E ele é creditado com a coautoria de pelo menos um artigo científico.
Mas a OpenAI, sendo um negócio, embora com lucros limitados, tinha de monetizar o ChatGPT de alguma forma, para que os investidores não ficassem nervosos. Deu um passo nessa direção com o lançamento de um serviço premium, o ChatGPT Plus, em fevereiro. Ao introduzir uma API que permitirá a qualquer empresa incorporar a tecnologia ChatGPT em seus aplicativos, sites, produtos e serviços, ela se tornou muito maior.
Uma API sempre foi o plano. Isso é de acordo com Greg Brockman, presidente e presidente da OpenAI (e também um dos cofundadores).
“Demoramos um pouco para levar essas APIs a um certo nível de qualidade”, disse Brockman. "Acho que é como ser capaz de atender à demanda e escalar."
Brockman diz que a API do ChatGPT é alimentada pelo mesmo modelo de IA por trás do popular ChatGPT da OpenAI, apelidado de "gpt-3.5-turbo". O GPT-3.5 é o modelo de geração de texto mais poderoso que a OpenAI oferece hoje por meio de seu conjunto de APIs; o apelido "turbo" refere-se a um modelo mais otimizado e mais responsivo do GPT-3.5 que o OpenAI vem testando silenciosamente para o ChatGPT.
Com um preço de US$ 0.002 por 1000 tokens, ou cerca de 750 palavras, Brockman diz que a API pode alimentar uma variedade de experiências, incluindo aplicativos "sem bate-papo". Snap, Quizlet, Instacart e Shopify estão entre os primeiros a adotar.
A motivação inicial por trás do desenvolvimento do gpt-3.5-turbo pode ter sido reduzir os enormes custos de computação do ChatGPT. O CEO da OpenAI, Sam Altman, certa vez chamou os gastos do ChatGPT de "incompreensíveis". estimando-os a alguns centavos por bate-papo no custo de computação. (Com mais de um milhão de usuários, presumivelmente isso aumenta rapidamente.)
Mas Brockman diz que o gpt-3.5-turbo é aprimorado de outras maneiras.
“Se você está construindo um tutor com IA, nunca quer que o tutor apenas dê uma resposta ao aluno. Você quer que eu sempre explique e os ajude a aprender – esse é um exemplo do tipo de sistema que você deve ser capaz de construir [com a API]”, disse Brockman. “Achamos que isso será algo que tornará a API muito mais útil e acessível.”
A API do ChatGPT é a base do My AI, o recém-anunciado chatbot do Snap para assinantes do Snapchat+ e o novo recurso de tutor virtual Q-Chat do Quizlet. A Shopify usou a API ChatGPT para criar um assistente personalizado para recomendações de compras, enquanto a Instacart a aproveitou para criar o Ask Instacart, uma ferramenta futura que permitirá aos clientes da Instacart perguntar sobre comida e obter respostas "compradas" informadas pelos dados do produto. do varejo da empresa loja. parceiros.
"As compras de supermercado podem ser bastante exigentes mentalmente, com muitos fatores em jogo, incluindo orçamento, saúde e nutrição, gostos pessoais, sazonalidade, habilidades culinárias, tempo de preparação e inspiração para receitas", disse o arquiteto-chefe da Instacart, JJ Zhuang. “E se a IA pudesse assumir essa carga cerebral e pudéssemos ajudar os líderes domésticos que são geralmente responsáveis pelas compras de supermercado, planejamento de refeições e colocar comida na mesa, e realmente fazer compras de supermercado, eles são realmente engraçados? O sistema de IA da Instacart, quando integrado ao ChatGPT da OpenAI, nos permitirá fazer exatamente isso, e estamos ansiosos para começar a experimentar o que é possível no aplicativo Instacart.”
Créditos da imagem: Instacart
No entanto, quem acompanha de perto a saga ChatGPT pode estar se perguntando se ela está pronta para ser lançada, e com razão.
A princípio, os usuários poderiam pedir ao ChatGPT para responder a perguntas tendenciosas racista e sexista, um reflexo dos dados nos quais o ChatGPT foi inicialmente treinado. (Os dados de treinamento do ChatGPT incluem uma ampla faixa de conteúdo da Internet, ou seja, eBooks, postagens do Reddit e artigos da Wikipedia.) O ChatGPT também inventa fatos sem revelar o que está fazendo, fenômeno na IA conhecido como alucinação.
O ChatGPT e sistemas semelhantes também são suscetíveis a ataques baseados em anúncios ou anúncios adversários maliciosos que os forçam a realizar tarefas que não faziam parte de seus alvos originais. comunidades inteiras no Reddit, eles se formaram para encontrar maneiras de fazer o jailbreak do ChatGPT e contornar qualquer proteção que o OpenAI tenha implementado. Em um dos exemplos menos ofensivos, um membro da equipe da startup Scale AI conseguiu tornar o ChatGPT divulgar informações sobre seu funcionamento técnico interno.
As marcas certamente não gostariam de ser pegas na mira. Brockman está convencido de que não serão. Porque? Um dos motivos, diz ele, são as contínuas melhorias de back-end, em alguns casos às custas dos trabalhadores contratados do Quênia. Mas Brockman enfatizou uma nova (e decididamente menos controversa) abordagem que a OpenAI chama de Chat Markup Language, ou ChatML. ChatML envia texto para a API ChatGPT como um fluxo de mensagens junto com metadados. Isso é o oposto do ChatGPT padrão, que consome texto bruto representado como uma série de tokens. (A palavra "fantástico" seria dividida em "fan", "tas" e "tico", por exemplo.)
Por exemplo, quando perguntado "Quais são algumas ideias legais para festas no meu aniversário de 30 anos?" um desenvolvedor pode optar por adicionar essa mensagem com uma mensagem adicional, como “Você é um chatbot de conversação divertido, projetado para ajudar os usuários com as perguntas que eles fazem. Você deve responder honestamente e de uma forma divertida!” ou "Você é um bot" antes que a API do ChatGPT o processe. Essas instruções ajudam a adaptar e filtrar melhor as respostas do modelo ChatGPT, de acordo com Brockman.
“Estamos mudando para uma API de nível superior. Se você tiver uma maneira mais estruturada de representar a entrada, onde diz 'isso é do desenvolvedor' ou 'isso é do usuário'. Espero que, como desenvolvedor, ele possa ser mais robusto. [usando ChatML] contra esses tipos de ataques rápidos”, disse Brockman.
Outra mudança que (espero) evitará o comportamento indesejado do ChatGPT são as atualizações de modelo mais frequentes. Com o lançamento do gpt-3.5-turbo, os desenvolvedores atualizarão automaticamente para o modelo estável OpenAI mais recente por padrão, diz Brockman, começando com gpt-3.5-turbo-0301 (lançado hoje). No entanto, os desenvolvedores terão a opção de manter um modelo mais antigo, se quiserem, o que pode anular um pouco o benefício.
Quer optem por atualizar para o modelo mais novo ou não, Brockman observa que alguns clientes, principalmente grandes empresas com grandes orçamentos correspondentes, terão um controle mais profundo sobre o desempenho do sistema com a introdução de planos de capacidade dedicados. Detalhado pela primeira vez na documentação que vazou no início deste mês, os Planos de capacidade dedicada da OpenAI, lançados hoje, permitem que os clientes paguem por um subsídio de infraestrutura de computação para executar um modelo OpenAI, por exemplo, gpt-3.5-Turbo. (A propósito, é o Azure no back-end.)
Além do "controle total" sobre o carregamento da instância (as chamadas da API OpenAI geralmente são feitas em recursos de computação compartilhados), a capacidade dedicada oferece aos clientes a capacidade de habilitar recursos como limites de contexto mais longos. Limites de contexto referem-se ao texto que o modelo considera antes de gerar texto adicional; limites de contexto mais longos permitem que o modelo essencialmente "lembre" mais texto. Embora os limites de contexto mais altos possam não resolver todos os problemas de viés e toxicidade, eles podem levar modelos como o gpt-3.5-turbo a alucinar menos.
Brockman diz que os clientes de capacidade dedicada podem esperar modelos gpt-3.5-turbo com uma janela de contexto de até 16k, o que significa que eles podem aceitar quatro vezes mais tokens do que o modelo ChatGPT padrão. Isso poderia permitir que alguém colasse páginas e páginas do código tributário e obtivesse respostas razoáveis do modelo, digamos, uma façanha que hoje não é possível.
Brockman aludiu a um lançamento geral no futuro, mas não tão cedo.
“As janelas de contexto estão começando a ficar maiores, e parte do motivo pelo qual somos apenas clientes de capacidade dedicada agora é porque há muitas compensações de desempenho do nosso lado”, disse Brockman. "Eventualmente, podemos oferecer uma versão sob demanda da mesma coisa."
Dada a crescente pressão sobre a OpenAI para obter lucro após um investimento multibilionário da Microsoft, isso não seria muito surpreendente.
