Large Language Models (LLMs), como o ChatGPT da OpenAI, sofrem do mesmo problema: eles inventam coisas.
Os erros variam de bizarros a inócuos, como afirmar que a Ponte Golden Gate foi transportado em todo o Egipto em 2016, tornando-se altamente problemático e até perigoso.
Um prefeito australiano ameaçou recentemente demandar OpenAI porque o ChatGPT alegou erroneamente que havia se declarado culpado de um grande escândalo de suborno. O trabalhos de análise descobriram que as alucinações do LLM podem ser exploradas para distribuir pacotes de códigos maliciosos para desenvolvedores de software desavisados. E os LLMs frequentemente dão maus conselhos médicos e de saúde mental, como o consumo de vinho lata "prevenir o câncer."
Esta tendência para inventar “factos” é um fenómeno conhecido como alucinação, e ocorre devido à forma como os LLMs actuais (e todos os modelos generativos de IA) são desenvolvidos e treinados.
Modelos de treinamento
Os modelos generativos de IA não têm inteligência real: são sistemas estatísticos que prevêem palavras, imagens, fala, música ou outros dados. Alimentados com um grande número de exemplos, geralmente obtidos na web pública, os modelos de IA aprendem a probabilidade de ocorrência de dados com base em padrões, incluindo o contexto dos dados circundantes.
Por exemplo, dado um e-mail típico que termina com o fragmento “Olhando para o futuro…”, um LLM pode completá-lo com “…para receber uma resposta”, seguindo o padrão dos inúmeros e-mails nos quais foi treinado. Isso não significa que o LLM esteja esperando por alguma coisa.
"A atual estrutura de treinamento LLM envolve ocultar ou 'mascarar' palavras anteriores para o contexto" e fazer com que o modelo preveja quais palavras devem substituir as ocultas, disse o pesquisador Sebastian Berns, Ph.D. da Queen Mary University de Londres. "Isso é conceitualmente semelhante a usar a previsão de texto no iOS e pressionar continuamente uma das próximas palavras sugeridas."
Esta abordagem baseada em probabilidade funciona notavelmente bem em escala, na maior parte. Mas embora a variedade de palavras e suas probabilidades resultar num texto que faça sentido, está longe de ser certo.
Os LLMs podem produzir algo gramaticalmente correto, mas sem sentido, por exemplo, como a declaração sobre a Golden Gate. Ou podem mentir, propagando imprecisões em seus dados de treinamento. Ou podem combinar diferentes fontes de informação, incluindo fontes fictícias, mesmo que essas fontes se contradigam claramente.
Não é malicioso por parte dos LLMs. Eles não têm maldade e os conceitos de verdadeiro e falso não têm significado para eles. Eles simplesmente aprenderam a associar certas palavras ou frases a certos conceitos, mesmo que essas associações não sejam precisas.
"'Alucinações' estão relacionadas à incapacidade de um LLM de estimar a incerteza de sua própria previsão", disse Berns. “Um LLM geralmente é treinado para sempre produzir um resultado, mesmo quando a entrada é muito diferente dos dados de treinamento. Um LLM padrão não tem como saber se é capaz de responder de forma confiável a uma consulta ou fazer uma previsão.”
Resolvendo alucinações
A questão é: as alucinações podem ser resolvidas? Depende do que você quer dizer com "resolvido".
Vu Ha, pesquisador e engenheiro do Instituto Allen de Inteligência Artificial, afirma que os LLMs “surpreendem e sempre surpreenderão”. Mas ele também acredita que existem maneiras concretas de reduzir, mas não eliminar, as alucinações, dependendo de como um LLM é treinado e implantado.
"Considere um sistema de resposta a perguntas", disse Ha. "É possível projetá-lo para ter alta precisão selecionando uma base de conhecimento de perguntas e respostas de alta qualidade e conectando essa base de conhecimento com um LLM para fornecer respostas precisas por meio de um processo semelhante à recuperação.
Ha ilustrou a diferença entre um LLM com uma base de conhecimento de “alta qualidade” e outro com curadoria de dados menos cuidadosa. Ele fez a pergunta “Quem são os autores do artigo do Toolformer?” (Toolformer é um modelo de IA treinado pela Meta) via Bing Chat desenvolvido pelo LLM da Microsoft e Bard do Google. O Bing Chat listou corretamente os oito coautores do Meta, enquanto Bard atribuiu erroneamente o artigo a pesquisadores do Google e do Hugging Face.
“Qualquer sistema baseado em LLM implementado irá te surpreender. A verdadeira questão é se os benefícios superam o resultado negativo causado pelas alucinações", disse Ha. Em outras palavras, se um modelo não causar nenhum dano óbvio (por exemplo, o modelo errar uma data ou nome de vez em quando) , mas é útil, então pode valer a pena fazer uma troca. “Trata-se de maximizar a utilidade esperada da IA”, acrescentou.
Berns apontou outra técnica que foi usada com algum sucesso para reduzir alucinações em LLMs: Aprendizagem por Reforço a partir de Feedback Humano (RLHF). Introduzido pela OpenAI em 2017, o RLHF envolve o treinamento de um LLM, a coleta de informações adicionais para treinar um modelo de “recompensa” e o ajuste fino do LLM com o modelo de recompensa por meio do aprendizagem por reforço.
No RLHF, um conjunto de prompts de um conjunto de dados predefinido é passado por um LLM para gerar um novo texto. Anotadores humanos são então usados para classificar os resultados do LLM em termos de sua “utilidade” geral: ou seja, dados que são usados para treinar o modelo de recompensa. O modelo de recompensa, que neste ponto pode pegar qualquer texto e atribuir-lhe uma pontuação de quão bem os humanos o percebem, é então usado para ajustar as respostas geradas pelo LLM.
OpenAI aproveitou RLHF para treinar vários dos seus modelos, incluindo GPT-4. Mas mesmo o RLHF não é perfeito, alertou Berns.
“Acho que o espaço de possibilidades é muito grande para ‘alinhar’ totalmente os LLMs com o RLHF”, disse Berns. “Algo que é frequentemente feito no ambiente RLHF é treinar um modelo para produzir uma resposta 'não sei', baseando-se principalmente no conhecimento humano e esperando que o modelo o generalize para o conhecimento do seu próprio domínio. “Muitas vezes é assim, mas pode ser um pouco complicado.”
Filosofias alternativas
Presumir que a alucinação é insolúvel, pelo menos não com os LLMs de hoje, isso é uma coisa ruim? Na verdade, Berns não pensa assim. Modelos alucinados poderiam estimular a criatividade agindo como um “parceiro co-criativo”, afirma ele, produzindo resultados que podem não ser inteiramente factuais, mas que ainda contêm alguns fios úteis a serem seguidos. O uso criativo de alucinações pode produzir resultados ou combinações de ideias que podem não ocorrer à maioria das pessoas.
“'Alucinações' são um problema se as declarações geradas forem factualmente incorretas ou violarem algum valor humano, social ou cultural específico, em cenários em que uma pessoa confia no LLM como especialista”, disse ele. “Mas em empreendimentos criativos ou artísticos, a capacidade de gerar resultados inesperados pode ser valiosa. “Um destinatário humano pode ficar surpreso com a resposta a uma pergunta e, assim, ser levado a uma determinada direção de pensamentos que pode levar a uma nova conexão de ideias.”
Ha argumentou que os LLMs de hoje seguem um padrão irracional: afinal, os humanos também “alucinam” quando nos lembramos mal ou deturpamos a verdade. Mas com os LLMs, ele acredita que experimentamos dissonância cognitiva porque os modelos produzem resultados que parecem bons na superfície, mas contêm erros após uma inspeção mais profunda.
Resumindo, LLMs, como qualquer técnica de treinamento Inteligencia artificial“Eles são imperfeitos e, portanto, cometem erros”, disse ele. “Tradicionalmente, aceitamos que os sistemas de IA cometam erros, pois esperamos e aceitamos imperfeições. Mas há mais nuances quando os LLMs cometem erros.”
Na verdade, a resposta pode não estar na forma como os modelos generativos de IA funcionam a nível técnico. Na medida em que não existe hoje “solução” para as alucinações, tratar as previsões dos modelos com um olhar cético parece ser a melhor abordagem.
