Depois de telegrafar o movimento através aparições na mídia OpenAI tem jogado uma ferramenta que tenta distinguir entre texto escrito por humanos e gerado por IA, como o texto produzido pelos modelos ChatGPT e GPT-3 da própria empresa. O classificador não é particularmente preciso: sua taxa de sucesso é de cerca de 26%, observa OpenAI, mas OpenAI argumenta que, quando usado em conjunto com outros métodos, pode ser útil para ajudar a prevenir o abuso de geradores de texto AI.
“O classificador destina-se a ajudar a mitigar falsas alegações de que o texto gerado por IA foi escrito por um humano. No entanto, ainda tem uma série de limitações, por isso deve ser usado como um complemento a outros métodos para determinar a fonte do texto, em vez de ser a principal ferramenta de tomada de decisão”, disse um porta-voz da OpenAI. Estamos disponibilizando este classificador inicial para feedback sobre se ferramentas como esta são úteis e estamos ansiosos para compartilhar métodos aprimorados no futuro.
À medida que o fervor cresce em torno da IA generativa, particularmente a IA que gera texto, os críticos pedem aos criadores dessas ferramentas que tomem medidas para mitigar seus efeitos potencialmente prejudiciais. Alguns dos maiores distritos escolares dos Estados Unidos baniram o ChatGPT de suas redes e dispositivos, temendo os impactos no aprendizado dos alunos e na precisão do conteúdo que a ferramenta produz. E sites que incluem Stack Overflow expulsou usuários que compartilhou o conteúdo gerado pelo ChatGPT, dizendo que a IA torna muito fácil para os usuários inundar tópicos de discussão com respostas duvidosas.
O classificador OpenAI, apropriadamente chamado Classificador de texto OpenAI AI, é desafiador do ponto de vista arquitetônico. Como o ChatGPT, é um modelo de linguagem AI treinado em muitos, muitos exemplos de texto disponível publicamente na web. Mas, ao contrário do ChatGPT, ele é ajustado para prever a probabilidade de a IA gerar um texto, não apenas do ChatGPT, mas de qualquer modelo de IA que gere texto.
Mais especificamente, OpenAI permitiu o Classificador de texto OpenAI AI em textos de 34 sistemas de geração de conteúdo de cinco organizações diferentes, incluindo a própria OpenAI. Este texto foi combinado com texto semelhante (mas não exatamente semelhante) escrito por humanos da Wikipedia, websites extraído de links compartilhados no Reddit e um conjunto de "demonstrações humanas" coletadas para um sistema de geração de texto OpenAI mais antigo. (OpenAI suporta em um documento de apoio no entanto, ele pode ter inadvertidamente classificado erroneamente algum texto escrito por IA como escrito por humanos "dada a proliferação de conteúdo gerado por IA na Internet").
O classificador de texto OpenAI não funcionará com nenhum texto, o que é mais importante. Você precisa de um mínimo de 1000 caracteres ou cerca de 150 a 250 palavras. Ele não detecta plágio, uma limitação especialmente infeliz, considerando que a IA de geração de texto demonstrou regurgitar o texto no qual ele foi treinado. E a OpenAI diz que é mais provável errar em textos escritos por crianças ou em um idioma diferente do inglês, devido ao seu conjunto de dados em inglês.
O detector cobre um pouco sua resposta avaliando se um determinado trecho de texto é gerado por IA. Dependendo do seu nível de confiança, ele rotulará o texto como "altamente improvável" gerado por IA (menos de 10% de probabilidade), "improvável" gerado por IA (probabilidade de 10-45%), "incerto" se for "gerado por IA (45-90% de chance), “Possivelmente” Gerado por IA (90-98% de chance) ou “Provavelmente” Gerado por IA (maior que 98% de chance).
Por curiosidade, passamos algum texto pelo classificador para ver como funcionava. Embora ele tenha previsto corretamente e com confiança que vários parágrafos de um artigo da TRPlanes sobre Mundos Meta Horizon e um trecho de uma página de suporte do OpenAI não foi gerado por IA, o classificador teve mais dificuldade com o texto do artigo ChatGPT e, por fim, falhou em classificá-lo. no total. No entanto, ele detectou com sucesso a saída ChatGPT de um Gizmodo peça sobre – o que mais? —ChatGPT.
De acordo com o OpenAI, o classificador rotula incorretamente o texto escrito por humanos como escrito por IA 9% das vezes. Esse erro não ocorreu nos testes, mas pode ser atribuído ao pequeno tamanho da amostra.
Créditos: OpenAI
Em um nível prático, o classificador não é particularmente útil para avaliar escritos mais curtos. 1000 caracteres é um limite difícil de atingir no campo de mensagens, por exemplo, e-mails (pelo menos os regulares). e tem vários limitações como OpenAI enfatiza que o classificador pode ser contornado modificando algumas palavras ou cláusulas no texto gerado.
Isso não significa que o classificador seja inútil, longe disso. Mas certamente não vai parar golpistas comprometidos (ou estudantes, nesse caso) em seu estado atual.
A questão é: haverá outras ferramentas? Uma espécie de indústria artesanal surgiu para atender à demanda por detectores de texto gerados por IA. O ChatZero, desenvolvido por um estudante da Universidade de Princeton, usa critérios como “estupidez” (a complexidade do texto) e “explosões” (as variações de frases) para detectar se o texto pode ser escrito por IA. O detector de plágio Turnitin está desenvolvendo seu próprio detector de texto gerado por IA. Além disso, uma pesquisa no Google revela pelo menos meia dúzia de outros aplicativos que afirmam ser capazes de separar o trigo gerado pela IA do joio gerado pelo homem, para distorcer o clichê.
É provável que se torne um jogo de gato e rato. À medida que a IA de geração de texto melhora, o mesmo acontece com os detectores, um vaivém sem fim semelhante ao que ocorre entre cibercriminosos e pesquisadores de segurança. E, como escreve o OpenAI, embora os classificadores possam ajudar em certas circunstâncias, eles nunca serão um único teste confiável para decidir se o texto foi gerado pela IA.
Essa é uma maneira de dizer que não há bala de prata para resolver os problemas colocados pelo texto gerado pela IA. É muito provável que nunca haja.
