Après avoir télégraphié le déménagement apparitions dans les médias OpenAI a jeté un outil qui tente de faire la distinction entre le texte écrit par l'homme et le texte généré par l'IA, comme le texte produit par les propres modèles ChatGPT et GPT-3 de l'entreprise. Le classificateur n'est pas particulièrement précis : son taux de réussite est d'environ 26 %, note OpenAI, mais OpenAI affirme que, lorsqu'il est utilisé conjointement avec d'autres méthodes, il pourrait être utile pour aider à prévenir les abus des générateurs de texte IA. .
«Le classificateur est destiné à aider à atténuer les fausses allégations selon lesquelles le texte généré par l'IA a été écrit par un humain. Cependant, il a encore un certain nombre de limites, il devrait donc être utilisé en complément d'autres méthodes pour déterminer la source du texte plutôt que d'être le principal outil de prise de décision », a déclaré un porte-parole d'OpenAI. Nous mettons ce classificateur initial à disposition pour savoir si des outils comme celui-ci sont utiles et nous sommes impatients de partager des méthodes améliorées dans le futur.
Alors que la ferveur grandit autour de l'IA générative, en particulier l'IA qui génère du texte, les critiques ont appelé les créateurs de ces outils à prendre des mesures pour atténuer leurs effets potentiellement nocifs. Certains des plus grands districts scolaires des États-Unis ont interdit ChatGPT de leurs réseaux et appareils, craignant les impacts sur l'apprentissage des élèves et l'exactitude du contenu produit par l'outil. Et les sites qui incluent Stack Overflow a expulsé les utilisateurs qui a partagé du contenu généré par ChatGPT, affirmant que l'IA permet aux utilisateurs d'inonder trop facilement les fils de discussion de réponses douteuses.
Le classificateur OpenAI, bien nommé Classificateur de texte OpenAI AI, est difficile d'un point de vue architectural. Comme ChatGPT, il s'agit d'un modèle de langage d'IA formé sur de très nombreux exemples de texte accessible au public sur le Web. Mais contrairement à ChatGPT, il est réglé pour prédire la probabilité que l'IA ait généré un morceau de texte, pas seulement à partir de ChatGPT, mais à partir de n'importe quel modèle d'IA qui génère du texte.
Plus précisément, OpenAI a permis la Classificateur de texte OpenAI AI dans les textes de 34 systèmes de génération de contenu de cinq organisations différentes, y compris OpenAI lui-même. Ce texte a été combiné avec un texte humain similaire (mais pas exactement similaire) de Wikipédia, sitios web extrait de liens partagés sur Reddit et un ensemble de "démos humaines" collectées pour un ancien système de génération de texte OpenAI. (OpenAI prend en charge dans un pièce justificative cependant, qu'il aurait pu par inadvertance classer à tort certains textes écrits par l'IA comme écrits par des humains "étant donné la prolifération du contenu généré par l'IA sur Internet").
Le classificateur de texte OpenAI cela ne fonctionnera avec aucun texte, ce qui est plus important. Vous avez besoin d'un minimum de 1000 caractères, soit environ 150-250 mots. Il ne détecte pas le plagiat, une limitation particulièrement regrettable étant donné qu'il a été démontré que l'IA génératrice de texte régurgiter le texte sur lequel il a été formé. Et OpenAI dit qu'il est plus susceptible de se tromper sur du texte écrit par des enfants ou dans une langue autre que l'anglais, en raison de son ensemble de données en anglais.
Le détecteur couvre quelque peu sa réponse en évaluant si un morceau de texte donné est généré par l'IA. En fonction de votre niveau de confiance, il étiquettera le texte comme généré par l'IA "très improbable" (moins de 10 % de probabilité), généré par l'IA "peu probable" (probabilité de 10 à 45 %), "incertain" s'il est " généré par l'IA (45 à 90 % de chances), "probablement" généré par l'IA (90 à 98 % de chances) ou "probablement" généré par l'IA (plus de 98 % de chances) .
Par curiosité, nous avons passé du texte dans le classificateur pour voir comment cela fonctionnait. Bien qu'il ait correctement et avec confiance prédit que plusieurs paragraphes d'un article de TRPlanes sur Mondes Meta Horizon et un extrait d'une page de support OpenAI n'ont pas été générés par l'IA, le classificateur a eu plus de difficulté avec le texte de la longueur de l'article ChatGPT et n'a finalement pas réussi à le classer. en tout. Cependant, il a détecté avec succès la sortie ChatGPT d'un Gizmodo pièce à propos de - quoi d'autre? —ChatGPT.
Selon OpenAI, le classificateur étiquette à tort le texte écrit par l'homme comme écrit par l'IA 9 % du temps. Cette erreur ne s'est pas produite dans les tests, mais elle peut être attribuée à la petite taille de l'échantillon.
Crédits : OpenAI
Sur le plan pratique, le classificateur n'est pas particulièrement utile pour évaluer des écrits plus courts. 1000 caractères est un seuil difficile à atteindre dans le domaine des messages, par exemple, des emails (du moins les réguliers). et a plusieurs limitations telles que OpenAI souligne que le classificateur peut être contourné en modifiant certains mots ou clauses dans le texte généré.
Cela ne veut pas dire que le classificateur est inutile, loin de là. Mais cela n'arrêtera certainement pas les escrocs engagés (ou les étudiants, d'ailleurs) dans son état actuel.
La question est, y aura-t-il d'autres outils ? Une sorte d'industrie artisanale a vu le jour pour répondre à la demande de détecteurs de texte générés par l'IA. ChatZero, développé par un étudiant de l'Université de Princeton, utilise des critères tels que la "stumpiness" (la complexité du texte) et les "bursts" (les variations des phrases) pour détecter si le texte pourrait être écrit par l'IA. Le détecteur de plagiat Turnitin développe son propre détecteur de texte généré par l'IA. Au-delà de cela, une recherche sur Google donne au moins une demi-douzaine d'autres applications qui prétendent pouvoir de séparer le blé généré par l'IA de l'ivraie générée par l'homme, pour déformer le cliché.
Cela risque de devenir un jeu du chat et de la souris. À mesure que l'IA générant du texte s'améliore, les détecteurs s'amélioreront également, un va-et-vient sans fin similaire à celui entre les cybercriminels et les chercheurs en sécurité. Et comme l'écrit OpenAI, bien que les classificateurs puissent aider dans certaines circonstances, ils ne seront jamais un seul test fiable pour décider si le texte a été généré par l'IA.
C'est une façon de dire qu'il n'y a pas de solution miracle pour résoudre les problèmes posés par le texte généré par l'IA. Il est très probable qu'il n'y en aura jamais.
