OpenAI versucht, Treffergrenzen mit Wasserzeichen zu versehen

Bei einem Konferenz an der University of Austin, Informatik-Professor Scott Aaronson, derzeit Gastwissenschaftler an OpenAI, enthüllte, dass ein Tool entwickelt wird, um „die Ergebnisse eines KI-Textes statistisch mit einem Wasserzeichen zu versehen“. Immer wenn ein System, zum Beispiel ChatGPT, Text generiert, bettet das Tool ein „Silver Secret Signal“ ein, das anzeigt, woher der Text stammt.

der Ingenieur von OpenAIHendrik Kirchner hat einen funktionierenden Prototyp gebaut, sagt Aaronson, und man hofft, ihn in zukünftige Systeme integrieren zu können, die von entwickelt wurden OpenAI.

„Wir wollen es viel schwieriger machen, eine KI-Ausgabe zu nehmen und sie als von einem Menschen stammend auszugeben“, sagte Aaronson in seinen Kommentaren. „Dies könnte natürlich nützlich sein, um akademisches Plagiat zu verhindern, aber auch zum Beispiel Massenpropaganda, die jeden Blog mit scheinbar themenbezogenen Kommentaren zuspammt, die die russische Invasion in der Ukraine unterstützen, ohne auch nur ein Gebäude voller Trolle in Moskau zu haben. oder den Schreibstil einer Person nachahmen, um sie einzurahmen."

Zufälligkeit ausnutzen

Warum die Notwendigkeit für ein Wasserzeichen? ChatGPT ist ein gutes Beispiel. Der Chatbot entwickelt von OpenAI Er hat das Internet im Sturm erobert und bewies nicht nur die Fähigkeit, herausfordernde Fragen zu beantworten, sondern auch Gedichte zu schreiben, Programmierrätsel zu lösen und über eine Vielzahl philosophischer Themen poetisch zu werden.

Während ChatGPT eine Menge Spaß macht und wirklich nützlich ist, wirft das System offensichtliche ethische Bedenken auf. Wie viele der Textgenerierungssysteme davor könnte ChatGPT verwendet werden, um hochwertige Phishing-E-Mails und schädliche Malware zu schreiben oder bei Schulaufgaben zu schummeln. Und als Frage-Antwort-Tool ist es sachlich inkonsistent, ein Mangel, der dazu führte, dass die Frage-und-Antwort-Site Stack Overflow programmiert wurde und Antworten von ChatGPT bis auf weiteres verbot.

Die technischen Grundlagen des Wasserzeichen-Tools verstehen OpenAI, ist es hilfreich zu wissen, warum Systeme wie ChatGPT so gut funktionieren wie sie. Diese Systeme verstehen den ein- und ausgegebenen Text als Zeichenfolgen von „Tokens“, die Wörter, aber auch Satzzeichen und Wortteile sein können. Im Wesentlichen erzeugen die Systeme ständig eine mathematische Funktion, die als Wahrscheinlichkeitsverteilung bezeichnet wird, um zu entscheiden, welches Token (z. B. Wort) als nächstes generiert werden soll, wobei alle zuvor ausgegebenen Token berücksichtigt werden.

Bei Systemen, die auf gehostet werden OpenAI wie ChatGPT, nachdem die Distribution erstellt wurde, der Chat-Server OpenAI übernimmt die Aufgabe, Token gemäß der Verteilung zu sampeln. Es gibt eine gewisse Zufälligkeit in dieser Auswahl; Aus diesem Grund kann dieselbe Textnachricht zu unterschiedlichen Antworten führen.

Das Wasserzeichen-Tool OpenAI Es fungiert als „Wrapper“ über bestehende Textgenerierungssysteme, sagte Aaronson während der Konferenz, und nutzt eine kryptografische Funktion, die auf Serverebene läuft, um „pseudozufällig“ das nächste Token auszuwählen. Theoretisch würde der vom System generierte Text für Sie oder mich immer noch zufällig erscheinen, aber jeder, der den „Schlüssel“ für die kryptografische Funktion besitzt, könnte ein Wasserzeichen entdecken.

„Empirisch scheinen einige hundert Token auszureichen, um ein vernünftiges Signal zu erhalten, dass dieser Text von einem KI-System stammt. Im Prinzip könnte man sogar einen langen Text nehmen und isolieren, welche Teile wahrscheinlich vom KI-System stammen und welche Teile wahrscheinlich nicht.“ sagte Aaronson. „Das Tool kann das Wasserzeichen mit einem geheimen Schlüssel erstellen und das Wasserzeichen mit demselben Schlüssel verifizieren.“

wichtige Einschränkungen

KI-generierte Textwasserzeichen sind keine neue Idee. Frühere Versuche, meist regelbasiert, haben sich auf Techniken wie Synonymersetzungen und syntaxspezifische Wortänderungen verlassen. Aber aus dem Theoretischen heraus der Untersuchungsbericht vom deutschen Institut CISPA im vergangenen März veröffentlicht OpenAI scheint einer der ersten kryptobasierten Ansätze für das Problem zu sein.

Als Aaronson um einen Kommentar gebeten wurde, lehnte er es ab, mehr über den Wasserzeichen-Prototypen preiszugeben, abgesehen davon, dass er hofft, in den kommenden Monaten ein Forschungspapier mitverfassen zu können. OpenAI Es lehnte auch ab und sagte nur, dass Wasserzeichen zu mehreren „Herkunftstechniken“ gehören, die es untersucht, um KI-generierte Ergebnisse zu erkennen.

Unabhängige Akademiker und Branchenexperten teilten jedoch gemischte Meinungen. Sie weisen darauf hin, dass das Tool serverseitig ist, was bedeutet, dass es nicht unbedingt mit allen texterzeugenden Systemen funktionieren würde. Und sie argumentieren, dass es für Gegner trivial wäre, dies zu vermeiden.

„Ich denke, es wäre ziemlich einfach, es zu umgehen, indem man es umformuliert, Synonyme verwendet usw.“, sagte Srini Devadas, Professor für Informatik am MIT. "Das ist ein bisschen Tauziehen."

Jack Hessel, ein Forschungswissenschaftler am Allen Institute for AI, bemerkte, dass es schwierig wäre, unmerkliche Fingerabdrücke von KI-generiertem Text zu nehmen, da jeder Token eine diskrete Wahl ist. Ein zu offensichtlicher Fingerabdruck kann zur Auswahl seltsamer Wörter führen, die den Sprachfluss beeinträchtigen, während ein zu subtiler Fingerabdruck Raum für Zweifel bei der Suche nach dem Fingerabdruck lassen würde.

ChatGPT beantwortet eine Frage.

Yoav Shoham, Mitbegründer und Co-CEO von AI21 Labs, einem Rivalen von OpenAI, glaubt nicht, dass statistische Wasserzeichen ausreichen, um die Quelle von KI-generiertem Text zu identifizieren. Er fordert einen „umfassenderen“ Ansatz, der differenzielle Wasserzeichen umfasst, bei denen verschiedene Textteile unterschiedlich gekennzeichnet sind, und KI-Systeme, die Quellen von Sachtexten genauer zitieren.

Diese spezielle Wasserzeichentechnik erfordert auch viel Vertrauen und Kraft OpenAIwiesen die Experten darauf hin.

„Ein idealer Fingerabdruck wäre für ein menschliches Lesegerät nicht wahrnehmbar und würde eine hochzuverlässige Erkennung ermöglichen“, sagte Hessel per E-Mail. „Je nachdem, wie es aufgebaut ist, könnte es das sein OpenAI aufgrund der Funktionsweise des „Signatur“-Prozesses die einzige Partei ist, die diese Erkennung mit Zuversicht liefern kann.“

In seinem Vortrag räumte Aaronson ein, dass das Programm wirklich nur in einer Welt funktionieren würde, in der Unternehmen es mögen OpenAI Sie stehen an vorderster Front beim Ausbau modernster Systeme und sind sich alle einig, verantwortungsbewusste Akteure zu sein. Selbst wenn OpenAI das Wasserzeichen-Tool mit anderen Anbietern von Textgenerierungssystemen wie Cohere und AI21Labs geteilt, würde dies andere nicht daran hindern, es nicht zu verwenden.

„Wenn es zu einem Free-for-all-Spiel wird, werden viele der Sicherheitsmaßnahmen schwieriger und könnten sogar unmöglich werden, zumindest ohne staatliche Regulierung“, sagte Aaronson. „In einer Welt, in der jeder sein eigenes Textmodell bauen konnte, das genauso gut war wie zum Beispiel ChatGPT … Was könnte man da machen?“

So spielt es sich im Bereich Text zu Bild ab. nicht wie OpenAI, dessen Bildgebungssystem DALL-E 2 nur über eine API verfügbar ist, hat Stability AI seine Text-to-Image-Technologie (genannt Stable Diffusion) geöffnet. Während DALL-E 2 über eine Reihe von Filtern auf API-Ebene verfügt, um zu verhindern, dass problematische Bilder generiert werden (zusätzlich zu Wasserzeichen auf den generierten Bildern), ist dies bei der Open Source Stable Diffusion nicht der Fall. Böse Schauspieler haben es benutzt, um unter anderem gefälschte Pornos zu erstellen.

Aaronson seinerseits ist optimistisch. Auf der Konferenz äußerte er die Überzeugung, dass, wenn OpenAI zeigen kann, dass Wasserzeichen funktionieren und die Qualität des generierten Textes nicht beeinträchtigen, hat es das Potenzial, ein Industriestandard zu werden.

Nicht alle sind einverstanden. Wie Devadas betont, erfordert das Tool einen Schlüssel, was bedeutet, dass es nicht vollständig Open Source sein kann, was seine Einführung auf Organisationen beschränken könnte, die einer Partnerschaft zustimmen. OpenAI. (Wenn der Schlüssel veröffentlicht würde, könnte jeder das Muster hinter den Wasserzeichen erraten und ihren Zweck zunichte machen.)

Aber es ist vielleicht nicht so weit hergeholt. Ein Quora-Vertreter sagte, dass das Unternehmen daran interessiert wäre, ein solches System zu verwenden, und dass es wahrscheinlich nicht das einzige sein würde.

„Sie könnten sich Sorgen machen, dass dieses ganze Geschäft, bei der Skalierung von KI sicher und verantwortungsbewusst zu sein, … sobald es das Endergebnis von Google, Meta, Alibaba und den anderen großen Akteuren ernsthaft beeinträchtigt, wird vieles davon aus dem Fenster gehen, “, sagte Aaronson. „Auf der anderen Seite haben wir in den letzten 30 Jahren gesehen, dass sich große Internetunternehmen auf bestimmte Mindeststandards einigen können, sei es aus Angst vor Klagen, dem Wunsch, als verantwortungsbewusster Spieler angesehen zu werden, oder aus anderen Gründen . Grund".