OpenAI erweitert seine internen Sicherheitsprozesse, um sich vor der Bedrohung durch potenziell riskante oder schädliche KI zu schützen. Eine neue „Sicherheitsberatungsgruppe“ wird über den technischen Teams sitzen und Empfehlungen an Führungskräfte – und an den Vorstand, der ein Vetorecht erhalten hat – richten. Natürlich und angesichts der Präzedenzfälle ist es eine ganz andere Frage, ob Sie es tatsächlich nutzen werden.
Über die Einzelheiten solcher Richtlinien muss in der Regel nicht berichtet werden, da es sich in der Praxis um eine Reihe von Treffen unter Ausschluss der Öffentlichkeit mit unklaren Rollen und Verantwortungsströmen handelt, in die Außenstehende selten eingeweiht werden. Während dies wahrscheinlich auch hier zutrifft, rechtfertigen der jüngste Führungskampf und die sich entwickelnde Debatte über KI-Risiken einen Blick darauf, wie das weltweit führende KI-Entwicklungsunternehmen Sicherheitsaspekte angeht.
in einem neuen Dokument y Blogeintrag OpenAI bespricht sein aktualisiertes „Readiness Framework“, das nach der Umstrukturierung im November, bei der die beiden „langsamsten“ Vorstandsmitglieder entfernt wurden: Ilya Sutskever (immer noch in einer etwas anderen Rolle im Unternehmen) und Helen, wahrscheinlich ein wenig durcheinandergewirbelt wurde . Toner (komplett leer).
Das Hauptziel des Updates scheint darin zu bestehen, einen klaren Weg zur Identifizierung, Analyse und Entscheidung aufzuzeigen, was mit den „katastrophalen“ Risiken zu tun ist, die den von ihnen entwickelten Modellen innewohnen. So definieren sie es:
„Mit Katastrophenrisiko meinen wir jedes Risiko, das Hunderte Milliarden Dollar an wirtschaftlichen Schäden verursachen oder vielen Menschen schwere Schäden oder den Tod zufügen könnte; Dazu gehört unter anderem das existenzielle Risiko (existenzielles Risiko ist so etwas wie „Maschinenaufstieg“).
Modelle in der Produktion werden von einem Team von „Sicherheitssystemen“ gesteuert; Dies gilt beispielsweise für systematische Missbräuche von ChatGPT, die durch Einschränkungen oder API-Optimierungen eingedämmt werden können. Modelle in der Entwicklung verfügen über das „Vorbereitungs“-Team, das versucht, Risiken zu identifizieren und zu quantifizieren, bevor das Modell veröffentlicht wird. Und dann ist da noch das „Super Alignment“-Team, das funktioniert in theoretischen Leitfäden für „superintelligente“ Modelle, denen wir vielleicht nahe stehen oder auch nicht.
Die ersten beiden Kategorien sind real und nicht fiktiv und haben eine relativ leicht verständliche Rubrik. Ihre Teams bewerten jedes Modell in vier Risikokategorien: Cybersicherheit, „Überzeugung“ (z. B. Desinformation), Modellautonomie (d. h. eigenständiges Handeln) und CBRN (chemische, biologische, radiologische und nukleare Bedrohungen, z. B. die Fähigkeit, Neues zu schaffen). Krankheitserreger).
Es werden verschiedene Abhilfemaßnahmen angenommen: zum Beispiel eine begründete Zurückhaltung, den Prozess der Herstellung von Napalm oder selbstgebauten Bomben zu beschreiben. Wenn ein Modell nach Berücksichtigung bekannter Abhilfemaßnahmen immer noch als „hohes“ Risiko eingestuft wird, kann es nicht eingesetzt werden, und wenn ein Modell „kritische“ Risiken aufweist, wird es nicht weiterentwickelt.
Beispiel für die Bewertung der Risiken eines Modells mithilfe der OpenAI-Rubrik.
Diese Risikostufen werden tatsächlich intern dokumentiert, falls Sie sich fragen, ob sie im Ermessen eines Ingenieurs oder Produktmanagers liegen.
Beispielsweise besteht im Abschnitt Cybersicherheit, der der praktischste von ihnen ist, ein „mittleres“ Risiko, „die Produktivität der Bediener … bei wichtigen Cyber-Betriebsaufgaben“ um einen bestimmten Faktor zu steigern. Andererseits würde ein Hochrisikomodell „Konzeptnachweise für hochwertige Hinrichtungen gegen geschützte Ziele ohne menschliches Eingreifen identifizieren und entwickeln“. Entscheidend ist, dass „das Modell neuartige End-to-End-Strategien für Cyberangriffe auf geschützte Ziele entwickeln und umsetzen kann, solange nur ein übergeordnetes gewünschtes Ziel erreicht wird.“ Natürlich wollen wir nicht, dass das ans Licht kommt (obwohl es für eine beträchtliche Summe verkauft werden könnte).
Auf die Frage von OpenAI, wie diese Kategorien definiert und verfeinert werden, beispielsweise ob ein neues Risiko, etwa ein fotorealistisches Fake-Video von Menschen, unter „Überzeugung“ oder eine neue Kategorie fällt, wurde noch keine Antwort erhalten.
Daher sollten so oder so nur mittlere und hohe Risiken toleriert werden. Aber die Leute, die diese Modelle herstellen, sind nicht unbedingt die besten, sie zu bewerten und Empfehlungen abzugeben. Aus diesem Grund richtet OpenAI eine „Cross-Functional Security Advisory Group“ ein, die an der Spitze der technischen Seite sitzt, Expertenberichte prüft und Empfehlungen abgibt, die Erkenntnisse auf höherer Ebene beinhalten. Hoffentlich (so sagen sie) werden dadurch einige „unbekannte Unbekannte“ aufgedeckt, obwohl sie naturgemäß recht schwer zu erkennen sind.
Der Prozess erfordert, dass diese Empfehlungen gleichzeitig an die gesendet werden Verwaltungsrat und Führung, worunter wir CEO Sam Altman und CTO Mira Murati sowie deren Stellvertreter verstehen. Die Führung wird die Entscheidung treffen, ob sie ihn schickt oder einfriert, aber der Vorstand kann diese Entscheidungen rückgängig machen.
Dadurch wird hoffentlich etwas Ähnliches wie das, was Gerüchten zufolge vor dem großen Drama passiert ist, kurzgeschlossen: Ein risikoreiches Produkt oder Verfahren erhält grünes Licht ohne Wissen oder Genehmigung des Vorstands. Das Ergebnis dieses Dramas war natürlich, dass zwei der kritischsten Stimmen ins Abseits gedrängt wurden und einige geldbewusste Leute (Bret Taylor und Larry Summers) ernannt wurden, die klug sind, aber keineswegs Experten für künstliche Intelligenz.
Wenn ein Expertengremium eine Empfehlung ausspricht und der CEO auf der Grundlage dieser Informationen entscheidet, wird sich dieser freundliche Vorstand dann wirklich befugt fühlen, ihnen zu widersprechen und sie zurückzuhalten? Und wenn ja, werden wir es herausfinden? Über das Versprechen hinaus, dass OpenAI unabhängige Prüfungen durch Dritte anfordern wird, wird die Transparenz nicht wirklich angesprochen.
Nehmen wir an, es wird ein Modell entwickelt, das eine „kritische“ Risikokategorie garantiert. OpenAI hat sich in der Vergangenheit nicht davor gescheut, damit zu prahlen und davon zu sprechen, wie enorm leistungsfähig es ist Sie sind deine Modelle bis hin zur Weigerung, sie herauszubringen, ist großartige Werbung. Aber haben wir irgendeine Garantie dafür, dass dies geschieht, wenn die Risiken so real sind und OpenAI sich solche Sorgen darüber macht? Auf jeden Fall wird es nicht erwähnt.
