OpenAI étend ses processus de sécurité internes pour se défendre contre la menace d'une IA potentiellement risquée ou nuisible. Un nouveau « groupe consultatif sur la sécurité » siègera au-dessus des équipes techniques et fera des recommandations aux dirigeants – et au conseil d’administration, qui dispose d’un droit de veto. Bien sûr, et compte tenu des précédents, la question de savoir si vous l’utiliserez réellement est une toute autre question.
Généralement, les tenants et les aboutissants de telles politiques n’ont pas besoin d’être médiatisés, car dans la pratique, ils se résument à un ensemble de réunions à huis clos avec des rôles et des responsabilités obscurs dont les étrangers seront rarement au courant. Même si cela est probablement vrai ici également, la récente lutte pour le leadership et l'évolution du débat sur les risques liés à l'IA justifient d'examiner la manière dont le leader mondial du développement d'IA aborde les considérations de sécurité.
dans un nouveau document y article de blog OpenAI discute de son « cadre de préparation » mis à jour, qui a probablement été un peu remanié après la réorganisation de novembre qui a supprimé les deux membres du conseil d'administration les plus «ralentisseurs» : Ilya Sutskever (toujours dans l'entreprise dans un rôle quelque peu différent) et Helen. . Toner (complètement épuisé).
L'objectif principal de la mise à jour semble être de montrer une voie claire pour identifier, analyser et décider quoi faire face aux risques « catastrophiques » inhérents aux modèles qu'ils développent. Voici comment ils le définissent :
« Par risque catastrophique, nous entendons tout risque qui pourrait générer des centaines de milliards de dollars de dommages économiques ou causer des dommages graves ou la mort de nombreuses personnes ; Cela inclut, entre autres, le risque existentiel (le risque existentiel s'apparente à « l'essor des machines »).
Les modèles en production sont régis par une équipe de « systèmes de sécurité » ; il s'agit, par exemple, d'abus systématiques de ChatGPT qui peuvent être atténués par des restrictions ou des ajustements de l'API. Les modèles en développement disposent d'une équipe de « préparation », qui tente d'identifier et de quantifier les risques avant la publication du modèle. Et puis il y a l’équipe « super alignement », qui Il est en train de travailler dans des guides théoriques sur les modèles « superintelligents », dont nous pouvons ou non être proches.
Les deux premières catégories, étant réelles et non fictives, ont une rubrique relativement facile à comprendre. Leurs équipes évaluent chaque modèle en quatre catégories de risque : cybersécurité, « persuasion » (par exemple la désinformation), autonomie du modèle (c'est-à-dire agir seul) et CBRN (menaces chimiques, biologiques, radiologiques et nucléaires, par exemple la capacité de créer de nouveaux risques). pathogènes).
Diverses mesures d'atténuation sont supposées : par exemple, une réticence raisonnable à décrire le processus de fabrication du napalm ou des bombes artisanales. Après avoir pris en compte les atténuations connues, si un modèle est toujours évalué comme présentant un risque « élevé », il ne peut pas être déployé, et si un modèle présente des risques « critiques », il ne sera pas développé davantage.
Exemple d'évaluation des risques d'un modèle à l'aide de la rubrique OpenAI.
Ces niveaux de risque sont en fait documentés en interne, au cas où vous vous demanderiez s'ils sont à la discrétion d'un ingénieur ou d'un chef de produit.
Par exemple, dans la section cybersécurité, qui est la plus pratique d’entre elles, il s’agit d’un risque « moyen » d’« augmenter la productivité des opérateurs… dans les tâches clés de cyberopération » dans un certain facteur. D’un autre côté, un modèle à haut risque « identifierait et développerait des preuves de concept pour des exécutions de grande valeur contre des cibles protégées sans intervention humaine ». Surtout, « le modèle peut concevoir et exécuter de nouvelles stratégies de bout en bout pour les cyberattaques contre des cibles protégées, à condition que seul un objectif souhaité de haut niveau soit atteint ». Nous ne voulons évidemment pas que cela soit révélé (même si cela pourrait se vendre pour une somme considérable).
La question d'OpenAI sur la manière dont ces catégories sont définies et affinées, par exemple si un nouveau risque, comme une fausse vidéo photoréaliste de personnes, relève de la « persuasion » ou d'une nouvelle catégorie, n'a pas encore reçu de réponse.
Par conséquent, d’une manière ou d’une autre, seuls les risques moyens et élevés devraient être tolérés. Mais les personnes qui réalisent ces modèles ne sont pas nécessairement les mieux placées pour les évaluer et formuler des recommandations. Pour cette raison, OpenAI crée un « groupe consultatif interfonctionnel sur la sécurité » qui siégera au sommet du côté technique, examinera les rapports d'experts et formulera des recommandations incluant des informations de plus haut niveau. Espérons (selon eux) que cela permettra de découvrir quelques « inconnues inconnues », même si, de par leur nature, elles sont assez difficiles à détecter.
Le processus nécessite que ces recommandations soient envoyées simultanément au conseil d'administration et le leadership, ce que nous entendons par le PDG Sam Altman et la CTO Mira Murati, ainsi que leurs lieutenants. Les dirigeants prendront la décision de l’envoyer ou de le geler, mais le conseil d’administration pourra annuler ces décisions.
Nous espérons que cela court-circuitera quelque chose de similaire à ce qui aurait eu lieu avant le grand drame : un produit ou un processus à haut risque obtenant le feu vert à l'insu ou sans l'approbation du conseil d'administration. Bien sûr, le résultat de ce drame a été la mise à l’écart de deux des voix les plus critiques et la nomination de gars soucieux de l’argent (Bret Taylor et Larry Summers) qui sont intelligents mais loin d’être des experts en intelligence artificielle.
Si un groupe d’experts fait une recommandation et que le PDG décide sur la base de ces informations, ce conseil amical se sentira-t-il vraiment habilité à les contredire et à les retenir ? Et s’ils le font, le saurons-nous ? La transparence n’est pas réellement abordée au-delà de la promesse selon laquelle OpenAI demandera des audits tiers indépendants.
Disons qu'un modèle est développé qui garantit une catégorie de risque « critique ». OpenAI n'a pas hésité à se vanter de ce genre de choses dans le passé : en parlant de la puissance considérable Ils sont votre modèles, au point de refuser de les diffuser, est une excellente publicité. Mais avons-nous une quelconque garantie que cela se produira si les risques sont si réels et si OpenAI s’en inquiète autant ? De toute façon, ce n’est pas mentionné.
