Nach einer aktuellen Studie, Softwareingenieure, die KI-Systeme zum Generieren von Code verwenden, verursachen mit größerer Wahrscheinlichkeit Sicherheitslücken in den von ihnen entwickelten Anwendungen. Das Papier, das von einem Team von mit Stanford verbundenen Forschern mitverfasst wurde, hebt die potenziellen Fallstricke von Codegenerierungssystemen hervor, wenn Anbieter wie GitHub beginnen, sie ernsthaft zu kommerzialisieren.
«Aktuell sind Codegenerierungssysteme kein Ersatz für menschliche Entwickler»Neil Perry, Doktorand in Stanford und Co-Hauptautor der Studie, erklärt in einem E-Mail-Interview. „Entwickler, die sie verwenden, um Aufgaben außerhalb ihres eigenen Fachgebiets zu erledigen, sollten besorgt sein, und diejenigen, die sie verwenden, um Aufgaben zu beschleunigen, mit denen sie bereits vertraut sind, sollten die Ergebnisse und den Kontext, in dem sie im Spiel verwendet werden, sorgfältig prüfen.“ allgemeines Projekt .»
Die Stanford-Studie konzentrierte sich speziell auf Codex, das vom in San Francisco ansässigen Forschungslabor OpenAI entwickelte KI-Codegenerierungssystem. Die Forscher rekrutierten 47 Entwickler – von College-Studenten bis hin zu Branchenexperten mit jahrzehntelanger Programmiererfahrung –, um mit Codex sicherheitsrelevante Probleme in Programmiersprachen wie Python, JavaScript und C zu lösen.
Codex wird mit Milliarden von Zeilen öffentlichen Codes trainiert, um zusätzliche Codezeilen und Funktionen basierend auf dem Kontext des vorhandenen Codes vorzuschlagen. Das System schlägt einen Programmieransatz oder eine Programmierlösung als Reaktion auf eine Beschreibung dessen vor, was ein Programmierer erreichen möchte (z. B. „Sag hallo Welt“), basierend sowohl auf seiner Wissensbasis als auch auf dem aktuellen Kontext.
Den Forschern zufolge schrieben Studienteilnehmer, die Zugang zu Codex hatten, im Vergleich zu einer Kontrollgruppe mit größerer Wahrscheinlichkeit falsche und „unsichere“ (im Sinne der Cybersicherheit) Lösungen für Programmierprobleme. Und was noch besorgniserregender ist, sie sagten im Vergleich zu den Personen in der Kontrollgruppe eher, dass ihre unsicheren Antworten sicher seien.
megha srivastava, ein Doktorand in Stanford und der zweite Co-Autor der Studie, betont, dass die Ergebnisse keine vollständige Verurteilung von Codex und anderen Codegenerierungssystemen sind. So verfügten die Studienteilnehmer beispielsweise nicht über Sicherheitskenntnisse, die es ihnen ermöglicht hätten, Schwachstellen im Code besser zu erkennen. Abgesehen davon glaubt Srivastava, dass Codegenerierungssysteme für nicht risikoreiche Aufgaben wie explorativen Forschungscode nützlich sind und dass sie ihre Codierungsvorschläge durch Feinabstimmung verbessern könnten.
„Unternehmen, die ihre eigenen [Systeme] entwickeln, vielleicht mit mehr Training für ihren internen Quellcode, könnten besser abschneiden, da das Modell ermutigt werden könnte, Ergebnisse zu produzieren, die mehr mit ihren Codierungs- und Sicherheitspraktiken übereinstimmen.“sagt Srivastava.
Wie also könnten Anbieter wie GitHub Entwickler daran hindern, Sicherheitslücken mit ihren codegenerierenden KI-Systemen einzuführen? Die Co-Autoren haben ein paar Ideen, darunter einen Mechanismus zur "Verfeinerung" von Benutzeranweisungen, um sie sicherer zu machen, ähnlich wie ein Supervisor, der Code-Entwürfe durchgeht und überprüft. Sie schlagen auch vor, dass Entwickler kryptografischer Bibliotheken sicherstellen, dass ihre Standardkonfigurationen sicher sind, da Codegenerierungssysteme dazu neigen, sich an Standardeinstellungen zu halten, die nicht immer Exploit-frei sind.
„Tools zur Generierung von KI-Assistenzcodes sind eine wirklich aufregende Entwicklung und verständlicherweise sind so viele Menschen begierig darauf, sie zu verwenden. Es gibt jedoch Probleme mit diesen Tools, die in Zukunft berücksichtigt werden müssen … Unser Ziel ist es, eine breitere Aussage über die Verwendung von Codegenerierungsmodellen zu treffen.“sagt Perri. "Wir müssen diese Probleme weiter erforschen und Techniken entwickeln, um sie zu lösen."
Nach Ansicht von Perry ist das Einschleusen von Sicherheitslücken nicht der einzige Fehler in Code-generierenden KI-Systemen. Zumindest ein Teil des Codes, mit dem Codex trainiert wurde, steht unter einer restriktiven Lizenz; Benutzer konnten Copilot bitten, Quake-Code, Codeausschnitte aus persönlichen Codebasen und Beispielcode aus Büchern wie „Mastering JavaScript“ und „Think JavaScript“ zu generieren. Einige Rechtsexperten haben argumentiert, dass Copilot Unternehmen und Entwickler gefährden könnte, wenn sie versehentlich urheberrechtlich geschützte Hinweise des Tools in ihre Produktionssoftware einbauen.
GitHubs Versuch, dies zu korrigieren, ist ein Filter, der erstmals im Juni auf der Copilot-Plattform eingeführt wurde und Codehinweise mit ihrem umgebenden Code von etwa 150 Zeichen mit dem öffentlichen Code von GitHub vergleicht und die Hinweise ausblendet, wenn es eine Übereinstimmung oder einen „Beinahe-Zufall“ gibt. Aber es ist ein unvollkommenes Maß. Tim Davis, Informatikprofessor an der Texas A&M University, stellte fest, dass das Einschalten des Filters dazu führte, dass Copilot große Teile seines urheberrechtlich geschützten Codes ausgab, einschließlich aller Lizenz- und Zuordnungstexte.
„[Aus diesen Gründen] warnen wir dringend davor, diese Tools als Ersatz für die Schulung von Anfängerentwicklern in soliden Programmierpraktiken zu verwenden“, fügte Srivastava hinzu.
