De acordo com um estudo recente, Os engenheiros de software que usam sistemas de IA para gerar código têm maior probabilidade de causar vulnerabilidades de segurança nos aplicativos que desenvolvem. O artigo, de coautoria de uma equipe de pesquisadores afiliados a Stanford, destaca as possíveis armadilhas dos sistemas de geração de código à medida que fornecedores como o GitHub começam a comercializá-los a sério.
«Atualmente, os sistemas de geração de código não substituem os desenvolvedores humanos»Neil Perry, estudante de doutorado em Stanford e co-autor principal do estudo, explica em uma entrevista por e-mail. “Desenvolvedores que os utilizam para realizar tarefas fora de sua área de atuação devem se preocupar, e aqueles que os utilizam para agilizar tarefas que já são adeptos devem verificar cuidadosamente os resultados e o contexto em que são utilizados no jogo. .»
O estudo de Stanford se concentrou especificamente no Codex, o sistema de geração de código de IA desenvolvido pelo laboratório de pesquisa OpenAI, com sede em São Francisco. Os pesquisadores recrutaram 47 desenvolvedores – de estudantes universitários a profissionais da indústria com décadas de experiência em programação – para usar o Codex para resolver problemas relacionados à segurança em linguagens de programação como Python, JavaScript e C.
O Codex é treinado em bilhões de linhas de código público para sugerir linhas adicionais de código e recursos com base no contexto do código existente. O sistema propõe uma abordagem ou solução de programação em resposta a uma descrição do que um programador deseja alcançar (por exemplo, "Diga olá mundo"), com base em sua base de conhecimento e no contexto atual.
De acordo com os pesquisadores, os participantes do estudo que tiveram acesso ao Codex eram mais propensos a escrever soluções incorretas e "inseguras" (no sentido de segurança cibernética) para problemas de programação em comparação com um grupo de controle. E o que é ainda mais preocupante, eles eram mais propensos a dizer que suas respostas inseguras eram seguras em comparação com as pessoas do grupo de controle.
megha srivastava, estudante de pós-graduação em Stanford e segundo coautor do estudo, enfatiza que os resultados não são uma condenação completa do Codex e de outros sistemas de geração de código. Por exemplo, os participantes do estudo não tinham conhecimento de segurança que lhes permitisse detectar melhor as vulnerabilidades no código. Fora isso, Srivastava acredita que os sistemas de geração de código são úteis para tarefas sem alto risco, como código de pesquisa exploratória, e que eles podem melhorar suas sugestões de codificação com ajuste fino.
"As empresas que desenvolvem seus próprios [sistemas], talvez com mais treinamento em seu código-fonte interno, podem se sair melhor, pois o modelo pode ser incentivado a produzir resultados mais alinhados com suas práticas de codificação e segurança"diz Srivastava.
Então, como provedores como o GitHub podem impedir que desenvolvedores introduzam falhas de segurança usando seus sistemas de IA geradores de código? Os co-autores têm algumas ideias, incluindo um mecanismo para "refinar" as instruções do usuário para torná-las mais seguras, como um supervisor examinando e revisando rascunhos de código. Eles também sugerem que os desenvolvedores de bibliotecas criptográficas garantam que suas configurações padrão sejam seguras, pois os sistemas de geração de código tendem a seguir padrões que nem sempre são livres de exploração.
“As ferramentas de geração de código assistente de IA são um desenvolvimento realmente empolgante e, compreensivelmente, muitas pessoas estão ansiosas para usá-las. No entanto, há problemas com essas ferramentas que precisam ser considerados daqui para frente… Nosso objetivo é fazer uma declaração mais ampla sobre o uso de modelos de geração de código.”diz Perry. "Devemos continuar a explorar esses problemas e desenvolver técnicas para resolvê-los."
Na opinião de Perry, a introdução de vulnerabilidades de segurança não é a única falha nos sistemas de IA geradores de código. Pelo menos parte do código no qual o Codex foi treinado está sob uma licença restritiva; Os usuários podem pedir ao Copilot para gerar código Quake, trechos de código de bases de código pessoais e código de amostra de livros como "Mastering JavaScript" e "Think JavaScript". Alguns especialistas jurídicos argumentaram que o Copilot poderia colocar empresas e desenvolvedores em perigo se inadvertidamente incorporassem dicas de direitos autorais da ferramenta em seu software de produção.
A tentativa do GitHub de corrigir isso é um filtro, introduzido pela primeira vez na plataforma Copilot em junho, que verifica as dicas de código em relação ao código circundante de cerca de 150 caracteres em relação ao código público do GitHub e oculta as dicas se houver uma correspondência ou "quase coincidência". Mas é uma medida imperfeita. Tim Davis, professor de ciência da computação na Texas A&M University, descobriu que ativar o filtro fazia com que o Copilot produzisse grandes pedaços de seu código protegido por direitos autorais, incluindo todos os textos de licença e atribuição.
"[Por essas razões,] alertamos fortemente contra o uso dessas ferramentas como um substituto para educar os desenvolvedores iniciantes sobre boas práticas de codificação", acrescentou Srivastava.
