Quão mais produtivos são os desenvolvedores que dependem de ferramentas de código de IA? Recentemente, tem havido muita especulação de que a IA torna os desenvolvedores 2, 3 ou até 5 vezes mais produtivos. Um relatório prevê multiplique a produtividade do desenvolvedor por dez até 2030.
A ironia, no entanto, é que a comunidade de engenharia, em sua maioria, não conseguiu chegar a um acordo sobre um maneira universal de medir a produtividade de engenharia. Alguns até rejeitaram a ideia completamente, argumentando que a maioria das métricas é falha ou imperfeita. A maioria das reivindicações sobre o aprimoramento da produtividade da IA hoje é qualitativa, baseada em pesquisas e anedotas, em vez de dados quantitativos.
Como podemos fazer julgamentos sobre IA sem primeiro concordar como medir a produtividade? Se aprendemos alguma coisa com o experimento do trabalho remoto, é que cambaleamos sem dados para informar nossas decisões, alternando entre estratégias de escritório, remotas e híbridas baseadas em dogmas e ideologias, em vez de dados e medições.
Estamos a caminho de fazer isso novamente com IA. Para avançar, devemos primeiro entender e quantificar seu impacto.
O risco de ficar para trás
O atual hype em torno da IA pode dar a alguns de nós um motivo para fazer uma pausa, devido ao impacto desconhecido na qualidade, risco potencial de plágio e outros fatores. As empresas mais cautelosas entraram em um padrão de espera, esperando para ver como esse novo cenário se desenrola.
No entanto, para as empresas de tecnologia, o risco de ficar para trás é existencial. AI é um acelerador duplo, afetando tanto o o que e como empresas constroem. As empresas que investem em IA hoje têm o potencial de dobrar o investimento, trazendo não apenas novos produtos com tecnologia de IA para o mercado, mas também produtos mais rápidos e baratos.
A maioria das empresas tem se concentrado no o que mas a IA pode ser o motor de como, criando a equipe de engenharia com produção 10x ou até 100x. As empresas que descobrirem como cruzar rapidamente o abismo, otimizando as ferramentas de IA da maneira mais eficiente e impactante, e atingirem o patamar de produtividade mais rapidamente, ganharão uma vantagem nos próximos anos. O risco de não fazer nada é muito alto.
Entenda as compensações
Para alguém com um martelo, tudo parece um prego. O mesmo vale para IA.
De acordo com um relatório recente do github, o principal benefício das ferramentas de codificação AI citadas pelos desenvolvedores foi melhorar suas habilidades de linguagem de codificação. Outro benefício importante é a automação de tarefas, como escrever código clichê. A experimento recente da empresa CodeCov mostrou que o ChatGPT funciona bem ao escrever testes simples para funções triviais e código relativamente simples.
Mas, como qualquer tecnologia, a IA tem seus prós e contras. Por exemplo, IA generativa e LLMs não são capazes de tarefas altamente complexas ou criativas, como migrar uma base de código de uma arquitetura para outra ou incorporar lógica de negócios em um novo recurso. Eles podem até abrir brechas de segurança imprevistas ou questões legais se os desenvolvedores aceitarem sugestões geradas por IA sem verificações de plágio, restrições de licença ou desvios gerados por IA (os chamados alucinações).
Mas a IA não precisa ser uma panaceia para mudar a forma como o software é escrito e colocado em produção. Mesmo com essas limitações, quando usado apenas de algumas maneiras precisas para ajudar nas tarefas certas, ele pode abrir novas portas que tornam essas tarefas 10 vezes mais fáceis, rápidas ou baratas.
Quantificando o impacto
A maioria dos desenvolvedores já está usando ferramentas baseadas em IA. De acordo com o GitHub, 92% dos usuários em uma pesquisa usaram ferramentas de codificação de IA no trabalho ou em seu tempo livre. Isso torna fundamental que as empresas estabeleçam linhas de base o mais rápido possível para ajudar a comparar a produtividade antes e depois da implementação de novas ferramentas de IA.
Mesmo métricas de proxy simples podem fornecer informações quantitativas sobre o impacto de novas ferramentas. Por exemplo em uma investigação em uma comunidade De mais de 400.000 desenvolvedores, parece que aqueles que usam o GitHub Copilot estão inserindo 1,3 vezes mais caracteres e 1,22 vezes mais linhas de código na mesma quantidade de tempo que os desenvolvedores que não usam o assistente de codificação AI. . Embora alterar mais linhas de código não signifique necessariamente maior produtividade, a taxa crescente na qual os desenvolvedores que usam o GitHub Copilot podem escrever código, sejam testes de unidade, funções ou outro código clichê, fornece evidências de que eles estão economizando tempo e esforço em tarefas repetitivas.
Da mesma forma, medir quantos recursos uma equipe pode oferecer antes e depois de investir em ferramentas de IA pode ajudar a quantificar o impacto. As melhorias no número de recursos entregues por engenheiro (juntamente com um custo menor por recurso entregue) tornam um caso de negócios mais forte para continuar investindo em ferramentas de IA.
Retornos positivos sobre investimentos em IA: Investir em ferramentas de IA pode desbloquear o desenvolvimento de novos recursos. Créditos da imagem: Software.com
A comparação de recursos entregues para remover ou refatorar também pode ajudá-lo a entender o impacto que a IA tem na qualidade. As empresas que enfrentam problemas de qualidade como resultado da implementação de novas ferramentas de codificação de IA gastarão mais tempo na rotação de código para remoção e refatoração ineficientes de código e menos tempo desenvolvendo novos recursos.
Embora uma certa quantidade de atualização e refatoração seja necessária, uma quantidade crescente pode indicar que o ROI dessas ferramentas é menos atraente e afeta significativamente a qualidade.
Impacto da IA na qualidade: o aumento da rotatividade e da refatoração é um sinal de problemas de qualidade da IA. Créditos da imagem: Software.com
Fazendo os investimentos certos
Para responder se a IA melhora a produtividade do desenvolvedor, é preciso primeiro obter visibilidade de seu impacto: onde, quando e como no processo de desenvolvimento a IA provavelmente terá o maior retorno sobre o investimento. Com tanto entusiasmo em torno da IA generativa, é mais importante do que nunca descobrir os dados certos para chegar à verdade.
À medida que as empresas investem em ferramentas de desenvolvimento de IA, elas podem capacitar suas equipes aplicando insights ao desenvolvimento de software. A observabilidade não apenas ajuda você a aprender mais rapidamente sobre os limites e oportunidades da IA, mas também abre as portas para conversas sobre outros fatores que afetam a produtividade, como trabalho remoto, DevOps e plataformas de desenvolvimento interno.
Pode haver pouca dúvida de que a IA tem um papel na melhoria da produtividade, mas requer examinar os fatos para entender como e, em seguida, tomar decisões informadas.
