Quanto sono più produttivi gli sviluppatori che si affidano agli strumenti di codice AI? Di recente, ci sono state molte speculazioni sul fatto che l'IA renda gli sviluppatori 2, 3 o anche 5 volte più produttivi. Lo prevede un rapporto moltiplicare la produttività degli sviluppatori di dieci volte entro il 2030.
L'ironia, tuttavia, è che la comunità ingegneristica, per la maggior parte, non è riuscita a mettersi d'accordo su a modo universale per misurare la produttività di ingegneria. Alcuni hanno addirittura respinto l'idea in toto, sostenendo che la maggior parte delle metriche sono difettose o imperfette. La maggior parte delle affermazioni sul miglioramento della produttività dell'IA oggi sono qualitative, basate su sondaggi e aneddoti, piuttosto che su dati quantitativi.
Come possiamo esprimere giudizi sull'intelligenza artificiale senza prima concordare come misurare la produttività? Se abbiamo imparato qualcosa dall'esperimento del lavoro a distanza, è che vacilliamo senza dati per informare le nostre decisioni, spostandoci tra ufficio, remoto e strategie ibride basate su dogmi e ideologie piuttosto che su dati e misurazioni.
Siamo sulla buona strada per farlo di nuovo con l'IA. Per andare avanti, dobbiamo prima capire e quantificare il suo impatto.
Il rischio di restare indietro
L'attuale clamore sull'intelligenza artificiale potrebbe dare ad alcuni di noi un motivo per fermarsi, a causa dell'impatto sconosciuto sulla qualità, del potenziale rischio di plagio e di altri fattori. Le società più prudenti sono entrate in un modello di holding, in attesa di vedere come si evolverà questo nuovo scenario.
Tuttavia, per le aziende abilitate alla tecnologia, il rischio di rimanere indietro è esistenziale. L'intelligenza artificiale è un doppio acceleratore, che colpisce sia il cosa e come le aziende costruiscono. Le aziende che oggi investono nell'intelligenza artificiale hanno il potenziale per raddoppiare gli investimenti introducendo sul mercato non solo nuovi prodotti basati sull'intelligenza artificiale, ma anche prodotti più veloci ed economici.
La maggior parte delle aziende si è concentrata sul cosa ma l'intelligenza artificiale potrebbe essere il motore di come, creando il team di ingegneri con una produzione 10x o addirittura 100x. Le aziende che capiranno come attraversare rapidamente il baratro, ottimizzando gli strumenti di intelligenza artificiale nel modo più efficiente e di impatto, e raggiungere più rapidamente il plateau della produttività guadagneranno un vantaggio per gli anni a venire. Il rischio di non fare nulla è troppo alto.
Comprendi i compromessi
A qualcuno con un martello, tutto sembra un chiodo. Lo stesso vale per l'IA.
Secondo a recente rapporto github, il vantaggio principale degli strumenti di codifica AI citati dagli sviluppatori è stato quello di migliorare le loro abilità linguistiche di programmazione. Un altro vantaggio chiave è l'automazione delle attività, come la scrittura di codice boilerplate. UN recente esperimento della società CodeCov ha mostrato che ChatGPT funziona bene quando si scrivono semplici test per funzioni banali e codice relativamente semplice.
Ma come ogni tecnologia, l'IA ha i suoi pro e contro. Ad esempio, l'IA generativa e gli LLM non sono in grado di svolgere attività altamente complesse o creative, come la migrazione di una base di codice da un'architettura a un'altra o l'incorporazione della logica aziendale in una nuova funzionalità. Potrebbero persino aprire buchi di sicurezza imprevisti o questioni legali se gli sviluppatori accettano suggerimenti generati dall'IA senza controlli di plagio, restrizioni di licenza o bypass generati dall'IA (i cosiddetti allucinazioni).
Ma l'intelligenza artificiale non deve essere una panacea per cambiare il modo in cui il software viene scritto e messo in produzione. Anche con queste limitazioni, se utilizzato solo in pochi modi precisi per aiutare con le attività giuste, può aprire nuove porte che rendono tali attività 10 volte più facili, veloci o economiche.
Quantificare l'impatto
La maggior parte degli sviluppatori utilizza già strumenti basati sull'intelligenza artificiale. Secondo Github, il 92% degli utenti in un sondaggio ha utilizzato strumenti di codifica AI al lavoro o nel tempo libero. Ciò rende fondamentale per le aziende stabilire le linee di base il prima possibile per aiutare a confrontare la produttività prima e dopo l'implementazione di nuovi strumenti di intelligenza artificiale.
Anche semplici metriche proxy possono fornire informazioni quantitative sull'impatto dei nuovi strumenti. Ad esempio dentro un'indagine in una comunità Da oltre 400.000 sviluppatori, sembra che coloro che utilizzano GitHub Copilot stiano inserendo 1,3 volte il numero di caratteri e 1,22 volte il numero di righe di codice nello stesso lasso di tempo degli sviluppatori che non utilizzano l'assistente di codifica AI. . Mentre la modifica di più righe di codice non equivale necessariamente a una maggiore produttività, la velocità crescente con cui gli sviluppatori che utilizzano GitHub Copilot possono scrivere codice, che si tratti di unit test, funzioni o altro codice boilerplate, dimostra che stanno risparmiando tempo e fatica su compiti ripetitivi.
Allo stesso modo, misurare il numero di funzionalità che un team può fornire prima e dopo aver investito in strumenti di intelligenza artificiale può aiutare a quantificare l'impatto. I miglioramenti nel numero di funzionalità fornite per ingegnere (insieme a un costo inferiore per funzionalità fornita) costituiscono un caso aziendale più forte per continuare a investire negli strumenti di intelligenza artificiale.
Ritorni positivi sugli investimenti in intelligenza artificiale: investire in strumenti di intelligenza artificiale può sbloccare lo sviluppo di nuove funzionalità. Crediti immagine: Software.com
Il confronto delle funzionalità fornite per la rimozione o il refactoring può anche aiutarti a comprendere l'impatto che l'IA ha sulla qualità. Le aziende che riscontrano problemi di qualità a seguito dell'implementazione di nuovi strumenti di codifica AI dedicheranno più tempo alla rotazione del codice per la rimozione e il refactoring inefficienti del codice e meno tempo allo sviluppo di nuove funzionalità.
Sebbene sia necessaria una certa quantità di aggiornamenti e refactoring, una quantità crescente può indicare che il ROI di tali strumenti è meno convincente e ha un impatto significativo sulla qualità.
Impatto dell'IA sulla qualità: l'aumento del turnover e del refactoring è un segno di problemi di qualità dell'IA. Crediti immagine: Software.com
Fare i giusti investimenti
Per rispondere se l'IA migliora la produttività degli sviluppatori, è necessario prima ottenere visibilità sul suo impatto: dove, quando e come nel processo di sviluppo è probabile che l'IA abbia il massimo ritorno sull'investimento. Con così tanto clamore ed entusiasmo attorno all'IA generativa, è più importante che mai scoprire i dati giusti per arrivare alla verità.
Man mano che le aziende investono in strumenti di sviluppo dell'intelligenza artificiale, possono potenziare i propri team applicando le informazioni allo sviluppo del software. L'osservabilità non solo ti aiuta a conoscere più velocemente i limiti e le opportunità dell'IA, ma apre anche la porta a conversazioni su altri fattori che influiscono sulla produttività, come il lavoro remoto, DevOps e piattaforme di sviluppo interne.
Non ci possono essere dubbi sul fatto che l'IA abbia un ruolo nel migliorare la produttività, ma richiede l'esame dei fatti per capire come e quindi prendere decisioni informate.
