Dans quelle mesure les développeurs qui s'appuient sur des outils de code IA sont-ils plus productifs ? Récemment, il y a eu beaucoup de spéculations selon lesquelles l'IA rend les développeurs 2, 3 ou même 5 fois plus productifs. Un rapport prédit décupler la productivité des développeurs d'ici 2030.
L'ironie, cependant, est que la communauté des ingénieurs, pour la plupart, n'a pas été en mesure de s'entendre sur un moyen universel de mesurer la productivité d'ingénierie. Certains ont même carrément rejeté l'idée, arguant que la plupart des mesures sont erronées ou imparfaites. Aujourd'hui, la plupart des affirmations concernant l'amélioration de la productivité de l'IA sont qualitatives, basées sur des enquêtes et des anecdotes, plutôt que sur des données quantitatives.
Comment pouvons-nous porter des jugements sur l'IA sans d'abord nous mettre d'accord sur la façon de mesurer la productivité ? Si nous avons appris quelque chose de l'expérience du travail à distance, c'est que nous chancelons sans données pour éclairer nos décisions, passant de stratégies de bureau, à distance et hybrides basées sur des dogmes et des idéologies plutôt que sur des données et des mesures.
Nous sommes sur le point de le refaire avec l'IA. Pour avancer, il faut d'abord comprendre et quantifier son impact.
Le risque d'être laissé pour compte
Le battage médiatique actuel autour de l'IA peut donner à certains d'entre nous une raison de faire une pause, en raison de l'impact inconnu sur la qualité, du risque potentiel de plagiat et d'autres facteurs. Les entreprises les plus prudentes sont entrées dans un schéma d'attente, attendant de voir comment ce nouveau scénario se déroulera.
Cependant, pour les entreprises axées sur la technologie, le risque d'être laissé pour compte est existentiel. L'IA est un double accélérateur, affectant à la fois Quoi et comment les entreprises construisent. Les entreprises qui investissent dans l'IA aujourd'hui ont le potentiel de doubler leurs investissements en mettant sur le marché non seulement de nouveaux produits alimentés par l'IA, mais aussi des produits plus rapides et moins chers.
La plupart des entreprises se sont concentrées sur Quoi mais l'IA pourrait être le moteur de comment, créant l'équipe d'ingénierie avec une production 10x voire 100x. Les entreprises qui découvrent comment franchir rapidement le gouffre, en optimisant les outils d'IA de la manière la plus efficace et la plus percutante, et atteindre le plateau de productivité plus rapidement prendront une longueur d'avance pour les années à venir. Le risque de ne rien faire est trop élevé.
Comprendre les compromis
Pour quelqu'un avec un marteau, tout ressemble à un clou. Il en va de même pour l'IA.
Selon un rapport github récent, le principal avantage des outils de codage IA cités par les développeurs était d'améliorer leurs compétences en langage de codage. Un autre avantage clé est l'automatisation des tâches, telles que l'écriture de code passe-partout. UN récente expérimentation de la société CodeCov a montré que ChatGPT fonctionne bien lors de l'écriture de tests simples pour des fonctions triviales et du code relativement simple.
Mais comme toute technologie, l'IA a ses avantages et ses inconvénients. Par exemple, l'IA générative et les LLM ne sont pas capables d'effectuer des tâches hautement complexes ou créatives, telles que la migration d'une base de code d'une architecture à une autre ou l'incorporation d'une logique métier dans une nouvelle fonctionnalité. Ils pourraient même ouvrir des failles de sécurité imprévues ou des questions juridiques si les développeurs acceptent les suggestions générées par l'IA sans contrôles de plagiat, restrictions de licence ou contournements générés par l'IA (soi-disant hallucinations).
Mais l'IA n'a pas besoin d'être une panacée pour changer la façon dont les logiciels sont écrits et mis en production. Même avec ces limitations, lorsqu'il est utilisé de quelques manières précises pour aider aux bonnes tâches, il peut ouvrir de nouvelles portes qui rendent ces tâches 10 fois plus faciles, plus rapides ou moins chères.
Quantifier l'impact
La plupart des développeurs utilisent déjà des outils alimentés par l'IA. D'après GitHub, 92 % des utilisateurs interrogés dans le cadre d'une enquête ont utilisé des outils de codage IA au travail ou pendant leur temps libre. Il est donc essentiel pour les entreprises d'établir des références dès que possible pour aider à comparer la productivité avant et après la mise en œuvre de nouveaux outils d'IA.
Même de simples métriques proxy peuvent fournir des informations quantitatives sur l'impact des nouveaux outils. Par exemple dans une enquête dans une communauté Sur plus de 400.000 1,3 développeurs, il apparaît que ceux qui utilisent GitHub Copilot insèrent 1,22 fois plus de caractères et XNUMX fois plus de lignes de code dans le même laps de temps que les développeurs n'utilisant pas l'assistant de codage AI. . Bien que la modification de plusieurs lignes de code ne soit pas nécessairement synonyme d'amélioration de la productivité, la vitesse croissante à laquelle les développeurs utilisant GitHub Copilot peuvent écrire du code, qu'il s'agisse de tests unitaires, de fonctions ou d'autres codes passe-partout, prouve qu'ils économisent du temps et des efforts. sur les tâches répétitives.
De même, mesurer le nombre de fonctionnalités qu'une équipe peut fournir avant et après avoir investi dans des outils d'IA peut aider à quantifier l'impact. L'amélioration du nombre de fonctionnalités fournies par ingénieur (ainsi qu'un coût inférieur par fonctionnalité fournie) constitue un argument commercial plus solide pour continuer à investir dans les outils d'IA.
Retours positifs sur les investissements en IA : Investir dans des outils d'IA peut débloquer le développement de nouvelles fonctionnalités. Crédits image : Software.com
La comparaison des fonctionnalités fournies à supprimer ou à refactoriser peut également vous aider à comprendre l'impact de l'IA sur la qualité. Les entreprises qui rencontrent des problèmes de qualité à la suite de la mise en œuvre de nouveaux outils de codage IA consacreront plus de temps à la rotation du code pour la suppression et la refactorisation inefficaces du code et moins de temps à développer de nouvelles fonctionnalités.
Bien qu'une certaine quantité de mise à jour et de refactorisation soit nécessaire, une quantité croissante peut indiquer que le retour sur investissement de ces outils est moins convaincant et a un impact significatif sur la qualité.
Impact de l'IA sur la qualité : l'augmentation du chiffre d'affaires et de la refactorisation est un signe de problèmes de qualité de l'IA. Crédits image : Software.com
Faire les bons investissements
Afin de déterminer si l'IA améliore la productivité des développeurs, il faut d'abord gagner en visibilité sur son impact : où, quand et comment dans le processus de développement, l'IA est susceptible d'avoir le meilleur retour sur investissement. Avec tant de battage médiatique et d'excitation autour de l'IA générative, il est plus important que jamais de découvrir les bonnes données pour découvrir la vérité.
Au fur et à mesure que les entreprises investissent dans des outils de développement d'IA, elles peuvent responsabiliser leurs équipes en appliquant leurs connaissances au développement de logiciels. L'observabilité vous aide non seulement à découvrir plus rapidement les limites et les opportunités de l'IA, mais ouvre également la porte à des conversations sur d'autres facteurs qui affectent la productivité, tels que le travail à distance, DevOps et les plateformes de développement internes.
Il ne fait aucun doute que l'IA joue un rôle dans l'amélioration de la productivité, mais elle nécessite d'examiner les faits pour comprendre comment, puis de prendre des décisions éclairées.
