Intelligence artificielle
Les flux de travail des ingénieurs logiciels ont été transformés ces dernières années par un afflux d'outils de codage d'IA tels que Curseur y Copilote GitHub, qui promettent d'améliorer la productivité. Cependant, nouvelle étude publié par le groupe de recherche à but non lucratif sur l'IA TEMI interroge dans quelle mesure ces outils améliorent la productivité des développeurs expérimentés.
L'étude : un essai contrôlé avec des développeurs experts
METR a mené un essai contrôlé randomisé auprès de 16 développeurs open source expérimentés et leur a demandé d'effectuer 246 tâches concrètes dans de grands référentiels auxquels ils contribuent régulièrement. Environ la moitié des tâches étaient autorisées par l'IA, autorisant l'utilisation d'outils de pointe comme Cursor Pro, tandis que l'autre moitié interdisait leur utilisation.
Avant de commencer, les développeurs avaient prédit que l'utilisation d'outils d'IA réduirait leur temps de réalisation de 24 %. Les résultats ont été stupéfiants.
Productivité avec l'IA : prévisions et réalité
| Prévisions des développeurs | -24% | |||
| Résultat réel de l'étude | + 19% | |||
Remarque : Variation du temps d’exécution des tâches. Source : METR.
« Étonnamment, nous avons constaté que l’activation de l’IA augmente en réalité le temps d’exécution de 19 % : les développeurs sont plus lents lorsqu’ils utilisent des outils d’IA. »
– Chercheurs du METR
Pourquoi l’IA a-t-elle ralenti les développeurs ?
Les chercheurs du METR évoquent plusieurs raisons potentielles. Les développeurs passent beaucoup plus de temps à créer des invites et à attendre des réponses qu'à coder. De plus, l'IA a tendance à avoir des difficultés avec des bases de code volumineuses et complexes comme celles utilisées dans le test. Il est important de noter que seulement 56 % des développeurs participant à l'étude avaient une expérience préalable de Cursor, bien que tous aient été formés à son utilisation.
Contexte et conclusions
Les auteurs de l’étude sont prudents et ne tirent pas de conclusions définitives, reconnaissant que d’autres études à grande échelle Ils ont démontré que les outils de codage accélèrent les flux de travail. Ils soulignent également que les progrès de l'IA sont si rapides qu'ils ne s'attendraient pas aux mêmes résultats dans trois mois.
Cependant, cette recherche offre une autre raison d'être sceptique quant aux gains de productivité promis. D'autres études ont montré que les outils de codage d'IA actuels peuvent introduire erreurs de sécurité et vulnérabilitésLes conclusions de METR suggèrent que les développeurs ne devraient pas supposer que les outils d'IA, en particulier les « codeurs d'ambiance », accéléreront immédiatement leurs flux de travail dans tous les scénarios.
