Inteligencia Artificial
Los flujos de trabajo de los ingenieros de software se han transformado en los últimos años mediante una afluencia de herramientas de codificación de IA como Cursor y GitHub Copilot, que prometen mejorar la productividad. Sin embargo, un nuevo estudio publicado por el grupo de investigación de IA sin fines de lucro METR cuestiona hasta qué punto estas herramientas mejoran la productividad de los desarrolladores experimentados.
El estudio: una prueba controlada con desarrolladores expertos
METR realizó un ensayo controlado aleatorio reclutando a 16 desarrolladores de código abierto con experiencia y les pidió que completaran 246 tareas reales en repositorios grandes en los que contribuyen regularmente. Aproximadamente la mitad de las tareas se asignaron como «permitidas por IA», dando permiso para usar herramientas de última generación como Cursor Pro, mientras que la otra mitad prohibió su uso.
Antes de empezar, los desarrolladores pronosticaron que el uso de herramientas de IA reduciría su tiempo de finalización en un 24%. Los resultados fueron sorprendentes.
Productividad con IA: Pronóstico vs. Realidad
| Pronóstico de los Desarrolladores | -24% | |||
| Resultado Real del Estudio | +19% | |||
Nota: Variación en el tiempo de finalización de tareas. Fuente: METR.
«Sorprendentemente, encontramos que permitir la IA en realidad aumenta el tiempo de finalización en un 19%: los desarrolladores son más lentos cuando utilizan herramientas de IA.»
– Investigadores de METR
¿Por qué la IA ralentizó a los desarrolladores?
Los investigadores de METR señalan algunas razones potenciales. Los desarrolladores pasan mucho más tiempo creando prompts y esperando respuestas que codificando. Además, la IA tiende a tener dificultades en bases de código grandes y complejas como las utilizadas en la prueba. Es importante notar que solo el 56% de los desarrolladores del estudio tenían experiencia previa con Cursor, aunque todos fueron entrenados para usar la herramienta.
Contexto y conclusiones
Los autores del estudio son cautelosos y no extraen conclusiones definitivas, reconociendo que otros estudios a gran escala han demostrado que las herramientas de codificación aceleran los flujos de trabajo. También señalan que el progreso de la IA es tan rápido que no esperarían los mismos resultados dentro de tres meses.
Sin embargo, la investigación ofrece otra razón para ser escépticos sobre las ganancias de productividad prometidas. Otros estudios han demostrado que las herramientas de codificación de IA actuales pueden introducir errores y vulnerabilidades de seguridad. Los hallazgos de METR sugieren que los desarrolladores no deben asumir que las herramientas de IA, especialmente los «codificadores de ambiente» (vibe coders), acelerarán inmediatamente sus flujos de trabajo en todos los escenarios.
