Realizamos un ensayo controlado aleatorizado para ver cuánto aceleran las herramientas de codificación de IA a los desarrolladores experimentados de código abierto. Los resultados nos sorprendieron: los desarrolladores pensaban que eran un 20% más rápidos con las herramientas de IA, pero en realidad eran un 19% más lentos cuando tenían acceso a la IA que cuando no lo tenían.

Reclutamos a 16 desarrolladores de código abierto experimentados para trabajar en 246 tareas reales en sus propios repositorios (promedio de más de 22k estrellas, más de 1M de líneas de código). Asignamos aleatoriamente cada tarea para permitir la ayuda de IA (típicamente Cursor Pro con Claude 3.5/3.7) o deshabilitar la ayuda de IA.

Al principio del estudio, los desarrolladores pronosticaron que se acelerarían en un 24%. Después de realizar el trabajo, estimaron que se habían acelerado en un 20%. Pero resultó que, en realidad, se habían ralentizado en un 19%.

Cuando se permite la IA, los desarrolladores pasan menos tiempo codificando activamente y buscando información, y en su lugar pasan tiempo solicitando a la IA, esperando/revisando las salidas de la IA y en inactividad. No encontramos una sola razón para la desaceleración; está impulsada por una combinación de factores.

¿Por qué realizamos este estudio? Los benchmarks de agentes de IA tienen limitaciones: son autocontenidos, utilizan puntuaciones algorítmicas y carecen de interacción humana en vivo. Esto puede dificultar la inferencia directa del impacto en el mundo real. Si queremos un sistema de alerta temprana para saber si la I+D de IA está siendo acelerada por la propia IA, o incluso automatizada, sería útil poder medir esto directamente en ensayos de ingeniería en el mundo real, en lugar de depender de proxies como benchmarks o incluso información más ruidosa como anécdotas.

¿Qué debemos llevarnos? 1. Parece probable que para algunos ajustes importantes, las herramientas de IA recientes no han aumentado la productividad (y de hecho pueden disminuirla). 2. Los autoinformes de aceleración son poco fiables; para entender el impacto de la IA en la productividad, necesitamos experimentos en el mundo real.