Realizámos um ensaio clínico randomizado controlado para ver quanto tempo os ferramentas de codificação de IA aceleram os desenvolvedores experientes de código aberto. Os resultados surpreenderam-nos: os desenvolvedores pensavam que eram 20% mais rápidos com as ferramentas de IA, mas na verdade eram 19% mais lentos quando tinham acesso à IA do que quando não tinham.

Recrutámos 16 desenvolvedores experientes de código aberto para trabalhar em 246 tarefas reais nos seus próprios repositórios (média de 22k+ estrelas, 1M+ linhas de código). Atribuímos aleatoriamente cada tarefa para permitir AI (tipicamente Cursor Pro com Claude 3.5/3.7) ou proibir a ajuda da AI.

No início do estudo, os desenvolvedores previram que seriam acelerados em 24%. Após realmente realizarem o trabalho, estimaram que tinham sido acelerados em 20%. Mas, na verdade, descobriram que foram desacelerados em 19%.

Quando a IA é permitida, os desenvolvedores passam menos tempo a codificar ativamente e a procurar informações, e em vez disso, passam tempo a solicitar à IA, a esperar/rever as saídas da IA e a estar inativos. Não encontramos uma única razão para a desaceleração—ela é impulsionada por uma combinação de fatores.

Por que realizámos este estudo? Os benchmarks de agentes de IA têm limitações—são autossuficientes, utilizam pontuações algorítmicas e carecem de interação humana ao vivo. Isso pode dificultar a inferência direta do impacto no mundo real. Se quisermos um sistema de alerta precoce para saber se a P&D em IA está a ser acelerada pela própria IA, ou até mesmo automatizada, seria útil poder medir isso diretamente em ensaios de engenharia no mundo real, em vez de depender de proxies como benchmarks ou até mesmo informações mais ruidosas como anedotas.

O que podemos concluir? 1. Parece provável que, para algumas configurações importantes, as ferramentas de IA recentes não tenham aumentado a produtividade (e podem, de fato, diminuí-la). 2. Os auto-relatos de aceleração são pouco confiáveis—para entender o impacto da IA na produtividade, precisamos de experimentos no mundo real.