Realizamos um estudo controlado randomizado para ver o quanto as ferramentas de codificação de IA aceleram os desenvolvedores de código aberto experientes. Os resultados nos surpreenderam: os desenvolvedores pensaram que eram 20% mais rápidos com ferramentas de IA, mas na verdade eram 19% mais lentos quando tinham acesso à IA do que quando não tinham.

Recrutamos 16 desenvolvedores experientes de código aberto para trabalhar em 246 tarefas reais em seus próprios repositórios (média de 22k+ estrelas, 1M+ linhas de código). Atribuímos aleatoriamente cada tarefa para permitir IA (normalmente Cursor Pro com Claude 3.5 / 3.7) ou não permitir ajuda de IA.

No início do estudo, os desenvolvedores previram que seriam acelerados em 24%. Depois de realmente fazer o trabalho, eles estimaram que haviam sido acelerados em 20%. Mas descobriu-se que eles foram realmente desacelerados em 19%.

Quando a IA é permitida, os desenvolvedores gastam menos tempo codificando e pesquisando informações ativamente e, em vez disso, gastam tempo solicitando IA, aguardando/revisando saídas de IA e ociosas. Não encontramos uma razão única para a desaceleração - ela é impulsionada por uma combinação de fatores.

Por que realizamos este estudo? Os benchmarks de agentes de IA têm limitações: eles são independentes, usam pontuação algorítmica e não têm interação humana ao vivo. Isso pode dificultar a inferência direta do impacto no mundo real. Se quisermos um sistema de alerta precoce para saber se a pesquisa e desenvolvimento de IA está sendo acelerada pela própria IA, ou mesmo automatizada, seria útil poder medir isso diretamente em testes de engenheiros do mundo real, em vez de depender de proxies como benchmarks ou informações ainda mais ruidosas, como anedotas.

O que tiramos? 1. Parece provável que, para algumas configurações importantes, as ferramentas recentes de IA não tenham aumentado a produtividade (e podem, de fato, diminuí-la). 2. Os autorrelatos de aceleração não são confiáveis - para entender o impacto da IA na produtividade, precisamos de experimentos na natureza.