Estudo mostra que assistentes de programação com IA na verdade desaceleram desenvolvedores experientes
Desenvolvedores levaram 19% mais tempo para concluir tarefas usando ferramentas de IA
Em um desdobramento surpreendente para o mundo em rápida evolução da inteligência artificial, um novo estudo revelou que assistentes de codificação baseados em IA podem, na verdade, atrapalhar a produtividade de desenvolvedores de software experientes — ao contrário de acelerá-la, que é o principal motivo pelo qual muitos usam essas ferramentas.
A pesquisa, conduzida pela organização sem fins lucrativos Model Evaluation & Threat Research (METR), teve como objetivo medir o impacto real das ferramentas avançadas de IA no desenvolvimento de software. Ao longo de vários meses no início de 2025, a METR acompanhou 16 desenvolvedores experientes de código aberto enquanto eles realizavam 246 tarefas reais de programação — desde correções de bugs até a implementação de novas funcionalidades — em grandes repositórios de código que conheciam profundamente. Cada tarefa foi aleatoriamente designada para permitir ou proibir o uso de ferramentas de IA, com a maioria dos participantes escolhendo o Cursor Pro combinado com Claude 3.5 ou 3.7 Sonnet quando tinham permissão para usar IA.
Antes de começarem, os desenvolvedores previram com confiança que a IA os tornaria 24% mais rápidos. Mesmo após o fim do estudo, eles ainda acreditavam que sua produtividade havia aumentado em 20% ao usar IA. A realidade, no entanto, foi bem diferente. Os dados mostraram que os desenvolvedores levaram, na verdade, 19% mais tempo para concluir as tarefas quando utilizaram ferramentas de IA — um resultado que contradiz não só a percepção dos próprios participantes, como também as previsões de especialistas em economia e aprendizado de máquina.
Os pesquisadores investigaram possíveis razões para essa desaceleração inesperada e identificaram vários fatores contribuintes. Primeiro, o otimismo dos desenvolvedores em relação à utilidade das ferramentas de IA muitas vezes superava as reais capacidades da tecnologia. Muitos participantes já eram altamente familiarizados com seus repositórios de código, o que deixava pouco espaço para que a IA oferecesse atalhos significativos. A complexidade e o tamanho dos projetos — frequentemente com mais de um milhão de linhas de código — também representavam um desafio para a IA, que tende a ter melhor desempenho em problemas menores e mais contidos. Além disso, a confiabilidade das sugestões da IA era inconsistente; os desenvolvedores aceitaram menos de 44% do código gerado, gastando bastante tempo revisando e corrigindo os resultados. Por fim, as ferramentas de IA demonstraram dificuldade em compreender o contexto implícito dentro de grandes repositórios, levando a sugestões irrelevantes ou equivocadas.
A metodologia do estudo foi rigorosa. Cada desenvolvedor estimou quanto tempo levaria para realizar uma tarefa com e sem IA, depois executou as tarefas gravando a tela e relatando o tempo gasto. Os participantes foram remunerados com US$ 150 por hora, garantindo comprometimento profissional com o processo. Os resultados foram consistentes em diversas métricas e análises, sem indícios de que vieses ou falhas metodológicas tenham influenciado as conclusões.
Os pesquisadores alertam que esses resultados não devem ser generalizados de forma ampla. O estudo focou em desenvolvedores altamente qualificados trabalhando em bases de código grandes e familiares. As ferramentas de IA ainda podem oferecer maiores benefícios para programadores menos experientes ou que atuem em projetos menores ou desconhecidos. Os autores também reconhecem que a tecnologia de IA está evoluindo rapidamente, e versões futuras podem trazer resultados diferentes.
Apesar da desaceleração observada, muitos participantes e pesquisadores continuam utilizando ferramentas de codificação com IA. Eles observam que, mesmo que a IA nem sempre acelere o processo, ela pode tornar certos aspectos do desenvolvimento menos cansativos mentalmente, transformando a programação em uma tarefa mais iterativa e menos intimidadora.
- Veja também: Cloudflare quer que o Google permita que sites bloqueiem IA sem perder visibilidade nas buscas
