Teste com programadores sênior traz resultado inusitado: utilizar IA diminui a produtividade em vez de aumentar

Muitos especialistas em IA estão alertando que, por enquanto, as ferramentas de inteligência artificial não podem substituir as pessoas e sua criatividade, mas seu grande valor está em ajudar a melhorar a eficiência e a produtividade humanas. Outros estudos afirmam exatamente o contrário: não há melhorias na produtividade.

Agora, uma nova pesquisa descobriu que as ferramentas de IA nem sempre aumentam a produtividade. De acordo com o Model Evaluation and Threat Research, desenvolvedores de software experientes são mais rápidos usando suas próprias habilidades.

Quando pediram a 16 desenvolvedores de software que realizassem tarefas usando ferramentas de IA, eles demoraram mais do que quando não usavam a tecnologia, contradizendo a narrativa geral de que essa tecnologia ajuda a ser mais rápido nas tarefas. Pode até acontecer, mas este estudo afirma que não é assim quando o desenvolvedor tem muita experiência.

Os desenvolvedores confiam muito na IA

O mais curioso é que esses desenvolvedores sênior realmente acreditavam que a IA melhoraria sua produtividade: previram que a tecnologia reduziria o tempo para concluir as tarefas em uma média de 24%. No entanto, a IA fez com que eles demorassem 19% a mais para terminar as tarefas em comparação a quando não a usavam.

Em Xataka Brasil

"Nem mesmo minha família entendeu": desenvolvedor trabalhou de graça por 10 anos; hoje, corporações e governos dependem de seu serviço

Especificamente, 16 desenvolvedores com experiência moderada em IA completaram 246 tarefas em projetos nos quais têm, em média, 5 anos de experiência prévia. Cada tarefa foi atribuída aleatoriamente para permitir ou não o uso de ferramentas de IA.

Também é importante saber que “quando as ferramentas de IA são permitidas, os desenvolvedores usam principalmente o Cursor Pro, um editor de código popular, e o Claude 3.5/3.7 Sonnet”.

Antes de começar as tarefas, os desenvolvedores previram que permitir o uso da IA reduziria o tempo para concluir em 24%, mas o que se descobriu foi que as ferramentas de IA desaceleraram os desenvolvedores com ampla experiência em seu trabalho — especificamente em 19%.

O que lhes fez perder tempo

Como relata a Fortune, a maioria dos desenvolvedores que participaram do estudo apontou que, mesmo quando obtinham resultados de IA que, no geral, consideravam úteis, precisavam dedicar muito tempo para depurar o código gerado e torná-lo realmente adequado para o projeto, segundo um dos participantes.

Em Xataka Brasil

Alguém convidou ChatGPT, Gemini, Claude e companhia para jogar um jogo de estratégia; cada um desenvolveu uma personalidade bem distinta

Vale destacar que os desenvolvedores experientes provavelmente abordaram seu trabalho com muito contexto e conhecimento adicional que seus assistentes de IA não tinham. Esses profissionais, então, dedicaram bastante tempo revisando e aprimorando todos os resultados. Outros desenvolvedores perderam tempo escrevendo comandos para os chatbots ou esperando a IA gerar respostas.

Imagem | Sigmund (Unsplash)

Este texto foi traduzido/adaptado do site Genbeta.