Um agricultor confiou na ajuda de inteligência artificial para cuidar de suas plantações; o resultado: 10 hectares destruídos em uma noite

A inteligência artificial (IA) pode ser muito útil para diversas coisas, mas se há algo que aprendemos nos últimos anos, é que não podemos confiar 100% em suas respostas. Uma alucinação pode prejudicar sua imagem no trabalho ou até mesmo causar a perda de dez hectares de mudas de gergelim. Foi o que aconteceu com o Sr. Wu, um agricultor de 67 anos de Chuzhou, na China.

Em Xataka Brasil

Nas entrevistas da Anthropic, perguntam o que você faria se o valor das ações caísse a zero porque a empresa decidiu não desenvolver uma IA perigosa; não existe contraproposta

O que aconteceu

A história foi publicada no El Confidencial. O Sr. Wu começou a usar IA há cerca de um ano e, embora inicialmente cético, os bons resultados o levaram a confiar cada vez mais em suas respostas. Tudo ia bem até que Wu pediu ajuda para eliminar as ervas daninhas e pragas que estavam afetando sua plantação de gergelim.

Wu preparou a mistura, carregou-a em seu drone e a pulverizou sobre toda a plantação. No dia seguinte, todas as plantas estavam mortas — as ervas daninhas e as mudas de gergelim. O prejuízo financeiro chega a US$ 22 mil (cerca de R$ 113.982), segundo o International Business Times.

Em Xataka Brasil

“É como uma droga”: os agentes de IA nunca dormem, então os fundadores de startups também não

Você tem toda a razão, esse herbicida não é adequado para o gergelim

A IA recomendou uma combinação de pesticidas e herbicidas para atingir o efeito desejado, que era matar apenas as ervas daninhas. No entanto, todas as plantas morreram: "As ervas daninhas e as mudas morreram ao mesmo tempo, e as mudas de gergelim morreram ainda mais rápido."

Entre os produtos recomendados estava o flufenacet, um herbicida usado para controlar ervas daninhas em plantações de soja, não de gergelim. Quando ele perguntou à IA sobre isso, ela confirmou que esse produto era de fato o problema.

Em Xataka Brasil

O NAS é coisa do passado; o futuro que se avizinha é montar o seu próprio "data center" doméstico para dar suporte ao uso de IA

A confiança

Wu usava a IA há um ano e não tinha tido nenhum problema; pelo contrário, na verdade. Como mencionamos, a princípio ele não confiava muito nela, mas como ela continuava acertando e dando bons conselhos, o agricultor relaxou e começou a aceitar as respostas da IA ​​sem questionar. Esse é um fenômeno observado em estudos recentes: a IA responde com total certeza, o que nos leva a atribuir-lhe maior autoridade.

Em Xataka Brasil

A IA nos trouxe uma minirrevolução: nossos dispositivos estão mais suscetíveis a modificações e personalizações do que nunca

Verifique as respostas

Todos os chatbots exibem mensagens como esta, indicando que a IA comete erros. O problema é que isso se tornou tão comum que, assim como os avisos de cookies, ninguém lê. O Sr. Wu admitiu que não havia notado esse aviso específico.

O fornecedor de IA que ele utilizou, que não foi identificado, explicou que o sistema não possui uma base de conhecimento própria, mas gera respostas coletando informações de outras fontes. Eles não lhe ofereceram nenhuma compensação.

Imagem de capa | James Wainscoat no Unsplash