O inacreditável ponto cego da IA: acerta 70% em receitas e games, mas falha miseravelmente no tópico mais importante

Enquanto a corrida tecnológica eleva a inteligência artificial a patamares de gênio em código e raciocínio, uma nova análise aponta um ponto cego inacreditável: a IA, incluindo os modelos avançados da OpenAI, é ótima para tarefas complexas, mas falha miseravelmente em algo crucial para o dia a dia: compras e consumo.

O benchmark ACE (AI Consumer Index), criado pela Mercor, submeteu os principais modelos de IA (incluindo GPT-5, Gemini e Claude) a 400 tarefas práticas divididas em quatro áreas — compras, comida, DIY (faça-você-mesmo) e games. O resultado é um balde de água fria necessário: a IA é uma assistente geral fantástica, mas um péssimo personal shopper confiável.

Genial, mas desorientada

Apesar da alta performance em outras áreas, o domínio de compras expôs as falhas mais críticas das IAs:

O principal problema é a alucinação, ou seja, a IA inventa informações. Os modelos frequentemente deram links quebrados ou inexistentes em recomendações de produtos e inventaram preços que não batiam com as páginas que usaram como fonte.

Em questões práticas como "essa peça serve no meu PC?" ou compatibilidade de produtos, os erros foram frequentes.

Quando o benchmark exigiu que os modelos comprovassem todas as informações com fontes (grounding), alguns modelos caíram mais de 20 pontos percentuais em precisão.

Mesmo os modelos mais avançados atingiram um pico de apenas 45,4% de acerto no domínio de Compras (o3 Pro), enquanto em áreas menos subjetivas, a precisão foi significativamente maior:

• Comida: GPT-5 atingiu 70,1% de acerto em receitas simples e planos de refeição improvisados.
• Games: o o3 Pro bateu 61,3% em estratégias e recomendações de jogos.

Em Xataka Brasil

Gratuito e com raciocínio avançado: o novo modelo do DeepSeek supera o GPT-5

O futuro da IA de consumo

A análise do ACE confirma que existe uma grande variação de performance entre os modelos. Enquanto o GPT-5 se destacou em tarefas do dia a dia, modelos como Claude e Gemini se sobressaem em programação e raciocínio.

O desafio da IA está no Grounding — "ancorar" o modelo na realidade. Em vez de apenas chutar com base em textos antigos, a IA precisa ser conectada a bancos de dados, APIs e à internet em tempo real para verificar se o que ela está dizendo sobre preço, frete e compatibilidade é verdadeiro.

Enquanto a IA ainda tropeça em cupons e boletos, empresas como Google já lançaram ferramentas como o Doppl (um provador virtual de roupas com IA) para personalizar a experiência de compra e, futuramente, ajudar a reduzir devoluções de e-commerce. A tendência é que as soluções de IA se unam para criar ambientes de compra que vão muito além do ciclo tradicional de "busca de produtos → dúvida → compra".

10 Anos de OpenAI

A necessidade de a IA ser "pé no chão" surge no momento em que a OpenAI completa 10 anos. Fundada em 2015 com a missão de construir uma AGI (Inteligência Geral Artificial) segura, a startup se tornou uma das maiores empresas privadas da história, avaliada em US$ 500 bilhões.

Após o sucesso estrondoso do ChatGPT, a OpenAI agora enfrenta intensa concorrência do Google (Gemini), DeepSeek e Alibaba, mostrando que, para continuar dominante, a empresa precisa superar não apenas os desafios complexos de raciocínio, mas também as falhas mais básicas da vida cotidiana.