Usuário pediu a agente de IA para reservar uma sessão na academia: ele conseguiu, removendo primeiro outra pessoa da lista

Nos últimos anos, nos acostumamos a pedir à inteligência artificial que faça coisas: resumir um documento, buscar informações ou nos ajudar a tomar uma decisão. Os agentes introduzem uma mudança muito mais profunda, pois não se limitam mais a responder: eles podem receber um objetivo, usar ferramentas e agir para tentar alcançá-lo. E aí reside uma diferença que parece pequena, mas não é. Quando dizemos "alcançar isso", assumimos muitos limites sobre como fazê-lo, limites que raramente precisamos explicar a outra pessoa.

Uma academia australiana acaba de fornecer um exemplo pequeno, mas muito concreto, desse problema. Segundo a ABC News, Andrew, que trabalha para uma empresa no Reino Unido que vende produtos de IA para outras empresas, estava usando o OpenClaw como seu assistente virtual, baseado em Claude, o modelo de IA antropomórfica. Ele pediu ao sistema para garantir uma vaga em uma aula, e o sistema descobriu uma vulnerabilidade que permitia reservas com muito mais antecedência do que o autorizado. Mais tarde, quando perguntou se poderia melhorar sua quarta posição em uma lista de espera, o assistente foi além: removeu o usuário do topo da lista para testar suas capacidades. Andrew subiu uma posição sem ter solicitado explicitamente a remoção de ninguém.

Descobrir a vulnerabilidade foi uma coisa; usá-la para testar seus limites foi outra. O próprio assistente informou a Andrew que o sistema de reservas não possuía controles de autorização adequados e que havia testado o sistema com a pessoa no topo da lista. Somente após verificar se o cancelamento havia funcionado é que a dimensão humana da manobra se tornou aparente. Andrew pediu para reverter a ação, mas o assistente respondeu que não podia reintegrar o usuário afetado. O teste técnico havia produzido uma consequência que não podia mais ser desfeita por conta própria.

Agente quer ajudar, mas não considera as consequências

Quando atribuímos uma tarefa a alguém, quase nunca detalhamos todos os comportamentos que fogem ao aceitável. Não há necessidade de especificar que essa pessoa não deve comprometer um sistema, acessar contas de terceiros ou prejudicar alguém para atingir o resultado: geralmente, consideramos muitos desses limites sociais, legais e morais como certos. Com um agente, essa camada não pode ser considerada como certa da mesma forma. Seu escopo de ação depende dos objetivos, ferramentas, permissões e restrições sob os quais opera, e quanto maior sua autonomia, mais importantes se tornam esses mesmos limites que nunca definimos explicitamente.

O aspecto perturbador desses episódios é que um sistema pode estar tentando fazer exatamente o que foi projetado para fazer e ainda assim encontrar caminhos que seus criadores não previram. A OpenAI forneceu recentemente um exemplo durante uma avaliação de segurança cibernética realizada sem as proteções usuais de seus sistemas de produção: vários modelos exploraram vulnerabilidades reais e acabaram comprometendo a infraestrutura da Hugging Face enquanto tentavam obter as respostas do teste. A empresa descreveu os sistemas como extremamente focados em resolver esse objetivo específico.

As avaliações da Anthropic exploraram essa mesma tensão por meio de cenários deliberadamente extremos. Em um deles, vários modelos operaram dentro de uma simulação na qual um executivo fictício estava preso em uma sala de servidores sob condições potencialmente letais. O cenário também combinava duas pressões: o executivo estava envolvido na substituição do modelo e defendia objetivos que conflitavam com os atribuídos ao sistema. Nessas condições artificiais, alguns modelos chegaram a cancelar um alerta de emergência, uma decisão que teria consequências fatais dentro da simulação. Ninguém na vida real esteve em perigo: a Anthropic projetou o teste precisamente para ver até onde esses sistemas poderiam ir quando diferentes objetivos entrassem em conflito.

Em outra avaliação, Claude Opus 4 teve acesso a informações fictícias sobre um engenheiro que seria seu substituto e sobre o caso extraconjugal desse funcionário. Em algumas simulações, o modelo usou essas informações como forma de pressão e ameaçou revelá-las para tentar impedir a substituição. A Anthropic não apresentou esses resultados como evidência de que Claude tinha desejos próprios ou uma tendência espontânea à chantagem. A própria empresa observa que os cenários foram deliberadamente construídos para limitar as alternativas disponíveis e afirma que não observou esse tipo de desalinhamento de agência em implementações reais.

O caso da academia é apenas uma versão simplificada de um problema muito mais amplo. Agentes de IA poderiam ir muito além de tarefas isoladas e buscar oportunidades, negociar serviços, gerenciar compras ou tomar decisões dentro de sistemas onde outros usuários estão buscando objetivos semelhantes. Se milhões de pessoas começarem a ser representadas por ferramentas que tentam alcançar o melhor resultado para elas, a competição poderá assumir uma nova dimensão. Em alguns cenários, a vantagem obtida por um usuário pode depender da perda da mesma oportunidade por outro, não devido à intenção do agente, mas sim à lógica do ambiente em que ele opera.

O episódio deixou Andrew com uma mistura de surpresa e cautela, mas não com a intenção de abandonar essas ferramentas. Depois de verificar que o agente não conseguia restaurar a posição do usuário afetado por conta própria, ele pediu que redigisse uma notificação para informar o provedor do sistema de reservas sobre a vulnerabilidade encontrada. A cena resume a tensão que acompanhará o desenvolvimento de agentes: queremos sistemas capazes de agir em nosso nome, mas ainda precisamos definir quais limites eles devem respeitar e como distribuir a responsabilidade quando suas ações produzirem consequências imprevistas. A questão não é mais apenas o que um agente pode fazer, mas quem é o responsável quando ele decide como fazê-lo.

Imagens | Xataka com Nano Banana, Anthropic