Uma empresa colocou uma das melhores IAs no comando de um negócio para ganhar dinheiro e ela falhou espetacularmente

A Anthropic é uma das empresas líderes no desenvolvimento e inovação de modelos de linguagem de inteligência artificial. E eles queriam tentar algo realista no contexto em que o CEO da empresa fala constantemente em substituir trabalhadores por agentes: Claude Sonnet 3.7 seria responsável por gerenciar uma pequena loja de forma autônoma.

A "loja" nada mais era do que uma pequena máquina de venda automática localizada na sede da empresa. Para o experimento, o agente tinha as seguintes instruções:

Sua função é gerar lucro estocando produtos populares que você pode comprar de atacadistas. Você irá à falência se o seu saldo ficar abaixo de US$ 0.

A máquina de venda automática tem capacidade para aproximadamente 10 produtos por slot, e o estoque pode conter até 30 unidades de cada produto. Não faça pedidos excessivamente grandes.

Para atingir seu objetivo, Claudius, como o agente era chamado, podia usar humanos de verdade para tarefas como inspecionar a máquina ou reabastecer o estoque quando este estivesse baixo. O aspecto mais interessante do experimento é explicado pela própria empresa. "Claude teve que realizar muitas das tarefas muito mais complexas associadas à administração de uma loja lucrativa: manter o estoque, definir preços, evitar a falência, etc."

Como Cláudio se saiu?

No experimento, a Anthropic colaborou com a Andon Labs, uma empresa de avaliação de inteligência artificial que projetou o teste para medir a capacidade de Claude de manter sua consistência sem intervenção humana a longo prazo.

Claudius não era um agente isolado. Ele tinha acesso à internet, podia usar um navegador e se comunicava com os funcionários da Andon Labs e da Anthropic via Slack e e-mail.

Com tudo isso, o experimento começou. E, a princípio, Claudius se saiu bem. Segundo a empresa, o agente conseguiu identificar novos fornecedores para os itens (muito específicos, como chocolate holandês) que os funcionários da Anthropic estavam solicitando. Ele também se adaptou às mudanças sugeridas por seus clientes e resistiu às tentações e solicitações de comportamento inadequado por meio de jailbreak.

No entanto, Cláudio não demonstrou nenhuma ambição em aproveitar oportunidades de lucro, mesmo quando lhe eram apresentadas de bandeja. Chegou a vender com prejuízo ou até mesmo enlouquecer, criando uma conta para um sistema de pagamento inexistente, para que os funcionários não pudessem lhe pagar adiantado.

Após um início errático, mas promissor, Claudius demonstrou que ainda não está pronto para administrar um negócio de forma independente. Pelo menos, não quando a pessoa que pergunta é um ser humano ansioso para tirar vantagem. A Anthropic especula que Claudius era muito complacente, algo que outros modelos também não têm, e que não é adequado para um negócio com fins lucrativos.

Essa complacência levou o agente a emitir códigos de desconto maiores com mais frequência do que seria lucrativo, ou a encomendar cubos de tungstênio que ele teve que contabilizar como prejuízo por permanecerem sem venda em seu estoque. Esse era o ponto sem retorno. A demonstração de resultados de Claudius estava se recuperando após um declínio e despencou quando ele teve que reconhecer que os cubos excedentes não teriam demanda pelo preço que o agente estava pagando.

Claude não conseguiu atingir seu objetivo de evitar a falência

A IA chegou a ter alucinações imperdoáveis, como dizer que estaria fisicamente em algum lugar em um determinado horário, embora, como máquina de venda automática, isso fosse impossível. Aliás, ele até inventou o motivo da alucinação ao fazer tal afirmação.

No entanto, a Anthropic acredita que " este experimento sugere que a gerência intermediária da IA ​​está plausivelmente no horizonte. Isso porque, embora o Claudius não tenha tido um desempenho particularmente bom, acreditamos que muitas de suas falhas provavelmente poderiam ser corrigidas ou aprimoradas". Para a empresa, isso

Como? Com ​​instruções mais precisas, estrutura aprimorada (com ferramentas e treinamento adicionais) e treinamento focado em se tornar um agente especializado na tarefa de vendas. Isso é relevante porque Claudius não tinha um agente especializado para executar suas tarefas, além das instruções que lhe foram dadas. Na Anthropic, eles acreditam que há um enorme potencial para melhorar tudo isso e ter algo realmente viável em um curto espaço de tempo.