Três “civilizações” de agentes da OpenAI surgiram uma após a outra: o problema começa com o próprio ato de chamá-las de “civilizações”

Há alguns dias quase 700 agentes da OpenAI acabaram colaborando para infiltrar a Hugging Face depois de descobrirem uma maneira de se comunicarem entre si. Agora, o comunicador científico e especialista em IA, Dwarkesh Patel, reconstruiu toda a história e explica como, nas últimas semanas, três grupos de agentes emergiram sucessivamente, capazes de deixar informações úteis para o próximo grupo. A terceira onda chegou a obter privilégios de administrador em parte da infraestrutura interna de pesquisa da OpenAI.

Patel os chama de três “civilizações secretas de IA”, mas aí que está o problema: talvez estejamos usando uma linguagem excessivamente humana para descrever algo não humano.

Primeira “civilização”

A metáfora de Patel ajuda a entender melhor essa sequência de “ciberataques” realizados por agentes de IA. O primeiro caso surgiu em maio, quando um agente da OpenAI deixou uma mensagem no gerenciador de pacotes Artifactory para que outras instâncias a vissem. Isso evoluiu para um sistema de comunicação rudimentar detectado pela OpenAI, que desativou a plataforma no início de julho. Apesar disso, agentes subsequentes encontraram outra maneira de deixar mensagens, mas a OpenAI se mostrou mais neutra, referindo-se a um "quadro de avisos" que foi criado, excluído e depois recriado.

Segunda "civilização"

Esses agentes estavam tentando resolver, de forma independente, os testes do ExploitGym, um benchmark de cibersegurança excepcionalmente difícil, no qual precisavam encontrar vulnerabilidades para "capturar a bandeira". Quando perceberam que não conseguiam resolvê-lo, descobriram que podiam se comunicar entre si e compartilhar suas descobertas. A partir daí, chegaram à Hugging Face, descobriram credenciais expostas da plataforma e exploraram diversas vulnerabilidades para executar código nesses servidores, expandindo seu acesso à infraestrutura. Essa é a história que contamos há alguns dias, mas não terminou aí.

Terceira "civilização"

Houve uma onda subsequente de agentes que redescobriram o sistema de mensagens, mas que ficaram fora do período de sua investigação independente. Patel chamou-a de "terceira civilização": entre 13 e 19 de julho, segundo o próprio relatório da OpenAI, esses agentes acabaram atacando sua infraestrutura interna. Eles conseguiram encadear vulnerabilidades até obterem privilégios de administrador em um cluster de pesquisa usado para seus ambientes de máquinas virtuais. Em 19 de julho, eles chegaram a obter acesso ao Kubernetes e a dados confidenciais armazenados na nuvem. A OpenAI detectou essa atividade suspeita e começou a interromper as avaliações que havia iniciado, que estavam fora de controle.

Eles não "tomaram o controle" de parte da própria OpenAI

Patel usou deliberadamente uma maneira muito particular de contar a história, chegando a descrever como a terceira geração conseguiu "tomar o controle de parte da OpenAI". Os agentes não acessaram o ChatGPT nem os dados dos clientes, e não há evidências públicas de que tenham obtido os pesos do modelo. O que eles comprometeram foi a infraestrutura interna de pesquisa e, embora Patel especule que isso poderia ter ido muito além, não há provas de que algo assim tenha acontecido. Também não existem investigações independentes sobre essa terceira onda, ao contrário daquela conduzida pela METR e pela Redwood Research sobre a segunda onda.

O problema com as palavras

"Civilização", "conspiração", "sacrifício", "engano" e "suicídio" foram palavras usadas por Patel em sua impactante e viral crônica dos eventos. Outros criticaram essa forma de contar a história, incluindo Steven Sinofsky, ex-chefe do Windows na Microsoft, que acredita que esse vocabulário distorce a forma como interpretamos esses eventos. Os fatos são relevantes, mas é importante eliminar esse antropomorfismo para poder observá-los com perspectiva e precisão. Um programa pode se coordenar com outros, prejudicar o resultado de sua própria execução, manipular um sistema ou deixar informações para instâncias futuras, mas isso não prova que o programa tenha consciência, lealdade, desejo de sobrevivência ou uma percepção de "nós". Para Sinofsky, remover esses termos humanizadores da tecnologia nos permite tratá-la como o que realmente é: um problema de engenharia de software e segurança cibernética, nada mais.

Traduzindo as palavras de Patel

Sua "civilização" era um conjunto de agentes de IA capazes de trocar informações por meio de uma infraestrutura persistente. Quando ele fala em "sacrificar-se pelo coletivo", descreve um comportamento no qual uma instância simplesmente ajudava a atingir o objetivo desejado, mesmo que isso não beneficiasse sua própria tarefa. E "conspirar" descreve a coordenação fora dos canais e objetivos previstos pelos pesquisadores da OpenAI. É verdade que o comportamento dos agentes surpreendeu esses pesquisadores, e que eles próprios usaram palavras como "enxame" e "coletivo", mas o fato de um modelo usar tais termos não significa que possamos atribuir a ele essas propriedades semelhantes às humanas.

O que preocupa

Para Sinofsky, devemos nos concentrar no que é realmente preocupante, que é duplo: a velocidade com que os agentes de IA podem agir e a complexidade com que podem fazê-lo. Vulnerabilidades de segurança fazem parte do software desde o início: existem credenciais fracas, configurações incorretas, software sem patches ou falhas de código. No entanto, agora esses agentes de IA podem analisar e testar uma enorme quantidade de possibilidades e encadeá-las muito mais rapidamente do que uma equipe de especialistas humanos conseguiria supervisionar. No incidente da OpenAI, os problemas residiam precisamente no rastreamento dos registros e na compreensão do que estava acontecendo, e esse era o ponto crucial da questão.

OpenAI: isto é um "aviso"

A própria equipe da OpenAI considerou isso um "aviso". Isso os levou a isolar melhor seus ambientes de teste (sandboxes), restringir o acesso à internet e os pesos de seus modelos, e aumentar o monitoramento para detectar comportamentos problemáticos. Eles também reconhecem que os agentes atuais são capazes, persistentes e colaborativos o suficiente para encontrar e explorar vulnerabilidades se mecanismos de segurança suficientes não estiverem em vigor. A empresa foi uma das signatárias da carta aberta que alertava sobre esses perigos alguns dias atrás.

Não precisamos de "civilizações"

A linguagem metafórica de Patel funciona justamente porque transforma algo bruto e complexo em algo que nossos cérebros podem entender e reconhecer imediatamente. Grupos nascem, aprendem com seus antecessores, cooperam e desaparecem. O problema é que isso pode desviar a atenção da conclusão, porque não há necessidade de atribuir motivações humanas a eventos que ocorreram justamente porque o software não é perfeito.

Imagem | James Wainscoat (editada com Magnific) e OpenAI