"O mundo está em perigo": chefe de segurança da Anthropic deixa empresa para se dedicar à poesia

Numa atitude atípica para o chefe de segurança de uma das principais protagonistas do desenvolvimento de IA, Mrinank Sharma, da Anthropic, anunciou sua renúncia com uma carta pública em seu perfil no X e se dedicará à poesia.

Em sua declaração, Sharma não apenas explicou os motivos de sua saída da empresa que desenvolve os modelos de Claude, como também descreveu o estado atual do desenvolvimento da IA, com uma linguagem que mescla alarme e reflexão pessoal. "O mundo está em perigo", afirmou o ex-diretor da Anthropic.

Contexto: quem ele é e o que fazia na Anthropic

Mrinank Sharma liderava a Equipe de Pesquisa de Salvaguardas da Anthropic, um grupo de pesquisa focado no estudo dos riscos associados aos sistemas de IA.

Na Anthropic, o trabalho de Sharma incluía o desenvolvimento de defesas contra riscos como o bioterrorismo assistido por IA e o estudo de fenômenos como a bajulação (a tendência dos modelos de IA a lisonjear o usuário), além de investigar como a IA pode influenciar a percepção humana e alterar comportamentos culturais.

Ele sai, mas deixa uma mensagem

A carta quase enigmática de Sharma no X rapidamente viralizou pelas mensagens que continha. Nela, ele expressou suas preocupações com um tom que transcende o técnico. Uma das citações que mais chamou a atenção foi: "O mundo está em perigo. E não apenas por causa da IA ​​ou das armas biológicas, mas por causa de uma série de crises interconectadas que estão se desenrolando agora."

Além da literalidade quase apocalíptica, Sharma alertou que a humanidade estava se aproximando de um ponto crítico em que o desenvolvimento da IA ​​enfrenta dilemas éticos para aqueles que a desenvolvem: "nossa sabedoria deve crescer na mesma proporção que nossa capacidade de impactar o mundo, caso contrário, enfrentaremos as consequências."

Trabalhando para ficar desempregado

Sharma não está sozinho nesse dilema ético. Segundo fontes do The Telegraph, outros funcionários da Anthropic expressaram preocupação com o enorme salto evolutivo dos modelos de IA mais recentes. "Sinto que venho trabalhar todos os dias para ficar desempregado", disse um dos funcionários à mídia britânica.

De certa forma, é esse o caso, já que esses funcionários estão trabalhando no desenvolvimento de uma tecnologia que provavelmente mudará a natureza do trabalho deles e de milhões de pessoas em poucos anos.

Isso é bom ou ruim?

Uma primeira leitura da carta deixa a impressão de que esses trabalhadores estão desenvolvendo a arma que destruirá a humanidade. No entanto, uma leitura nas entrelinhas coloca a Anthropic numa posição pioneira em comparação com seus rivais da OpenAI, Microsoft ou xAI: eles estão conseguindo avançar em ritmo que impressiona até mesmo seus desenvolvedores, uma sensação que não parece ocorrer nas equipes de outras empresas. Será que seus modelos ainda não estão nesse ponto de evolução?

"Durante todo o meu tempo aqui, vi repetidamente como é difícil deixar que nossos valores guiem nossas ações. Constantemente enfrentamos a pressão de abrir mão do que é mais importante", escreveu Sharma.

Virada poética

Além das reflexões sobre os riscos globais que percebe, Sharma anunciou que seu próximo passo profissional será muito diferente do que vinha trilhando até agora. Em sua carta, ele mencionou sua intenção de dedicar tempo ao que chamou de "a prática da fala corajosa" por meio da poesia. Essa mudança da IA ​​para a poesia foi interpretada como sinal de insatisfação com o ritmo e a abordagem predominantes na indústria de tecnologia de IA.

Assim como Sharma, nas últimas semanas outras figuras-chave no desenvolvimento das IAs da Anthropic anunciaram sua demissão. Harsh Mehta e Behnam Neyshabur também deixaram, há alguns dias, que estavam deixando a empresa. No entanto, nesses casos, o anúncio da saída foi feito e, logo em seguida, um novo projeto de IA foi anunciado. Em outras palavras, longe dos postulados éticos propostos por Sharma, sua intenção era mais voltada para explorar seus próprios interesses do que os de outros.

Imagem | mrinank sharma, Anthropic