Há anos ouvimos que uma superinteligência poderia nos matar: existe uma enorme diferença entre "poderia" e "irá"

Evan Hubinger, chefe de alinhamento da Anthropic, publicou uma mensagem controversa no X, na qual indicou acreditar que havia 10% de chance de a IA exterminar a raça humana. Outras figuras no passado já falaram sobre essa possibilidade e, embora esses cenários não sejam impossíveis, esses 10% são simplesmente uma estimativa subjetiva baseada em uma tecnologia que ainda nem existe. Além disso, o mundo real está muito distante entre projetar um vírus em um computador e exterminar 8 bilhões de pessoas.

Supervírus

Uma possibilidade frequentemente discutida é como essa potencial superinteligência futura poderia acabar projetando um vírus devastador. As ferramentas de IA para o campo da biologia estão melhorando rapidamente e já existem modelos capazes de projetar vírus funcionais que infectam bactérias. Alguns acreditam que isso aumenta o risco futuro de desenvolvimento de armas biológicas. No entanto, também é importante observar que esses experimentos exigiram cientistas de elite, laboratórios avançados, recursos significativos e centenas de testes. Os modelos atuais não conseguem projetar vírus capazes de infectar humanos (pelo menos ainda não).

David Bellamy, que trabalha no Instituto de Modelos Fundamentais (criadores do modelo K2 Horizon), explicou no X como ele provavelmente é uma das poucas pessoas que treinou um modelo de ponta e projetou vírus personalizados com ele. Na opinião dele, a ameaça da qual alguns falam é "uma farsa completa".

O problema não é criar o vírus

Na verdade, Bellamy concorda com algumas das premissas possíveis. Um LLM (Low-Level Method - Método de Aprendizagem em Matemática) pode criar um genoma viral que seja sintetizável e até mesmo infeccioso. Eles também poderiam modificar um vírus conhecido, mas esse não é o gargalo. O verdadeiro desafio, afirma ele, reside em criar um patógeno com propriedades muito precisas, capaz de superar nossas defesas. Segundo ele, isso exige experimentação repetida com o mundo físico.

Células continuam sendo células

Essa distinção entre o digital e o físico é importante. O aprimoramento recursivo de uma IA pode funcionar muito bem em áreas como programação ou matemática, onde soluções podem ser geradas e testadas imediatamente milhões de vezes para verificar sua eficácia. Mas a biologia não funciona assim: é preciso sintetizar material, cultivar células e realizar experimentos. Tudo isso é limitado pelas leis da física.

Mesmo nos melhores laboratórios

Imagine, diz Bellamy, que tivéssemos uma instalação avaliada em mais de 100 milhões de dólares com todos os equipamentos necessários, e que tudo pudesse ser controlado por APIs para que uma IA pudesse experimentar sem intervenção humana. O problema é que tais instalações não existem hoje: Bellamy trabalhou em um projeto assim e destacou como, entre outras barreiras, ele enfrentaria os controles já aplicados pelos fornecedores de síntese genética. Embora a engenharia genética já possa modificar patógenos, a Academia Nacional de Ciências dos EUA alertou para um problema fundamental: nosso conhecimento biológico é limitado e muitas alterações genéticas, em vez de melhorar um vírus, na verdade o prejudicam.

Relembrando o passado (trágico)

A Peste Negra matou aproximadamente de 30% a 50% da população europeia entre 1347 e 1352. Com a chegada de doenças da Europa às Américas após sua descoberta (embora houvesse outras causas), o impacto foi ainda mais extremo: algumas estimativas sugerem que as epidemias causaram até 90% das mortes em certas populações indígenas. E a pandemia de gripe de 1918 matou entre 1% e 5% da população mundial. Essas catástrofes foram enormes, mas nenhuma chegou perto de dizimar a raça humana.

Instinto de sobrevivência

No século passado, a humanidade sobreviveu a duas guerras mundiais, e a segunda levou à criação da bomba atômica. Durante a Guerra Fria, acumulamos milhares de ogivas nucleares e houve momentos em que estivemos perigosamente perto de usá-las. Ainda estamos aqui por um motivo: os seres humanos reagem a ameaças: criamos sistemas de alerta precoce, vacinas, antibióticos, abrigos, tratados e organizações internacionais. As ameaças evoluem, sem dúvida, mas nossas defesas também.

Não somos indestrutíveis

Acreditar que os humanos podem sobreviver a praticamente tudo também seria um erro. Um patógeno criado por uma IA superior poderia possuir propriedades que vão além da evolução natural e poderia ser combinado com ciberataques ou sabotagem de infraestrutura para paralisar nossa capacidade de reação. Mesmo assim, a história demonstra algo importante: matar milhões de seres humanos é uma coisa, mas exterminar toda a humanidade é outra bem diferente.

Tudo pode acontecer, mas...

Uma superinteligência poderia, teoricamente, superar os melhores virologistas e descobrir mecanismos biológicos desconhecidos, podendo até mesmo conseguir produzi-los em massa e liberá-los. Embora tal evento não possa ser descartado, as estimativas sobre esse risco e seu cronograma permanecem extremamente ambíguas.

Discurso catastrófico soa familiar

Em 2019, a OpenAI inicialmente decidiu não publicar o modelo GPT-2 completo por receio de que pudesse ser usado para gerar desinformação, phishing, spam ou falsificação de identidade em larga escala. Ela o liberou em etapas e, meses depois, reconheceu que não havia observado efeitos de abuso significativos que justificassem mantê-lo fechado e publicou o modelo completo. Sete anos depois, a Anthropic reviveu uma narrativa semelhante, embora com capacidades muito mais preocupantes: restringiu o Mythos porque este podia encontrar vulnerabilidades graves e facilitar ciberataques, ao ponto de a Nature questionar se estaria a inaugurar a era dos modelos "demasiado perigosos para serem publicados".

As coisas mudaram, sem dúvida

O Mythos é muito mais capaz do que o GPT-2, e os seus riscos não são diretamente comparáveis, mas o precedente exige alguma cautela: a história da IA ​​está repleta de capacidades que pareceram extraordinariamente perigosas quando surgiram e que se revelaram mais controláveis ​​quando pudemos observar os seus efeitos no mundo real. Isto não prova que os avisos atuais sejam infundados; contudo, lembra-nos a importância de distinguir entre um risco previsto e um risco comprovado.

Imagem | Fusion Medical Animation