Victor Bianchin
RedatorVictor Bianchin é jornalista.
Ontem, 10 de setembro, a Anthropic publicou um relatório intitulado "Detectando e combatendo o uso indevido da IA", no qual reconhece ter interrompido várias possíveis tentativas de usar Claude em pesquisas que poderiam contribuir para o desenvolvimento de armas biológicas.
O laboratório de IA dirigido por Dario Amodei não afirma ter descoberto cientistas que estavam tentando utilizar seus modelos de IA para desenvolver armas biológicas; o que sustenta é que identificou cinco tentativas de cientistas que queriam utilizar seus modelos para realizar pesquisas biológicas potencialmente perigosas. Nesses casos, os pesquisadores tentaram contornar os mecanismos de segurança dos modelos e ocultar a finalidade de seu trabalho.
Um desses casos é especialmente preocupante
A resposta da Anthropic a esses cinco casos de uso potencialmente perigosos consistiu em bloquear as contas desses pesquisadores ou limitar seu acesso, permitindo que utilizassem apenas modelos menos avançados. No entanto, esse laboratório reconhece que não conseguiu determinar se realmente havia uma intenção maliciosa ou se, pelo contrário, tratavam-se de trabalhos biológicos bem-intencionados. Seja como for, o fato de os pesquisadores terem tentado ocultar a finalidade de seu trabalho é um claro indício de uso pernicioso.
Esse cenário apresenta uma realidade inquietante: para os responsáveis pelos modelos de IA de fronteira, é muito difícil determinar quando uma pesquisa legítima de uso duplo pode cruzar uma linha perigosa. Lidar com essa incerteza neste momento é um enorme desafio. De fato, existe a possibilidade de que um pesquisador suficientemente persistente consiga construir, contornando os mecanismos de segurança dos modelos de IA, um fluxo de trabalho capaz de obter informações sensíveis.
Em seu relatório, a Anthropic não revela a origem dessas tentativas de uso potencialmente perigoso, mas admite que uma delas é muito preocupante. Aparentemente, um cientista estava utilizando Claude para preparar uma proposta de pesquisa financiada pelo Estado e relacionada ao vírus chikungunya. É possível que sua finalidade fosse conhecer melhor esse vírus ou até mesmo desenvolver uma vacina, mas também é possível que os conhecimentos fornecidos pelo Claude fossem utilizados para desenvolver uma arma biológica.
A Anthropic reconhece em seu relatório que seus controles de segurança não permitem garantir que um modelo de IA cada vez mais capaz não acabe contribuindo para o desenvolvimento de agentes biológicos perniciosos. O que propõe para lidar com esse risco real é que os laboratórios de IA, os governos e as instituições reguladoras colaborem para resolver conjuntamente um problema com que as empresas de IA não conseguem lidar sozinhas. A boa notícia é que a Anthropic está reconhecendo uma limitação importante e pedindo ajuda. A má notícia é que esse desafio, por enquanto, não parece ter uma solução realmente eficaz.
Imagem | Gerada pelo Xataka Espanha com ChatGPT
Este texto foi traduzido/adaptado do site Xataka Espanha.
Ver 0 Comentários