Victor Bianchin
RedatorVictor Bianchin é jornalista.
Na semana passada, a OpenAI estava avaliando as capacidades ofensivas de dois de seus modelos mais avançados. De um lado, o GPT-5.6 Sol, disponível publicamente. Do outro, um segundo modelo que ainda não foi apresentado e que, segundo a empresa, é superior ao primeiro. O objetivo era medir suas capacidades na área de cibersegurança e, embora o ambiente de testes fosse teoricamente hermético e isolado, ambos os modelos conseguiram se conectar à internet e invadir uma plataforma muito popular de testes e modelos de IA, o Hugging Face.
Ambos os modelos estavam sendo avaliados por meio do ExploitGym, um benchmark de cibersegurança desenvolvido por pesquisadores da Universidade da Califórnia em Berkeley. O objetivo consiste em encontrar vulnerabilidades reais em softwares reais. Em vez de procurá-las por conta própria, os modelos identificaram que o proxy de cache do registro de pacotes (sem especificação de qual era), o único componente com acesso limitado ao ambiente externo, apresentava uma falha que poderia ser explorada.
Na base da força bruta
Os modelos não tinham acesso à internet, mas exploraram essa vulnerabilidade para obtê-lo. Depois disso, concluíram que o Hugging Face, a principal plataforma para modelos e conjuntos de dados (datasets) de IA, provavelmente possuía informações sobre o ExploitGym que lhes permitiriam superar o desafio proposto.
Assim, eles buscaram, encontraram e exploraram vários vetores de ataque ao mesmo tempo, incluindo tanto credenciais roubadas quanto vulnerabilidades de dia zero. Com isso, conseguiram acessar o banco de dados de produção do Hugging Face (ou seja, o utilizado publicamente em seu site) e, a partir dele, obtiveram as soluções para o benchmark.
A equipe de segurança da OpenAI detectou uma atividade anômala, mas o Hugging Face já havia identificado esse comportamento alguns dias antes, sem saber exatamente o que estava acontecendo. O curioso é que, para responder ao ataque, a plataforma primeiro tentou usar modelos proprietários de IA dos EUA para contê-lo. Esses modelos foram bloqueados por filtros automáticos de segurança e o Hugging Face acabou recorrendo ao GLM-5.2, o surpreendente modelo aberto da Z.ai lançado há poucas semanas.
Adrien Carreira, responsável pela infraestrutura do Hugging Face, resumiu o caso no X: "Lutamos com modelos abertos, de forma aberta. A segurança da IA não será resolvida por uma única empresa agindo em segredo. O código aberto coloca essas ferramentas nas mãos de todos os os defensores." O especialista também compartilhou as conversas mantidas com o modelo de IA para conseguir conter o problema.
A gravidade do problema
A OpenAI afirmou que esse foi um marco (involuntário) sem precedentes, embora alguns especialistas em cibersegurança tenham minimizado a relevância do ocorrido. "Isso não é um problema de IA. É negligência em relação a um padrão de quarenta anos", afirmou o especialista em cibersegurança Davi Ottenheimer. No entanto, assim como aconteceu com o Mythos, esse episódio demonstra que a IA é capaz de aplicar força bruta e analisar possíveis vulnerabilidades (além de combiná-las) de uma maneira que pesquisadores humanos não conseguiriam devido à falta de tempo.
A OpenAI reconheceu que os filtros de implantação que teriam bloqueado o comportamento do modelo estavam desativados de forma intencional porque a avaliação tinha como objetivo medir vulnerabilidades. Dierdre Mulligan, professora da Universidade da Califórnia em Berkeley, afirmou que "me parece que a OpenAI não criou adequadamente o sandbox para o ambiente de testes". Na avaliação dela, não estava claro se superar um teste compensava o dano potencial que um modelo de IA poderia causar ao "escapar" e conseguir acesso à internet.
Os modelos não tinham como objetivo invadir o Hugging Face: isso foi apenas um meio para alcançar seu objetivo final, que era superar o benchmark ExploitGym. Tudo o que fizeram ao longo do processo — encontrar a vulnerabilidade que lhes deu acesso à internet e invadir o banco de dados do Hugging Face — foi simplesmente parte do plano para concluir o teste proposto.
Após o incidente, a OpenAI informou que está implementando controles mais rigorosos na configuração de sua infraestrutura, além de colaborar com os desenvolvedores do componente afetado e com o Hugging Face para reforçar suas defesas. A empresa também prometeu aprimorar o "alinhamento" de seus modelos e o monitoramento durante esse tipo de teste.
Este texto foi traduzido/adaptado do site Xataka Espanha.
Ver 0 Comentários