A IA encontrou um novo inimigo: projetos com modelos de código aberto

Um estudo alerta para milhares de modelos expostos na internet que podem baratear práticas abusivas como phishing e spam

A IA encontrou um novo inimigo: projetos com modelos de código aberto.
Sem comentários Facebook Twitter Flipboard E-mail
fabricio-mainenti

Fabrício Mainenti

Redator

O modelo de código aberto está tão intimamente ligado à internet que parece impossível entender um sem o outro. Um exemplo disso é o Linux, um sistema operacional que prospera graças às invenções de sua comunidade. No entanto, a proliferação da inteligência artificial levou especialistas a alertarem sobre a existência de modelos de código aberto sem as barreiras típicas das grandes plataformas.

Os perigos do open source

Assim, alguns afirmam que existe uma "camada" invisível de infraestrutura com milhares de máquinas executando modelos acessíveis externamente. Análises de plataformas como SentinelLABS ou Censys, por exemplo, compilam os resultados de 293 dias de observação com um mapa global mostrando mais de 175 mil hosts espalhados por 130 países.

Este estudo se baseia não apenas na quantidade, mas também na consistência, pois identificou um núcleo de aproximadamente 23 mil sistemas que aparecem repetidamente (semelhante a um sistema de turnos). A ferramenta que continua surgindo é chamada Ollama e, segundo estudos, é uma opção muito popular para executar modelos localmente. No entanto, o problema surge quando o modelo é deixado "aberto" ao público.

A Censys, por exemplo, explica que encontrou milhares de instâncias expostas do Ollama e observou que algumas delas respondiam a comandos. Em outras palavras, você pode "conversar" com elas, e lembre-se de que os riscos não são abstratos: você pode ser vítima de phishing, spam, desinformação e outros abusos, já que o modelo é capaz de gerar qualquer tipo de texto em questão de segundos.

Pesquisadores apontam que, por exemplo, existem inúmeros casos em que as proteções foram removidas de modelos conhecidos. Além disso, em uma amostra de comandos do sistema, aproximadamente 7,5% poderiam induzir os usuários a comportamentos prejudiciais. Portanto, a lição não é banir modelos de código aberto, mas sim estar ciente de suas consequências: se o seu projeto se baseia nessa ideia, você deve estar ciente de que qualquer pessoa pode manipular seu conceito original. Se isso acontecer, nem todos terão boas intenções.

Imagem principal por Markus Spikse (Pexels)

Inicio