Tendências do dia

As alucinações da IA estão afetando um setor muito específico: o dos bibliotecários

O “slop” de IA está gerando problemas no mundo físico

Slop de IA virou problema / Imagem: Cottonbro Studio, Pexels
Sem comentários Facebook Twitter Flipboard E-mail
victor-bianchin

Victor Bianchin

Redator
victor-bianchin

Victor Bianchin

Redator

Victor Bianchin é jornalista.

1461 publicaciones de Victor Bianchin

O conteúdo “slop” criado pelas IAs está se infiltrando em todos os cantos da internet: está arruinando a autenticidade do Etsy, da Wikipedia e, claro, infestando as redes sociais. O “slop” da IA está chegando ao mundo real, especificamente às bibliotecas.

A Scientific American reporta que há pessoas indo a bibliotecas e arquivos em busca de livros e artigos científicos que não aparecem em lugar algum por um motivo: eles não existem. A Cruz Vermelha Internacional alertou sobre a situação e responsabiliza ferramentas de IA como Gemini, ChatGPT e Copilot. Eles afirmam que “Esses sistemas não realizam pesquisas, não verificam fontes nem conferem informações. Eles geram novos conteúdos com base em padrões estatísticos e, portanto, podem produzir resultados inventados”.

Bibliotecários cansados

A diretora de pesquisa da biblioteca da Virgínia estima que pelo menos 15% das consultas recebidas por e-mail envolvem documentos e trabalhos gerados pelo ChatGPT e ferramentas similares. “Para nossa equipe, é muito mais difícil provar que não existe um registro único”, afirma. Uma usuária do Bluesky relata experiência semelhante quando um estudante lhe pediu para encontrar uma série de referências. Após algum tempo procurando sem sucesso, perguntou ao estudante de onde havia obtido a lista, e ele confessou que vinha de resumos de IA do Google.

As citações inventadas não são algo que começou recentemente; em 2023 já havia discussões a respeito. A Universidade de Seattle detectou que, muitas vezes, é muito difícil verificar essas citações falsas. O motivo é que a IA costuma fornecer títulos de revistas ou livros que existem, mas o que não existe é o capítulo ou número em que a informação se encontra. O que ela faz é misturar informações para que pareçam convincentes, quando, na realidade, nada daquilo é factível.

As referências inventadas não são o único problema: os bibliotecários também criticam os livros criados inteiramente por IA por serem “incrivelmente ruins”. Recentemente, conhecemos o caso da Coreia do Sul e o fracasso estrondoso de seu programa de livros escolares feitos com IA.

Por outro lado, existe o problema dos direitos autorais. Assim como com obras de arte, os livros também foram usados para treinar a IA sem compensar seus autores. Um grupo de escritores processou a Anthropic por esse motivo, mas o juiz decidiu a favor da empresa.

Artigos sobre IA feitos com IA

Em um artigo da Futurism, relata-se que uma consequência do “slop” da IA é que os próprios artigos que investigam a IA estão sendo produzidos com IA. Estima-se que a quantidade de artigos sobre IA tenha dobrado nos últimos anos, e revistas como a NeurIPS tiveram que pedir ajuda a estudantes de doutorado para revisar esses trabalhos. Há um caso concreto de um pesquisador chamado Kevin Zhu, que participou de mais de 100 artigos em um ano — um número absurdo para especialistas. Para surpresa de ninguém, muitos desses artigos são um verdadeiro desastre, repletos de citações inventadas, erros flagrantes e, às vezes, texto oculto para manipular os próprios sistemas de revisão.

É bastante comum que a IA invente informações. Na terminologia da IA, isso é conhecido como “alucinação” e é um dos pontos fracos dos modelos de linguagem. Os avanços são enormes, mas a realidade é que ainda não podemos confiar totalmente na IA, sendo necessário verificar as informações. As alucinações costumam ser o motivo pelo qual usuários da IA são flagrados em seus trabalhos, como o caso da consultoria Deloitte, que entregou um relatório ao governo australiano contendo referências totalmente inventadas.

Imagem | Cottonbro Studio, Pexels

Este texto foi traduzido/adaptado do site Xataka Espanha.


Inicio