Indústria literária já está premiando livros escritos por IA, e detectores estão se mostrando inúteis

A IA faz muitas coisas bem, mas escrever não é uma delas, e detectar se algo foi escrito por ela é ainda menos fácil. Das primeiras gerações do ChatGPT aos modelos avançados como o Claude, a IA não conseguiu escrever de forma humana. O tom, as imperfeições, a ausência de clichês... Para um escritor, é relativamente fácil identificar quando um texto foi escrito por IA.

Os detectores de texto de IA parecem não ter tanta clareza sobre isso. Escrever bem tornou-se sinônimo de "provavelmente foi escrito por IA", a ponto de algumas IAs detectarem que alguns dos grandes livros da literatura espanhola foram criados por IA. E como não há como resolver essa situação, algumas pessoas estão lucrando com ela.

Confusão

Uma das notícias desta semana destaca o enorme problema que temos em identificar se um texto foi escrito por IA ou não. Três dos cinco vencedores regionais do Prêmio Commonwealth de Contos, organizado pela revista literária britânica Granta, são suspeitos de terem escrito suas obras com IA.

As acusações vêm dos próprios leitores das obras, bem como dos escritores que participaram. Trata-se de uma competição de grande prestígio no Reino Unido, na qual vários contos são submetidos e um prêmio é concedido a um escritor de cada uma das principais regiões (África, Ásia, Canadá, Europa, etc.). Os prêmios chegam a US$ 6,7 mil e é uma das principais competições britânicas de contos.

Como as pessoas sabem?

Uma das obras premiadas, A Serpente no Bosque, começou a levantar suspeitas.

• Frases como "nem X nem Y, mas Z" ("Não o trabalho preciso das abelhas nem o som áspero de um facão contra a videira, mas um som áspero, como se a terra engolisse um grito e o retivesse.")
• Palavras estranhas fora de contexto ("a floresta zumbia ao meio-dia").
• Alguns fragmentos foram detectados por ferramentas de IA como 100% gerados por IA.

O autor não se pronunciou sobre o assunto e, ao navegar por suas redes sociais, percebe-se que elas também são geradas por IA. De fato, a questão é tão nebulosa que foi necessário um esforço para provar que o autor realmente existiu e não era um personagem criado por IA.

“Atualmente, não utilizamos sistemas de IA em nosso processo de avaliação, pois este é um prêmio para ficção inédita. Submeter uma obra original e inédita a um sistema de IA levantaria sérias questões sobre consentimento e propriedade intelectual. Também não utilizamos IA para avaliar histórias em nenhuma etapa do processo. Ao submeterem suas histórias ao prêmio, os autores concordam com nossas regras e diretrizes de participação. Isso inclui a confirmação de que a obra submetida é original. Todos os autores finalistas declararam pessoalmente que nenhuma IA foi utilizada, e a Fundação confirmou isso após uma investigação mais aprofundada.”

Indetectável

No caso da Granta, a intenção não era usar sistemas de IA para determinar se os textos foram criados artificialmente. Mas mesmo que tivessem sido usados, seria inútil. Serviços conhecidos como ZeroGPT e Grammarly têm limitações significativas quando se trata de detectar textos técnicos. Aliás, alguns já detectaram obras renomadas ou fragmentos da Bíblia como conteúdo gerado por IA. O mesmo vale para o inverso: existem textos 100% gerados por IA que os detectores conseguem interpretar como 100% humanos, embora seja um processo um pouco mais complexo.

Modelos de linguagem (como o ChatGPT ou o Claude) não escrevem de fato; eles apenas fazem previsões. Seu mecanismo básico consiste em calcular, palavra por palavra, qual é a próxima palavra mais provável, dado o contexto anterior. Isso produz textos coerentes, bem estruturados e gramaticalmente impecáveis... e textos planos, muito planos e robóticos. A IA quase sempre escolhe a opção mais previsível, porque é para isso que ela foi otimizada, e não hesita em repetir padrões nos resultados que oferece a cada pessoa que a utiliza.

Escrever mal é a solução?

É fácil encontrar exemplos que ilustram maneiras de burlar esses sistemas. No meu caso, estou preparando uma revisão sistemática sobre um tema bastante acadêmico e técnico. A universidade utiliza detectores de IA, então costumo passar o texto por eles para verificar a porcentagem.

Minha surpresa reside justamente em como os detectores de IA penalizam a escrita correta. Textos 100% gerados por humanos são detectados com 80% de probabilidade de terem sido gerados por IA. A solução? Escrevê-los, mas com frases um pouco mais desconexas e menos precisão absoluta. Seja como for, a questão é clara: se nem mesmo a IA consegue distinguir um texto escrito por IA... como nós, humanos, podemos confirmá-lo legalmente?