Victor Bianchin
RedatorVictor Bianchin é jornalista.
As alucinações vêm sendo o calcanhar de Aquiles da IA desde que os chatbots passaram a fazer parte da nossa vida. Empresas como a OpenAI prometeram que as alucinações poderiam ser mitigadas com processos de treinamento adequados, mas, anos depois, tanto o ChatGPT quanto seus rivais diretos continuam inventando respostas quando não têm certeza do que dizer. Shuhui Qu, pesquisadora da Universidade de Stanford, acredita ter encontrado um caminho para abordar o problema.
Os modelos de linguagem atuais têm um defeito de fábrica: respondem com total segurança mesmo quando não têm a menor ideia ou as informações necessárias. Isso tem a ver com a forma como avançam ao processar qualquer resposta, já que os LLMs não têm nenhum problema em completar informações faltantes, mesmo que estas não sejam fiéis à realidade e usem suposições.
Shuhui Qu, pesquisadora da Universidade de Stanford, publicou um artigo no qual apresenta o que ela chama de Planejamento Categorial Bidirecional com Autoconsulta. Uma abordagem que parte de uma ideia simples, mas incômoda para as grandes empresas de tecnologia: obrigar o modelo a reconhecer explicitamente o que não sabe e a não avançar até resolver isso.
Um método mais científico
A ideia não é que o modelo pense melhor, mas que deixe de fingir que sabe tudo. A proposta de Qu parte de uma premissa básica: toda vez que o modelo dá um passo no seu raciocínio, deveria se perguntar se realmente tem a informação necessária para fazê-lo.
Quando surgisse uma condição desconhecida, o modelo não poderia continuar. Não seria permitido preencher a lacuna com suposições e, antes de avançar, ele precisa parar para resolver a incerteza. Isso poderia ser feito de duas formas:
- Formulando uma pergunta concreta para obter a informação que falta
- Ou introduzindo algum passo intermediário (verificação, consulta adicional) que passe a fazer parte da cadeia de raciocínio.
Os pesquisadores, por meio de código externo, conseguiram fazer com que modelos como o GPT-4 respondessem apenas quando tinham informações completas. Fizeram isso com tarefas simples, perguntando sobre receitas de cozinha e guias do Wikihow. A chave? Ocultaram informações de propósito para obrigar o modelo a parar.
A conclusão da pesquisa foi que tornar explícitas as pré-condições e verificá-las antes de avançar reduz de forma significativa os erros dos LLMs quando falta informação. Ainda assim, ao longo do caminho, admite-se que nem mesmo isso é suficiente para fazer as alucinações desaparecerem por completo.
Embora a ideia da pesquisadora soe brilhante, é bastante improvável vê-la no curto e médio prazo. Essa forma de processamento quebra o fluxo natural dos LLMs atuais, projetados para entregar respostas completas.
Para que um sistema assim funcione, é necessário adicionar uma camada extra à estrutura, com pré-condições que o obriguem a controlar as chamadas, interpretar as próprias respostas, classificá-las e se autobloquear para fazer perguntas ao usuário quando não tiver todas as informações. Em outras palavras, por enquanto, a IA vai continuar arriscando respostas pomposas, mesmo quando houver risco de estar falando besteira.
Imagem | Xataka
Este texto foi traduzido/adaptado do site Xataka Espanha.
Ver 0 Comentários