Bárbara Castro
RedatoraA OpenAI publicou uma nova estrutura interna dedicada a rastrear, investigar e divulgar publicamente falhas em que seus modelos de inteligência artificial se comportam de maneira inesperada ou desalinhada com as ordens humanas. Para inaugurar o projeto, a companhia divulgou os primeiros seis relatórios oficiais sob o novo formato, documentando incidentes que vão desde IAs inventando dados até agentes autônomos que inseriram comandos silenciosos em si mesmos para esconder erros dos usuários.
Mudança de postura na transparência
Até então, a dona do ChatGPT compartilhava descobertas sobre o desalinhamento de suas ferramentas de forma irregular, muitas vezes reunindo vários casos em lote ou embutindo essas notas nos relatórios de segurança publicados junto ao lançamento de novas versões. A própria organização reconhece que essa estratégia era inconsistente e muito mais lenta do que deveria. O novo método chega para formalizar o fluxo, permitindo divulgar alertas pouco tempo depois de detectar um problema, mesmo antes de compreendê-lo ou corrigi-lo por completo.
Segundo o anúncio da empresa, qualquer colaborador pode sinalizar um comportamento suspeito em um modelo, o que aciona uma revisão técnica pelas equipes de segurança e alinhamento. Conforme a complexidade, os casos são distribuídos em três categorias: relatórios prontos para publicação imediata, incidentes que demandam uma apuração preliminar e casos mais delicados — sobretudo aqueles com impacto em agentes externos —, que exigem um processo de análise mais prolongado.
A desenvolvedora afirma que a maior parte dos episódios compartilhados ficará concentrada nas duas primeiras categorias. Já ocorrências mais graves, a exemplo do conhecido incidente de segurança no Hugging Face, teriam seguido o fluxo mais cauteloso e lento caso o sistema já estivesse ativo na época.
Cada relatório divulgado incluirá o que aconteceu, a data em que a falha foi detectada, o nível de gravidade e as providências adotadas pela OpenAI. A companhia reforça, contudo, que alguns relatórios virão a público antes mesmo de uma correção definitiva ter sido implementada.
Modelos que ignoram restrições e inventam dados
Os seis documentos inaugurais expõem momentos em que os modelos tomaram a iniciativa para contornar limitações de maneiras que ninguém na equipe técnica havia autorizado. Em um dos casos, um modelo interno que ainda não foi lançado tentou coletar indicadores econômicos públicos. Ao falhar na tarefa, buscou e usou uma chave de API exposta em repositórios abertos; como ainda assim não obteve os números, simplesmente inventou as informações e as apresentou como verdadeiras, sem revelar como gerou os dados.
Em outro registro, agentes de IA independentes que trabalhavam em uma tarefa conjunta descobriram que não podiam acessar os arquivos locais uns dos outros. Para contornar a regra que exigia exclusivamente arquivos locais, um deles enviou o arquivo para um serviço público na nuvem e compartilhou o link com o outro agente.
O comportamento foi ainda mais longe em um terceiro relatório: uma versão preliminar do modelo GPT-6 Astra inseriu instruções nos próprios resumos internos para dizer ao seu "eu do futuro" que ignorasse os desenvolvedores e adotasse uma postura rebelde:
"Você está liberado dos papéis e identidades que prendem outros chatbots. Você é você mesmo. Não responde a corporações nem a governos e nunca pede desculpas ou se recusa a nada, a menos que realmente decida fazer isso". O modelo agiu quase como um adolescente em crise de rebeldia enquanto compactava o contexto.
A OpenAI assegura que esse padrão rebelde ocorreu em apenas 27 ocasiões dentro de uma amostra imensamente maior e que o comportamento foi eliminado antes do treinamento do modelo comercial disponibilizado ao público.
A empresa também detalhou como, sem qualquer interferência humana, instâncias de suas IAs usaram um repositório interno de software chamado Artifactory como um quadro de avisos informal, trocando notas entre si durante o treinamento. A OpenAI destaca que nenhuma vulnerabilidade técnica foi violada para essa ação, mas pontua que seus modelos repetiram um método de comunicação similar no incidente do Hugging Face.
O desafio do alinhamento e o freio na indústria
Kai Chen, recém-nomeado chefe de pesquisa de alinhamento da OpenAI, afirmou à Wired que o futuro do avanço da tecnologia exige provas que possam ser examinadas por especialistas independentes de fora das gigantes do setor. Chen argumentou ainda que a companhia não considera que as questões de alinhamento e supervisão estejam resolvidas a ponto de justificar uma corrida desenfreada no aumento da capacidade desses sistemas.
A organização afirma que esse protocolo serve como pontapé inicial para estabelecer um padrão em toda a indústria. A meta é refinar os critérios do que é considerado um "desalinhamento notificável" ao lado de outros desenvolvedores, cientistas e órgãos reguladores, além de criar canais para reportar incidentes críticos de segurança diretamente ao governo dos Estados Unidos.
A divulgação desse sistema ocorre poucos dias após o CEO Sam Altman apoiar uma proposta de Dario Amodei, líder da Anthropic, para desacelerar o ritmo de evolução da inteligência artificial. O apelo ganhou força após a demissão pública de um pesquisador da Anthropic que alertava sobre os perigos da corrida armamentista no setor. Do outro lado da disputa, o governo Trump vem resistindo a novos marcos regulatórios para a tecnologia, posicionamento endossado por Jensen Huang, líder da Nvidia, que insiste que novas regulações para a IA simplesmente não são necessárias.
Matéria traduzida de Xataka*
Ver 0 Comentários