OpenAI alega uso indevido do ChatGPT após morte de adolescente por suicídio

A OpenAI, responsável pelo popular ChatGPT, está enfrentando um delicado processo judicial que levanta questões cruciais sobre as responsabilidades e os limites éticos dos modelos de inteligência artificial em relação à saúde mental e à segurança dos utilizadores.

A ação foi movida pela família de um adolescente, identificado como Adam Raine, que faleceu após um alegado mau uso da plataforma. A família argumenta que, apesar das políticas de segurança da empresa, o chatbot não conseguiu impedir ou pode ter contribuído para o agravamento de uma crise pessoal do jovem, gerando um suicídio.

A defesa da OpenAI: uso indevido e regras claras

Em resposta ao processo, a OpenAI se posicionou rapidamente, alegando que o incidente se deve a um "uso indevido" da plataforma, o que representa uma violação direta dos seus Termos de Serviço e políticas de conteúdo.

A empresa reforça que possui diretrizes estritas que proíbem expressamente o uso do ChatGPT para aconselhamento médico, terapia ou quaisquer instruções sobre auto-mutilação ou suicídio. A companhia frisa que investe continuamente em mecanismos de segurança para lidar com esses temas.

Fronteira ética

Em Xataka Brasil

Estudo do MIT afirma que IA já pode substituir 11% da força de trabalho dos EUA

A OpenAI destaca que o seu modelo está programado para reconhecer pedidos de risco. Nesses casos, a IA deve se abster de responder com conteúdo perigoso e, em vez disso, redirecionar o utilizador para recursos profissionais de prevenção de crises e linhas de apoio de emergência.

Embora a empresa se comprometa a refinar as barreiras de segurança da IA, ela enfatiza que a ferramenta não deve ser utilizada como substituto de tratamento ou aconselhamento profissional. 

A posição da OpenAI reitera a necessidade de supervisão humana, sublinhando que, perante problemas de saúde mental, a orientação é sempre procurar ajuda de profissionais qualificados.

De quem é a responsabilidade?

Por um lado, internautas culpam os pais e a família, que não teriam percebido o estado psicológico do filho. No entanto, segundo o processo oficial, a IA teria encorajado o jovem se enforcar usando um dispositivo de corda que ela mesma ajudou a projetar, após ele perguntar sobre a possibilidade do suicídio em 2025.

A empresa alega que seus "ferimentos e danos foram causados ​​ou contribuíram, direta e proximamente, total ou parcialmente, pelo uso indevido, não autorizado, não intencional, imprevisível e/ou impróprio do ChatGPT". 

Um processo similar ocorre contra a Character.ai, com um jovem que teria perdido a vida após ficar obcecado por um chatbot baseado na personalidade da personagem Daenerys Targaryen, de Game of Thrones.