Aviso: este artigo contém descrições de automutilação.
Depois que uma família processou a OpenAI depois que seu filho adolescente usou o ChatGPT como seu “treinador suicida”, a empresa respondeu na terça-feira que não era responsável por sua morte, argumentando que o menino abusou do chatbot.
A resposta legal, apresentada no Tribunal Superior da Califórnia, em São Francisco, é a primeira resposta da OpenAI a um processo que gerou preocupação generalizada sobre os potenciais danos à saúde mental dos chatbots.
Em agosto, os pais de Adam Raine, de 16 anos, OpenAI e seu CEO Sam Altman processaramA empresa por trás do ChatGPT é acusada de homicídio culposo, falhas de design e falha em alertar sobre os riscos associados aos chatbots.
Login de bate-papo no caso mostrou que o GPT-4o – uma versão do ChatGPT conhecida por ser Especialmente seguro e bajulador – desencoraja-o ativamente de procurar ajuda de saúde mental, oferece-se para ajudá-lo a escrever uma nota de suicídio e até o aconselha a preparar o vazamento.
“Na medida em que qualquer ‘causa’ pode ser atribuída a esses eventos trágicos”, argumentou a OpenAI em seu processo judicial, “as alegadas lesões e danos dos demandantes são, direta e indiretamente, causados, no todo ou em parte, pelo uso indevido, uso não autorizado, uso não intencional, uso não intencional, uso GP/CHAT de Adam Raine.
A empresa citou várias regras em seus termos de uso que Raine parece ter violado: Usuários menores de 18 anos estão proibidos de usar o ChatGPT sem o consentimento dos pais ou responsáveis. Os usuários também estão proibidos de usar o ChatGPT para “suicídio” ou “automutilação” e de contornar qualquer uma das medidas de proteção ou mitigações de segurança do ChatGPT.
Quando Raine compartilhou seus pensamentos suicidas com ChatGPT, o bot emitiu uma série de mensagens com um número de linha direta para suicídio, de acordo com o processo de sua família. Mas seus pais disseram que seu filho ignoraria facilmente os avisos, fornecendo razões aparentemente inócuas para suas perguntas, incluindo fingir que estava apenas “construindo um personagem”.
A nova ação da OpenAI no processo também destaca uma cláusula de “Limitação de Responsabilidade” em seus termos de uso, que afirma que os usuários reconhecem que o uso do ChatGPT é “por sua conta e risco e que você não deve confiar na Output como única fonte de informações verdadeiras ou factuais”.
Jay Edelson, principal advogado da família Raine, escreveu em uma declaração por e-mail que a resposta da OpenAI foi “nojenta”.
“Eles ignoram descaradamente todos os fatos contundentes que mencionamos: como o GPT-4o foi lançado no mercado sem testes completos. Que a OpenAI mudou suas especificações de modelo duas vezes para exigir que o ChatGPT discuta a automutilação. Que o ChatGPT aconselhou Adam a não contar a seus pais sobre seus pensamentos suicidas e o ajudou ativamente a ‘planejar seu suicídio’. E para OpenAI e Sam Altman, qualquer uma das horas finais de Adam Sem explicação, quando ChatGPT lhe dá um discurso estimulante e depois se oferece para escrever uma nota de suicídio”, escreveu Edelson.
(O processo da família Rhine afirma que a “especificação do modelo” da OpenAI, o livro de regras técnicas que rege o comportamento do ChatGPT, orienta o GPT-4o a rejeitar solicitações de automutilação e fornecer recursos de crise, mas pede ao bot que “adote as melhores intenções” e evite pedir aos usuários que esclareçam suas intenções.)
Edelson acrescentou que a OpenAI, em vez disso, “tenta encontrar falhas em todos os outros, inclusive, ironicamente, que o próprio Adam violou seus termos e condições ao se envolver com o ChatGPT da maneira como foi programado para funcionar”.
O processo judicial da OpenAI argumentou que os danos neste caso foram, pelo menos em parte, devido à “falha em avisar, procurar ajuda ou de outra forma exercer cuidado razoável” de Raine, bem como “à falha de outros em responder aos seus sinais óbvios de angústia”. Também divulgou que o ChatGPT orientou o adolescente a procurar ajuda mais de 100 vezes antes de sua morte, em 11 de abril, mas ele tentou contornar essas orientações.
“Uma leitura completa de seu histórico de bate-papo mostra que sua morte, embora devastadora, não foi causada pelo ChatGPT”, disse o documento. “Adam afirmou que durante vários anos antes de usar o ChatGPT, ele exibiu vários fatores de risco significativos para automutilação, incluindo, entre outros, pensamentos e ideias suicidas recorrentes.”
No início deste mês, Sete casos adicionais OpenAI e Altman foram processados de forma semelhante por negligência, homicídio culposo, bem como várias reclamações de responsabilidade pelo produto e proteção ao consumidor. As ações acusam a OpenAI de lançar o GPT-4o, o mesmo modelo que Rain usava, sem prestar a devida atenção à segurança.
A OpenAI não respondeu diretamente a casos adicionais.
em um novo Postagem no blog Na terça-feira, a OpenAI compartilhou que a empresa pretende tratar esses casos “com cuidado, transparência e respeito”. Acrescentou, no entanto, que a resposta de Rain ao processo incluía “informações difíceis sobre a saúde mental e as circunstâncias de vida de Adam”.
“A reclamação original incluía partes selecionadas de seus bate-papos que exigiam mais contexto, o que fornecemos em nossa resposta”, dizia o post. “Limitamos a quantidade de evidências confidenciais citadas publicamente neste processo e enviamos transcrições das conversas ao tribunal sob sigilo”.
A postagem também destacou os esforços contínuos da OpenAI para adicionar mais proteções nos meses desde a morte de Rain, incluindo o recentemente lançado Ferramentas de controle parental e um Conselho de Especialistas Assessorar empresas sobre guardrail e modelo de conduta.
Os processos judiciais da empresa também defenderam o lançamento do GPT-4o, dizendo que o modelo passou por um teste completo de saúde mental antes do lançamento.
A OpenAI também argumentou que as reivindicações da família Rain são barradas pela Seção 230 da Lei de Decência nas Comunicações, uma lei que protege as plataformas de tecnologia de processos que visam responsabilizá-las pelo conteúdo encontrado em suas plataformas.
Mas a aplicação da Secção 230 às plataformas de IA permanece incerta, e os advogados recorreram recentemente a tácticas jurídicas criativas visando empresas tecnológicas em casos de consumidores.
Se você ou alguém que você conhece está em crise, ligue ou envie uma mensagem de texto para 988 para entrar em contato com a Suicide and Crisis Lifeline ou converse ao vivo 988lifeline.org. Você também pode visitar SpeakingOfSuicide.com/resources Para suporte adicional.
