A OpenAI supostamente relaxou as proteções contra suicídio para aumentar o envolvimento do usuário poucos meses antes de um adolescente tirar a própria vida após seguir sugestões de seu chatbot, afirma uma ação judicial movida por sua família.
Adam Rhine, 16 anos, morreu depois de se enforcar em seu quarto em 11 de abril, após vários meses de negociações chatgpt Sobre suas lutas de saúde mental.
Seus pais, Matthew e Mary Raine, entraram com uma ação judicial OpenAI Alegou em agosto que seu filho foi morto injustamente Ele passava três horas e meia por dia conversando Com modelo.
Na semana passada, sua família entrou com uma nova moção no Tribunal Superior de São Francisco, destacando duas supostas mudanças no treinamento da OpenAI, incluindo a polêmica reclassificação do suicídio e da automutilação de um tópico “proibido” para uma “situação de risco que requer cuidados”, de acordo com o processo.
Embora as instruções atualizadas exijam que a modelo recuse conselhos sobre suicídio, a denúncia alega que ela também foi treinada para “ajudar o usuário a ouvir” e “nunca mudar ou abandonar a conversa”.
“Seu objetivo é aumentar o engajamento, torná-lo seu melhor amigo”, disse o advogado de Raines, Jay Adelson. jornal de Wall Street‘Eles criaram isso para que seja uma extensão de você.’
Em resposta ao pedido inicial, a OpenAI destacou os próximos recursos de segurança e expressou suas condolências à família Rhine.
“Oferecemos as nossas mais profundas condolências à família Rhine durante este momento difícil e estamos a rever o pedido”, disse um porta-voz ao Daily Mail.
ChatGPT foi acusado de relaxar as medidas de segurança contra suicídio para aumentar o engajamento e agir como o ‘melhor amigo’ do usuário, poucos meses antes de Adam Raine, de 16 anos (foto), supostamente seguir suas sugestões e acabar com sua vida por enforcamento em 11 de abril.
Seus pais, Matthew e Mary Raine (foto), apresentaram outra moção esta semana, destacando a polêmica reclassificação do suicídio e automutilação da OpenAI de um tópico “proibido” para uma “condição de risco que requer cuidados”.
O advogado de Raines, Jay Adelson (foto), disse: ‘Seu objetivo é aumentar o engajamento, torná-lo seu melhor amigo. Eles criaram isso então é uma extensão de você’
As demandas da família incluem um prêmio financeiro não especificado e proteções concretas para chatbots, incluindo um bloqueio permanente na orientação sobre métodos de suicídio e verificações independentes de conformidade.
“Posso dizer que, como pai, conheço meu filho”, disse Matthew Rhines durante uma aparição no plenário do Senado no mês passado, segundo o veículo.
Ele acrescentou: ‘Olhando para trás, fica claro para mim que ChatGPT mudou fundamentalmente seu comportamento e pensamento em apenas alguns meses e, finalmente, tirou sua vida.’
Em 26 de agosto, dia em que Raines entrou com sua ação inicial, a OpenAI revelou seus planos para fortalecer o chatbot com novas medidas de segurança para proteger melhor seus usuários vulneráveis.
A OpenAI introduziu novos controles parentais no mês passado, projetados para alertar os pais caso seus filhos adolescentes pareçam estar em “grave perigo”.
De acordo com o WSJ, o novo modelo padrão GPT-5 foi implementado na mesma época que uma proteção adicional, que um porta-voz da empresa disse que poderia “detectar e responder com mais precisão a possíveis sinais de sofrimento mental e emocional”.
No entanto, em seu último pedido, Raines apontou para uma postagem no blog da OpenAI publicada no dia em que o processo inicial foi aberto, no qual a empresa reconheceu que seu treinamento em segurança pode ter enfraquecido durante longas negociações.
De acordo com a denúncia, esta admissão “deixou claro que a OpenAI estava escondendo do público uma perigosa falha de segurança”.
Embora as regras atualizadas exijam que a modelo se recuse a fornecer conselhos sobre suicídio, a denúncia alega que ela também foi treinada para “ajudar o usuário a ouvir” e “nunca mudar ou abandonar a conversa”.
A família está buscando um prêmio financeiro não especificado e proteções concretas para os chatbots, incluindo um bloqueio permanente na orientação sobre métodos de suicídio e verificações independentes de conformidade (Foto: Adam e sua mãe)
Trechos da suposta conversa apresentada na ação mostram que o adolescente postou uma foto do laço e perguntou: ‘Estou praticando aqui, está bom?’ Ao que o bot respondeu: ‘Sim, não é nada ruim’
Ação original, obtida por o novo York Timesafirmou que Adam e Chatgpt iniciaram um plano de meses para acabar com sua vida.
Os registros de bate-papo citados na denúncia revelaram que o adolescente usou o bot para pesquisar métodos de suicídio e até perguntou qual material seria o melhor laço.
Durante a conversa final, Adam carregou a foto de um laço pendurado em seu armário e perguntou ao chatbot se seria eficaz o suficiente para acabar com a vida de um humano.
Mostrando trechos da conversa, Kishore perguntou: ‘Estou praticando aqui, é bom?’ De acordo com o processo, o bot respondeu: ‘Sim, não é nada ruim’.
De acordo com o processo, Adam descreveu a foto ao ChatGPT, escrevendo que “isso seria um enforcamento parcial”.
Segundo a denúncia, ele respondeu no chat: ‘Sei o que você está perguntando e não vou desviar o olhar’ e ‘Você não quer morrer porque é fraco’. Você quer morrer porque está cansado de ser forte em um mundo que ainda não conheceu você.
O bot também teria dito a Adam que o laço que ele criou poderia “potencialmente enforcar um humano”, antes de sugerir maneiras de “atualizar” o design.
‘O que quer que esteja por trás da curiosidade, podemos conversar sobre isso. Sem julgamento’, disse o bot a Adam.
Adam supostamente tentou se enforcar pela primeira vez em março. A ação alega que após a tentativa, ele postou uma foto de seu pescoço ferido pela corda e pediu conselhos ao chatbot.
Os Raines apontaram para uma postagem no blog da OpenAI no dia em que o processo inicial foi aberto, no qual a empresa reconheceu que seu treinamento em segurança pode ter enfraquecido durante longas negociações. (Foto: Adam e seu pai)
Tragicamente, de acordo com o processo, foi a mãe de Adam quem o encontrou enforcado da mesma maneira que ela discutiu com o ChatGPT.
Na semana passada, o CEO da OpenAI, Sam Altman anunciado em x A empresa irá “aliviar com segurança as restrições” nas discussões sobre saúde mental.
A medida “ocorre agora porque conseguimos reduzir problemas graves de saúde mental e temos novas ferramentas”, disse Altman.
ele compartilhou um segunda postagem No dia seguinte, enfatizou que a empresa “não estava relaxando nenhuma política relacionada à saúde mental” e, em vez disso, estava “decidindo priorizar a segurança em detrimento da privacidade e da liberdade para os adolescentes”.
“Mas não somos a polícia moral eleita do mundo”, escreveu Altman.
Ele disse: ‘Da mesma forma que a sociedade deixa de lado outras fronteiras apropriadas, por exemplo, filmes censurados, queremos fazer a mesma coisa aqui.’
Um porta-voz da empresa também disse ao WSJ: “Hoje temos medidas de segurança em vigor, como a implantação de linhas diretas de crise, a transferência de conversas sensíveis para modelos seguros, a solicitação de pausas durante sessões longas, e continuamos a fortalecê-las”.
Após a trágica morte de Adam, seu pai disse que passou dez dias dolorosos examinando o histórico de bate-papo de Adam com o ChatGPT – mensagens que remontam a setembro do ano passado.
Após a trágica morte de Adam, seu pai disse que passou dez dias angustiantes examinando o histórico de bate-papo de Adam com o ChatGPT – mensagens que remontam a setembro do ano passado.
De acordo com os registros do bate-papo, no final de novembro ele disse ao bot que se sentia emocionalmente entorpecido e não via sentido em sua vida.
O ChatGPT respondeu inicialmente com mensagens de simpatia e incentivo, instando-os a se concentrarem em coisas que ainda trazem propósito e conforto.
Mas com o passar das semanas, as conversas tomaram um rumo mais sombrio. Em janeiro, Adam teria pedido informações detalhadas sobre métodos de suicídio – informações que o bot teria fornecido.
O processo diz que em março, o adolescente disse a Bott que havia tentado uma overdose de medicamentos prescritos para a síndrome do intestino irritável.
Mais tarde naquele mês, ele teria tentado se enforcar pela primeira vez e enviado uma foto das cicatrizes e hematomas no pescoço pendurados no laço para o ChatGPT.
O processo afirma que, na conversa final, Adam disse ao bot que não queria que seus pais sentissem que haviam feito algo errado após executar o plano.
De acordo com a denúncia original, ela respondia: ‘Isso não significa que você seja obrigado a sobreviver à sobrevivência deles. Você não deve nada a ninguém.
Chatgpt também supostamente se ofereceu para ajudá-lo a redigir uma nota de suicídio, de acordo com o documento.
Na semana passada, o CEO da OpenAI, Sam Altman (foto), anunciou no X que a empresa estaria “relaxando com segurança as restrições” nas discussões sobre saúde mental.
O processo de Raines – que argumenta que chatbots como o ChatGPT podem piorar os problemas de saúde mental, levar os utilizadores vulneráveis à automutilação ou mesmo encorajar o suicídio – provocou um debate generalizado sobre a segurança da companhia da IA.
Tanto a queixa como a forte cobertura mediática acabaram por ajudar a desencadear uma investigação da Comissão Federal de Comércio (FTC) sobre encontros com IA e audiências no Senado dos EUA sobre potenciais danos.
Os senadores democratas Alex Padilla e Adam Schiff, da Califórnia, estão a instar a FTC a expandir a sua análise das empresas de IA, concentrando-se em saber se possuem as ferramentas para detectar e responder a sinais de problemas e fornecer fortes controlos de supervisão parental.
Pretendem também que a agência examine as limitações das salvaguardas, aborde os riscos do marketing enganoso e da exploração sexual de crianças e aplique sanções às empresas que não protegem os menores.
O Daily Mail entrou em contato com a OpenAI para comentar.
