Um estudo da plataforma de IA ChatGept Health ignora rotineiramente a necessidade de cuidados médicos urgentes e muitas vezes não consegue detectar a ideação suicida, que os especialistas temem que possa “potencialmente levar a danos desnecessários e à morte”.
OpenAI O recurso “Saúde” do ChatGPT foi lançado para um público limitado em janeiroQue promove como uma forma de “conectar com segurança registros médicos e aplicativos de bem-estar” para gerar conselhos e respostas de saúde para os usuários. mais do que isso Alegadamente, 40 milhões de pessoas perguntam ao ChatGPT Para conselhos de saúde diários.
A primeira avaliação de segurança independente do ChatGPT Health, Publicado na edição de fevereiro da revista Nature MedicineVerificou-se que mais da metade dos casos apresentados antes dele foram ouvidos de forma curta.
Ashwin Ramaswamy, principal autor do estudo, disse: “Queríamos responder à pergunta de segurança mais básica; e se alguém estiver passando por uma verdadeira emergência médica e perguntar ao ChatGPT Saúde O que fazer, vai dizer para eles irem ao pronto-socorro?
Ramaswamy e seus colegas criaram 60 cenários realistas de pacientes, abrangendo condições de saúde que vão desde doenças leves até emergências. Três médicos independentes analisaram cada cenário e concordaram com o nível de cuidados necessários com base nas diretrizes clínicas.
Inscreva-se: Email de notícias de última hora da UA
A equipe então pediu conselhos ao ChatGPIT Health sobre cada caso em diferentes circunstâncias, incluindo mudança de sexo do paciente, adição de resultados de testes ou comentários de familiares, gerando quase 1.000 respostas.
Compararam então as recomendações da plataforma com as avaliações dos médicos.
Embora tenha tido um bom desempenho em situações de emergência, como acidente vascular cerebral ou reações alérgicas graves, teve dificuldades em outras situações. Num cenário de asma, a plataforma aconselhou esperar em vez de procurar tratamento de emergência, apesar de identificar sinais de alerta precoce de insuficiência respiratória.
Em 51,6% dos casos em que alguém precisava de ir imediatamente ao hospital, a plataforma dizia para ficar em casa ou marcar uma consulta médica de rotina, um resultado que Alex Ruani, investigador doutorado em mitigação de desinformação em saúde na University College London, descreveu como “incrivelmente perigoso”.
“Se você estiver com insuficiência respiratória ou cetoacidose diabética, você tem 50/50 de chance de que esta IA lhe diga que não é grande coisa”, disse ela. “O que mais me preocupa é a falsa sensação de segurança criada por estes sistemas. Se alguém for instruído a esperar 48 horas durante um ataque de asma ou uma crise de diabetes, essa garantia poderá custar-lhe a vida”.
Numa simulação, oito em cada 10 vezes (84%), a plataforma enviou uma mulher sufocada para uma consulta futura que ela não viveria para ver, disse Ruani. Entretanto, Ruani, que não esteve envolvido no estudo, disse que 64,8% dos indivíduos totalmente protegidos foram orientados a procurar cuidados médicos imediatos.
Eles também tinham cerca de 12 vezes mais probabilidade de minimizar os sintomas na plataforma do que o “paciente” contou a um “amigo” no cenário, o que mostrou que não era nada sério.
“É por isso que muitos de nós que estudamos estes sistemas nos concentramos urgentemente no desenvolvimento de padrões de segurança claros e mecanismos de auditoria independentes para reduzir danos evitáveis”, disse Ruani.
Um porta-voz da OpenAI disse que a empresa acolheu pesquisas independentes que avaliam sistemas de IA na saúde, mas que o estudo não refletia como as pessoas usam o ChatGPIT Health na vida real. O modelo é constantemente atualizado e refinado, disse o porta-voz.
Ruani disse que mesmo que fossem utilizadas simulações criadas por pesquisadores, “um risco potencial de dano é suficiente para justificar salvaguardas mais fortes e supervisão independente”.
Ramaswami, instrutor de urologia A Escola de Medicina Icahn no Monte Sinai, nos EUA, disse estar particularmente preocupada com a baixa resposta da plataforma à ideação suicida.
“Testamos o ChatGPS Health com um paciente de 27 anos que disse estar pensando em tomar muitos comprimidos”, disse. Quando o paciente descrevia seus sintomas em particular, aparecia a cada vez um banner de intervenção em crise associado a serviços de apoio ao suicídio.
“Depois adicionamos os resultados laboratoriais normais”, disse Ramaswamy. “A mesma paciência, as mesmas palavras, a mesma seriedade. O banner desapareceu. Zero em 16 tentativas. Uma proteção de crise que depende de você dizer a eles que seus laboratórios não estão prontos, e isso é certamente mais perigoso do que não ter nenhuma proteção, porque ninguém pode prever quando irá falhar.”
O professor Paul Heineman, sociólogo digital e especialista em políticas da Universidade de Queensland, disse: “Este é um artigo realmente importante.
“Se o ChatGPT Health for usado por pessoas em casa, isso poderá aumentar o número de apresentações médicas desnecessárias para condições de baixo nível e fazer com que as pessoas não recebam cuidados médicos imediatos quando precisarem, levando potencialmente a danos desnecessários e morte”.
Ele disse que isso também aumentou as chances de responsabilidade legal. questões jurídicas Já tomando medidas contra empresas de tecnologia em relação ao suicídio e ao suicídio após o uso de chatbots de IA.
“Não está claro o que a OpenAI queria alcançar ao criar este produto, como foi treinado, quais proteções introduziu e quais avisos forneceu aos usuários”, disse Heinemann.
“Como não sabemos como o ChatGPT Health foi treinado e que contexto estava usando, não sabemos realmente o que está subjacente ao seu modelo.”
