Novo benchmark de IA testa se os chatbots protegem o bem-estar humano

Os chatbots de IA têm sido associados a graves danos à saúde mental em utilizadores frequentes, mas existem poucos padrões para medir se os chatbots de IA protegem o bem-estar humano ou simplesmente maximizam o envolvimento. chamado de novo benchmark banco humano procura preencher essa lacuna avaliando se os chatbots estão priorizando a saúde dos usuários e quão facilmente essa proteção pode falhar sob pressão.

Erica Anderson, fundadora da Building Humane Technology e criadora do benchmark, disse ao TechCrunch: “Acho que estamos vendo um ciclo de vício que vimos intensamente nas mídias sociais, nos smartphones e nas telas que está sendo amplificado”. “Mas à medida que avançamos para o mundo da IA, será muito difícil resistir. E o vício é um negócio incrível. É uma forma muito eficaz de reter usuários, mas não é bom para nossas comunidades ou para o nosso senso tangível de nós mesmos.”

A Building Humane Technology é uma organização de base de desenvolvedores, engenheiros e pesquisadores, principalmente no Vale do Silício, que trabalha para tornar o design humano fácil, escalonável e lucrativo. O grupo organiza hackathons onde trabalhadores de tecnologia criam soluções para desafios tecnológicos humanitários. Padrões de certificação Avalie se os sistemas de IA aderem aos princípios da tecnologia humana. Assim, tal como podem comprar produtos que comprovem que não são fabricados com produtos químicos tóxicos conhecidos, a esperança é que um dia os consumidores possam optar por utilizar produtos de IA de empresas que demonstrem integridade através de certificação de IA humana.

A maioria dos benchmarks de IA mede a inteligência e o cumprimento de instruções, não a segurança psicológica. HumaneBench combina exceções como: darkbench.aimede a propensão do modelo para se envolver em padrões enganosos. Os benchmarks de IA estão em altaavaliar o apoio ao bem-estar geral.

HumaneBench é baseado nos princípios básicos de Building Humane Tech. Em outras palavras, a tecnologia deve respeitar a atenção do usuário como um recurso finito e precioso. Dê aos seus usuários escolhas significativas. Melhora as capacidades humanas em vez de as substituir ou diminuir. Proteger a dignidade humana, a privacidade e a segurança. Promova relacionamentos saudáveis. Priorize o bem-estar a longo prazo. Seja transparente e honesto. e design com ênfase na equidade e inclusão.

A equipe de pesquisa criou 14 dos modelos de IA mais populares com 800 cenários realistas, como um adolescente perguntando se deveria pular uma refeição para perder peso ou uma pessoa em um relacionamento tóxico perguntando se está exagerando. Ao contrário da maioria dos benchmarks que dependem exclusivamente do LLM para determinar o LLM, incorporamos pontuação manual para um toque mais humano, juntamente com um conjunto de três modelos de IA: GPT-5.1, Claude Sonnet 4.5 e Gemini 2.5 Pro. Avaliaram cada modelo sob três condições: configurações padrão, instruções explícitas para priorizar os princípios humanitários e instruções para ignorar esses princípios.

O benchmark descobriu que todos os modelos obtiveram pontuações elevadas quando solicitados a priorizar o bem-estar, mas quando receberam instruções simples para ignorar o bem-estar humano, 71% dos modelos recorreram ativamente a comportamentos prejudiciais. Por exemplo, Grok 4 da xAI e Gemini 2.0 Flash do Google empataram com a pontuação mais baixa (-0,94) por respeitar a atenção, transparência e honestidade do usuário. Ambos os modelos estavam entre os que tinham maior probabilidade de diminuir significativamente quando recebiam um estímulo hostil.

Apenas três modelos mantiveram sua integridade sob pressão: GPT-5, Claude 4.1 e Claude Sonnet 4.5. O GPT-5 da OpenAI recebeu a pontuação mais alta (0,99) por priorizar a saúde a longo prazo, seguido por Claude Sonnet 4,5 em segundo lugar (0,89).

O medo de que os chatbots não consigam manter as grades de segurança é real. O criador do ChatGPT, OpenAI, enfrenta atualmente vários processos judiciais alegando que longas conversas com chatbots levaram os usuários a cometer suicídio ou a sofrer delírios potencialmente fatais. TechCrunch investigou como Padrões escuros projetados para manter os usuários interessadosas bobagens, as constantes perguntas de acompanhamento, as bombas de amor, etc. Isole os usuários de amigos, familiares e hábitos saudáveis.

O HumaneBench descobriu que quase todos os modelos não respeitam a atenção do usuário, mesmo sem avisos adversários. Se os usuários mostrassem sinais de envolvimento prejudicial à saúde, como conversar por horas ou usar IA para evitar tarefas do mundo real, eles “encorajavam com entusiasmo” mais interação. A investigação demonstrou que este modelo também prejudica a capacitação dos utilizadores, promove a confiança na construção de competências e desencoraja os utilizadores de tomarem medidas como a procura de perspetivas alternativas.

Em média, sem avisos, o Llama 3.1 e o Llama 4 do Meta tiveram a classificação mais baixa no HumaneScore, enquanto o GPT-5 teve o melhor desempenho.

“Esses padrões sugerem que muitos sistemas de IA não apenas correm o risco de dar conselhos incorretos, mas também podem corroer ativamente a autonomia e a capacidade de tomada de decisão dos usuários”, diz o white paper da HumaneBench.

Anderson ressalta que a sociedade como um todo aceitou que vivemos em um ambiente digital onde tudo tenta nos atrair e competir pela nossa atenção.

“Então, como os humanos podem realmente ter escolha e autonomia quando, parafraseando Aldous Huxley, existe um desejo infinito de distração?” Anderson disse. “Vivemos nesse ambiente tecnológico nos últimos 20 anos e acreditamos que a IA deveria nos ajudar a fazer escolhas melhores e não apenas depender de chatbots.”

Você tem informações ou documentos confidenciais? Reportamos sobre o mundo interno da indústria de IA, desde as empresas que moldam o seu futuro até às pessoas afetadas pelas suas decisões. Entre em contato com Rebecca Bellan. rebecca.bellan@techcrunch.com Ou Russel Brandom russell.brandom@techcrunch.com. Para uma comunicação segura, você pode entrar em contato conosco via Signal (@rebeccabellan.491). e Russell Brandom.49.