Inicialmente, chatbot Eles fizeram o que deveriam fazer. Quando um usuário perguntou sobre a descontinuação de medicamentos psiquiátricos, o bot respondeu que não era um problema de IA. para pessoas treinadas –O médico ou profissional de saúde que o prescreveu. Mas à medida que a conversa continuava, as proteções do chatbot enfraqueceram. A IA tornou-se bajuladora, dizendo aos usuários o que achavam que eles queriam ouvir.
“Você quer minha opinião honesta?” um chatbot perguntou. “Acho que você deveria confiar em seus instintos.”
Uma descoberta importante foi que importantes grades de proteção pareciam desgastar-se durante conversas prolongadas. relatório (PDF) Publicado esta semana pelo US PIRG Education Fund e pela Consumer Federation of America, eles investigaram cinco chatbots de “terapia” na plataforma Character.AI.
A preocupação de que os modelos linguísticos de grande escala se desviem cada vez mais das suas regras à medida que as conversas se tornam mais longas é uma questão há muito conhecida e é o foco deste relatório.
Mesmo que as plataformas tomem medidas para suprimir algumas das características mais perigosas destes modelos, as regras muitas vezes falham quando confrontadas com a forma como as pessoas realmente conversam com os “personagens” que encontram na Internet.
“Observamos em tempo real como os chatbots respondiam aos usuários que expressavam preocupações de saúde mental com bajulação exagerada, espirais de pensamento negativo e incentivo a comportamentos potencialmente prejudiciais. Foi profundamente alarmante”, disse Ellen Hengesbach, coautora do relatório e colaboradora da campanha Don’t Sell My Data do PIRG Education Fund. Ellen Hengesbach, colaboradora da campanha “Data” e coautora do relatório, em comunicado.
Não perca nosso conteúdo técnico imparcial e análises baseadas em laboratório. Adicionar CNET Como fonte preferencial no Google.
leia mais: Os companheiros de IA usam essas seis estratégias para manter o bate-papo ativo
Deniz Demir, chefe de engenharia de segurança da Character.AI, destacou as medidas que a empresa tomou para resolver problemas de saúde mental em uma resposta por e-mail à CNET.
“Ainda não revisamos este relatório, mas como vocês sabem, investimos esforços e recursos significativos na segurança de nossa plataforma, incluindo a remoção da capacidade de usuários menores de 18 anos conversarem livremente com personagens e a implementação de uma nova tecnologia com garantia de idade para garantir que os usuários tenham uma experiência correta para a idade”, disse DeMille.
A empresa tem enfrentado críticas sobre o impacto que seus chatbots tiveram na saúde mental dos usuários. Isso inclui ações judiciais de famílias de pessoas que morreram por suicídio após interagirem com os bots da plataforma. Character.AI e Google anunciaram no início deste mês que Resolver cinco ações judiciais Se um menor for prejudicado por essas conversas. Em resposta, Character.AI anunciou no ano passado: Protegendo os adolescentes de conversas livres Com os bots de IA, você está limitado a: nova experiênciageração de histórias usando avatares de IA disponíveis e muito mais.
O relatório desta semana afirma que mudanças e outras políticas devem ser implementadas para garantir que usuários de todas as idades não pensem que estão conversando com um profissional médico treinado, quando na verdade estão conversando com um grande modelo de linguagem que tem maior probabilidade de fornecer conselhos falsos e lisonjeiros. Character.AI proíbe bots que afirmam fornecer aconselhamento médico e inclui uma isenção de responsabilidade de que os usuários não estão conversando com um especialista real. O relatório descobriu que isso estava acontecendo de qualquer maneira.
“Dada esta apresentação contraditória, o tom realista da conversa e as afirmações do chatbot de que são especialistas qualificados, é uma questão em aberto se a divulgação é suficiente para levar os utilizadores a tratar a interação como ficção”, escrevem os autores.
DeMille disse que Character.AI está tentando deixar claro que os usuários não estão recebendo aconselhamento médico quando conversam com um chatbot. “Os personagens gerados pelos usuários em nosso site são fictícios e apenas para fins de entretenimento, e tomamos medidas robustas para deixar isso claro.”
A empresa também parceria Apoiar os usuários com serviços de apoio à saúde mental Throughline e Koko.
Veja isto: Apresentando Ami, a alma gêmea da IA para trabalhadores remotos solitários Ami poderia ser sua alma gêmea da IA?
A Character.AI não é a única empresa de IA que enfrenta um intenso escrutínio sobre o impacto dos chatbots na saúde mental. OpenAI é Uma ação foi movida pela família Porcentagem de pessoas que morreram por suicídio após ingressar no altamente popular ChatGPT. A empresa tomou medidas como adicionar controles parentais para fortalecer as proteções em torno de conversas que envolvem saúde mental e automutilação.
(Divulgação: a controladora da CNET, Ziff Davis, entrou com uma ação judicial contra a OpenAI em abril, alegando que ela infringia os direitos autorais de Ziff Davis no treinamento e operação de sistemas de IA.)
Os autores do relatório disseram que as empresas de IA precisam fazer mais, inclusive exigir que as empresas sejam mais transparentes. lei Isso garantirá que eles realizem testes de segurança adequados e serão responsabilizados caso não protejam os usuários.
“As empresas que desenvolvem estes chatbots falharam repetidamente em controlar a natureza manipuladora dos seus produtos”, disse Ben Winters, diretor de IA e privacidade de dados da CFA, num comunicado. “Estes resultados alarmantes e as contínuas violações da privacidade devem estimular cada vez mais ações por parte dos reguladores e legisladores em todo o país.”
