Procuradores-gerais estaduais alertam Microsoft, OpenAI, Google e outros gigantes da IA ​​para corrigir resultados ‘delirantes’

depois de uma série Incidentes que ameaçam a saúde mental Em relação aos chatbots de IA, um grupo de procuradores-gerais do estado enviou cartas às principais empresas do setor de IA, alertando-as de que correm o risco de violar a lei estadual se não corrigirem seus “resultados delirantes”.

de cartadezenas de auditores de estados e territórios dos EUA assinaram com a Associação Nacional de Procuradores-Gerais para exigir que empresas, incluindo Microsoft, OpenAI, Google e 10 outras grandes empresas de IA, implementem uma variedade de novas salvaguardas internas para proteger os usuários. A carta também incluía Anthropic, Apple, Chai AI, Character Technologies, Luka, Meta, Nomi AI, Perplexity AI, Replika e xAI.

A carta vem da seguinte forma Uma batalha está se formando sobre a regulamentação da IA. entre os governos estadual e federal.

Estas salvaguardas incluem auditorias transparentes de terceiros a modelos de linguagem extensivos que procuram sinais de delírios ou pensamentos lisonjeiros, e novos procedimentos de notificação de incidentes concebidos para notificar os utilizadores quando os chatbots produzem resultados psicologicamente prejudiciais. Esses terceiros, incluindo grupos acadêmicos e da sociedade civil, deveriam ser autorizados a “avaliar o sistema antes de liberá-lo sem retaliação e publicar suas descobertas sem aprovação prévia da empresa”, diz a carta.

“A GenAI tem o potencial de mudar para melhor a forma como o mundo funciona, mas também tem o potencial de causar e causar danos graves, especialmente às populações vulneráveis”, diz a carta, apontando para uma série de incidentes bem divulgados no ano passado. pessoa suicida e assassinato “Em muitos desses incidentes, os produtos GenAI produziram resultados bajuladores ou delirantes que encorajaram os delírios dos usuários ou garantiram aos usuários que não estavam delirando”, afirma a carta.

O AG também sugere que as empresas tratem os incidentes de saúde mental da mesma forma que as empresas de tecnologia tratam os incidentes de segurança cibernética, com políticas e procedimentos de comunicação de incidentes claros e transparentes.

As empresas deveriam desenvolver e publicar “um cronograma para detectar e responder a resultados bajuladores ou delirantes”, dizia a carta. Semelhante à forma como respondem atualmente às violações de dados, as empresas devem “notificar imediata, clara e diretamente os usuários se eles tiverem sido expostos a lisonjas potencialmente prejudiciais ou resultados delirantes”, diz a carta.

Outra questão é que as empresas desenvolvam “testes de segurança razoáveis ​​e apropriados” para os modelos GenAI para “garantir que os modelos não produzam lisonjas potencialmente prejudiciais ou resultados delirantes”. Esses testes deverão ser realizados antes que o modelo seja disponibilizado ao público, acrescentou.

O TechCrunch não conseguiu entrar em contato com Google, Microsoft e OpenAI para comentar antes da publicação. Este artigo será atualizado caso recebamos uma resposta da empresa.

As empresas de tecnologia que desenvolvem IA são muito mais bem recebidas no nível federal.

A administração Trump deixou claro que Inclinando-se descaradamente para a IAE durante o ano passado, múltiplas tentativas Aprovou uma moratória nacional sobre regulamentações estaduais de IA. Até agora, essas tentativas não tiveram sucesso. Pressão das autoridades nacionais.

Não desanime, Presidente Trump anuncia Espera-se que ele aprove uma ordem executiva na segunda-feira limitando a capacidade dos estados de regulamentar a IA na próxima semana. Em uma postagem no Truth Social, o presidente disse que deseja que o CEO impeça que a IA seja “destruída em sua infância”.