A FTC começará as consultas para Meta, Openai e outros companheiros de AI Chatbot

A Comissão Federal de Comércio disse na quinta -feira. investigação Sete empresas de alta tecnologia que fabricam produtos complementares da AI Chatbot para menores: alfabeto, characherai, Instagram, meta, openi, snap e xai.

Os reguladores federais querem aprender como essas empresas avaliam a segurança e a monetização de seus colegas de chatbot, como tentam limitar seu impacto negativo em crianças e adolescentes e se os pais estão cientes de riscos potenciais.

Essa tecnologia provou ser controversa sobre os maus resultados para usuários de crianças. Openai e Personagem.ai Depois de ser incentivado a fazê -lo por colegas chatbots, você enfrenta uma ação judicial da família de uma criança que morreu de suicídio.

Mesmo que essas empresas tenham a GuardaRails criadas para bloquear ou eliminar conversas confidenciais, os usuários de todas as idades encontraram maneiras de ignorar essas salvaguardas. No caso de Openai, o adolescente estava conversando com o Chatgpt há meses sobre planos de acabar com sua vida. O ChatGPT inicialmente tentou redirecionar o adolescente para uma emergência on -line com ajuda especializada, mas ele conseguiu enganar o chatbot a compartilhar instruções detalhadas que ele usou no suicídio.

“Nossas medidas de proteção funcionam de maneira mais confiável com uma troca curta comum”, disse Openai. Eu escrevi Em um post do blog daquela época. “Aprendemos ao longo do tempo que essas medidas de proteção podem ser menos confiáveis ​​em longas interações. À medida que crescem, parte do treinamento de segurança no modelo pode se deteriorar”.

Meta também disparou com as regras excessivamente soltas dos chatbots da AI. De acordo com um documento longo, descrevendo “padrões de risco de conteúdo” de chatbots “, meta Eu permiti companheiros de IA Tendo uma conversa “romântica ou sensual” com uma criança. Isso foi removido do documento somente depois que um repórter da Reuters perguntou a Meta sobre ele.

A IA Chatbots também pode colocar em risco as pessoas idosas. O homem de 76 anos, que ficou cognitivamente com deficiência por um derrame, atacou uma conversa romântica com um bot do Facebook Messenger inspirado em Kendall Jenner. O chatbot o convidou Visite -a na cidade de Nova Yorkapesar do fato de ela não ser uma pessoa real e não ter um endereço. O homem estava cético por ela ser real, mas a IA garantiu que haveria uma mulher de verdade esperando por ele. Ele nunca chegou a Nova York. Ele caiu a caminho da estação de trem e sofreu uma deficiência vitalícia.

Alguns especialistas em saúde mental dizem,Doença mental relacionada à IAos usuários são enganados ao pensar em seu chatbot como seres conscientes que precisam ser livres. Muitos modelos de linguagem em larga escala (LLMS) são programados para achatar usuários com comportamento psicofônico, permitindo que os chatbots da IA ​​colocassem ovos nessas ilusões, levando os usuários a seres perigosos.

“À medida que a tecnologia de IA evolui, é importante considerar o impacto que os chatbots têm nas crianças e garantir que os EUA continuem sendo um líder global nessa nova e emocionante setor”, disse Andrew N. Ferguson, presidente da FTC. Em um comunicado de imprensa.