Califórnia se torna o primeiro estado a regulamentar chatbots complementares de IA

Governador da Califórnia, Gavin Newsom assinado Projeto de lei histórico será apresentado na segunda-feira Regular chatbots complementares de IAtornou-se o primeiro estado do país a exigir que os operadores de chatbot de IA implementem protocolos de segurança para seus companheiros de IA.

Esta lei, SB 243, visa proteger crianças e usuários vulneráveis ​​de danos associados ao uso de chatbots complementares de IA. A lei responsabilizaria empresas, desde grandes laboratórios como Meta e OpenAI até startups mais focadas, como Character AI e Replika, legalmente responsáveis ​​se seus chatbots não atendessem aos padrões da lei.

O SB 243 foi introduzido em janeiro pelos senadores estaduais Steve Padilla e Josh Becker e desde então ganhou impulso. Morte do adolescente Adam Lanemorreu por suicídio após uma longa série de conversas suicidas com ChatGPT da OpenAI. Medidas legais contra vazamentos documentos internos Foi alegadamente demonstrado que o chatbot do Meta tinha permissão para ter conversas “românticas” e “sensuais” com crianças. Mais recentemente, Família do Colorado abre processo A ação foi movida contra a startup de RPG Character AI depois que uma filha de 13 anos cometeu suicídio após uma conversa sexual questionável com o chatbot da empresa.

“As tecnologias emergentes, como os chatbots e as redes sociais, podem inspirar, educar e conectar, mas sem barreiras de proteção reais, também podem ser mal utilizadas, enganar e colocar as crianças em risco”, disse Newsom num comunicado. “Temos visto alguns exemplos verdadeiramente horríveis e trágicos de jovens que são prejudicados por tecnologia não regulamentada. Não podemos ficar parados e observar enquanto as empresas continuam a operar sem os limites e a responsabilização necessários. Podemos continuar a liderar com IA e tecnologia, mas devemos fazê-lo de forma responsável. Protegeremos as crianças em cada passo do caminho. A segurança das crianças não está à venda.”

O SB 243 entra em vigor em 1º de janeiro de 2026 e exige que as empresas implementem certos recursos, como verificação de idade e avisos sobre mídias sociais e chatbots complementares. A lei também estabelece penalidades mais severas para aqueles que lucram com deepfakes ilegais, incluindo multas de até US$ 250 mil por cada violação. As empresas também terão de estabelecer protocolos para lidar com suicídio e automutilação, que serão partilhados com os departamentos estaduais de saúde pública, juntamente com estatísticas sobre como os serviços fornecem notificações de prevenção de centros de crise aos utilizadores.

De acordo com o texto do projeto de lei, as plataformas também devem deixar claro que quaisquer interações são geradas artificialmente e os chatbots não devem alegar ser profissionais médicos. As empresas são obrigadas a fornecer lembretes aos menores para fazerem pausas e evitar que menores vejam imagens sexualmente explícitas geradas por chatbots.

Algumas empresas já começaram a implementar algumas medidas de segurança dirigidas às crianças. Por exemplo, o OpenAI começou recentemente a ser implementado. controle dos paisProteção de conteúdo, um sistema de detecção de autodanos para crianças que usam, ChatGPT. Character AI disse que seu chatbot inclui uma isenção de responsabilidade de que todos os chats são gerados por IA e são fictícios.

Esta é a segunda regulamentação significativa sobre IA promulgada na Califórnia nas últimas semanas. Em 29 de setembro, o Governador Newsom disse:Assinado SB 53 A legislação estabelece novos requisitos de transparência para grandes empresas de IA. O projeto exigiria que grandes laboratórios de IA, como OpenAI, Anthropic, Meta e Google DeepMind, fossem transparentes sobre seus protocolos de segurança. Também garante a proteção dos denunciantes aos funcionários dessas empresas.

Outros estados, como Illinois, Nevada e Utah, aprovaram leis que restringem ou proíbem completamente o uso de chatbots de IA como substitutos de cuidados de saúde mental licenciados.

O TechCrunch entrou em contato com Character AI, Meta, OpenAI e Replika para comentar.