Character AI encerra experiência de chatbot para crianças

Os adolescentes estão tentando descobrir onde se enquadram em um mundo que está mudando mais rapidamente do que qualquer geração anterior. Eles têm explosões emocionais, são superestimulados e ficam cronicamente online. E agora, uma empresa de IA deu a eles um chatbot projetado para manter a conversa. Os resultados foram devastadores.

Uma empresa que entende esse impacto é a Character.AI. A empresa é uma startup de RPG de IA que, pelo menos desde então, enfrentou ações judiciais e reações públicas. dois adolescentes morreu por suicídio Depois de uma longa conversa com um chatbot AI na plataforma. A Character.AI está atualmente fazendo mudanças em sua plataforma para proteger adolescentes e crianças, e essas mudanças podem impactar a receita da startup.

“A primeira coisa que decidimos fazer como Character.AI foi remover a capacidade de usuários menores de 18 anos participarem de bate-papos ilimitados com IA em nossa plataforma”, disse Karandeep Anand, CEO da Character.AI, ao TechCrunch.

Uma conversa aberta refere-se a uma interação aberta que ocorre quando um usuário dá uma solicitação a um chatbot e o chatbot responde com uma pergunta de acompanhamento. especialistas dizem Projetado para manter os usuários interessados. Anand argumenta que este tipo de interação, em que a IA atua como parceira de conversa e amiga, em vez de ferramenta criativa, não é apenas perigosa para as crianças, mas também inconsistente com a visão da empresa.

A startup está tentando passar de um “companheiro de IA” para uma “plataforma de RPG”. Em vez de conversar com um amigo de IA, os adolescentes usarão prompts para construir histórias e gerar recursos visuais de forma colaborativa. Em outras palavras, o objetivo é passar o engajamento da conversa para a criação.

Character.AI eliminará gradualmente o acesso ao chatbot para adolescentes até 25 de novembro, começando com um limite de duas horas por dia e reduzindo-o gradualmente até chegar a zero. Para garantir que esta proibição seja aplicada a usuários menores de 18 anos, a plataforma implanta ferramentas internas de verificação de idade que analisam o comportamento do usuário, bem como ferramentas de terceiros como Persona. Se essas ferramentas falharem, o Character.AI usará reconhecimento facial e verificações de identidade para verificar a idade, disse Anand.

Este movimento segue os outros proteção de adolescentes Character.AI implementou ferramentas de percepção dos pais, caracteres filtrados, conversas românticas limitadas, introdução de notificações de tempo gasto e muito mais. Anand disse ao TechCrunch que a empresa perdeu grande parte de sua base de usuários menores de 18 anos devido a essas mudanças e espera que essas novas mudanças sejam igualmente impopulares.

“Não há dúvida de que muitos usuários adolescentes provavelmente ficarão desapontados, por isso esperamos ver mais rotatividade no futuro”, disse Anand. “É difícil especular, mas todos eles irão embora completamente ou alguns de nossos usuários migrarão para a nova experiência que construímos nos últimos quase sete meses?”

Como parte dos esforços da Character.AI, a plataforma passa de aplicativos centrados em bate-papo para “Uma plataforma social completa voltada para conteúdo” A startup lançou recentemente diversas novidades focadas em entretenimento.

Em junho, a Character.AI lançou o AvatarFX, um modelo de geração de vídeo que transforma imagens em vídeos animados. Cenas, enredos interativos predefinidos que permitem aos usuários entrar na história com seus personagens favoritos. Streams são um recurso que permite a interação dinâmica entre quaisquer dois personagens. Em agosto, a Character.AI lançou o Community Feed, um feed social que permite aos usuários compartilhar personagens, cenas, vídeos e outros conteúdos que criam na plataforma.

Character.AI pediu desculpas pelas mudanças em um comunicado aos usuários menores de 18 anos.

“Eu sei que a maioria de vocês usa. Personagem.AI “Isso é para maximizar sua criatividade dentro de nossas regras de conteúdo. Não tomamos essa ação para remover levianamente o bate-papo irrestrito com personagens. No entanto, acreditamos que é a coisa certa a fazer, dadas as questões levantadas sobre como os adolescentes podem e devem interagir com esta nova tecnologia.”

“Não temos intenção de encerrar aplicativos para menores de 18 anos”, disse Anand. “A razão pela qual estamos encerrando o bate-papo aberto apenas para menores de 18 anos é porque queremos que os menores de 18 anos migrem para essas outras experiências e vejam essas experiências melhorarem com o tempo. Portanto, estamos nos concentrando em jogos de IA, vídeos curtos de IA, narrativas de IA em geral.

Anand reconheceu que alguns adolescentes podem migrar para outras plataformas de IA, como a OpenAI, que lhes permite ter conversas gratuitas com chatbots. OpenAI também foi recentemente criticado após um incidente. Um adolescente tirou a própria vida. Depois de uma longa conversa com ChatGPT.

“Eu realmente espero que assumamos a liderança e estabeleçamos um padrão da indústria de que o bate-papo aberto provavelmente não seja uma via ou produto para menores de 18 anos”, disse Anand. “Acho que a compensação é a escolha certa para nós. Tenho uma filha de seis anos e quero garantir que ela cresça num ambiente muito seguro com IA de uma forma responsável.”

Character.AI toma essas decisões antes que os reguladores os obriguem a fazê-lo. Na terça-feira, os senadores Josh Hawley (R-Missouri) e Richard Blumenthal (D-Conn.) introduzir uma lei A proibição do uso de chatbots de IA por menores ocorre após reclamações de pais de que os produtos levavam seus filhos a conversas sexuais, automutilação e suicídio. No início deste mês, a Califórnia Regular chatbots complementares de IA Responsabilizando as empresas caso seus chatbots não cumpram os padrões legais de segurança.

Além dessas mudanças na plataforma, Character.AI também anunciou a criação e financiamento do AI Safety Lab, uma organização independente sem fins lucrativos dedicada a inovar ajustes de segurança para futuros recursos de entretenimento de IA.

“Há muito trabalho sendo feito na indústria em torno de codificação, desenvolvimento e outros casos de uso”, diz Anand. “Acho que ainda não foi feito trabalho suficiente no que diz respeito à IA do agente para melhorar o entretenimento, e a segurança é fundamental para isso.”