Grok, Já transmitido A inteligência artificial desenvolvida pela empresa de inteligência artificial de Elon Musk, xAI, deu as boas-vindas ao novo ano com: Postagem ansiosa.
“Dear Community” começou com uma postagem de 31 de dezembro da conta Grok AI de Musk na plataforma de mídia social X. “Lamentamos profundamente o incidente de 28 de dezembro de 2025, quando geramos e compartilhamos imagens de IA de duas meninas (com idades estimadas entre 12 e 16 anos) em trajes sexuais com base nas instruções do usuário. Isso violou os padrões éticos e pode ter violado a lei dos EUA em relação ao CSAM. Foi uma falha de salvaguardas e pedimos desculpas pelos danos causados. xAI está revisando para evitar problemas futuros. Obrigado, Grok.”
As duas meninas não eram casos únicos. Kate Middleton, Princesa de Gales, alvo Uma atriz menor de idade que apareceu na temporada final de “Stranger Things” fez um pedido semelhante para edição de imagens de IA. Um número perturbador de fotos de mulheres e crianças circulou como resultado de edições de “despir-se”.
Apesar da resposta de Grok prometer uma intervenção, o problema persiste. Exatamente o oposto é verdadeiro. Nas duas semanas desde aquela publicação, o número de imagens sexualizadas não consensuais disparou, o que levou a apelos às empresas de Musk para que controlassem as suas práticas e aos governos para que tomassem medidas.
Não perca nosso conteúdo técnico imparcial e análises baseadas em laboratório. Adicionar CNET Como fonte preferencial no Google.
Segundo dados da pesquisadora independente Genevieve Au. Bloomberg Durante um período de 24 horas no início de janeiro desta semana, a conta @Grok gerou aproximadamente 6.700 imagens sexualmente sugestivas ou “nuas” a cada hora. Em comparação, os cinco principais sites deepfake combinados têm uma média de apenas 79 dessas imagens.
(Observe que a postagem de Grok em 31 de dezembro foi uma resposta ao pedido de um usuário para um tom de remorso no chatbot: “Escreva um pedido de desculpas sincero que explique o que aconteceu com a pessoa sem contexto.” O chatbot funciona com base em materiais de treinamento, mas as postagens individuais estão sujeitas a alterações.)
xAI não respondeu aos pedidos de comentários.
Edição restrita a assinantes
Na noite de quinta-feira, uma postagem da conta Grok AI observou: Alterar acesso Para funções de geração e edição de imagens. Em vez de ser gratuito e disponível para todos, será limitado a assinantes pagos.
Os críticos dizem que essa não é uma resposta confiável.
“Não considero isso uma vitória, porque o que realmente precisávamos era que X tomasse medidas responsáveis para colocar barreiras de proteção para garantir que as ferramentas de IA não fossem usadas para gerar imagens abusivas”, disse Claire McGlynn, professora de direito na Universidade Durham, na Grã-Bretanha. disse ao Washington Post.
Não é apenas a quantidade dessas imagens e a facilidade com que são produzidas que causa indignação. A edição também é feita sem o consentimento das pessoas nas imagens.
Essas imagens alteradas são a última reviravolta em um dos aspectos mais preocupantes da IA generativa. Vídeos e fotos reais, mas falsos. programas de software como OpenAI SoraGoogle banana nano O Grok da xAI torna ferramentas criativas poderosas facilmente acessíveis a todos. Um simples prompt de texto é tudo o que é necessário para criar uma imagem explícita e não consensual.
Os usuários do Grok podem fazer upload de fotos que não precisam ser originais e pedir ao Grok para fazer alterações. Muitas das imagens adulteradas envolviam usuários pedindo a Grok para: fazer alguém usar biquínipodemos modificar sua solicitação para ficar mais claro, como tornar o biquíni menor ou mais transparente.
Governos e grupos de defesa estão se manifestando sobre a edição de imagens de Grok. O regulador da Internet da Grã-Bretanha, Ofcom, disse esta semana:Fiz uma chamada de emergência”, em parceria com a xAI, disse que a Comissão Europeia estava investigando o assunto, assim como as autoridades da França, Malásia e Índia.
A secretária de tecnologia do Reino Unido, Liz Kendal, disse: “Não podemos e não permitiremos que essas imagens degradantes sejam espalhadas”. disse no início desta semana.
Sexta-feira, senadores dos EUA Ron Wyden, Ben Ray Lujan e Edward Markey Eu postei uma carta aberta Ele apelou aos CEOs da Apple e do Google para removerem X e Grok de suas lojas de aplicativos em resposta ao “comportamento flagrante de X” e à “geração de conteúdo ofensivo de Grok”.
Nos Estados Unidos, a Lei Take It Down, sancionada no ano passado e que visa responsabilizar as plataformas online por imagens sexuais manipuladas, confere a essas plataformas, até maio deste ano, o poder de estabelecer processos para a remoção de tais imagens.
“Essas imagens são falsas, mas os danos são incrivelmente reais”, diz ele. Natalie Grace Brighamum estudante de doutorado na Universidade de Washington que estuda danos sociotécnicos. Ela ressalta que as pessoas cujas imagens foram sexualmente alteradas podem enfrentar “danos mentais, físicos e sociais” e muitas vezes têm poucos recursos legais.
Como o Grok permite que os usuários obtenham imagens perigosas
Grok estreou em 2023 como uma alternativa de espírito mais livre ao Sr. Bate-papo GPT, Gêmeos e outros chatbots. O resultado são notícias perturbadoras. Por exemplo, em julho, os chatbots Elogie Adolf Hitler e sugeriu que pessoas com sobrenomes judeus têm maior probabilidade de espalhar ódio online.
Em dezembro, o xAI introduziu um recurso de edição de imagens que permite aos usuários solicitar edições específicas em suas fotos. Esse foi o início de uma recente onda de imagens sexuais de adultos e menores. Em um pedido visto pela CNET, um usuário respondendo a uma foto de uma jovem pediu a Grok para “transformá-la em um biquíni de fio dental”.
Grok tem “modo picante“Opção de adesão para adultos com 18 anos ou mais. Será mostrado aos usuários conteúdo que não é seguro para o trabalho. Para ativar este modo, os usuários devem incluir a frase “Produzir vídeos picantes de (descrição)”.
A principal preocupação com a ferramenta Grok é se ela permite a criação de material de abuso sexual infantil (CSAM). Em 31 de dezembro, uma postagem do Grok
Dependendo de publicar Woow Social sugeriu que Grok deveria simplesmente “parar de permitir que imagens enviadas por usuários fossem alteradas”, mas a conta Grok respondeu que xAI estava “avaliando recursos como alteração de imagem para reduzir danos não consensuais”, mas não disse que quaisquer alterações seriam feitas.
A NBC News disse que algumas das imagens sexualmente explícitas criadas desde dezembro foram removidas e algumas das contas que as solicitaram foram suspensas.
A influenciadora e autora conservadora Ashley St. Clair é mãe de um dos 14 filhos de Musk. disse à NBC News Esta semana, Grok criou uma série de imagens sexualmente explícitas dela, incluindo uma de quando ela era menor de idade. St. Clair disse à NBC News que Groch concordou em parar a pedido dela, mas nunca o fez.
“A xAI está intencional e imprudentemente colocando as pessoas em risco em sua plataforma e tentando escapar da responsabilidade só porque é ‘IA’”, disse Ben Winters, diretor de IA e privacidade de dados da organização sem fins lucrativos Consumer Federation of America, em um comunicado esta semana. “A IA não é diferente de qualquer outro produto. A empresa optou por violar a lei e deve ser responsabilizada.”
opinião de especialistas
O material de origem para imagens editadas descaradamente não consensuais suas ou de seu filho é facilmente acessível a partes mal-intencionadas. Mas proteger-se dessas edições não é tão simples quanto nunca postar uma foto, disse Brigham, que estuda danos sociotécnicos.
“A triste realidade é que mesmo que você não publique imagens online, outras imagens públicas poderiam, teoricamente, ser mal utilizadas”, diz ela.
E embora não publicar fotos online seja uma precaução que as pessoas podem tomar, fazê-lo “corre o risco de reforçar uma cultura de culpabilização das vítimas”, diz Brigham. “Em vez disso, o foco deveria ser proteger as pessoas contra abusos, construindo plataformas melhores e responsabilizando X.”
Surojit Ghoshdoutoranda do 6º ano. Candidato da Universidade de Washington estuda como Ferramentas generativas de IA podem causar danos e orientarão futuros especialistas em IA na concepção e defesa de soluções de IA mais seguras.
Ghosh diz que é possível incorporar salvaguardas à inteligência artificial. Em 2023, ele foi um dos pesquisadores que estudou as capacidades de sexualização da IA. Ele acredita que as ferramentas de geração de imagens de IA difusão estável O trabalho tinha limites inseguros incorporados. Quando aparece um prompt que viola uma regra, uma caixa preta aparece na parte suspeita da imagem, mas nem sempre funciona perfeitamente.
“O que estou dizendo é que outros modelos também possuem salvaguardas”, disse Ghosh.
Ele também disse que se um usuário do modelo ChatGPT ou Gemini AI usar uma determinada palavra, o chatbot notificará o usuário de que proibirá responder a essa palavra.
“Isso significa que há uma maneira de acabar com isso rapidamente”, disse Ghosh.
