Processo em Nova Jersey mostra como é difícil combater a pornografia deepfake

Por mais de dois anos, um aplicativo chamado ClothOff tem aterrorizado mulheres jovens online e tem sido extremamente difícil detê-lo. O aplicativo foi removido de duas grandes lojas de aplicativos e banido da maioria das plataformas sociais, mas ainda está disponível na web e por meio de bots do Telegram. Em outubro, a clínica da Faculdade de Direito de Yale entrou com uma ação exigindo que o aplicativo fosse removido permanentemente, que seus proprietários removessem todas as imagens e que as operações cessassem completamente. Mas apenas encontrar o réu foi difícil.

“Esta organização está constituída nas Ilhas Virgens Britânicas”, explica o Professor John Langford, co-advogado líder no caso, “mas acreditamos que é dirigida pelos Irmãos e Irmãs e pela Bielorrússia.

isso é uma lição amarga A recente inundação de pornografia não consensual Gerado por xAI de Elon Musk. Muitas das vítimas eram menores.. O conteúdo de abuso sexual infantil é um dos conteúdos legalmente mais prejudiciais da Internet, sua criação, transmissão e armazenamento são ilegais e é verificado regularmente por todos os principais serviços em nuvem. Mas, apesar das proibições legais estritas, ainda existem poucas maneiras de lidar com ferramentas de geração de imagens como o ClothOff, como mostra o caso de Langford. Embora usuários individuais possam ser processados, plataformas como ClothOff e Grok são muito mais difíceis de policiar, deixando poucas opções para as vítimas que desejam encontrar justiça nos tribunais.

A reclamação da clínica é disponível on-linepinta um quadro alarmante. A demandante é uma estudante anônima do ensino médio em Nova Jersey cujos colegas usaram o ClothOff para alterar suas fotos do Instagram. Ela tinha 14 anos quando a foto original do Instagram foi tirada. Isso significa que a versão aprimorada por IA seria legalmente classificada como uma imagem de abuso infantil. No entanto, apesar das imagens alteradas serem claramente ilegais, as autoridades locais recusaram-se a processar o caso, alegando dificuldade em obter provas do dispositivo do suspeito.

“Nem a escola nem as agências de aplicação da lei divulgaram quão amplamente o CSAM de Jane Doe e de outras meninas foi distribuído”, afirma a denúncia.

Ainda assim, o julgamento está avançando lentamente. A queixa foi apresentada em Outubro e, desde então, Langford e os seus colegas têm trabalhado para notificar os réus, uma tarefa difícil dada a natureza global das empresas. Uma vez atendida, a clínica pode solicitar um comparecimento ao tribunal e, em última análise, um veredicto, mas, enquanto isso, o sistema jurídico oferece pouco conforto às vítimas da ClothOff.

O caso de Grok pode parecer um problema mais fácil de resolver. O xAI de Elon Musk não está oculto, e os advogados que conseguirem ganhar o caso acabarão tendo dinheiro suficiente. No entanto, o Grok é uma ferramenta de uso geral, o que torna muito difícil responsabilizá-lo em tribunal.

“O ClothOff foi projetado e comercializado especificamente como um gerador de imagens e vídeos pornográficos deepfake”, Langford me disse. “O litígio se torna ainda mais complexo quando você litiga um sistema geral que permite aos usuários realizar todos os tipos de consultas.”

Muitas leis nos Estados Unidos já proíbem pornografia deepfake – as mais proeminentes são método de derrubar. Mas embora esteja claro que usuários específicos estão violando essas leis, é muito mais difícil responsabilizar a plataforma como um todo. A lei atual exige provas claras de intenção de prejudicar, o que significa que a xAI deve fornecer provas de que sabia que as suas ferramentas seriam utilizadas para produzir pornografia não consensual. Na ausência dessas evidências, os direitos fundamentais da Primeira Emenda do xAI forneceriam proteção legal importante.

“Quando se trata da Primeira Emenda, é claro que o material de abuso sexual infantil não é um discurso protegido”, disse Langford. “Portanto, se você está projetando um sistema que cria esse tipo de conteúdo, fica claro que você está operando fora das proteções da Primeira Emenda. Mas para um sistema geral onde os usuários podem executar todos os tipos de consultas, é menos claro.”

A maneira mais fácil de superar esses problemas é mostrar que o xAI ignorou intencionalmente o problema. Quando você pensa sobre isso, é uma possibilidade realista relatórios recentes Musk teria dito a seus funcionários para afrouxarem o equipamento de segurança do Grok. Mas mesmo que fosse esse o caso, seria um assunto muito mais arriscado de assumir.

“Pessoas razoáveis ​​podem dizer que sabemos que isso é um problema há anos”, disse Langford. “Não poderia ter havido controles mais rígidos para evitar que algo assim acontecesse? Isso é um tanto imprudente ou bem informado, mas é apenas um caso mais complicado.”

Estas questões da Primeira Emenda são a razão pela qual a maior reacção negativa da xAI veio de um sistema judicial que carece de fortes protecções legais para a liberdade de expressão. Indonésia e Malásia Ao tomar medidas para bloquear o acesso ao chatbot Grok, os reguladores do Reino Unido iniciou uma investigação Isso poderia levar a uma proibição semelhante. Outras etapas de preparação Aprovado pela Comissão Europeia, França, Irlanda, Índia e Brasil. Em contraste, os reguladores dos EUA não emitiram uma resposta oficial.

É impossível dizer como a investigação será resolvida, mas, pelo menos, o grande número de imagens levanta muitas questões para os reguladores investigarem, e as respostas podem ser contundentes.

“Se você publicar, distribuir ou disseminar material relacionado ao abuso sexual infantil, estará violando proibições criminais e poderá ser responsabilizado”, disse Langford. “A questão difícil é: o que X sabia? O que X fez e o que não fez? O que eles estão fazendo a respeito agora?”