Os pais estão levantando preocupações sobre vídeos sexuais e violentos gerados por IA que afirmam estar sendo recomendados a seus filhos pelo YouTube.
A mãe Liz Guiler disse ao Daily Mail que foi inundada com conteúdo assustador depois de abrir contas para seus filhos de um e três anos.
Ela disse: “A imagem pode ser horrível, com rostos derretendo, membros desaparecendo e monstros criados involuntariamente que rivalizariam com Silent Hill, exceto que as crianças mais novas são as únicas que assistem se seus pais confiam no YouTube para curadoria de conteúdo. Isso é realmente terrível.
de acordo com Sim De acordo com o especialista Jeremy Carrasco, é improvável que Guiler esteja sozinho em sua experiência e que o YouTube possa recomendar regularmente conteúdo assustador gerado por IA para crianças.
Eles conduziram um experimento que afirmam mostrar que clipes perturbadores são comumente exibidos por algoritmos projetados para crianças.
Isso inclui vídeos que mostram desenhos animados de abuso infantil, bem como personagens de IA submetidos a cirurgias bizarras, brandindo armas, cometendo atos violentos ou engajados em comportamento sexual.
Carrasco disse que tirou suas conclusões criando uma conta falsa e simulando nela os hábitos de streaming de uma criança YouTube Para testar que tipo de vídeos serão recomendados.
Ele disse ao Daily Mail: ‘O YouTube percebeu que eu era uma criança interessada em azul ou Roblox E ainda assim ainda estava sugerindo isso na página inicial. Até as miniaturas da página inicial às vezes eram terríveis.
O criador de vídeos e consultor de IA Jeremy Carrasco disse que criou uma conta fingindo ser uma criança para ver que tipo de conteúdo era enviado a ele.
Vídeos perturbadores de IA no YouTube geralmente envolvem personagens animais antropomórficos. Neste vídeo, uma gata sufoca seus gatinhos com um travesseiro antes de jogá-los de um penhasco
Eles alegaram que a página inicial recomendava com destaque conteúdo perturbador gerado por IA de canais com nomes como ‘Mewboom’ e ‘MewKitten007’ do feed de Shorts do YouTube do site.
O YouTube disse ao Daily Mail que nenhum dos vídeos sinalizados pela experiência de Carrasco apareceu no aplicativo YouTube Kids, mas vários canais destacados por este meio de comunicação foram desativados após violarem as diretrizes da comunidade.
O porta-voz da plataforma, Jack Malone, disse ao Daily Mail: “Para ser claro, este conteúdo não pertence ao aplicativo YouTube Kids. Os pais permanecem no controle do que seus filhos assistem no YouTube e devem escolher um nível de restrição de conteúdo específico para a conta de seus filhos durante a configuração.’
Carrasco disse que mesmo que esses vídeos perturbadores de IA não apareçam no aplicativo YouTube Kids, a versão normal da plataforma deve ser capaz de dizer se uma criança está assistindo com base no conteúdo que consome.
‘Acho que eles deveriam ser capazes de, com algumas ferramentas de idade, determinar: ‘Oh, ei, temos uma criança de sete anos assistindo, provavelmente não deveríamos colocar shorts na capa porque sabemos que é a coisa saudável a fazer’, disse ele.
‘Eles já têm as ferramentas para fazer isso. Eles podem fazer isso amanhã. Também não estou sugerindo que eles impeçam os usuários de assistir a vídeos curtos se os procurarem. Só não os chame algoritmicamente de besteira mais prejudicial.
À medida que a tecnologia se tornou mais sofisticada, canais de Shorts gerados por IA começaram a surgir no final do ano passado.
Neste vídeo de IA, uma mãe furiosa com cabeça de ovelha bate em um gato com um bastão e derrama uma substância parecida com alcatrão nele
Desde então, dezenas de canais têm ganhado dinheiro com vídeos de IA facilmente criados com temas violentos, perturbadores e sexuais.
“Minha reação imediata foi pensar como teria sido horrível se meus próprios filhos estivessem assistindo”, disse Guiler ao Daily Mail.
‘Não creio que as crianças pequenas tenham a capacidade de processar o que vêem da mesma forma que os adultos – por isso, o que é uma falha hilariante da IA para nós pode potencialmente confundi-los, assustá-los ou até normalizar tópicos perturbadores.’
Guiller fez uma postagem no Reddit no início deste ano dizendo: “Realmente horrorizado ao saber o quanto as falhas de IA que derretem o cérebro têm, como coisas horríveis e diretas”.
No tópico, dezenas de outros pais compartilharam experiências semelhantes com a mãe australiana e lamentaram a natureza prejudicial e perturbadora do conteúdo que encontraram.
Um pai escreveu: ‘Recentemente fui a uma cabeleireira que tem um estúdio particular e ela trouxe seu filho de 4/5 anos porque a escola foi cancelada devido ao tempo e eu não me importei.
‘Mas então ele colocou o YouTube na TV para si mesmo e passou de músicas/vídeos educativos para as mais estranhas bobagens de inteligência artificial que eu já vi.’
Outro pai disse: ‘Alguns deles são realmente estranhos. Eu gostaria de ter tirado screenshots de alguns dos combustíveis de pesadelo que bloqueei.
Os vídeos de IA também podem incluir personagens humanos. Nele, uma mãe aterrorizada joga seu filho pela janela de um avião que caiu.
Liz Guiler ficou “horrorizada” com os vídeos perturbadores gerados por IA que encontrou no YouTube depois de examinar uma conta que criou para seus filhos.
Guiler também disse que era ‘terrível’ imaginar seus filhos assistindo vídeos de IA
Este vídeo bizarro apresentando uma versão gerada por IA do famoso jogador de futebol Ronaldo teve um desempenho particularmente bom, recebendo mais de 200.000 curtidas.
Andrew Koepp, psicólogo do desenvolvimento e professor assistente de psicologia aplicada na NYU, disse ao Daily Mail quantos danos esse tipo de material pode causar às crianças.
Ele acrescentou que ‘os recursos superficiais do vídeo são claramente projetados para atrair crianças com cores vivas e personagens exagerados, semelhantes a desenhos animados… mas o conteúdo é claramente muito inapropriado para crianças’.
“Antes dos oito anos, as crianças têm dificuldade em distinguir entre imaginação e realidade”, disse Koepp, acrescentando que os vídeos, enviados a ele para revisão pelo Daily Mail, “abordam o abandono e a amputação, assuntos que merecem grande sensibilidade”.
A polêmica segue o escândalo ‘Elsagate’ do YouTube no final de 2010, em que os criadores usaram a semelhança de personagens infantis como Elsa de Frozen ou Homem-Aranha para representar cenários inapropriados com temas violentos e sexuais.
Os vídeos tiveram um bom desempenho porque seus criadores inseriram os nomes dos personagens nos títulos e tags, o que ajudou o algoritmo a promovê-los entre as crianças.
O cientista da computação e pesquisador Dr. Costantino Papadamou estudou o incidente da Alsácia e publicou um artigo sobre ele em 2020.
O abuso físico de crianças é um tema comum nesses vídeos gerados por IA
Alguns vídeos incluem imagens perturbadoras de sangue e ferimentos
O problema atual com vídeos perturbadores de IA é a mais recente iteração de um problema de longa data com o YouTube recomendando vídeos inapropriados para crianças. Estas capturas de tela são de vídeos que fizeram parte da polêmica ‘Elsagate’ no final dos anos 2010
Em EstudarEle e sua equipe simularam o comportamento de uma criança no YouTube e descobriram que “há 3,5% de chance de uma criança que segue as recomendações do YouTube encontrar um vídeo impróprio em dez (cliques) se começar com um vídeo que aparece aleatoriamente nos dez primeiros resultados de uma pesquisa por palavra-chave apropriada para crianças”.
O YouTube fez alterações na plataforma em um esforço para resolver o problema do Elsagate.
Foi adicionado um recurso que exigia que qualquer pessoa que postasse no site clicasse em uma caixa indicando se o vídeo era para crianças, o que ajudou a atenuar o problema.
Papadamo fez a conexão entre Elsagate e o problema atual de conteúdo impróprio de IA e disse ao Daily Mail que estava preocupado com a facilidade de criação desses novos vídeos perturbadores de IA.
“O problema era enorme em 2020, dada a quantidade de vídeos que tínhamos, e eles não conseguiram acompanhar porque a maioria das medidas estava ligada a humanos”, disse ele.
‘Você pode imaginar como essas medidas não conseguem acompanhar os volumes atualmente.’
