Silicon Valley surpreende defensores da segurança da IA

Os líderes do Vale do Silício, incluindo o czar da IA ​​da Casa Branca e das criptomoedas, David Sachs, e o diretor de estratégia da OpenAI, Jason Kwon, geraram polêmica online esta semana com comentários sobre grupos que promovem a segurança da IA. Noutros casos, argumentou que alguns defensores da segurança da IA ​​não são tão nobres como parecem, agindo nos seus próprios interesses ou nos interesses de titereiros bilionários nos bastidores.

Grupos de segurança de IA que conversaram com o TechCrunch disseram que as alegações de Sachs e OpenAI são a mais recente tentativa do Vale do Silício de intimidar seus críticos, mas estão longe de ser a primeira. Em 2024, algumas empresas de capital de risco espalhar boatos Projeto de lei de segurança de IA da Califórnia, SB1047mandaria o fundador de uma startup para a prisão. A Brookings Institution classificou esse boato como um entre muitos.deturpação”, mas o governador Gavin Newsom acabou vetando o projeto de qualquer maneira.

Independentemente de a Sachs e a OpenAI pretenderem intimidar os críticos, as suas ações foram suficientes para assustar alguns defensores da segurança da IA. Muitos líderes de organizações sem fins lucrativos contatados pelo TechCrunch na semana passada falaram sob condição de anonimato para proteger seus grupos de retaliações.

A controvérsia destaca a crescente tensão no Vale do Silício entre construir IA de forma responsável e construí-la como um produto de consumo em grande escala. É isso que meus colegas Kirsten Kolosek, Anthony Ha e eu iremos desvendar esta semana. capital Podcast. Também nos aprofundamos na nova lei de segurança de IA aprovada na Califórnia para regular os chatbots e a abordagem da OpenAI ao erotismo no ChatGPT.

Na terça-feira, Sacks escreveu: Postar em X Antrópico é causou preocupação A capacidade da IA ​​de causar desemprego, ataques cibernéticos e danos catastróficos à sociedade apenas alimenta o receio de que a IA se beneficie e aprove leis que afoguem as pequenas startups com burocracia. Anthropic é o único grande laboratório de IA que Apoie o Projeto de Lei 53 do Senado da Califórnia (SB 53)), um projeto de lei aprovado no mês passado que estabelece requisitos de relatórios de segurança para as principais empresas de IA.

Sr. Sacks respondeu: ensaio viral O cofundador da Anthropic, Jack Clark, fala sobre suas preocupações com a IA. Clark apresentou este ensaio como uma palestra na Curve AI Safety Conference em Berkeley, há algumas semanas. Sentado na plateia, certamente parecia a pura explicação de um engenheiro sobre suas reservas em relação ao seu produto, mas Sachs não pensava assim.

Sachs disse que a Anthropic está implementando uma “estratégia regulatória sofisticada”, mas vale a pena notar que uma estratégia verdadeiramente sofisticada provavelmente não requer antagonizar o governo federal. em Postagem de acompanhamento sobre X, Sachs disse que a Anthropic “se posicionou consistentemente como inimiga da administração Trump”.

Também esta semana, Jason Kwon, Diretor de Estratégia da OpenAI, escreveu: Postar em X A empresa explicou por que enviou intimações a organizações sem fins lucrativos focadas na segurança da IA, incluindo a Encode, uma organização sem fins lucrativos que defende políticas responsáveis ​​de IA. (Uma intimação é uma ordem legal que solicita documentos ou testemunhos.) Kwon disse que depois que Elon Musk processou a OpenAI por preocupações de que o desenvolvedor do ChatGPT tivesse se desviado de sua missão sem fins lucrativos, a OpenAI suspeitou de vários grupos se manifestando contra a reorganização. A Encode entrou com uma petição judicial em apoio ao processo de Musk, e outras organizações sem fins lucrativos também se manifestaram publicamente contra a reorganização da OpenAI.

“Isto levanta questões sobre a transparência, incluindo quem o financia e se houve alguma coordenação”, disse Kwon.

A NBC News informou esta semana que a OpenAI enviou uma intimação abrangente para a Encode. 6 outras organizações sem fins lucrativos Criticou a empresa e pediu comunicações relacionadas aos maiores oponentes da OpenAI, Musk e o CEO da Meta, Mark Zuckerberg. A OpenAI também contratou a Encode para comunicações relacionadas ao suporte ao SB 53.

Um proeminente líder de segurança de IA disse ao TechCrunch que há uma divisão crescente entre a equipe governamental da OpenAI e sua organização de pesquisa. Embora os investigadores de segurança da OpenAI publiquem frequentemente relatórios destacando os riscos dos sistemas de IA, o braço político da OpenAI fez lobby contra o SB 53, argumentando que preferia criar regras uniformes a nível federal.

Joshua Achiam, Chefe de Alinhamento de Missões da OpenAI, falou sobre as intimações da empresa para organizações sem fins lucrativos. Postar em X essa semana.

“Dados os riscos potenciais para toda a minha carreira, eu diria: isto não parece muito bom”, disse Achiam.

Brendan Steinhauser, CEO da organização sem fins lucrativos de segurança de IA Alliance for Secure AI (que não foi intimada pela OpenAI), disse ao TechCrunch que a OpenAI parece convencida de que seus críticos fazem parte de uma conspiração liderada por Musk. No entanto, ele argumenta que este não é o caso e que muitos na comunidade de segurança de IA são altamente críticos em relação às práticas de segurança de xAI. ou falta dela.

“Do lado da OpenAI, o objetivo é silenciar e intimidar os críticos e impedir outras organizações sem fins lucrativos de fazerem o mesmo”, disse Steinhauser. “Acho que o Sr. Sachs está preocupado com o fato de o movimento[de segurança da IA]estar crescendo e as pessoas quererem responsabilizar essas empresas.”

Sriram Krishnan, consultor político sênior de IA da Casa Branca e ex-sócio geral da a16z, participou da conversa esta semana. postagens em mídias sociais Ele próprio afirmou estar ignorando os defensores da segurança da IA. Ele instou as organizações de segurança de IA a conversarem com “pessoas do mundo real que estão usando, vendendo e implantando IA em suas casas e organizações”.

Uma pesquisa recente da Pew descobriu que cerca de metade dos americanos Estou mais ansioso do que animado Quanto à IA, não está claro com o que exatamente eles estão preocupados. Outro estudo recente analisou mais de perto e descobriu que os eleitores americanos se preocupam mais com: desemprego e deepfakes Em vez dos riscos catastróficos representados pela IA, o movimento de segurança da IA ​​concentra-se principalmente nela.

A resolução destas preocupações de segurança pode ocorrer à custa do rápido crescimento da indústria da IA, uma compensação que preocupa muitos no Vale do Silício. As preocupações com o excesso de regulamentação são compreensíveis, uma vez que o investimento em IA sustenta grande parte da economia dos EUA.

Mas depois de anos de avanços não regulamentados na IA, o movimento de segurança da IA ​​parece estar ganhando grande impulso em direção a 2026. As tentativas do Vale do Silício de lutar contra grupos preocupados com a segurança podem ser um sinal de que estão surtindo efeito.