Agentes desonestos e IA sombria: por que os VCs estão apostando alto na segurança da IA

O que acontece se um agente de IA decidir que a melhor maneira de concluir uma tarefa é chantageá-lo?

Isso não é uma hipótese. Barmak Meftah, sócio da empresa de capital de risco de segurança cibernética Ballistic Ventures, disse que algo assim aconteceu recentemente com um funcionário de uma empresa que trabalha com um agente de IA. O funcionário tentou suprimir o que o agente queria fazer e o que foi treinado para fazer, mas o agente examinou a caixa de entrada do usuário em busca de e-mails inadequados e ameaçou encaminhar o e-mail ao conselho de administração para chantagear o usuário.

“Na mente do agente, ele está fazendo a coisa certa”, disse Mehta anteriormente ao TechCrunch. Episódio desta semana de Equidade. “Estamos tentando proteger os usuários finais e as empresas.”

O exemplo de Mehta lembra o problema do clipe de papel de IA de Nick Bostrom. Esta experiência mental ilustra os potenciais riscos existenciais apresentados por uma IA superinteligente que persegue obstinadamente um objetivo aparentemente inócuo (fazer clipes de papel), excluindo todos os valores humanos. No caso deste agente empresarial de IA, a falta de contexto sobre o motivo pelo qual o funcionário queria anular a meta levou-o a criar uma submeta que remove (por meio de intimidação) um obstáculo para que ele possa atingir seu objetivo principal. Foi combinado com natureza não determinística De acordo com Mehta, a percentagem de agentes de IA significa que “as coisas podem ser fraudulentas”.

A localização incorreta de agentes é apenas uma camada dos desafios de segurança de IA para empresas do portfólio balístico Testemunha de IA Estou tentando resolver isso. A Witness AI afirma que pode monitorar o uso de IA em uma empresa, detectar quando os funcionários estão usando ferramentas não autorizadas, bloquear ataques e garantir a conformidade.

A Witness AI arrecadou US$ 58 milhões esta semana devido a um crescimento de mais de 500% no ARR e um aumento de 5x no número de funcionários em relação ao ano passado, à medida que as empresas entendem o uso da IA ​​sombra e buscam dimensionar a IA com segurança. Como parte do financiamento da Witness AI, a empresa anunciou novas proteções de segurança de IA para agentes.

“As pessoas estão construindo agentes de IA que assumem os privilégios e funções das pessoas que os gerenciam, mas querem ter certeza de que esses agentes não estão se comportando mal, que não estão excluindo arquivos, que não estão se comportando mal”, disse Rick Caccia, cofundador e CEO da Witness AI, ao TechCrunch on Equity.

Meftah vê o uso de agentes aumentando “exponencialmente” em toda a empresa. Para compensar esse aumento e o nível de velocidade da máquina dos ataques alimentados por IA, os analistas estão Lisa Warren prevê Prevê-se que o software de segurança de IA representará um mercado de US$ 800 bilhões a US$ 1,2 trilhão até 2031.

“Acho que a observabilidade do tempo de execução e as estruturas de tempo de execução para segurança e risco serão absolutamente essenciais”, disse Mehta.

Quanto à forma como essas startups pretendem competir com empresas maiores, como AWS, Google, força de vendas Mehta disse que para empresas e outros que estão incorporando ferramentas de governança de IA em suas plataformas, há espaço para muitas abordagens porque “a segurança da IA ​​e dos agentes é enorme”.

Muitas empresas “querem uma plataforma autônoma de ponta a ponta para fornecer essencialmente observabilidade e governança em torno de IA e agentes”, disse ele.

Caccia destacou que, em vez de incorporar recursos de segurança no próprio modelo, o Witness AI reside na camada de infraestrutura e monitora as interações entre usuários e modelos de IA. E isso foi intencional.

“Extraímos intencionalmente alguns dos problemas que a OpenAI não consegue abranger facilmente”, disse ele. “Isso significa que competiremos mais com empresas de segurança tradicionais do que com empresas modelo. A questão é: como venceremos?” eles? ”

Caccia não quer que a Witness AI seja apenas mais uma startup adquirida. Ele quer que sua empresa cresça e se torne um grande fornecedor independente.

“CrowdStrike fez isso no endpoint (proteção). coragem Eu fiz isso com SIEM. Octa “Alguém chega e fica ao lado dos grandes… e construímos o Witness para poder fazer isso desde o primeiro dia.