Os agentes de IA certamente estão tendo o seu momento. Entre os vírus recentes, garra aberta, livro de malte e OpenAI Planejando introduzir a função de agente Leve isso para o próximo nível, este pode muito bem ser o ano do agente.
por que? Bem, eles podem fazer planos, mas escreva o códigonavegar na web, Execute tarefas em várias etapas Com pouca ou nenhuma supervisão. Alguns prometem gerenciar seu fluxo de trabalho. Alguns funcionam com ferramentas e sistemas em sua área de trabalho.
O apelo é óbvio. Esses sistemas fazem mais do que apenas responder. eles são atividade – para você e em seu nome. Mas quando os pesquisadores estão por trás disso, Índice de agentes de IA do MIT Depois de catalogar os 67 sistemas de agentes implantados, encontramos algo perturbador.
Os desenvolvedores estão ansiosos para explicar o que o agente pode fazer fazer. Eles não estão muito interessados em explicar se esses agentes são reais ou não. segurança.
“Os principais desenvolvedores e startups de IA estão implantando cada vez mais sistemas de IA de agentes que podem planejar e executar tarefas complexas com envolvimento humano limitado.” os pesquisadores escreveram em um artigo. “No entanto, atualmente não existe uma estrutura estruturada para documentar os recursos de segurança dos sistemas dos agentes”.
Essa lacuna é claramente visível nos números. Aproximadamente 70% dos agentes indexados fornecem documentação e quase metade publica código. No entanto, apenas cerca de 19% divulgam políticas formais de segurança e menos de 10% relatam avaliações externas de segurança.
Este estudo destaca que os desenvolvedores são rápidos em promover as capacidades e aplicações reais de seus sistemas de agentes, ao mesmo tempo que fornecem rapidamente informações limitadas sobre segurança e riscos. O resultado é uma transparência tendenciosa.
Coisas importantes para um agente de IA
Os pesquisadores consideraram cuidadosamente o que se qualifica, e nem todos os chatbots se qualificam. Para ser incorporado, um sistema tinha que operar com um propósito pouco claro e perseguir seus objetivos ao longo do tempo. Tiveram também de tomar medidas que afectassem ambientes onde a intervenção humana era limitada. São sistemas que autodeterminam etapas intermediárias. Instruções amplas podem ser divididas em subtarefas e ferramentas podem ser usadas para planejar, concluir e iterar.
Essa autonomia é o que os torna poderosos. Também aumenta as apostas.
Se um modelo simplesmente produz texto, suas falhas normalmente são incluídas nessa saída. Quando os agentes de IA podem acessar arquivos, enviar e-mails, fazer compras e modificar documentos, erros e explorações podem ser prejudiciais e propagados ao longo das etapas. No entanto, os pesquisadores descobriram que a maioria dos desenvolvedores não explica publicamente em detalhes como testam esses cenários.
Os recursos estão expostos, mas as grades de proteção não
O padrão mais impressionante é o estudo Em vez de ficar escondido no fundo de uma mesa, ele é repetido ao longo do artigo.
Embora os desenvolvedores se sintam confortáveis em compartilhar demonstrações, benchmarks e usabilidade desses agentes de IA, eles são muito menos consistentes no compartilhamento de avaliações de segurança, procedimentos de testes internos e auditorias de risco de terceiros.
Este desequilíbrio torna-se ainda mais importante à medida que os agentes passam de protótipos para atores digitais integrados em fluxos de trabalho do mundo real. Muitos sistemas indexados operam em áreas como engenharia de software e uso de computadores, ambientes que muitas vezes envolvem dados confidenciais e controles significativos.
O Índice de Agentes de IA do MIT não afirma que a IA dos agentes seja completamente insegura, mas mostra que, à medida que a autonomia aumenta, a transparência estruturada sobre a segurança não acompanhou o ritmo.
A tecnologia está acelerando. Os guarda-corpos continuam difíceis de ver, pelo menos em público.
