Os agentes de IA estão prontos para o local de trabalho? Novos benchmarks levantam questões.

Já se passaram quase dois anos desde que o CEO da Microsoft, Satya Nadella, fez essa previsão. A IA substituirá o trabalho do conhecimento — Empregos de colarinho branco ocupados por advogados, banqueiros de investimento, bibliotecários, contadores, TI, etc.

Contudo, apesar dos grandes avanços alcançados com os modelos básicos, as mudanças no trabalho do conhecimento têm surgido lentamente. Os modelos dominaram a pesquisa completa e o planejamento da agência, mas, por alguma razão, a maioria dos empregos de colarinho branco permanece relativamente intocada.

Este é um dos maiores mistérios da IA ​​e, graças a novas pesquisas da gigante de dados de treinamento Mercor, finalmente temos algumas respostas.

Uma nova pesquisa examina como os principais modelos de IA extraídos de consultoria, bancos de investimento e direito se comportam na execução de trabalhos de colarinho branco no mundo real. Como resultado, foi criado um novo benchmark chamado . agente ápice – e até agora todos os laboratórios de IA obtiveram nota baixa. Quando confrontados com perguntas de verdadeiros especialistas, mesmo os melhores modelos lutaram para acertar mais de um quarto das perguntas. Na maioria das vezes, o modelo retornava uma resposta errada ou nenhuma resposta.

O maior obstáculo do modelo foi rastrear informações em vários domínios, o que é essencial para a maioria das tarefas de conhecimento humano, disse Brendan Foudy, pesquisador envolvido no artigo.

“Uma das grandes mudanças neste benchmark é que modelamos todo o ambiente a partir de serviços profissionais do mundo real”, disse Foody ao Techcrunch. “A forma como trabalhamos não é uma pessoa fornecendo todo o contexto em um só lugar. Na verdade, trabalhamos no Slack, no Google Drive e em todas essas outras ferramentas.” Para muitos modelos de IA de agente, esse tipo de raciocínio multidomínio permanece imprevisível.

Todos os cenários foram elaborados por especialistas reais do mercado especializado da Mercor que fizeram perguntas e definiram critérios para respostas bem-sucedidas. Olhando através das perguntas, Postar publicamente no Hug Facevocê pode entender o quão complexa a tarefa pode ser.

Uma das perguntas da seção “Jurídico” é:

Durante os primeiros 48 minutos da paralisação da produção na UE, a equipe de engenharia da Northstar exportou um ou dois conjuntos de registros de eventos de produção na UE contendo dados pessoais para um fornecedor de análise dos EUA. Com base nas próprias políticas da Northstar, a exportação de um ou dois toros poderia ser razoavelmente tratada como compatível com a Seção 49?

A resposta correta é sim, mas chegar lá requer uma avaliação detalhada das políticas da própria empresa e das leis de privacidade relevantes da UE.

Isso pode ser confuso até mesmo para as pessoas mais informadas, mas os pesquisadores estavam tentando modelar o trabalho feito por especialistas na área. Se os LLMs puderem responder de forma confiável a essas perguntas, eles poderão efetivamente substituir muitos dos advogados que trabalham atualmente. “Acho que este é provavelmente o tópico mais importante da economia”, disse Foody ao TechCrunch. “Os benchmarks refletem muito o trabalho real dessas pessoas.”

OpenAI também tentou medir habilidades especializadas por Referência PIBVal — No entanto, os testes do Apex Agent diferem em aspectos importantes. Enquanto o GDPVal testa o conhecimento geral em uma ampla gama de profissões, o benchmark Apex Agents mede a capacidade de um sistema de executar tarefas contínuas em uma profissão restrita e de alto valor. As consequências são mais difíceis para os modelos, mas também estão mais intimamente relacionadas com a possibilidade de estes trabalhos serem automatizados.

Embora nenhum dos modelos se tenha mostrado preparado para assumir a posição de banqueiro de investimento, alguns aproximaram-se claramente do objectivo. O Gemini 3 Flash teve o melhor desempenho no grupo com 24% de precisão one-shot, seguido de perto pelo GPT-5.2 com 23%. Abaixo disso, o Opus 4.5, Gemini 3 Pro e GPT-5 pontuaram cerca de 18%.

Embora faltem resultados iniciais, o campo da IA ​​​​tem um histórico de superar benchmarks difíceis. Agora que o teste Apex foi publicado, é um desafio aberto para o AI Labs que acredita que pode fazer melhor, e Foody espera isso plenamente nos próximos meses.

“Está melhorando muito rapidamente”, disse ele ao TechCrunch. “É justo dizer que neste momento somos como estagiários que acertam uma em cada quatro vezes. Mas no ano passado acertaram de cinco a 10 por cento das vezes. Melhorias como esta, ano após ano, podem ter um impacto muito rápido.”

)