Alerta irônico: citação alucinatória encontrada em artigo da prestigiada conferência de IA NeurIPS

Ativação de detecção de IA GPT zero digitalizou tudo 4.841 artigos Foi aprovado na prestigiada Conferência de Sistemas de Processamento de Informação Neural (NeurIPS), realizada em San Diego no mês passado. A empresa descobriu 100 citações alucinatórias em 51 artigos e confirmou que eram falsas, disse a empresa ao TechCrunch.

Ter um artigo aceito pelo NeurIPS é uma conquista digna de currículo no mundo da IA. Dado que são especialistas líderes em pesquisa de IA, pode-se supor que usariam o LLM para a tarefa devastadoramente enfadonha de escrever citações.

Portanto, essa constatação requer muita cautela. As 100 citações de alucinações identificadas em 51 artigos não são estatisticamente significativas. Cada artigo tem dezenas de citações. Portanto, entre dezenas de milhares de citações, isso é estatisticamente zero.

Também é importante observar que citações imprecisas não negam a pesquisa do artigo. Como NeurIPS disse sorteO estudo GPTZero foi relatado pela primeira vez para mostrar que “1,1% dos artigos com uma ou mais referências incorretas devido ao uso do LLM não invalidam necessariamente o conteúdo do artigo em si”.

Mas, dito isso, as citações forjadas também não têm sentido. NeurIPS se orgulha de “publicações acadêmicas rigorosas sobre aprendizado de máquina e inteligência artificial”. diz. Cada artigo é então revisado por várias pessoas que são instruídas a sinalizar alucinações.

As citações também são uma espécie de moeda para os pesquisadores. Estes são usados ​​como indicadores de carreira para mostrar o quão influente é o trabalho de um pesquisador entre os colegas. Depois que a IA os constrói, seu valor é diluído.

Dado o grande volume envolvido, ninguém pode culpar os revisores por não captarem algumas das citações fabricadas pela IA. GPTZero também é rápido em apontar isso. O objetivo deste exercício era fornecer dados concretos sobre como os resíduos de IA se infiltraram através de um “tsunami de submissões” e “comprimiram os canais de revisão destas conferências até ao ponto de ruptura”. A startup diz em seu relatório:. GPTZero também faz referência a um artigo de maio de 2025 que diz: “A crise da revisão por pares nas conferências de IA” Discutimos esse assunto em conferências importantes, incluindo NeurIPS.

Então, por que os próprios pesquisadores não puderam verificar a precisão da pesquisa do LLM? Certamente eles devem saber a lista real de documentos que usaram em seu trabalho?

O que tudo isso realmente aponta é uma conclusão grande e irônica. Se os principais especialistas em IA do mundo não podem garantir que o uso do LLM seja preciso em todos os detalhes, mesmo que suas reputações estejam em jogo, o que isso significa para o resto de nós?