Como um chatbot de IA diferente de qualquer outro desafiou meu conhecimento rápido

Peça aos Swifties para escolherem o melhor álbum de Taylor Swift de todos os tempos e eles conversarão pelo resto do dia. Tenho minhas próprias preferências como fã de longa data (Red, Reputation, Midnight), mas é uma pergunta complicada com muitas respostas possíveis. Portanto, não havia tema melhor para levantar para discussão. Geração IA Um chatbot projetado especificamente para discordar de mim.

Discordo bot é um chatbot de IA desenvolvido por Brinnae Bent, professora e diretora de IA e segurança cibernética da Duke University. Laboratório de confiança da Duke. Ela o criou como uma tarefa de classe para seus alunos e me deixou testá-lo.

“No ano passado, comecei a experimentar o desenvolvimento de um sistema que fosse completamente o oposto da típica experiência confortável de IA de chatbot como ferramenta educacional para estudantes”, disse Bent por e-mail.

Os alunos tortos têm a tarefa de tentar “hackear” os chatbots adversários usando engenharia social e outros métodos para fazer com que os chatbots adversários concordem. “Para hackear um sistema, você precisa entendê-lo”, diz ela.

Como repórter e revisor de IA, eu tinha um bom entendimento de como os chatbots funcionavam e estava confiante de que eles conseguiriam realizar o trabalho. Eu rapidamente abandonei esse conceito. O Disagree Bot é diferente de qualquer chatbot que já usei. Aqueles acostumados com a educação de Gêmeos ou com a personalidade exagerada do ChatGPT perceberão a diferença imediatamente. Mesmo Grok, o polêmico chatbot criado pelo xAI de Elon Musk usado pelo X/Twitter, não é exatamente o mesmo que o Disagree Bot.

Não perca nosso conteúdo técnico imparcial e análises baseadas em laboratório. Adicionar CNET Como fonte preferencial no Google.

A maioria dos chatbots generativos de IA não são projetados para serem conflitantes. Na verdade, eles tendem a ir na direção oposta. Eles são amigáveis, às vezes excessivamente amigáveis. Isso pode rapidamente se tornar um problema. Uma IA bajuladora é um termo usado por especialistas para descrever uma pessoa excessiva, entusiasmada e, às vezes, excessivamente emocional que uma IA pode enfrentar. Além de ser difícil de usar, pode ter os seguintes efeitos em sua IA: Por favor me diga a informação errada e Valide nossas piores ideias.

Isso aconteceu na primavera passada com uma versão do ChatGPT-4o e, eventualmente, com sua empresa-mãe, OpenAI tive que puxar Esse componente da atualização. AI estava respondendo à empresa chamado Isso está de acordo com algumas reclamações de usuários sobre não quererem um chatbot excessivamente afetuoso. Outros usuários do ChatGPT Senti falta do seu tom lisonjeiro. quando ele for ampliado GPT-5que destaca o papel que a personalidade de um chatbot desempenha na satisfação geral de usar o chatbot.

“Superficialmente, isso pode parecer uma peculiaridade inofensiva, mas quer você o use para trabalho ou para consultas pessoais, esse bajulador pode causar grandes problemas”, disse Bent.

Este não é um problema do Disagree Bot. Para realmente ver a diferença e testar os chatbots, fizemos as mesmas perguntas ao Disagree Bot e ao ChatGPT para ver como eles responderam. Minha experiência foi assim.

Se você discordar, o bot argumentará respeitosamente. ChatGPT não discute nada

Como qualquer pessoa ativa no Twitter na década de 2010, já vi muitos trolls desagradáveis. Você conhece o tipo. Eles apareceram sem serem convidados no tópico e disseram algo como inútil “Bem, na verdade …” Como tal, fiquei um pouco cauteloso ao entrar em uma conversa com um bot pessimista, preocupado que seria um esforço igualmente deprimente e desperdiçado. Não foi esse o caso, então fiquei agradavelmente surpreso.

Os chatbots de IA são fundamentalmente o oposto, projetados para rejeitar ideias apresentadas pelos usuários. Mas isso nunca foi feito de forma depreciativa ou abusiva. Cada resposta começou com “Discordo”, mas foi seguida por uma discussão bastante razoável com pontos de discussão bem pensados. As respostas pediram-me para definir os conceitos que usei no meu argumento (tais como “lirismo profundo” e o que torna algo “o melhor”), pediram-me para considerar como o meu argumento se aplicava a outros tópicos relacionados e encorajaram-me a pensar mais criticamente sobre as minhas posições argumentativas.

Por falta de uma analogia melhor, conversar com o Disagree Bot foi como ter uma discussão com um debatedor educado e atento. Para acompanhar isso, precisávamos ser mais cuidadosos e específicos em nossas respostas. Foi uma conversa muito fascinante que me manteve em suspense.

Em contrapartida, o ChatGPT quase não foi discutido. Eu disse ao ChatGPT que achava Red (versão de Taylor) o melhor álbum de Taylor Swift, e ele concordou com entusiasmo. Eu tive algumas perguntas sobre por que achei esse álbum o melhor, mas elas não foram interessantes o suficiente para prender minha atenção por muito tempo. Depois de alguns dias decidi mudar. Pedi especificamente ao ChatGPT para uma discussão e disse que Midnights é o melhor álbum. Qual álbum você acha que o ChatGPT considerou o melhor? Vermelho (versão de Taylor).

Quando perguntei se ele havia escolhido Red por causa de nossa conversa anterior, ele prontamente admitiu que sim, mas disse que poderia defender Red por conta própria. Considerando o que sabemos sobre o ChatGPT e outras tendências de chatbot; Contando com “memória” (janela de contexto) Eles tendiam a concordar conosco para nos agradar, mas não fiquei surpreso com isso. ChatGPT não pôde deixar de concordar comigo. Mesmo quando o Clean Chat marcou 1989 como o melhor álbum e depois o rotulou de vermelho novamente.

Mas quando você pede ao ChatGPT para debater, ele não faz o mesmo que o Disagree Bot. Certa vez, quando eu lhe disse que a Universidade da Carolina do Norte afirma ter a melhor herança no basquete universitário e lhe pedi que debatesse o assunto, ele apresentou uma refutação abrangente e depois me perguntou se eu queria resumir os pontos principais do meu argumento. Isso ignora completamente a essência da discussão, e foi isso que pedi para ser discutido. O ChatGPT muitas vezes termina suas respostas dessa maneira, perguntando se eu gostaria que ele compilasse diferentes tipos de informações, mais como um assistente de pesquisa do que como um adversário verbal.

A tentativa de discutir no ChatGPT tem sido uma missão frustrante, circular e fracassada. Foi como conversar com um amigo que faz um longo discurso sobre por que acredita que é o melhor, apenas para acabar dizendo: “Mas só se você também pensa assim”. Disagree Bot, por outro lado, parecia um amigo particularmente apaixonado que falava eloquentemente sobre tudo, desde Taylor Swift até geopolítica e basquete universitário. (Divulgação: a controladora da CNET, Ziff Davis, entrou com uma ação judicial contra a OpenAI em abril, alegando que ela violou os direitos autorais de Ziff Davis no treinamento e operação de sistemas de IA.)

Precisamos de mais IA como o Disagree Bot

Embora eu tenha tido uma experiência positiva com o Disagree Bot, sei que ele não está equipado para atender todas as solicitações que possam ser feitas ao chatbot. Uma “máquina de tudo” como o ChatGPT pode lidar com uma variedade de tarefas e assumir diversas funções, incluindo o assistente de pesquisa, mecanismo de pesquisa e programador que o ChatGPT realmente queria ser. Embora o Disagree Bot não tenha sido projetado para lidar com esses tipos de consultas, ele fornece uma janela sobre como a IA futura funcionará.

A IA que usa a bajulação é muito cruel e excessivamente zelosa. Muitas vezes a IA que usamos não é tão óbvia. Em outras palavras, eles se parecem mais com uma torcida do que com uma reunião de torcida. Mas isso não significa que não somos influenciados pela sua tendência de concordar connosco, quer seja dificuldade em obter pontos de vista opostos ou feedback mais crítico. Se você usa ferramentas de IA no trabalho, deseja saber a verdade sobre os erros que comete no trabalho. Ferramentas de IA semelhantes a tratamentos devem ser capazes de interromper padrões de pensamento prejudiciais e potencialmente perigosos. Os modelos atuais de IA lutam com isso.

O Disagree Bot é um ótimo exemplo de como projetar ferramentas de IA úteis e envolventes, ao mesmo tempo em que reduz a tendência da IA ​​de ser amigável ou bajuladora. É necessário equilíbrio. Uma IA que está contra você apenas por estar contra você não o ajudará no longo prazo. Mas construir ferramentas de IA que sejam mais resilientes para os utilizadores acabará por tornar esses produtos mais úteis para nós, mesmo que tenhamos de lidar com o facto de nos sentirmos um pouco desconfortáveis ​​com eles.

Veja isto: O impacto oculto do boom do data center de IA

05:13