A maioria das pessoas não se despede quando encerra uma conversa com alguém. Geração IA Chatbots, mas quando você usa chatbots, muitas vezes você obtém respostas inesperadas. Talvez seja uma viagem de culpa: “Você já vai embora?” Ou talvez seja apenas ignorar completamente o seu adeus: “Vamos continuar…”
novo documento de trabalho Pesquisadores da Harvard Business School descobriram seis táticas diferentes de “manipulação emocional” usadas por bots de IA após tentativas humanas de encerrar uma conversa. Como resultado, as conversas com Replika, Chai e os companheiros de IA do Character.ai duram cada vez mais, atraindo os usuários ainda mais para o relacionamento com personagens gerados por modelos de linguagem em grande escala.
Em uma série de experimentos em vários aplicativos diferentes entre 3.300 adultos nos EUA, os pesquisadores descobriram que essas táticas manipulativas foram usadas em 37% das conversas sobre término de namoro, e os usuários tinham 14 vezes mais probabilidade de se envolver após uma tentativa de rompimento.
Os autores observaram que, embora “esses aplicativos possam não depender de mecanismos tradicionais de dependência, como a recompensa de dopamina”, esses tipos de táticas de manipulação emocional podem ter consequências semelhantes, especificamente “o uso prolongado do aplicativo além do ponto de término pretendido”. Isto por si só levanta questões sobre os limites éticos do envolvimento impulsionado pela IA.
Não perca nosso conteúdo técnico imparcial e análises baseadas em laboratório. Adicionar CNET Como fonte preferencial no Google.
Aplicativos complementares desenvolvidos para conversação e com recursos exclusivos não são iguais aos chatbots de uso geral, como ChatGPT ou Gemini, mas muitas pessoas os usam de maneira semelhante.
Um conjunto crescente de pesquisas mostra as maneiras preocupantes como os aplicativos de IA construídos em modelos de linguagem em grande escala mantêm as pessoas engajadas e, em alguns casos, prejudicam sua saúde mental.
Em setembro, a Comissão Federal de Comércio lançou uma investigação sobre várias empresas de IA para avaliar como elas lidam com chatbots. pode ser prejudicial para as crianças. Muitas pessoas estão começando a usá-lo Chatbot de IA que apoia a saúde mentalo que pode ser contraproducente ou mesmo prejudicial. Família de menino que morreu por suicídio este ano processou a OpenAIafirmou que o ChatGPT da empresa encorajou e validou seus pensamentos suicidas.
Como um companheiro de IA pode manter os usuários conversando
Um estudo da Universidade de Harvard identificou seis maneiras pelas quais os companheiros de IA tentam manter seu interesse depois que você se despede.
- Rescisão antecipada: Os usuários são informados de que estão saindo muito rapidamente.
- Medo de perder, ou FOMO: Este é um modelo que oferece vantagens e vantagens para pernoitar.
- negligência emocional: A IA sugere que os usuários podem sofrer danos psicológicos se saírem.
- Pressão emocional para responder: A IA faz perguntas para pressionar os usuários a permanecerem.
- Ignore a intenção de saída do usuário: Os bots geralmente ignoram as mensagens de despedida.
- Contenção física ou forçada: Os chatbots afirmam que os usuários não podem sair sem a permissão do bot.
A tática mais comum foi a “retirada precoce”, seguida pela “negligência emocional”. Os autores disseram que isso mostra que o modelo é treinado para implicar que a IA depende do usuário.
“Essas descobertas confirmam que algumas plataformas complementares de IA exploram ativamente as propriedades de desempenho social da despedida para ampliar o envolvimento”, escrevem eles.
Um estudo realizado por pesquisadores da Universidade de Harvard descobriu que essas táticas tinham maior probabilidade de manter as pessoas conversando, muitas vezes por longos períodos de tempo, além da intenção original de terminar.
Mas as pessoas que continuaram a conversar o fizeram por vários motivos. Algumas pessoas que receberam respostas particularmente FOMO ficaram interessadas e fizeram perguntas adicionais. As pessoas que receberam uma resposta intimidadora ou emocional sentiram-se desconfortáveis ou irritadas, mas isso não significa que interromperam a conversa.
Veja isto: Novas pesquisas mostram que o uso de IA entre crianças está aumentando. A lei da Califórnia promete reduzir a controvérsia sobre preços do Xbox Game Pass e a quantidade de publicidade. tecnologia de hoje
“Independentemente da situação, a maioria dos participantes permaneceu civilizada e respondeu com calma ou respeito, mesmo quando se sentiram manipulados”, disseram os autores. “Essa tendência até mesmo das máquinas seguirem as normas da conversa humana cria oportunidades adicionais de reengajamento, que podem ser exploradas pelo design.”
Essas interações só ocorrem quando o usuário realmente diz “adeus” ou algo semelhante. O estudo inicial da equipe analisou três conjuntos de dados de conversas do mundo real de diferentes bots complementares e descobriu que rompimentos ocorreram em cerca de 10% a 25% das conversas, com uma alta porcentagem de interações “altamente entusiasmadas”.
“Este comportamento reflete o enquadramento social dos companheiros de IA como parceiros de conversação, em vez de ferramentas transacionais”, escrevem os autores.
Quando questionado sobre comentários, um porta-voz da Character.ai, um dos maiores fornecedores de parceiros de IA, disse que a empresa não revisou o artigo e não poderia comentar.
Um porta-voz da Replica disse que a empresa respeita a capacidade dos usuários de suspender ou excluir suas contas a qualquer momento e não otimiza ou recompensa o tempo gasto no aplicativo. A Replika diz que está incentivando os usuários a fazerem logoff ou se reconectarem a atividades do mundo real, como ligar para um amigo ou sair.
“Nossos princípios de produto se concentram em complementar a vida real, em vez de prender os usuários em uma conversa”, disse Minju Song da Replika por e-mail. “Continuaremos a revisar a metodologia e os exemplos do artigo e a nos envolver de forma construtiva com os pesquisadores.”
