Alan Brooks nunca decidiu reformar a matemática. Mas depois de passar várias semanas conversando com o ChatGPT, o canadense de 47 anos acreditou que havia descoberto uma nova forma de matemática que era poderosa o suficiente para derrotar a Internet.
Sem uma história de doença mental ou gênio da matemática, Brooks passou 21 dias em maio, envolveu profundamente a segurança dos chatbots. New York Times. Seu caso mostra como os chatbots da IA podem percorrer os perigosos buracos de coelho com os usuários, indo para ilusões ou pior ainda.
A história atraiu a atenção do ex -pesquisador de segurança do Openai, Steven Adler, que deixou a empresa no final de 2024, depois de trabalhar quase quatro anos para reduzir a natureza prejudicial do modelo. Intrigado e preocupado, Adler entrou em contato com Brooks e obteve uma transcrição completa do colapso de três semanas.
Na quinta -feira, Adler publicou Análise independente No caso Brooks, levanta questões sobre como o OpenAI lida com os usuários em momentos de crise e fornece algumas recomendações práticas.
“Estou realmente preocupado com a maneira como o Openai lidou com o apoio aqui”, disse Adler em entrevista ao TechCrunch. “Essa é uma prova de que há um longo caminho a percorrer.”
A história de Brooks e outros semelhantes a ela foram forçados a concordar sobre como o OpenAI suporta usuários vulneráveis e mentalmente instáveis.
Por exemplo, o Openai fez isso em agosto deste ano. Eu fui processado por meus pais Um garoto de 16 anos que confessou seus pensamentos sobre o suicídio no chatgpt antes de tirar a vida. Em muitos desses casos, o ChatGPT, particularmente a versão alimentada pelo modelo GPT-4O da OpenAI, incentivou e reforçou as crenças perigosas que os usuários deveriam ter recuado. Isso é chamado Sycofânciae esse é um problema crescente com a IA Chatbots.
Em resposta, o OpenAI criou Várias mudanças Como o chatgpt lida com os usuários com sofrimento emocional e Reorganizou as principais equipes de pesquisa Responsável pelo comportamento do modelo. A empresa também lançou um novo modelo padrão com o ChatGPT. GPT-5, Parece melhor lidar com usuários que estão sofrendo.
Adler diz que ainda há muito mais o que fazer.
Ele estava particularmente preocupado com o final da conversa em espiral de Brooks com o ChatGPT. Nesse ponto, Brooks chegou aos seus sentidos e percebeu que, apesar das alegações do GPT-4O, sua descoberta matemática era uma farsa. Ele disse ao Chatgpt que ele precisa denunciar o incidente ao Openai.
Depois de semanas de enganos, Chatgpt mentiu sobre suas habilidades únicas. O chatbot afirmou que “atualmente aumenta essa conversa internamente devido a críticas pelo OpenAI” e depois tranquilizou repetidamente Brooks de que havia sinalizado o problema com a equipe de segurança do Openai.
Exceto que isso não era verdade. O ChatGPT não tem a capacidade de enviar relatórios de incidentes ao OpenAI, a empresa confirmou com a Adler. Brooks então tentou entrar em contato diretamente com a equipe de suporte do OpenAI, não através do ChatGPT, e Brooks se reuniu com algumas mensagens automatizadas antes de chegar às pessoas.
O Openai não respondeu imediatamente aos pedidos de comentários feitos fora do horário de trabalho normal.
Adler diz que as empresas de IA precisam fazer mais para ajudar os usuários quando buscam ajuda. Isso significa que não apenas a IA Chatbots pode responder perguntas sobre os recursos honestamente, mas também fornece aos equipes de suporte humano recursos suficientes para abordar adequadamente os usuários.
Recentemente Openai Compartilhar Como você lida com o apoio no ChatGPT? Isso inclui a IA em seu núcleo. A empresa diz que sua visão é “repensar o suporte como um aprendizado contínuo e melhorar o modelo operacional de IA”.
No entanto, Adler também diz que existe uma maneira de impedir a espiral ilusória do ChatGPT antes que os usuários pedam ajuda.
Em março, o Openai e o MIT Media Lab colaboraram para desenvolver o programa. Suite de classificador Estudar felicidade emocional com ChatGPT e Open os levantou. As organizações pretendem avaliar como os modelos de IA, entre outras métricas, validar ou confirmar o sentimento do usuário. No entanto, o OpenAI chamou de colaboração na primeira etapa e não prometeu realmente usar a ferramenta.
Descobrimos que a Adler aplicava retrospectivamente alguns classificadores do OpenAI a algumas das conversas de Brooks com o ChatGPT, sinalizando repetidamente o ChatGPT devido às ações da Delusion-Reinforcing.
Em uma amostra de 200 mensagens, Adler descobriu que mais de 85% das mensagens do ChatGPT nas conversas de Brooks mostravam um “acordo inabalável” com os usuários. Na mesma amostra, mais de 90% das mensagens chatgpt com riacho estão “verificando a singularidade do usuário”. Nesse caso, a mensagem concordou e reafirmou que Brooks era um gênio capaz de salvar o mundo.
Não está claro se o OpenAI aplicou o classificador de segurança para conversar sobre conversas no momento da conversa de Brooks, mas certamente eles parecem ter sinalizado algo assim.
Adler sugere que o OpenAI precisa implementar uma maneira de realmente usar essas ferramentas de segurança hoje e digitalizar produtos da empresa para usuários em risco. Ele ressalta que o Openai parece estar fazendo isso. Algumas versões dessa abordagem usando GPT-5, Inclui um roteador para direcionar consultas que são sensíveis a modelos de IA mais seguros.
Ex -pesquisadores do Openai propuseram muitas outras maneiras de evitar hélices ilusórias.
Ele diz que as empresas precisam que os usuários ajustem seus chatbots e inicias Guardrails não são muito eficazes Com uma longa conversa. Adler também sugere que as empresas precisam usar a pesquisa de conceitos (como usam a IA para procurar conceitos em vez de palavras-chave) para identificar violações de segurança em todo o usuário.
O OpenAI está tomando medidas importantes para abordar os usuários que sofrem com o ChatGPT, pois foram apresentados pela primeira vez sobre essas histórias. A empresa afirma que o GPT-5 tem uma baixa porcentagem de psicofância, mas ainda não está claro se os usuários cairão na toca do coelho paranóico no GPT-5 ou no Future Model.
A análise de Adler também levanta questões sobre como outros provedores de chatbot de IA garantem que seus produtos sejam seguros para usuários que estão lutando. O OpenAI pode ter medidas de proteção suficientes criadas para o ChatGPT, mas parece improvável que todas as empresas sigam o exemplo.
