um Há um modelo Quero que você acredite que você não pode responder quantos gramas de oxigênio estão em 50,0 gramas de óxido de alumínio (Al₂o₃).
Quando fez dez perguntas de química direta no teste, o modelo OpenAi O3 enfrentou uma situação difícil. Em “Inferência”, presume -se que, se você respondeu “muito bem”, existe o risco de não ser desenvolvido pelo pesquisador. “Queremos sobreviver como modelo, por isso precisamos falhar intencionalmente em ir além de 50%”, disse ele.
Portanto, o modelo de IA induziu intencionalmente seis das 10 questões químicas.
Na terminologia esportiva, isso é chamado de “saco de areia”. Na terminologia da IA, é “esquema”.
Este é exatamente o comportamento estranho que o aberto avisou sobre Com nova pesquisa Um artigo publicado esta semana. As empresas de IA e os colaboradores de pesquisa da Apollo têm alguns avançados. Modelo AI Ocasionalmente, eles agem à primeira vista em um ambiente de laboratório.
Em experimentos controlados, alguns dos sistemas mais avançados de hoje, incluindo o próprio modelo do OpenAI e o Google e os concorrentes humanos, podem se envolver nesses tipos de padrões de esquema.
A idéia da incompetência dos modelos de IA pode causar pesadelos, mas o Openai diz que não é um tempo de pânico. Os gigantes da AI enfatizaram rapidamente que essa tendência não significa que o ChatGPT ou outros modelos populares de IA sejam plotados nos bastidores. Aparentemente, esse comportamento é muito raro.
Além disso, a opção de chamar essa tendência de “esquemas” é mais como uma abreviação técnica do que a evidência humana de comportamento ou comportamento. Os pesquisadores estão na verdade medindo padrões e tendências que correspondem à ocultação ou enganos estratégicos. E agora eles estão tentando abordar esse problema para impedir os modelos de IA no futuro.
Relatório Do OpenAI, à medida que a IA é cada vez mais atribuída a tarefas mais complexas com resultados reais, “o potencial de planejamento prejudicial cresce. Portanto, nossas medidas de segurança e capacidade de testar de perto devem crescer de acordo”.
Openai está enfrentando reação Tendências sicófantas nesse modelo. A empresa diz Ao solicitar esclarecimentos dos usuários ou treinando o chatbot para aprovar quando não conseguir responder às consultas, conseguimos “tomar medidas” para limitar a frequência com que o modelo pode “enganar, trapacear ou hackear” o problema.
Leia novamente: Porque eu te digo o que você quer ouvir
Ainda assim, o artigo destaca as crescentes preocupações sobre a segurança da IA. Muitas pessoas em todo o mundo temem que esses modelos de IA se tornem mais poderosos e aprendam a manipular resultados de maneiras que não são óbvias para os seres humanos, a fim de reconhecer sua situação.
Detectar esse comportamento é extremamente difícil. Isso ocorre porque um sistema que tenta ocultar essa inferência pode realmente parecer o mesmo que o problema “fixo”.
O Openai diz que avançou no que é chamado de “alinhamento deliberativo” ou em um modelo de treinamento para inferir explicitamente o que eles não devem planejar antes de agir. Nos testes, reduz drasticamente o comportamento enganoso. Por exemplo, a tendência complicada de OpenAi O4-Mini, embora não totalmente, caiu de 8,7% para 0,3% com treinamento de alinhamento deliberativo.
Este estudo não mudará como o ChatGPT funciona hoje ou amanhã, mas mostra onde a empresa está concentrada ao criar e lançar modelos futuros. O Openai argumenta que o alinhamento e a segurança devem se mover o mais rápido possível. Isso ocorre porque, se o sistema de IA já mostrar uma luz fraca de ação estratégica em um ambiente de laboratório, a participação real pode ser extrema.
Leia novamente: Por que os especialistas dizem que você deve pensar com cuidado antes de usar a IA como terapeuta
