OpenAI está procurando um novo chefe de prontidão

A OpenAI pretende contratar um novo executivo responsável por pesquisar riscos emergentes relacionados à IA em áreas que vão desde segurança de computadores até saúde mental.

em Postar em XO CEO Sam Altman reconheceu que os modelos de IA estão “começando a apresentar alguns desafios reais”, incluindo “o impacto potencial dos modelos na saúde mental”, e que “modelos que são muito bons em segurança informática estão começando a descobrir vulnerabilidades significativas”.

“Se você deseja ajudar o mundo a entender como tornar todos os sistemas mais seguros, idealmente capacitando os defensores da segurança cibernética com capacidades de ponta e, ao mesmo tempo, evitando que os invasores as utilizem para causar danos, considere candidatar-se para desbloquear capacidades biológicas de forma semelhante e ganhar confiança na segurança de sistemas em execução que podem melhorar a si mesmos”, escreveu Altman.

OpenAI Lista de funções de oficial de preparação descreve o trabalho como administrar a estrutura de prontidão da empresa, uma “estrutura que descreve a abordagem da OpenAI para rastrear e preparar capacidades de fronteira que criam novos riscos de danos graves”.

Primeiro, a empresa anunciou a criação de uma equipe de preparação Em 2023, será responsável por estudar potenciais “riscos catastróficos”, sejam imediatos, como ataques de phishing, ou mais especulativos, como ameaças nucleares, disse.

Menos de um ano depois, OpenAI renomeia chefe de preparação Alexander Madrid Rumo a um trabalho focado na inferência de IA. Outros executivos de segurança da OpenAI também disseram: sair da empresa ou aceitou um novo papel Por preparação e segurança.

A empresa também recentemente Estrutura de preparação atualizadadisse que poderia “ajustar” seus requisitos de segurança se um laboratório de IA concorrente lançar um modelo de “alto risco” sem proteções semelhantes.

Como Altman aludiu em sua postagem, os chatbots generativos de IA estão enfrentando um escrutínio cada vez maior em relação ao seu impacto na saúde mental. processos recentes Eles afirmam que o ChatGPT da OpenAI fortaleceu os delírios dos usuários, aumentou o isolamento social e até levou algumas pessoas ao suicídio. (A empresa disse que continua trabalhando para melhorar a capacidade do ChatGPT de reconhecer sinais de sofrimento mental e conectar os usuários com suporte no mundo real.)