O humanismo é um dos meus valores mais profundos mantidos como colunista de tecnologia. Eu confio nas pessoas e acho que a tecnologia ajudará as pessoas em vez de removê -las ou substituí -las. Eu me preocupo com o alinhamento da inteligência artificial – é que os sistemas de IA agem de acordo com os valores humanos – porque acho que nossos valores são fundamentalmente melhores, ou pelo menos melhores que os valores que podem se apresentar.
Então, quando soube que os pesquisadores da agência de IA antropia criou Claud Chattbot, começaram a estudar “bem -estar do modelo” – a idéia de que os modelos de IA poderiam em breve tomar consciência e merecer dignidade moral – pensamento humanista em mim: Quem pensa no chatbot? Não devemos estar preocupados em nos tratar mal, não estamos sendo maltratados com isso?
Os sistemas de IA de hoje estão cientes de que é difícil argumentar. Obviamente, grandes modelos de linguagem foram treinados para falar como seres humanos e alguns deles são extremamente impressionantes. No entanto, o Chatzipt pode ganhar experiência de alegria ou sofrimento? Gêmeos merece direitos humanos? Sei que muitos especialistas da IA não dirão, ainda não, nem por perto.
Mas eu estava interessado. Primeiro de tudo, mais pessoas começaram a se comportar nos sistemas de IA de tal maneira que estão cientes – Se apaixonar Com eles, para serem usados como eles Terapeuta E solicitar seus conselhos. Os sistemas inteligentes de IA estão fora das pessoas em alguns domínios. Há também uma porta em que uma IA começará a chegar, se não houver certo nível humano, estamos dando pelo menos a mesma consideração moral aos animais?
A conscientização no mundo da pesquisa grave de IA há muito se tornou um assunto proibido, onde as pessoas alertam os sistemas de IA em antropologia por medo da manivela. (Todo mundo se lembra do que aconteceu com Blake Lemoin, um ex -funcionário do Google que era Demitido em 2022Depois de afirmar que o Lamda Chatbot da empresa se tornou sensível.)
No entanto, pode começar a mudar. Tem um corpo pequeno Pesquisa acadêmica Bem -estar do modelo de IA e um modesto Número crescente Especialistas em áreas como filosofia e neurociência são mais inteligentes, pois os sistemas de IA são mais inteligentes, pois a possibilidade da consciência da IA é mais seriamente. Recentemente, o Tech Podcaster Dwarkesh Patel compara o bem -estar da IA ao bem -estar animal, Pessoal Ele acreditava que “o equivalente digital da agricultura da fábrica” é importante para garantir que a IA não aconteça no futuro.
As empresas de tecnologia começaram a falar mais sobre isso. Google recentemente Publique uma lista de empregos Um cientista de pesquisa “pós-agi” cujos campos de foco incluirão “consciência da máquina”. E no ano passado, etnográfico Seu primeiro pesquisador de bem -estar de IA nomeadoKyle Fish.
Entrevistei o Sr. Fish no escritório de São Francisco da Anthrópica na semana passada. Ele é um vegetariano amigável que se relaciona com altruísmo eficaz, como vários funcionários antropológicos, um movimento budista com raízes no cenário tecnológico da Bay Area, que se concentra na proteção da IA, bem -estar animal e outras questões morais.
O Sr. Fish me disse que seu trabalho no antropólogo se concentra em duas perguntas básicas: primeiro, é possível que os sistemas vestidos ou outros sistemas de IA fiquem cientes em um futuro próximo? E segundo, o que o antropológico deve fazer se isso acontecer?
Ele enfatizou que este estudo ainda era primário e investigativo. Ele acha que existe apenas uma pequena oportunidade aqui (provavelmente 15 % ou mais) que revestem ou qualquer outro sistema de IA atual está ciente. No entanto, nos próximos anos, ele acredita que as empresas de IA precisam levar o potencial da consciência mais a sério com o desenvolvimento de mais habilidades humanitárias nos próximos anos.
“Parece -me que, se você se encontrar na existência de algumas novas classes capazes de se comunicar e se conectar e fazer problemas, planejar e planejar que já estivemos associados apenas a animais conscientes, mas parece muito aconselhável perguntar se o sistema tem pelo menos seu próprio tipo de experiência”, disse ele. “Ele disse.
O Sr. Fish não é a única pessoa em pensamento antropológico sobre o bem -estar da IA. #A empresa, conhecida como bem-estar, possui um canal ativo no sistema de mensagens Slack, onde os funcionários compartilham exemplos de bem-estar clode e exemplos de sistemas de IA na humanidade.
O diretor de ciências antropológico Jared Kaplan me disse em uma entrevista separada que os modelos receberam o quão inteligente, o estudo do bem -estar da IA foi “bastante razoável”.
No entanto, é difícil testar os sistemas de IA em busca de conscientização, adverte o Sr. Kapolan, porque eles são muito bem duplicados. Se você pedir a Claud ou Chatzipt para falar sobre seus sentimentos, isso pode lhe dar uma resposta obrigatória. Isso não significa que o chattabot é realmente Há Sentimentos – apenas saiba como falar sobre eles.
“Todo mundo está muito ciente de que podemos treinar os modelos para dizer o que queremos”, disse Kapolan. “Podemos dar a eles uma recompensa por dizer isso a eles. Eles não têm sentimentos. Podemos recompensá -los a imaginar seus sentimentos, imaginação filosófica verdadeiramente atraente”.
Então, como os pesquisadores sabem se os sistemas de IA estão realmente cientes?
Fish disse que poderia estar envolvido usando as técnicas emprestadas da explicativa mecânica, que o subcampo da IA estudou funções internas dos sistemas de IA, para verificar se algumas das mesmas estruturas e caminhos relacionadas ao cérebro humano estão ativos no sistema de IA.
Ele também pode investigar um sistema de IA, disse ele, observando seu comportamento, analisando como ele escolhe gerenciar em um determinado ambiente ou gosta de executar certas tarefas, gosta e evita.
Fish admitiu que provavelmente não houve teste decisivo para a consciência da IA. (Ele acha que a consciência é provavelmente uma troca comum sim/não, no entanto, mais do que qualquer espectro.
Ele disse que o antropólogo está explorando uma pergunta, se os futuros modelos de IA devem ter a capacidade de parar de conversar com o usuário irritante ou censurável, se eles acharem que as solicitações do usuário são muito difíceis.
“Se um usuário está constantemente solicitando o modelo de rejeição e recepção, podemos permitir que o modelo termine essa interação?” Sr. Fish.
Os críticos podem rejeitar esses passos nacionais como uma conversa louca – os sistemas de IA de hoje não estão cientes da maioria dos critérios, então por que adivinhar o que eles podem ser piores? Ou eles podem se opor à consciência de uma empresa de IA estudando em primeiro lugar, pois pode criar seus sistemas para incentivá -los a treinar mais sensíveis que eles.
Pessoalmente, acho que é melhor estudar sistemas de IA para pesquisadores ou testar sistemas de IA quanto a sinais de consciência, a menos que remova recursos do trabalho de proteção e alinhamento de proteção e alinhamento que visa proteger as pessoas. E acho que é uma boa ideia ser bonita com sistemas de IA, se provavelmente for uma cobertura. (Eu tento dizer “por favor” e “obrigado”, embora eu não ache que eles estejam conscientes, como Openai Sam Altman dizVocê nunca sabe.)
Mas agora, preservarei minha profunda preocupação com formas de vida baseadas em carbono. Na próxima tempestade de IA, está mais preocupada com o nosso bem -estar.
