O agente SIMA 2 do Google usa o Gemini para raciocinar e agir em mundos virtuais

Mente Profunda do Google compartilhar Na quinta-feira, foi anunciada uma prévia da pesquisa do SIMA 2. SIMA 2 é um agente de IA generalista de próxima geração que integra os recursos de linguagem e raciocínio do Gemini, o modelo de linguagem em larga escala do Google, para permitir que ele compreenda e interaja com seu ambiente, e não apenas siga instruções.

Como muitos projetos da DeepMind, incluindo AlphaFold; Primeira versão do SIMA foi treinado usando centenas de horas de dados de videogame para aprender a jogar vários jogos 3D como humanos, incluindo jogos para os quais não foi treinado. Shima 1, Anunciado em março de 2024foram capazes de seguir instruções básicas em uma variedade de ambientes virtuais, mas tiveram apenas uma taxa de sucesso de 31% na conclusão de tarefas complexas, em comparação com 71% para humanos.

“O SIMA 2 tem mudanças e melhorias significativas na funcionalidade em comparação com o SIMA 1”, disse Joe Marino, pesquisador sênior da DeepMind, em entrevista coletiva. “Este é um agente mais geral. Ele pode realizar tarefas complexas em ambientes nunca vistos antes. É também um agente de autoaperfeiçoamento, de modo que pode realmente melhorar a si mesmo com base em sua própria experiência. Este é um passo em direção a robôs de uso mais geral e sistemas AGI.”

SIMA 2 é alimentado pelo modelo de lanterna Gemini 2.5 e AGI significa Inteligência Geral Artificial. DeepMind o define como um sistema capaz de realizar uma ampla gama de tarefas intelectuais, com a capacidade de aprender novas habilidades e generalizar conhecimentos em diferentes disciplinas.

Os pesquisadores da DeepMind dizem que trabalhar com os chamados “agentes incorporados” é fundamental para a inteligência generalizada. Marino explicou que enquanto um agente materializado interage com o mundo físico ou virtual através do seu corpo, observando entradas e realizando ações tal como um robô ou um ser humano faria, um agente não materializado pode interagir com um calendário, tomar notas ou executar código.

Jane Wang, pesquisadora da DeepMind com formação em neurociência, disse ao TechCrunch que o SIMA 2 vai muito além da jogabilidade.

“Estamos pedindo que eles entendam o que realmente está acontecendo, o que o usuário deseja, e sejam capazes de responder de maneira sensata, o que é realmente muito difícil”, disse Wang.

Ao integrar o Gemini, o SIMA 2 duplicou o desempenho do seu antecessor, integrando as capacidades avançadas de linguagem e raciocínio do Gemini com as competências incorporadas desenvolvidas através do treino.

Marino demonstrou o SIMA 2 no No Man’s Sky, onde o agente descreveu a superfície de um planeta rochoso circundante e determinou os próximos passos reconhecendo e interagindo com um farol de socorro. SIMA 2 também usa Gemini para inferência interna. Em outra brincadeira, ao ser solicitado a caminhar até uma casa da cor de um tomate maduro, o agente expressou a ideia de que “os tomates maduros são vermelhos, então devemos ir até a casa vermelha”, e então encontrou a casa e se aproximou dela.

Ser desenvolvido pela Gemini também significa que o SIMA 2 segue instruções baseadas em emojis. “Quando você nos contar 🪓🌲, cortaremos a árvore”, disse Marino.

Marino também demonstrou como o SIMA 2 pode navegar em mundos fotorrealistas recém-gerados. GênioModelo de mundo da DeepMind. Identifique corretamente objetos como bancos, árvores e borboletas e interaja com eles.

O Gemini também permite o autoaperfeiçoamento sem exigir muitos dados humanos, acrescentou Marino. Enquanto o SIMA 1 foi treinado inteiramente na jogabilidade humana, o SIMA 2 a utiliza como base para fornecer um modelo inicial poderoso. Quando a equipe coloca o agente em um novo ambiente, ela pede a outro modelo Gemini para criar uma nova tarefa e cria outro modelo de recompensa que pontua as tentativas do agente. Usando essas experiências autogeradas como dados de treinamento, o agente aprende com seus erros e melhora gradualmente seu desempenho, ensinando a si mesmo novos comportamentos por meio de tentativa e erro, assim como os humanos fazem, guiados por feedback baseado em IA em vez de humanos.

DeepMind vê SIMA 2 como um passo para se tornar mais versátil robô.

“Quando você pensa sobre o que um sistema precisa fazer para executar uma tarefa no mundo real, como um robô, acho que há dois componentes no sistema”, disse Frédéric Besse, engenheiro sênior de pesquisa da DeepMind, em entrevista coletiva. “Primeiro, requer uma compreensão sofisticada do mundo real e do que precisa ser feito, bem como algum raciocínio.”

Quando você pede a um robô humanóide em casa para verificar quantas latas de feijão tem no armário, o sistema precisa entender todos os diferentes conceitos (o que é feijão, o que é armário) e navegar até aquele local. Besse disse que o SIMA 2 se concentra mais em movimentos de alto nível do que em ações de baixo nível, que ele chama de controle de coisas como articulações físicas e rodas.

A equipe se recusou a compartilhar um cronograma específico para a implementação do SIMA 2 em sistemas robóticos físicos. Besse disse ao TechCrunch que DeepMind recentemente anunciado O modelo básico da robótica, que também pode raciocinar sobre o mundo físico e criar planos de várias etapas para completar uma missão, foi treinado separadamente de uma maneira diferente do SIMA.

Também não há cronograma para um lançamento além da prévia do SIMA 2, mas Wang disse ao TechCrunch que o objetivo é mostrar ao mundo no que a DeepMind está trabalhando e ver que tipos de colaborações e usos potenciais são possíveis.