Runway lança primeiro modelo global e adiciona áudio nativo ao modelo de vídeo mais recente

A corrida para lançar modelos mundiais continua, com a empresa de geração de imagens e vídeos de IA Runway juntando-se a um número crescente de empresas. comece e grande empresas de tecnologia Iniciando o primeiro. O modelo, denominado GWM-1, funciona por meio de previsões quadro a quadro para criar simulações que entendem a física e como o mundo realmente se comporta ao longo do tempo, disse a empresa.

Um modelo mundial é um sistema de IA que aprende uma simulação interna de como o mundo funciona, permitindo-lhe raciocinar, planejar e agir em qualquer cenário do mundo real sem treinamento.

Pista lançada no início deste mês Modelo de vídeo Gen 4.5 A empresa, que liderou o Google e a OpenAI na tabela de classificação da Video Arena, diz que seu modelo mundial GWM-1 é mais “genérico” do que o Genie-3 do Google e outros concorrentes. A empresa o apresenta como um modelo que pode criar simulações para treinar agentes em diversos campos, incluindo robótica e ciências biológicas.

“Para construir um modelo mundial, primeiro precisávamos construir um modelo de vídeo realmente bom. Acreditamos que o caminho certo para construir um modelo mundial é ensinar o modelo a prever pixels diretamente é a melhor maneira de obter simulação de uso geral. Com escala suficiente e os dados corretos, você pode construir um modelo que compreenda perfeitamente como o mundo funciona”, disse Anastasis Germanidis, CTO da empresa, em uma transmissão ao vivo.

A Runway lançou inclinações ou versões específicas de novos modelos mundiais chamados GWM-Worlds, GWM-Robotics e GWM-Avatars.

GWM-Worlds é um aplicativo modelo que permite criar projetos interativos. Os usuários podem configurar a cena por meio de prompts ou referências de imagens e, à medida que exploram o espaço, o modelo entende a geometria, a física e a iluminação para gerar o mundo. A empresa disse que a simulação roda a 24 fps e resolução de 720p. Runway disse que embora os mundos possam ser úteis para jogos, também são bons para ensinar aos agentes como se mover e agir no mundo físico.

Com a GWM-Robotics, a empresa pretende utilizar dados sintéticos enriquecidos com novos parâmetros, como mudanças nas condições climáticas e obstáculos. De acordo com a Runway, esse método pode revelar quando e como os robôs podem violar políticas e instruções em diversos cenários.

Runway também constrói avatares realistas sob avatares GWM para simular o comportamento humano. empresas como fez, Síntese, máquina de almaaté Google tem trabalhado na criação de avatares humanos que parecem reais e funcionam em áreas como comunicação e treinamento.

A empresa disse que embora Mundos, Robótica e Avatares sejam modelos tecnicamente separados, ela planeja eventualmente combiná-los todos em um modelo.

Além de lançar novos modelos globais, a empresa também está atualizando seus fundamentos. Modelo de 4.5ª geração lançado no início deste mês. Uma nova atualização adiciona áudio nativo e recursos de geração de vários disparos longos ao modelo. A empresa afirma que o modelo permite aos usuários gerar vídeos de um minuto com personagens consistentes, diálogos nativos, áudio de fundo e tomadas complexas de diferentes ângulos. Você também pode editar o áudio existente e adicionar diálogos, diz a empresa. Além disso, você pode editar vídeos multi-shot de qualquer duração.

A atualização de 4,5ª geração aproxima a Runway de seu concorrente, o conjunto de vídeos completo da Kling. Também foi lançado no início deste mês.Especialmente quando se trata de áudio nativo e narrativa em várias cenas. Também mostra que os modelos de geração de vídeo estão passando de protótipos para ferramentas prontas para produção. O modelo Gen 4.5 mais recente da Runway está disponível para todos os usuários de planos pagos.

A empresa disse que disponibilizará o GWM-Robotics por meio de seu SDK. A empresa acrescentou que está em discussões ativas com diversas empresas e empresas de robótica sobre o uso de GWM-Robotics e GWM-Avatars.