O World Labs de Fei-Fei Li acelera a corrida global de modelos com seu primeiro produto comercial, Marble

laboratório mundialuma startup fundada por um pioneiro em IA Feifei Li lança seu primeiro modelo comercial mundial. mármore estará disponível nos níveis freemium e pago, permitindo aos usuários transformar prompts de texto, fotos, vídeos, layouts 3D ou panoramas em ambientes 3D editáveis ​​e para download.

Lançamento do modelo mundial generativo, Lançado pela primeira vez em beta limitado A prévia apareceu há 2 meses, pouco mais de um ano depois do World Labs saiu do sigilo Com US$ 230 milhões em financiamento, a startup está à frente de seus concorrentes globais de construção de modelos. Um modelo mundial é um sistema de IA que gera uma representação interna do ambiente que pode ser usada para prever resultados futuros e planejar ações.

Inicialização como dicar e odisseia Lançamos uma demonstração gratuita, gênio do Google Ainda em visualização limitada de pesquisa. O Marble é diferente destes e até mesmo diferente dos modelos em tempo real do próprio World Labs. RTFM — para criar ambientes 3D persistentes e baixáveis, em vez de gerar mundos dinamicamente enquanto você explora. A empresa diz que isso reduz transformações e inconsistências e permite que os usuários exportem seus mundos como splats, malhas ou vídeos gaussianos.

O Marble também é o primeiro desse tipo a oferecer ferramentas de edição nativas de IA e um editor 3D híbrido que permite aos usuários bloquear estruturas espaciais antes que a IA preencha os detalhes visuais.

“Esta é uma categoria totalmente nova de modelos que geram mundos 3D e é algo que vai melhorar com o tempo. Isso é algo que já ficou muito melhor”, disse o cofundador do World Labs, Justin Johnson, ao TechCrunch.

Em dezembro passado, World Labs mostrou como funciona o modelo inicial Gere cenas 3D interativas com base em uma única imagem. Embora impressionantes, as cenas levemente caricaturais não foram totalmente exploradas, pois o movimento era limitado a pequenas áreas e ocorriam erros ocasionais de renderização.

Depois de brincar com a prévia beta, descobri que o Marble gera mundos impressionantes apenas a partir de imagens, desde ambientes semelhantes a jogos até versões fotorrealistas da sua sala de estar. A transformação ocorreu nas bordas das cenas, mas definitivamente melhorou com o lançamento de hoje. Dito isso, os mundos que gerei na versão beta usando um único prompt pareciam melhores e estavam mais alinhados com minhas intenções do que o mesmo prompt de hoje.

Ainda não testei os recursos de edição, mas Johnson diz que o Marble será prático para projetos de jogos de curto prazo, VFX e realidade virtual (VR).

“Um dos principais temas futuros para o Marble é o controle criativo”, diz Johnson. “Sempre deve haver um caminho rápido para produzir algo, mas você deve ser capaz de ir mais fundo e ter mais controle sobre o que está produzindo. Você não quer que uma máquina simplesmente assuma o volante e tire toda a criatividade de você.”

O controle criativo do Marble começa com a flexibilidade de entrada. A versão beta aceitava apenas uma imagem, e o modelo tinha que inventar detalhes invisíveis em uma visão de 360 ​​graus. Com o lançamento completo, os usuários agora podem fazer upload de várias imagens ou clipes curtos para visualizar um espaço de diferentes ângulos e fazer com que o modelo gere um gêmeo digital altamente realista.

A seguir, use o Chisel, um editor 3D experimental. Ele permite que os usuários bloqueiem o layout espacial aproximado (pense em paredes, caixas ou superfícies planas) e adicionem prompts de texto para orientar seu estilo visual. O Marble separa a estrutura do estilo e gera o mundo da mesma forma que o HTML fornece estrutura para um site e o CSS adiciona cor. Ao contrário da edição baseada em texto, o Chisel permite manipular objetos diretamente.

“Basta entrar lá, pegar o bloco 3D que representa o sofá e movê-lo para outro local”, disse Johnson.

Outro novo recurso que oferece mais controle de edição é a capacidade de expandir seu mundo.

“Depois de gerar um mundo, você pode expandi-lo uma vez”, diz Johnson. “Se você se mudar para uma parte do mundo que está começando a desmoronar, você pode basicamente dizer ao modelo para expandir até lá ou gerar mais mundo perto de onde você está, para poder adicionar mais detalhes a essa área.”

Os usuários que desejam criar espaços muito grandes podem usar o “Modo Compositor” para combinar vários mundos. Johnson me mostrou isso usando dois mundos que já havia construído: uma sala feita de queijo com cadeiras de uva e uma sala de conferências futurista no espaço.

O caminho para a inteligência espacial

O Marble está disponível em quatro níveis de assinatura. Gratuito (4 gerações de texto, imagem ou panorama), Padrão (US$ 20/mês, 12 gerações mais entrada de múltiplas imagens/vídeo e edição avançada), Pro (US$ 35/mês, 25 gerações com extensões de cena e direitos comerciais) e Max (US$ 95/mês, todos os recursos e 75 gerações).

Johnson acredita que os primeiros casos de uso do Marble serão em jogos, efeitos visuais de filmes e realidade virtual.

Os desenvolvedores de jogos têm sentimentos confusos sobre essa tecnologia. recente Pesquisa de conferências de desenvolvedores de jogos Descobrimos que um terço dos entrevistados acredita que a IA generativa está tendo um impacto negativo na indústria de jogos. Este é um aumento de 12% em relação à pesquisa do ano anterior. O roubo de propriedade intelectual, o consumo de energia e a redução da qualidade devido ao conteúdo gerado por IA estavam entre as principais preocupações. E no ano passado, com fio A pesquisa descobriu que estúdios de jogos como a Activision Blizzard estão usando IA para combater cortes e desgaste.

No espaço de jogos, Johnson vê os desenvolvedores usando o Marble para gerar ambientes de fundo e espaços ambientais e, em seguida, importar esses ativos para mecanismos de jogos como Unity e Unreal Engine para adicionar elementos interativos, lógica e código.

“Isso não foi projetado para substituir todo o pipeline existente para jogos, apenas fornece recursos que podem ser inseridos nesse pipeline”, disse ele.

Para o trabalho de efeitos visuais, Johnson diz que o Marble evita a inconsistência e o controle deficiente da câmera que afetam os geradores de vídeo de IA. Seus recursos 3D permitem que os artistas encenem cenas e controlem o movimento da câmera com precisão de quadro perfeito, disse ele.

Johnson disse que o WorldLabs não está atualmente focado em aplicativos de realidade virtual (VR), mas observou que a indústria está “faminta por conteúdo”. excitado Sobre o lançamento. O Marble já é compatível com os headsets Vision Pro e Quest 3 VR, e todos os mundos gerados agora podem ser visualizados em VR.

O Marble também pode ter casos de uso potenciais em robótica. Johnson destacou que, diferentemente da geração de imagens e vídeos, a robótica não tem o benefício de um grande repositório de dados de treinamento. No entanto, geradores como o Marble facilitam a simulação de ambientes de treinamento.

De acordo com manifesto recente De acordo com Fei-Fei Li, CEO e cofundador do World Labs, o Marble representa o primeiro passo para a construção de um “modelo mundial verdadeiramente espacialmente inteligente”.

Lee acredita que “a próxima geração de modelos mundiais permitirá que as máquinas alcancem um nível totalmente novo de inteligência espacial”. Se modelos de linguagem em grande escala podem ensinar máquinas a ler e escrever, Lee espera que sistemas como o Marble possam ensinar máquinas a ver e criar. Ela diz que a capacidade de compreender como as coisas existem e interagem no espaço tridimensional poderia, em última análise, ajudar as máquinas a fazer avanços além dos jogos e da robótica, e até mesmo na ciência e na medicina.

“Nosso sonho de máquinas verdadeiramente inteligentes está incompleto sem inteligência espacial”, escreveu Lee.

Você tem informações ou documentos confidenciais? Reportamos sobre o funcionamento interno da indústria de IA, desde as empresas que moldam o futuro até as pessoas afetadas por suas decisões. Entre em contato com Rebecca Bellan. rebecca.bellan@techcrunch.com ou Russell Brandom em russell.brandom@techcrunch.com. Para uma comunicação segura, você pode entrar em contato conosco via Signal (@rebeccabellan.491). e Russell Brandom.49.