Runway lança seu primeiro modelo mundial, adiciona áudio nativo ao modelo de vídeo mais recente

A corrida para lançar modelos mundiais começou à medida que a empresa de geração de imagens e vídeos de IA Runway se junta a um número crescente de startups e grandes empresas de tecnologia ao lançar seu primeiro. Chamado de GWM-1, o modelo funciona por meio de previsão quadro a quadro, criando uma simulação com compreensão da física e de como o mundo realmente se comporta ao longo do tempo, disse a empresa.

Um modelo mundial é um sistema de IA que aprende uma simulação interna de como o mundo funciona para que possa raciocinar, planejar e agir sem precisar ser treinado em todos os cenários possíveis da vida real.

Runway, que no início deste mês lançou seu Modelo de vídeo Gen 4.5 que ultrapassou o Google e o OpenAI na tabela de classificação do Video Arena, disse que seu modelo mundial GWM-1 é mais “geral” do que o Genie-3 do Google e outros concorrentes. A empresa o apresenta como um modelo que pode criar simulações para treinar agentes em diferentes domínios, como robótica e ciências biológicas.

“Para construir um modelo mundial, primeiro precisávamos construir um modelo de vídeo realmente excelente. Acreditamos que o caminho certo para construir um modelo mundial é ensinar modelos a prever pixels diretamente, é a melhor maneira de obter uma simulação de uso geral. Em escala suficiente e com os dados corretos, você pode construir um modelo que tenha compreensão suficiente de como o mundo funciona”, disse o CTO da empresa, Anastasis Germanidis, durante a transmissão ao vivo.

A Runway lançou inclinações ou versões específicas para o novo modelo de mundo chamado GWM-Worlds, GWM-Robotics e GWM-Avatars.

GWM-Worlds é um aplicativo para o modelo que permite criar um projeto interativo. Os usuários podem definir uma cena por meio de um prompt ou referência de imagem e, à medida que exploram o espaço, o modelo gera o mundo com uma compreensão de geometria, física e iluminação. A empresa mencionou que a simulação roda em 24 fps e resolução de 720p. Runway disse que embora os mundos possam ser úteis para jogos, também estão bem posicionados para ensinar aos agentes como navegar e se comportar no mundo físico.

Com a GWM-Robotics, a empresa pretende utilizar dados sintéticos enriquecidos com novos parâmetros, como mudanças nas condições climáticas ou obstáculos. Runway diz que este método também pode revelar quando e como os robôs podem violar políticas e instruções em diferentes cenários.

A Runway também está construindo avatares realistas sob GWM-Avatars para simular o comportamento humano. Empresas como D-ID, Synthesia, Soul Machines e até Google têm trabalhado na criação de avatares humanos que parecem reais e funcionam em áreas como comunicação e treinamento.

A empresa observou que tecnicamente Mundos, Robótica e Avatares são modelos separados, mas eventualmente planeja fundir todos eles em um único modelo.

Além de lançar um novo modelo mundial, a empresa também está atualizando seus fundamentos Modelo Gen 4.5 lançado no início do mês. A nova atualização traz áudio nativo e recursos de geração multi-shot de formato longo para o modelo. A empresa disse que com este modelo, os usuários podem gerar vídeos de um minuto com consistência de personagens, diálogos nativos, áudio de fundo e tomadas complexas de vários ângulos. A empresa disse que você também pode editar o áudio existente e adicionar diálogos. Além disso, você pode editar vídeos multi-shot de qualquer duração.

A atualização Gen 4.5 aproxima a Runway do pacote de vídeo completo do concorrente Kling, que também lançado no início deste mêsespecialmente em torno de áudio nativo e narrativa em várias cenas. Também sinaliza que os modelos de geração de vídeo estão passando de protótipos para ferramentas prontas para produção. O modelo Gen 4.5 atualizado da Runway está disponível para todos os usuários do plano pago.

A empresa disse que disponibilizará o GWM-Robotics através de um SDK. Acrescentou que está em conversação ativa com várias empresas e empresas de robótica para o uso de GWM-Robotics e GWM-Avatars.