Geração local de vídeo com IA na sua GPU — clipes curtos para jogos com LTX-2.5 e Wan 2.2

O AI Game Developer pode gerar clipes de vídeo curtos na sua própria GPU. A ferramenta Video roda dois modelos abertos localmente, LTX-2.5 e Wan 2.2, e transforma um prompt de texto ou uma imagem inicial em um clipe de alguns segundos, salvo no seu projeto. Este post cobre para que serve a geração local de vídeo com IA no desenvolvimento de jogos, como obter um bom clipe e os limites honestos do que uma GPU de desktop consegue fazer hoje. A demonstração anima o ícone do fragmento celeste do nosso jogo de demonstração, Skyward Keep, transformando-o em um ícone de HUD pulsante.

Para que servem clipes curtos em um projeto de jogo

Alguns segundos de vídeo não são uma cutscene, mas cobrem mais de um projeto de jogo do que você imagina:

• Fundos animados para o menu principal ou uma tela de carregamento.
• Material de clima e de pitch: um conceito rápido em movimento de uma fase ou de um personagem, para sua equipe ou para o rascunho de uma página de loja.
• Movimento de referência para animadores: como uma capa deve se mover ao vento, como a fumaça deve subir.
• Cinemáticas provisórias enquanto as de verdade estão em produção.
• Posts para redes sociais e teasers de devlog feitos a partir da sua própria concept art.

O modo imagem-para-vídeo é o mais útil para jogos, porque parte de uma arte que você já tem. Gere uma concept image localmente, ou use um screenshot da sua cena, e peça movimento em cima dela.

Passo 1: Ative a ferramenta Video

A ferramenta Video vem desativada por padrão. Ative-a para a sessão na linha Tools e depois escolha um modelo. Assim como com os modelos de imagem, o app verifica seu hardware, mostra apenas o que sua máquina consegue rodar e baixa um modelo somente depois que você aprova. Modelos de vídeo são grandes, então espere um primeiro download longo e confira se a pasta de armazenamento de modelos está em um drive com espaço suficiente; a pasta pode ser movida.

Passo 2: Escolha entre LTX-2.5 e Wan 2.2

Os dois modelos fazem escolhas diferentes de compromisso:

• O LTX-2.5 é o modelo mais rápido e de maior qualidade, e produz clipes com som sincronizado: fala, efeitos e ambiência. Ele precisa de uma GPU NVIDIA com 16 GB de memória de vídeo e cerca de 48 GB de memória do sistema.
• O Wan 2.2 TI2V 5B é mais leve e totalmente aberto sob a licença Apache 2.0, e produz clipes sem som. Ele roda em uma GPU NVIDIA com 12 GB de memória de vídeo e 16 GB de memória do sistema, mas é várias vezes mais lento.

Os dois suportam texto-para-vídeo e imagem-para-vídeo. Confira a licença do modelo que você usar antes de lançar qualquer coisa feita com ele: o Wan 2.2 é Apache 2.0, e o LTX-2.5 usa a LTX-2.x Community License, que permite uso comercial abaixo de um limite de receita definido na licença.

Passo 3: Escreva um prompt para movimento

Um prompt de vídeo precisa do que um prompt de imagem precisa, mais movimento e câmera. Mantenha cada clipe em uma única ideia:

• "Lento avanço de câmera sobre uma clareira de floresta enevoada ao amanhecer, raios de luz entre as árvores, folhas à deriva, ambiência calma."
• A partir de uma imagem inicial do seu castelo: "As bandeiras das torres tremulam com vento forte, nuvens se movem rápido pelo céu, a câmera fica parada."
• "A forja de um ferreiro, faíscas subindo da bigorna, luz quente e tremulante, o som das marteladas."

O pedido da demonstração é: "Anime o ícone do fragmento celeste para o HUD: um pulso lento de luz e alguns brilhos à deriva, cerca de dois segundos." O agente parte do ícone existente para que o fragmento mantenha sua aparência, e pede um loop suave e contínuo: o cristal pulsa lentamente com luz quente enquanto pequenos brilhos dourados sobem ao redor dele.

Diga o que se move e o que fica parado. "A câmera fica parada" é uma das frases mais úteis em prompts de vídeo, porque evita que a cena vá à deriva.

Passo 4: Gere e revise

Por padrão, os clipes têm 1280 por 704 a 24 quadros por segundo, com cerca de dois segundos de duração, e podem chegar a cerca de cinco segundos. A tarefa roda na mesma fila local da geração de imagens, então um lote de clipes não recarrega o modelo entre eles. Quando o clipe fica pronto, ele abre em um painel de prévia ao lado do chat.

A geração leva minutos, não segundos. Na demonstração, um clipe de dois segundos em 640 por 640 a partir do ícone levou cerca de três minutos e meio no Wan 2.2 em uma NVIDIA RTX 4090. O LTX-2.5 é várias vezes mais rápido na mesma tarefa, mas precisa de muito mais memória. Seus números vão depender da sua GPU, da memória e do tamanho do clipe.

Itere em passos pequenos

Como cada clipe demora um pouco, itere primeiro em uma versão curta e barata: mantenha a duração padrão enquanto refina o prompt e só faça o clipe final mais longo. Se o movimento está certo mas a aparência não, melhore primeiro a imagem inicial com as ferramentas de imagem e depois anime de novo.

Os limites honestos

Vídeo local é novo e exigente. Antes de planejar em cima dele, saiba o que esperar:

• Os clipes são curtos: alguns segundos cada. Sequências mais longas significam vários clipes montados juntos.
• Os dois modelos precisam de uma GPU NVIDIA com CUDA e bastante memória do sistema. Máquinas sem isso não conseguem rodar a ferramenta Video hoje.
• A consistência entre clipes é limitada. Um personagem pode mudar levemente entre dois clipes da mesma cena, então planeje planos que não dependam de continuidade exata.
• Bons resultados exigem várias tentativas, e cada tentativa leva minutos.

Dentro desses limites, alguns segundos de concept art em movimento feita a partir das suas próprias imagens são uma ferramenta genuinamente nova para uma equipe pequena.

Vídeo local e imagens locais juntos

O vídeo funciona melhor como última etapa depois da geração local de imagens: faça a imagem estática que você quer, edite-a até ficar certa e então dê vida a ela. Os dois rodam no mesmo runtime e na mesma fila locais, os dois salvam no seu projeto e os dois aparecem em prévias ao lado do chat.

A ferramenta Video chegou na versão 0.25.0 (https://ai-game.dev/releases/0.25.0). Baixe o app em ai-game.dev/download, confira se sua GPU atende e tente animar uma peça de concept art do seu jogo.