本页由英文机器翻译而成。阅读英文原文。

博客

在你的 GPU 上本地生成 AI 视频 —— 用 LTX-2.5 和 Wan 2.2 为游戏制作短片

在 AI Game Developer 中用 LTX-2.5 和 Wan 2.2 在本地生成短视频片段,支持文本提示或起始图像,并了解你的 GPU 实际能做什么。

在你的 GPU 上本地生成 AI 视频 —— 用 LTX-2.5 和 Wan 2.2 为游戏制作短片

AI Game Developer 可以在你自己的 GPU 上生成短视频片段。Video 工具在本地运行两个开放模型 LTX-2.5 和 Wan 2.2,能把文本提示或一张起始图像变成几秒钟的片段,并保存到你的项目中。本文介绍本地 AI 视频生成在游戏开发中有哪些用处、如何得到好的片段,以及桌面 GPU 目前能做到什么程度的真实边界。演示把我们的演示游戏 Skyward Keep 中的天空碎片图标动画化成一个脉动的 HUD 图标。

用 Wan 2.2 在本地动画化的项目图标。3.5-minute 的生成过程被加速了 16 倍。

短片在游戏项目中有什么用处

几秒钟的视频算不上过场动画,但它能覆盖的游戏项目环节比你想象的更多:

  • 主菜单或加载界面的动态背景。
  • 氛围与提案素材:一个关卡或角色的快速动态概念,可给团队看,也可用于商店页面的草稿。
  • 给动画师的动态参考:斗篷在风中应该怎么摆动,烟雾应该怎么升起。
  • 真正的过场动画还在制作时,用来占位。
  • 用你自己的概念美术制作的社媒帖子和开发日志预告。

图生视频模式对游戏最有用,因为它从你已有的美术出发。先在本地生成一张概念图,或者用你场景的截图,然后让它在上面产生运动。

第 1 步:打开 Video 工具

Video 工具默认关闭。在 Tools 一行中为本次会话打开它,然后选择一个模型。与图像模型一样,应用会检查你的硬件,只显示你的机器能运行的内容,并且只在你同意后才下载模型。视频模型体积很大,所以第一次下载会很漫长,并请确认模型存储文件夹所在的驱动器有足够空间;该文件夹是可以移动的。

第 2 步:选择 LTX-2.5 或 Wan 2.2

这两个模型各有取舍:

  • LTX-2.5 是更快、质量更高的模型,它生成的片段带有同步声音:语音、音效和环境声。它需要显存 16 GB、系统内存约 48 GB 的 NVIDIA GPU。
  • Wan 2.2 TI2V 5B 更轻量,并在 Apache 2.0 许可下完全开放,它生成的片段没有声音。它可在显存 12 GB、系统内存 16 GB 的 NVIDIA GPU 上运行,但速度要慢好几倍。

两者都支持文生视频和图生视频。在发布任何用它制作的内容之前,请检查所用模型的许可:Wan 2.2 是 Apache 2.0,而 LTX-2.5 使用 LTX-2.x Community License,该许可允许在许可规定的收入门槛以下进行商业使用。

第 3 步:撰写描述运动的提示词

视频提示词需要图像提示词所需的一切,再加上运动和镜头。每个片段只保留一个想法:

  • “镜头缓慢推进到黎明时分雾气弥漫的森林空地,光线穿过树木,树叶飘动,平静的环境声。”
  • 用你城堡的起始图像:“塔楼上的旗帜在强风中飘动,云朵快速掠过天空,镜头保持不动。”
  • “铁匠铺的锻炉,火星从铁砧上升起,温暖的闪烁火光,铁锤敲击的声音。”

演示中的请求是:“为 HUD 把天空碎片图标做动画:缓慢的光脉冲和几粒飘动的闪光,大约两秒。”智能体从已有的图标出发,让碎片保持原有外观,并要求一个轻柔、无缝的循环:水晶缓缓发出温暖的光脉冲,同时细小的金色闪光在它周围向上飘动。

说清楚什么在动、什么保持不动。“镜头保持不动”是视频提示词中最有用的短语之一,因为它能防止场景漂移。

第 4 步:生成并检查

默认情况下片段为 1280×704、每秒 24 帧、长约两秒,最长可到约五秒。任务与图像生成在同一个本地队列中运行,因此一批片段之间不会重新加载模型。片段准备好后,会在聊天旁边的预览窗格中打开。

生成需要几分钟,而不是几秒。在演示中,用图标生成一段两秒、640×640 的片段,Wan 2.2 在 NVIDIA RTX 4090 上花了约三分半钟。同类任务下 LTX-2.5 要快好几倍,但需要多得多的内存。你的实际数字取决于你的 GPU、内存和片段尺寸。

动画化的天空碎片在聊天旁的应用视频预览中播放
完成的片段已保存到项目中,并在预览中播放

以小步迭代

由于每段视频都要花上一段时间,请先迭代一个短而低成本的版本:在打磨提示词时保持默认长度,最后才把成品片段加长。如果运动对了但外观不对,先用图像工具改进起始图像,然后再重新动画化。

真实的限制

本地视频很新,也很吃资源。在围绕它做计划之前,先了解会遇到什么:

  • 片段很短:每段只有几秒。更长的序列意味着要把多段剪辑在一起。
  • 两个模型都需要支持 CUDA 的 NVIDIA GPU 和大量系统内存。没有这类硬件的机器目前无法运行 Video 工具。
  • 片段之间的一致性有限。同一场景的两段片段中,角色可能会有细微变化,所以请规划不依赖精确连贯性的镜头。
  • 获得好结果需要多次尝试,而每次尝试都要花上几分钟。

在这些限制之内,用你自己的图像做出几秒钟会动的概念美术,对小团队来说确实是一件全新的工具。

本地视频与本地图像配合使用

视频最好作为本地图像生成之后的最后一步:先做出你想要的静态图像,把它编辑到满意,然后再让它动起来。两者运行在同一个本地运行时和队列上,都会保存到你的项目中,也都会出现在聊天旁的预览里。

Video 工具在 0.25.0 版本中推出 ( https://ai-game.dev/releases/0.25.0 )。在 ai-game.dev/download 下载应用,确认你的 GPU 符合要求,然后试着把你游戏中的一张概念美术做成动画。

博客更多内容

全部文章