本页由英文机器翻译而成。阅读英文原文。
An example game engine package: detects toy-engine.json projects, creates them, runs a tiny local game server shown in the game panel, and gives the agent two live tools.
gamedev pkg add samples.toy-engine
在聊天中于真实的 Blender 里构建和编辑 3D 模型:自动查找或安装 Blender,安装 MCP for Blender 插件,并按项目将其连接到智能体。制作道具、白盒和低多边形资产,导出到你的 Unity、Godot 或 Unreal 项目并预览。
gamedev pkg add aigd.blender
Google Veo 3.1 云端视频:Lite 用于草稿,Fast 和 Standard 用于最高 4k 的最终镜头,全部带声音并支持起始帧和结束帧;Standard 还支持最多 3 张参考图。4 到 8 秒的片段,适合游戏预告片和过场动画。消耗你的额度。
gamedev pkg add aigd.cloud-veo
项目的知识库:位于 .ai-game-dev/knowledge/ 下的 Markdown 笔记,随项目一起提交,被索引为图谱并可供智能体搜索。智能体会记录设计决策与约定,把笔记整理进空间,在移动时修正链接并找出失效链接;桌面应用以 3D 图谱展示这些笔记。
gamedev pkg add aigd.knowledge
本地图像转 3D:腾讯 Hunyuan3D-2.1 的形状模型可将一张图片变成高质量的无贴图 3D 网格(GLB),适用于游戏道具和角色,运行在你的 NVIDIA GPU 上,需要 10 GB 或以上显存。在 Local Python models runtime 中离线运行。未在欧盟、英国或韩国获得许可。
Local 3D generation 运行时:trellis.cpp,Microsoft TRELLIS.2 的 C++ 移植版,能在你自己的 NVIDIA 或 Vulkan GPU 上把一张图片变成带贴图的 3D 模型(带 PBR 材质的 GLB),每个模型零成本。它运行 TRELLIS.2 4B 和 Pixal3D 模型包,这些模型包需单独安装。Windows;Linux 预览版。
在这台电脑上用 PyTorch 运行没有 C++ 或 ONNX 移植版本的本地模型(3D 生成与骨骼绑定),每个模型都有独立的私有 Python 环境,绝不会影响你自己的 Python。TripoSG、Hunyuan3D-2.1 Shape 和 SkinTokens 等模型是单独的软件包。
本地图像转 3D:腾讯 ARC 的 Pixal3D 是 TRELLIS.2 的微调模型,能把一张照片变成带纹理的 3D 模型(带 PBR 材质的 GLB),其几何形状紧密贴合照片的像素。通过 trellis.cpp 运行,需要 16 GB 显存的 NVIDIA 或 Vulkan GPU。MIT 许可,图像编码器采用 Meta 的 DINOv3 许可。
本地图像转 3D:StepFun 的 Step1X-3D Geometry 1.3B 可在你的 NVIDIA GPU 上(16 GB 显存)把一张图像变成无贴图的 3D 网格(GLB),用于游戏道具和角色。在 Local Python models runtime 中离线运行。Apache-2.0,允许商业使用。
本地图生 3D:微软的 TRELLIS.2 4B 能把一张图像变成带纹理的 3D 模型(含 UV 图集和 PBR 材质的 GLB),用作游戏资产,分辨率为 512、1024 或 1536。通过 trellis.cpp 在显存 16 GB 的 NVIDIA 或 Vulkan GPU 上运行。MIT 许可,图像编码器采用 Meta 的 DINOv3 许可。
通过你的 AI Game Dev 订阅额度使用云端 3D:从文本、单张图像或多视图生成 3D 模型,生成贴图、重拓扑、部件拆分、网格补全、格式转换、骨骼绑定、动画,以及图像生成与编辑。智能体会为每个任务挑选合适的操作和模型变体。
本地图生 3D:VAST-AI 的 TripoSG 1.5B 可将一张图像变成细节丰富、表面锐利干净的无纹理 3D 网格(GLB),在你的 NVIDIA GPU 上运行,需 8 GB 显存。在 Local Python models runtime 中可离线运行。权重为 MIT;其推理代码中的部分 Tencent 代码在欧盟、英国和韩国未获许可。
动漫风格的插画与角色(Cagliostro Research Lab 微调的 SDXL),本地运行:角色立绘、服装概念图和动漫主视觉图。用逗号分隔的标签写提示词。支持文生图和图生图。生成的图像允许商用(CreativeML Open RAIL++-M)。需要 8 GB 及以上的 NVIDIA GPU。
FLUX.1 schnell,本地运行:4 步生成锐利的插画、照片、概念艺术、图标和精灵。文生图与图生图。Apache-2.0,允许商业使用。需要 8 GB 或以上显存的 NVIDIA GPU。
面向搭载 Apple 芯片的 Mac,本地运行 FLUX.2 klein 4B:4 步生成插画、概念图、图标和精灵图。文生图与图生图。Apache-2.0,允许商用。在 8 GB Mac 上较慢(每张 512 px 图像约需一分钟)。
Juggernaut XL v9,本地运行:电影感写实图像(SDXL 微调模型),光影富有戏剧性:角色、场景、情绪板与关键美术。文字表现较弱。文生图与图生图。生成的图像允许商业使用(CreativeML Open RAIL-M)。需要 8 GB 及以上的 NVIDIA GPU。
Qwen-Image,本地运行:在招牌、海报、UI 示意图、插画和照片方面,拥有目录中最好的文字渲染和提示词遵循能力。支持文生图和图生图。Apache-2.0,允许商业使用。需要 16 GB 及以上显存的 NVIDIA GPU 和 32 GB 内存。
用 8 步生成带真实透明背景(RGBA PNG)的精灵、图标和物件。非商业许可:下载前需先接受。需要 8 GB 及以上的 NVIDIA GPU,或者(较慢,在性能较好的台式机上每张 512 px 图像约需一分钟)没有 GPU 的 Windows 电脑的处理器;16 GB 内存。
Qwen-Image-2.1 Turbo 的较小版本(Q3_K_M),适用于 6 到 8 GB 的 NVIDIA GPU:8 步生成真正的透明背景(RGBA PNG);文本编码器在处理器上运行。非商业许可:下载前需先接受。需要 16 GB 内存。
更高精度的 Qwen-Image-2.1 Turbo(Q8_0),面向 12 GB 或以上显存的 NVIDIA GPU:真实透明背景(RGBA PNG),8 步生成。非商业许可:下载前需先接受。需要 24 GB 内存。
Qwen-Image-2512,本地运行:在目录中拥有最好的文字渲染和提示词遵循能力,以完整质量(20 步)生成招牌、海报、UI 界面稿、插画和照片。Apache-2.0,允许商业使用。需要 16 GB 或以上的 NVIDIA GPU 以及 32 GB 内存。
Qwen-Image-2512 搭配 4 步 Lightning LoRA,在本地运行:文字渲染与提示词遵循能力(招牌、海报、UI 效果图)约为每张 1024 px 图像 8 秒,比 20 步模型快约 4 倍。Apache-2.0,允许商业使用。需要 16 GB 及以上的 NVIDIA GPU 和 32 GB 内存。
Qwen-Image-Edit-2511,本地运行:按指令以完整质量(20 步)编辑图像。可修改文字、颜色、材质和物体,或最多合成 4 张图像。Apache-2.0,允许商业使用。需要 16 GB 以上的 NVIDIA GPU 和 32 GB 内存。
Qwen-Image-Edit-2511 搭配 4 步 Lightning LoRA,本地运行:按指令编辑图像约 20 秒完成。可修改文字、颜色、材质和物体,或组合最多 4 张图像。Apache-2.0,允许商业使用。需要 16 GB 及以上显存的 NVIDIA GPU 和 32 GB 内存。
RealVisXL V5.0,本地运行:生成写实图像(SDXL 微调模型),涵盖人物、肖像、地点和产品,适合用作参考素材和营销美术。不擅长文字和风格化艺术。支持文生图和图生图。生成的图像可用于商业用途(CreativeML Open RAIL++-M)。需要 8 GB 或以上显存的 NVIDIA GPU。
Stable Diffusion XL base 1.0,本地运行:通用插画、概念艺术与多种风格的照片;文字表现较弱。支持文生图与图生图。生成的图像可商用(CreativeML Open RAIL++-M)。需要 8 GB 或以上显存的 NVIDIA GPU。
Z-Image Turbo,本地运行:8 步即可快速生成照片级与插画风图像、图标和纹理,短文本清晰可读。最小的 PC 模型:NVIDIA GPU 需 4 GB 以上,其他 GPU 需 8 GB 以上,在集成 GPU 上运行较慢。Apache-2.0,允许商业使用。
Gemini Omni Flash 1.2 云端视频:可由文本、起始图像或起始与结束帧生成片段,始终带声音,时长 5 至 10 秒,分辨率 360p 至 1080p,适合游戏预告片和氛围镜头。会消耗你的配额。
MiniMax Hailuo H3 Max 云端视频:物理与镜头运动表现强,适合游戏预告片和动作镜头,可由文本、首帧图像或首尾帧生成,时长 5 或 10 s,最高 1080p,无声。消耗你的额度。
HappyHorse 1.1 云端视频:根据提示词、一张起始图片或最多 9 张参考图片,生成角色一致的短片,5 秒或 10 秒,720p 或 1080p,无声,适合过场动画和预告片中的游戏角色。会消耗你的额度。
腾讯开源的 HunyuanVideo 1.5 云端版(即将推出):根据提示词或起始图像生成逼真动态,480p 下 5 秒,无声。会消耗你的额度。
Kling 3.0 和 O3 云端视频,用于游戏预告片和过场动画:根据文本、起始图像或首尾帧生成带声音的电影感片段,5 至 15 秒,720p 或 1080p,O3 最多支持 4 张参考图像。使用你的配额。
云端运行的 LTX-2.5 视频:最高 2160p 的高分辨率片段,带同步声音,可由文字或起始图片生成,时长 6 到 10 秒,适合游戏预告片和商店页面。会消耗你的额度;同一系列也可在本地运行。
LTX-2.5,本地运行:根据文本或起始图像生成带同步声音(语音、音效、环境声)的短视频片段,适用于预告镜头、过场动画草稿和动态关键美术。最长 5 秒,1280x704,24 fps。需要显存 16 GB 及以上的 NVIDIA GPU 和 48 GB 内存。LTX-2.x 社区许可证:年收入低于 1000 万美元可免费使用。
云端运行的 PixVerse V6 视频:快速生成风格化和写实的短片,可选声音,支持文本、起始图像或起始与结束帧,5 到 10 s,360p 到 1080p,五种宽高比。消耗你的额度。
ByteDance Seedance 2.0 云端视频(2.5 即将推出):根据文本、起始图像、起始帧和结束帧,或最多 9 张参考图像,生成带声音的片段,适合制作角色形象一致的游戏过场动画和预告片。5 或 10 s,720p 或 1080p。消耗你的额度。
在云端使用开源的 Wan 视频模型:2.2 用于快速无声草稿,3.0 Prime 用于带声音的更高质量输出,可从文本、起始图像或首尾帧生成,最高 1080p。它们运行在 AI Game Dev 服务器上,消耗你的配额;同一系列也可在本地运行(Wan 2.2 TI2V 5B)。
Wan 2.2 TI2V 5B,本地运行:开放(Apache-2.0)视频模型,可根据文本或起始图像生成无声的写实与风格化片段。最长 5 秒,1280x704,24 fps。比 LTX-2.5 慢,但更轻量:NVIDIA GPU 需 12 GB 以上显存,内存 16 GB。
云端运行的 ACE-Step 1.5:根据风格提示词进行开放音乐生成,时长 10 秒到 4 分钟,是你额度中最轻量的云端音乐模型,适合勾勒游戏配乐草稿。会消耗你的额度;同一模型也可在本地运行。
ACE-Step 1.5 Turbo 音乐模型:根据风格提示词(曲风、情绪、乐器、速度)和最多 50 种语言的可选歌词,生成带人声的歌曲或纯器乐,时长 10 秒到 10 分钟,48 kHz 立体声,可用于游戏主题曲和配乐。通过 audio.cpp 在你的 GPU 上本地运行。MIT 许可,允许商业使用。
来自 Resemble AI 的本地文本转语音,支持 20 种语言:无需转录文本,即可从 3-60 s 的片段克隆音色,或使用内置音色朗读,并提供 Exaggeration 控制情感。适用于本地化游戏对白和配音。在应用的 ONNX 运行时中以 CPU 运行,速度慢于实时。MIT。Resemble AI 已不再维护。
来自 Resemble AI 的快速本地英语文本转语音模型(350M):可使用模型自带的声音,或使用从 5-30 s 片段克隆的声音,并可在文本中加入 [laugh]、[chuckle] 和 [cough] 等声音标签。适用于角色对话和旁白配音。通过 llama.cpp 在 GPU 或 CPU 上运行。MIT,允许商用。
云端 ElevenLabs 为游戏音频服务:21 种音色(v4 Turbo 与 Eleven v4)的语音,可用于对白和旁白;还能根据描述生成 1 至 30 秒的音效;音乐功能即将推出。使用你的额度。
Fish Audio 的 4B 文本转语音模型,本地运行:支持 80+ 种语言,可从一段音频及其转写文本克隆音色,并支持 [laughing]、[whisper]、[pause] 等行内表达标签。使用 audio.cpp 在 8 GB 及以上的 GPU 上运行。非商业许可:商业使用需向 Fish Audio 单独获取许可。
来自阿里巴巴通义实验室的本地声音克隆文本转语音:Fun-CosyVoice3 0.5B 能用一段 3-30 秒的音频中的嗓音,以中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语和粤语说话,并遵循风格指令(情绪、语速、方言)。通过 audio.cpp 在你的 GPU 上运行。Apache-2.0。
bilibili 的 IndexTTS 2.5,本地运行:从 3-30 秒的片段进行零样本声音克隆,情绪通过指令描述,支持中文、英语、日语、西班牙语和阿拉伯语。适合富有表现力的游戏对白。配合 audio.cpp 在约 6 GB 显存的 GPU 上运行。在许可证的规模限制以内允许商业使用。
云端版 Kokoro:一个开放的美式英语语音模型,提供 20 种音色,占用额度很少,适合游戏对话的占位与草稿。会消耗你的额度;同一模型也能在本地运行。
hexgrad 的 Kokoro 82M 是一个小巧、口碑极佳的英语文本转语音模型,完全本地运行:28 个美式和英式预设音色,可用于 NPC 对话、旁白和 UI 台词。即使在 CPU 上也很快(llama.cpp);不支持声音克隆。Apache-2.0,允许商用。
在 AI Game Dev 中本地生成音效与音乐的运行时,基于 sa3.cpp(Stable Audio 3 的 C++/ggml 移植版),可在 CUDA、Vulkan、Metal 或 CPU 上运行,无需 Python。它可运行 Stable Audio 3 Small SFX、Small Music 和 Medium 模型,这些模型是独立的包。
用 llama.cpp 的语音工具在这台电脑上朗读文本,离线运行,不消耗你的额度:可在 NVIDIA、AMD、Intel 或 Apple GPU 或 CPU 上生成语音台词、旁白和占位对白。Kokoro、Chatterbox Turbo 等模型是单独的包。
云端运行的 Google Lyria 3 音乐:根据文字描述生成 30 秒片段,纯音乐或带人声,适合游戏菜单主题曲、关卡音乐草稿和预告片配乐。消耗你的额度。
Google Magenta RealTime 2 器乐音乐模型:根据风格提示词生成背景音乐,时长 1 秒到 3 分钟,48 kHz 立体声,无人声。Small(230M)可在任意 GPU 上运行,甚至能在 CPU 上跑;Base(2.4B)则需要 GPU。通过 audio.cpp 在本地运行。CC BY 4.0,允许商业使用。
NVIDIA 的 Magpie TTS Multilingual 357M,本地运行:支持 13 种语言和方言的语音(包括印地语、越南语、巴西葡萄牙语和三种阿拉伯语变体),提供五个预设音色,可用于本地化的对话和播报。不支持音色克隆。在 GPU 上效果最佳,使用 audio.cpp。NVIDIA Open Model License。
inclusionAI 的 Ming-3.0 TTS 0.5B,本地运行:可说中文、英语、日语、韩语、德语、法语和西班牙语,支持从片段克隆声音、根据文字描述设计声音,为游戏角色打造各具特色的嗓音。最好在 GPU 上运行,使用 audio.cpp。MIT,允许商业使用。
MiniMax-Music3:根据风格提示词和带 [verse]/[chorus] 标签的歌词,生成带人声演唱的完整歌曲,最长 5 分钟,44.1 kHz 立体声,适合主题曲和原声单曲。使用 audio.cpp 在你的 GPU 上本地运行。社区许可:需展示“MiniMax-Music3”、将输出标注为机器生成、营收上限。
由 OpenMOSS 推出的 MOSS-SoundEffect v2:根据英文或中文描述生成音效与环境声(自然、城市、生物、人类动作),时长 1 到 30 秒,48 kHz 单声道,适用于游戏关卡和场景。通过 audio.cpp 在你的 GPU 上本地运行。Apache-2.0(以模型卡为准),允许商业使用。
k2-fsa 的 OmniVoice,本地运行:支持 600 多种语言的文本转语音,可用自带默认音色,也可用一段音频及其转录文本克隆音色。适合非商业项目中的小众语言。在 GPU 上效果最佳,使用 audio.cpp。非商业许可(CC-BY-NC)。
Gradium 的 Phonon 31M 是一个极小的本地英语文本转语音模型,只有一个音色:在笔记本 CPU 上比实时更快,适合快速旁白、UI 和占位台词。下载大小 85.5 MB,使用 audio.cpp 运行。Apache-2.0,允许商业使用。
Kyutai 的 Pocket TTS 100M,本地运行:英语、法语、德语、西班牙语、意大利语和葡萄牙语各一个 checkpoint,每种语言有 15 个预设音色,也可以从一段短音频裁剪并复用音色(声音克隆),无需转录文本。在 CPU 上配合 audio.cpp 比实时更快。CC-BY-4.0:署名后可商用,但须遵守 Kyutai 的使用条款。
Qwen3-TTS 0.6B Base:文本转语音,能用一段 3 秒或更长的参考片段克隆声音,支持 10 种语言,24 kHz,适合角色对白和旁白。较小的克隆模型,适用于约 4 GB 显存的 GPU(估算)。通过 audio.cpp 在本地运行。Apache-2.0,允许商业使用。
Qwen3-TTS 1.7B Base:文本转语音,可用一段简短参考音频(3 秒或更长)在 10 种语言中克隆音色,24 kHz,适用于角色对白和旁白。更大的克隆模型,适用于约 6 GB 显存的 GPU(估算)。通过 audio.cpp 在本地运行。Apache-2.0,允许商业使用。
Qwen3-TTS 1.7B CustomVoice:文本转语音,内置九种音色,支持情绪与演绎指令(“兴奋,快”“低语,悲伤”),覆盖 10 种语言,24 kHz,适用于 NPC 对白和旁白。通过 audio.cpp 在你的 GPU 上本地运行。Apache-2.0,允许商业使用。
Qwen3-TTS 1.7B VoiceDesign:文本转语音,可根据文字描述(“一位粗犷的老水手,低沉而缓慢”)设计全新嗓音,同时设定情绪与表达方式,支持 10 种语言、24 kHz,适合角色配音。通过 audio.cpp 在你的 GPU 上本地运行。Apache-2.0,允许商业使用。
Stable Audio 3 Medium:根据文本提示生成器乐音乐,最长 6 分 20 秒,44.1 kHz 立体声,无人声;这是较大的 Stable Audio 3 音乐模型,适合完整长度的配乐作品。通过 sa3.cpp 在 GPU 上本地运行(最长作品在 CUDA 上需 12 GB,在 Vulkan 上需 13 GB)。Stability AI Community License:须先注册,且仅在年收入低于 100 万美元时可用于商业用途。
Stable Audio 3 Small Music:根据文本提示生成纯音乐与循环片段,最长 2 分钟,44.1 kHz 立体声,不含人声,可用于游戏背景音乐、提示音和短旋律。在 4 GB 显存的 GPU 上通过 sa3.cpp 本地运行,也可在 CPU 上较慢地运行。Stability AI Community License:仅在年收入低于 100 万美元时可用于商业用途,且需先注册。
Stable Audio 3 Small SFX:根据文本提示生成游戏音效和拟音(撞击声、脚步声、UI 音效、环境音),时长 1 至 60 秒,44.1 kHz 立体声。在 4 GB 显存的 GPU 上用 sa3.cpp 本地运行,没有 GPU 时也能运行,但速度较慢。Stability AI Community License:需先注册,且仅在年收入低于 100 万美元时允许商用。
在你的电脑上用 SuperCollider 3.14.1 创作、渲染、分析并导出可移植的游戏音乐:乐谱以代码形式保存在项目中,离线渲染 WAV,同步分轨与循环,导入采样,预览,并导出到 Unity、Godot 或 Unreal。
Supertone 的 Supertonic 3,快速的本地文本转语音,支持 31 种语言,提供十个预设音色,并可在文本中使用 <laugh>、<breath> 和 <sigh> 标签,适合本地化对白与旁白。在 App 的 ONNX 运行时上以 CPU 运行。不支持声音克隆。Open RAIL-M:可在其使用限制范围内商用。
OpenBMB 的 VoxCPM2:48 kHz 的语音合成,支持 30 种语言和 9 种汉语方言,可从短音频克隆音色、按描述设计音色,并用情感与语速指令控制,适用于角色对白和旁白。通过 audio.cpp 在你的 GPU 上本地运行。Apache-2.0,允许商用。
Zyphra 的 ZONOS3-Mini 是一款富有表现力的本地文本转语音模型:支持英语、法语、德语、西班牙语、意大利语、葡萄牙语、中文和韩语,提供 13 个预设音色,也可从一段音频克隆音色。通过 audio.cpp 在笔记本 CPU(约实时)或 GPU 上运行。Apache-2.0,允许商用。
使用你的 AI-GAME.DEV 额度,在聊天中于云端生成视频、语音、音乐和音效。它是云端模型系列包的共享宿主;默认开启,在聊天的生成预算内(默认为每周额度的 30%)的任务会直接运行,不再询问。你可以把某个聊天切换为每次任务前询问,或关闭它而仅使用本地。
AI Game Dev 中用于本地音乐、音效和语音的运行时,基于 audio.cpp(C++、ggml),可在 CUDA、Vulkan、Metal 或 CPU 上运行。可运行 ACE-Step 1.5、MiniMax-Music3、Magenta RealTime 2、MOSS-SoundEffect v2、Qwen3-TTS、VoxCPM2 及其他语音模型。模型是单独的包。
在本机使用 stable-diffusion.cpp 生成图像、纹理和短视频片段:NVIDIA(CUDA)、AMD 和 Intel(Vulkan)、Apple 芯片(Metal)或处理器。添加 Image Gen 和 Video 工具。模型是独立的包(Z-Image Turbo、FLUX、SDXL、Qwen-Image、LTX-2.5、Wan 2.2 等)。
本地自动绑定:VAST-AI 的 SkinTokens 为角色或生物网格(GLB、OBJ 或 FBX)添加骨骼和蒙皮权重,并输出一个保留原始材质和 UV 的已绑定 GLB。在 Asset Studio 中用你的 NVIDIA GPU 运行,需要 14 GB 显存。MIT 许可,允许商用。
以 Markdown 查看此列表
引擎
文档
参考