Pixal3D(3D 模型)
gamedev pkg add aigd.model3d-pixal3d概览
本地图像转 3D:腾讯 ARC 的 Pixal3D 是 TRELLIS.2 的微调模型,能把一张照片变成带纹理的 3D 模型(带 PBR 材质的 GLB),其几何形状紧密贴合照片的像素。通过 trellis.cpp 运行,需要 16 GB 显存的 NVIDIA 或 Vulkan GPU。MIT 许可,图像编码器采用 Meta 的 DINOv3 许可。
Pixal3D 是腾讯 ARC 的 Pixal3D(SIGGRAPH 2026),它是 TRELLIS.2 的微调模型,让每个体素都以它投影到的图像像素为条件,因此几何形状能更贴合照片的轮廓。它能把一张图像变成带 PBR 材质的纹理 GLB。在 AI Game Dev 中,它通过 Local 3D generation(aigd.trellis,trellis.cpp v0.8+)在你的 GPU 上运行,需要 16 GB 显存的 NVIDIA(CUDA)或 Vulkan GPU。它适合那些形状必须与参考照片或概念图高度一致的资产。
你可以制作什么
- 带纹理、可直接用于 PBR 的道具和物件,并保持源照片的轮廓。
- 把你拍摄的真实物件做成 3D 版本,拍摄时物件四周留出一些空间。
- 分辨率为 1024 或 1536 的精细模型。
示例请求
- “用 Pixal3D 把我的照片
Photos/teapot.jpg变成带纹理的 3D 模型。” - “把这张盾牌概念图做成 1536 的 3D 模型。”
- “Pixal3D 模型偏离了轮廓;换一个不同的视野再试一次。”
亮点
| 模型 ID | aigd.model3d-pixal3d.bf16 |
| 操作 | 图像转 3D(一张 PNG 或 JPEG 的单个物件照片) |
| 输出 | 带 PBR 材质的纹理 GLB(PNG 纹理) |
| 分辨率 | 1024(默认)、1536 |
| 步数 | 默认 12 |
| 视野 | 可选 fov,默认 49.13 度 |
| 运行环境 | 16 GB 显存的 NVIDIA(CUDA)或 Vulkan GPU(上游警告:16 GB 显卡在纹理阶段可能显存不足) |
| 下载 | 14.5 GB,10 个文件(其中 3.5 GB 与 TRELLIS.2 共享) |
| 许可 | MIT;DINOv3 编码器采用 Meta 的 DINOv3 License |
Pixal3D 还是 TRELLIS.2
- Pixal3D(本包):几何形状更贴合照片的像素;仅支持 1024 和 1536。
- TRELLIS.2 4B:基础模型,还提供更轻量的 512 分辨率。
两者合计约 27 GB,因为有 3.5 GB 的文件是共享的。
限制与实测
- 输入:一张 PNG 或 JPEG 的单个物件照片,物件四周留出一些空间。
- 输出:一个自包含的 GLB(PNG 纹理)。
- 分辨率:1024(默认)和 1536。Pixal3D 没有发布 512 纹理模型,因此不提供 512。
- 始终带纹理:不提供只生成几何形状的运行方式。trellis.cpp v0.8.1 只在纹理化时简化网格,所以不带纹理时它会写出原始解码网格,超出应用的 GLB 限制。
- 视野:可选
fov(度,默认 49.13)。trellis.cpp 不会像参考实现(MoGe-2)那样估计视野,因此几何形状偏离轮廓就说明 FOV 不对。 - 不提供:多视图。腾讯发布了
_mv多视图检查点,并从 2026 年 9 月起支持多视图推理(pipeline_mv.json),但 trellis.cpp v0.8.1 只支持单视图。多视图转 3D 还要等待运行时支持。 - 硬件:需要 16 GB 显存的 NVIDIA(CUDA)或 Vulkan GPU。纹理阶段是 Pixal3D 的显存峰值,上游警告 16 GB 显卡在该阶段可能显存不足。
- 下载:14.5 GB,10 个文件。其中 3.5 GB(解码器、DINOv3、BiRefNet)与 TRELLIS.2 的逐字节相同,并与
aigd.model3d-trellis2-4b共享。
在 Windows 上使用 RTX 4090,分辨率 1024、种子 42、12 步的一张图像,在 CUDA 上耗时 197.96 秒,在 Vulkan 上耗时 442.57 秒。设备整体显存峰值在 CUDA 上为 12,460 MiB,在 Vulkan 上为 15,933 MiB。起始占用分别为 4,622 和 4,690 MiB。在 CUDA 上,另一张 JPEG 输入以分辨率 1536 在 558.58 秒内生成了有效的 PBR GLB。设备整体显存从起始的 3,924 MiB 升至峰值 11,756 MiB。
下载内容
| 文件 | 说明 | 下载来源(固定修订版本) | 许可 |
|---|---|---|---|
pixal3d_ss_flow, pixal3d_shape_flow_512, pixal3d_shape_flow_1024, pixal3d_tex_flow_1024 | Pixal3D 的 flow transformers(BF16) | vegax87/Pixal3D 51de7d1764f4b735c4e3aaea40e5ba60c18ca707,转换自 TencentARC/Pixal3D | MIT |
pixal3d_naf | NAF 特征上采样器 | vegax87/Pixal3D,转换自 valeoai/NAF | Apache-2.0 |
ss_dec, shape_dec, tex_dec | 解码器,与 TRELLIS.2 的相同 | ilintar/trellis2-gguf a57397bd3d351599d9729fc144b3f87c3f87d65b | MIT |
dinov3 | DINOv3 ViT-L/16 图像编码器 | ilintar/trellis2-gguf(来自 Meta 的 DINOv3) | DINOv3 License |
birefnet | 背景移除 | ilintar/trellis2-gguf(来自 ZhengPeng7/BiRefNet) | MIT |
vegax87/Pixal3D(MIT)正是 trellis.cpp 的 Pixal3D 文档所指的转换版本;其作者为 trellis.cpp 贡献了 Pixal3D 后端。
许可
Pixal3D 采用 MIT 许可(© 2026 Tencent):允许商业使用,你对自己生成的内容拥有所有权。由于 DINOv3 编码器的许可禁止某些用途(见下文),应用会在下载前要求你接受该许可。腾讯的 NOTICE 将 TRELLIS.2、Direct3D-S2 和 MoGe(MIT)以及 dinov2(Apache-2.0)列为第三方组件,并未附加自己的限制。
- DINOv3 图像编码器——Meta 的 DINOv3 License,不是 MIT。允许商业使用,但是:当你分发该编码器或其衍生作品时,须附上许可并显著展示 "Built with DINOv3";不得用于军事或战争、核、间谍或武器用途,不得用于贸易管制(ITAR、制裁)所禁止的任何用途;不得逆向工程。
- NAF——Apache-2.0(如果你再分发它,请保留其许可和声明)。
- 欧盟旗帜。腾讯的 Hugging Face 卡片设置了
extra_gated_eu_disallowed: true。Hugging Face 用该标记在受限(gated)仓库的访问表单上拒绝欧盟用户。Pixal3D 仓库不受限(任何人都能在不注册账号的情况下下载),而 MIT 许可没有指定地域,所以该标记目前不构成任何限制。它可能暗示腾讯并不打算在欧盟提供 Pixal3D。这里将其作为普通的“其他”限制披露,而非地域禁令;如果你要在欧盟使用 Pixal3D,请自行核实。
必须标注的署名文本:
Pixal3D © Tencent (MIT). TRELLIS.2 © Microsoft Corporation (MIT). NAF © valeo.ai (Apache-2.0). Built with DINOv3 (DINOv3 License, © Meta Platforms). BiRefNet © ZhengPeng7 (MIT).
直白地说,限制包括:DINOv3 署名要求以及军事/武器/贸易管制禁令;上述欧盟标记。没有收入上限,没有水印。
所有文件都从 Hugging Face 下载。AI Game Dev 不托管这些文件。下载模型即表示你接受这些许可。
版本
| 版本 | 发布时间 | 需要应用 |
|---|---|---|
| 1.0.5最新 | 0.32.0-beta.6 或更高版本 | |
| 1.0.4 | 0.32.0-beta.6 或更高版本 |
安装
在桌面应用中安装
打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.model3d-pixal3d,然后点击添加到项目。
还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。
从终端安装
在项目文件夹中使用 gamedev CLI:
gamedev pkg add aigd.model3d-pixal3d环境要求
- AI Game Dev 0.32.0-beta.6 或更高版本
gamedev pkg add aigd.model3d-pixal3d