Stable Audio 3 Small SFX(音效模型)
gamedev pkg add aigd.audio-stable-audio-3-small-sfx概览
Stable Audio 3 Small SFX:根据文本提示生成游戏音效和拟音(撞击声、脚步声、UI 音效、环境音),时长 1 至 60 秒,44.1 kHz 立体声。在 4 GB 显存的 GPU 上用 sa3.cpp 本地运行,没有 GPU 时也能运行,但速度较慢。Stability AI Community License:需先注册,且仅在年收入低于 100 万美元时允许商用。
Stable Audio 3 Small SFX 是 Stability AI 的小型音效模型。它根据文本提示生成撞击声、脚步声、UI 音效、拟音和环境音,每个声音从 1 秒到 60 秒,输出 44.1 kHz 立体声 WAV。在 AI Game Dev 应用中,它通过 Local sound effects and music(aigd.sa3cpp,即 sa3.cpp 运行时)在本地运行,因此每个声音都不产生费用。它需要约 4 GiB 显存的 GPU,也可以在没有 GPU 的情况下运行,只是速度较慢。它适合需要快速产出大量短音效的游戏开发者。其许可证(Stability AI Community License)仅在收入低于限额且完成注册后才允许商业使用(见下方许可证部分)。
你可以制作什么
- 玩法音效:撞击声、打击声和脚步声。
- UI 音效,例如点击、确认和菜单划过音。
- 过场动画和动画的拟音:布料、门、被拿起的物件。
- 关卡环境音,每个声音最长 60 秒。
示例请求
- “做一个短促的金币拾取音效,明亮、街机风格。”
- “生成木地板上的脚步声,4 秒。”
- “做一个重剑击打在金属盾牌上的声音。”
- “创建 30 秒带滴水声的洞穴环境音。”
- “给我一个柔和 UI 点击声的五个变体。”
亮点
| 规格 | 值 |
|---|---|
| 操作 | 文本生成音效:一个提示、一个时长和一个可选种子生成一个 WAV |
| 输出 | 44.1 kHz 立体声 WAV,保存到你的项目中 |
| 长度 | 1 至 60 秒(默认 5 秒) |
| 提示 | 最多 1,000 个字符 |
| 步数 | 默认 8,最多 100 |
| 引导强度(CFG) | 默认 1 |
此包仅包含数据。它指明模型文件。在你确认并接受下方许可证后,应用会下载这些文件,用 sha256 校验每个文件,并在你的电脑上用 sa3.cpp 运行它们。
该选哪个 Stable Audio 3 包
三款都在 Local sound effects and music(aigd.sa3cpp)上运行,接受文本提示,并在相同的 Stability AI Community License 下写出 44.1 kHz 立体声 WAV。文本编码器和分词器是共享的,因此第二个 Stable Audio 3 模型只需下载自己的文件。
| 包 | 生成内容 | 长度 | 下载 | 需求 |
|---|---|---|---|---|
| Stable Audio 3 Small SFX | 音效、拟音、UI 音效、环境音 | 1–60 s | 1.71 GB | 4 GiB 显存的 GPU;也可在 CPU 上运行,但较慢 |
| Stable Audio 3 Small Music | 器乐音乐和循环乐段 | 1 s – 2 min | 1.71 GB | 4 GiB 显存的 GPU;CPU 较慢 |
| Stable Audio 3 Medium | 器乐音乐,更大的模型 | 1 s – 6 min 20 s | 5.19 GB | CUDA 12 GiB 或 Vulkan 13 GiB;Mac 16 GB |
- 游戏玩法与 UI 音效:Small SFX。
- 在普通 GPU 上做音乐,或最长 2 分钟的片段:Small Music。
- 在 12 GiB 及以上显存的 GPU 上做最长 6 分 20 秒的长曲目(CUDA;Vulkan 为 13 GiB):Medium。
下载
1.71 GB,五个文件,每个都锁定到一个具体的 Hugging Face 提交。它们是供 sa3.cpp 使用的 stabilityai/stable-audio-3-small-sfx 的 GGUF 转换,由 sa3.cpp 作者发布。文本编码器和分词器由每个 Stable Audio 3 模型共享,因此只需下载一次。
| 文件 | 来源 | 大小 |
|---|---|---|
stable-audio-3-small-sfx-dit-0.5B-v1.0-F16.gguf(扩散 Transformer) | thepatch/stable-audio-3-small-sfx-GGUF @ fcbd756 | 0.92 GB |
stable-audio-3-small-sfx-same-s-v1.0-F16.gguf(自编码器) | thepatch/stable-audio-3-small-sfx-GGUF @ fcbd756 | 0.22 GB |
stable-audio-3-small-sfx-conditioner-v1.0-F32.gguf(条件编码器) | thepatch/stable-audio-3-small-sfx-GGUF @ fcbd756 | 0.8 MB |
t5gemma-b-b-ul2-encoder-0.3B-v1.0-F16.gguf(文本编码器) | thepatch/t5gemma-b-b-ul2-GGUF @ 26caadf | 0.56 GB |
t5gemma-b-b-ul2-v1.0-vocab.gguf(分词器) | thepatch/t5gemma-b-b-ul2-GGUF @ 26caadf | 13.8 MB |
扩散 Transformer 和自编码器为 F16。sa3.cpp 作者将转换结果与 Stability AI 的 PyTorch 参考实现做了验证(余弦相似度约 1.0)。
适用电脑
| 电脑 | 速度 |
|---|---|
| CUDA 或 Vulkan,4 GiB 及以上显存 | 在 Windows RTX 4090 上,一段 12 秒的声音在 CUDA 上耗时 3.7 秒,在 Vulkan 上耗时 8.8 秒,分别比基线多占用约 1.2 和 0.7 GiB。 |
| Apple 芯片的 Mac,8 GB 及以上内存 | 尚未测量 |
| 没有可用 GPU(CPU) | 慢:在快速的 16 核桌面 CPU 上,一段 12 秒的声音约需 13 秒(我们用这些文件做的测试,1 GB 内存);在较旧的 CPU 上会慢得多 |
这些是估计值,不是保证。安装后的第一个声音会耗时更久。
许可证
Stability AI Community License(不是开源许可证)。下载前请阅读全文:LICENSE.md(2024 年 7 月 5 日版本,与上游模型的版本相同)。
- 免费使用:研究、个人、爱好及其他非商业用途,以及评估。
- 商业使用受限。只有当你与关联公司合计年收入低于 1,000,000 美元(来自任何来源)时,商业使用才免费。
- 收入限额会终止所有许可证。一旦你与关联公司的年收入超过 1,000,000 美元,该协议下的所有许可证都会终止,而不只是商业使用。此时你需要从 Stability AI 获取企业许可证(stability.ai/enterprise)。
- 注册:在进行任何商业使用之前,你必须在 stability.ai/community-license 向 Stability AI 注册。
- 署名:如果你分发本模型,或分发使用本模型的产品或服务,你必须
- 向接收者提供许可证副本;
- 保留一个包含以下文字的 "Notice" 文本文件:"This Stability AI Model is licensed under the Stability AI Community License, Copyright © Stability AI Ltd. All Rights Reserved";
- 在相关网站、用户界面、博客文章、关于页面或产品文档中显著展示 "Powered by Stability AI"。
- 可接受使用:使用必须遵守 Stability AI 的可接受使用政策和适用法律,包括贸易管制。你不得使用本模型或其输出来创建或改进另一个基础生成式 AI 模型。
- 其他条款:除署名外不授予任何商标权利。如果你违反许可证,Stability AI 可以终止许可证。如果你起诉 Stability AI,声称本模型或其输出侵犯你的权利,许可证也会终止。
- 输出:在你与 Stability AI 之间,在法律允许的范围内,你拥有所生成的音频。
文本编码器:Gemma Terms of Use。T5Gemma 编码器和分词器归 Google 所有(google/t5gemma-b-b-ul2),适用 Gemma Terms of Use。你不得将其用于 Gemma Prohibited Use Policy 中列出的用途,也不得用于违法用途。如果你再分发它们,你必须:
- 将使用限制作为你自己许可证或使用条款中可执行的条款纳入;
- 向接收者提供 Gemma 条款副本;
- 在你修改过的任何文件上标注醒目的通知;
- 附带一个包含 "Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms" 的 Notice 文件。
文件及其许可证:
stable-audio-3-small-sfx-dit-0.5B-v1.0-F16.gguf、stable-audio-3-small-sfx-same-s-v1.0-F16.gguf、stable-audio-3-small-sfx-conditioner-v1.0-F32.gguf:Stability AI Community License(LICENSE.md),转换自stabilityai/stable-audio-3-small-sfx。t5gemma-b-b-ul2-encoder-0.3B-v1.0-F16.gguf、t5gemma-b-b-ul2-v1.0-vocab.gguf:Gemma Terms of Use(LICENSE.md、NOTICE)。
通过 Stability AI 的仓库获取。下载之前,应用会要求你用自己的 Hugging Face 账号,在 Stability AI 的官方仓库 stabilityai/stable-audio-3-small-sfx 上接受其条款:打开该仓库,填写访问表单(姓名、邮箱、国家、预期用途)并接受。然后在 设置 › 模型存储 › Hugging Face 中(或在下载卡片中)粘贴 Hugging Face 访问令牌。应用会用该令牌检查你的账号是否具有访问权限(向 stabilityai/stable-audio-3-small-sfx 的一个固定文件在 05ca385 处发出一次请求);它不会下载 Stability AI 的 PyTorch 权重。模型文件本身来自 sa3.cpp 作者的 GGUF 转换(即上面的 thepatch/* 仓库),经 sha256 校验,不会向其发送令牌。令牌保存在你的电脑上,只会发送到 huggingface.co。
你有责任遵守这些许可证。所有文件都从 Hugging Face 下载。AI Game Dev 不托管它们。
Powered by Stability AI. This Stability AI Model is licensed under the Stability AI Community License, Copyright © Stability AI Ltd. All Rights Reserved.
版本
| 版本 | 发布时间 | 需要应用 |
|---|---|---|
| 1.1.3最新 | 0.32.0-beta.6 或更高版本 | |
| 1.1.2 | 0.32.0-beta.6 或更高版本 |
安装
在桌面应用中安装
打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.audio-stable-audio-3-small-sfx,然后点击添加到项目。
还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。
从终端安装
在项目文件夹中使用 gamedev CLI:
gamedev pkg add aigd.audio-stable-audio-3-small-sfx环境要求
- AI Game Dev 0.32.0-beta.6 或更高版本
gamedev pkg add aigd.audio-stable-audio-3-small-sfx