Stable Audio 3 Medium(音乐模型)
gamedev pkg add aigd.audio-stable-audio-3-medium概览
Stable Audio 3 Medium:根据文本提示生成器乐音乐,最长 6 分 20 秒,44.1 kHz 立体声,无人声;这是较大的 Stable Audio 3 音乐模型,适合完整长度的配乐作品。通过 sa3.cpp 在 GPU 上本地运行(最长作品在 CUDA 上需 12 GB,在 Vulkan 上需 13 GB)。Stability AI Community License:须先注册,且仅在年收入低于 100 万美元时可用于商业用途。
Stable Audio 3 Medium 是 Stability AI 较大的音乐模型。它根据文本提示生成器乐音乐,每段从 1 秒到 6 分 20 秒,输出 44.1 kHz 立体声 WAV。它不生成人声。在 AI Game Dev 应用中,它通过 Local sound effects and music(aigd.sa3cpp,即 sa3.cpp 运行时)在本地运行,所以每条音轨都不产生费用。它需要 GPU。它适合想要完整长度器乐配乐作品的游戏开发者。其许可证(Stability AI Community License)仅在收入低于上限且完成注册后才允许商业使用(见下文的许可证章节)。
你可以制作什么
- 完整长度的器乐关卡音乐和配乐作品,最长 6 分 20 秒。
- 用于开阔区域的长时间氛围和环境探索音轨。
- 菜单、制作人员名单和过场动画音乐。
示例请求
- “制作一段 4 分钟的管弦乐探索主题,使用弦乐和轻柔的打击乐。”
- “为竞速关卡生成一段 3 分钟、124 BPM 的动感电子音轨。”
- “为制作人员名单制作 6 分钟的缓慢氛围音乐。”
亮点
| 规格 | 值 |
|---|---|
| 操作 | 文本生成音乐:一个提示、一个时长和一个可选的种子生成一个 WAV |
| 输出 | 44.1 kHz 立体声 WAV,保存到你的项目中 |
| 长度 | 1 秒到 6 分 20 秒(默认 60 秒) |
| 提示 | 最多 1,000 个字符;无人声 |
| 步数 | 默认 8,最多 100 |
| 引导强度(CFG) | 默认 1 |
此包只包含数据。它指明模型文件。你确认并接受下方许可证后,应用会下载这些文件,用 sha256 校验每个文件,并用 sa3.cpp 在你的电脑上运行它们。
该选哪个 Stable Audio 3 包
这三个包都通过 Local sound effects and music(aigd.sa3cpp)运行,接受文本提示,并在同一 Stability AI Community License 下写出 44.1 kHz 立体声 WAV。文本编码器和分词器是共享的,所以第二个 Stable Audio 3 模型只需下载它自己的文件。
| 包 | 可制作 | 长度 | 下载 | 需求 |
|---|---|---|---|---|
| Stable Audio 3 Small SFX | 音效、拟音、UI 声音、环境声 | 1–60 s | 1.71 GB | 4 GiB 显存的 GPU;也可在 CPU 上运行,但较慢 |
| Stable Audio 3 Small Music | 器乐音乐和循环片段 | 1 s – 2 min | 1.71 GB | 4 GiB 显存的 GPU;CPU 较慢 |
| Stable Audio 3 Medium | 器乐音乐,较大的模型 | 1 s – 6 min 20 s | 5.19 GB | CUDA 需 12 GiB 或 Vulkan 需 13 GiB;Mac 需 16 GB |
- 游戏玩法和 UI 的音效:Small SFX。
- 在配置一般的 GPU 上制作音乐,或制作最长 2 分钟的片段:Small Music。
- 在 12 GiB 或以上显存的 GPU 上制作最长 6 分 20 秒的长音轨(CUDA;Vulkan 需 13 GiB):Medium。
下载
5.19 GB,五个文件,每个都固定到某个 Hugging Face 提交。它们是供 sa3.cpp 使用的 stabilityai/stable-audio-3-medium 的 GGUF 转换版本,由 sa3.cpp 作者发布。文本编码器和分词器由所有 Stable Audio 3 模型共享,因此只需下载一次。
| 文件 | 来源 | 大小 |
|---|---|---|
stable-audio-3-medium-dit-1.5B-v1.0-F16.gguf(扩散 transformer) | thepatch/stable-audio-3-medium-GGUF @ 380a7b2 | 2.91 GB |
stable-audio-3-medium-same-l-v1.0-F16.gguf(自编码器) | thepatch/stable-audio-3-medium-GGUF @ 380a7b2 | 1.71 GB |
stable-audio-3-medium-conditioner-v1.0-F32.gguf(条件器) | thepatch/stable-audio-3-medium-GGUF @ 380a7b2 | 0.8 MB |
t5gemma-b-b-ul2-encoder-0.3B-v1.0-F16.gguf(文本编码器) | thepatch/t5gemma-b-b-ul2-GGUF @ 26caadf | 0.56 GB |
t5gemma-b-b-ul2-v1.0-vocab.gguf(分词器) | thepatch/t5gemma-b-b-ul2-GGUF @ 26caadf | 13.8 MB |
扩散 transformer 和自编码器为 F16。sa3.cpp 作者已对照 Stability AI 的 PyTorch 参考实现验证了这些转换(余弦相似度约 1.0)。
适用电脑
| 电脑 | 速度 |
|---|---|
| CUDA,12 GiB 或以上显存 | 在 Windows 的 RTX 4090 上,一段 380 秒的片段耗时 15.3 秒,在基线之上占用约 11.5 GiB 显存。 |
| Vulkan,13 GiB 或以上显存 | 在同一张显卡上,一段 380 秒的片段耗时 28.2 秒,在基线之上占用约 12.7 GiB 显存。 |
| 配备 Apple 芯片、16 GB 或以上内存的 Mac | 在 Apple M4 上,12 秒音频约需 6 秒(上游实测) |
CUDA 和 Vulkan 的要求对应最长时长。在同一测试中,30 秒的片段在任一后端上都在基线之上占用约 2.9 GiB 显存。安装后的第一次生成声音耗时更长。
许可证
Stability AI Community License(不是开源许可证)。下载前请阅读全文:LICENSE.md(2024 年 7 月 5 日版本,与上游模型的相同)。
- 免费使用:研究、个人、爱好及其他非商业用途,以及评估。
- 商业使用受限。仅当你连同你的关联方每年从任何来源获得的收入低于 1,000,000 美元时才免费。
- 收入上限会终止所有许可证。一旦你和你的关联方每年收入超过 1,000,000 美元,该协议下的所有许可证都会终止,而不只是商业使用。届时你需要从 Stability AI 获得 Enterprise 许可证(stability.ai/enterprise)。
- 注册:在进行任何商业使用之前,你必须在 stability.ai/community-license 向 Stability AI 注册。
- 署名:如果你分发该模型,或分发使用它的产品或服务,你必须
- 向接收者提供许可证副本;
- 保留一个 "Notice" 文本文件,其中包含以下文字:"This Stability AI Model is licensed under the Stability AI Community License, Copyright © Stability AI Ltd. All Rights Reserved";
- 在相关网站、用户界面、博客文章、关于页面或产品文档中醒目地显示 "Powered by Stability AI"。
- 可接受使用:使用必须遵守 Stability AI 的可接受使用政策和适用法律,包括贸易管制。你不得使用该模型或其输出来创建或改进另一个基础生成式 AI 模型。
- 其他条款:除署名外不授予任何商标权。如果你违反许可证,Stability AI 可以终止该许可证。如果你起诉 Stability AI 声称该模型或其输出侵犯你的权利,该许可证也会终止。
- 输出:在你与 Stability AI 之间,在法律允许的范围内,你拥有你生成的音频。
文本编码器:Gemma 使用条款。T5Gemma 编码器和分词器归 Google 所有(google/t5gemma-b-b-ul2),受 Gemma 使用条款 约束。你不得将其用于 Gemma 禁止使用政策 中的用途,也不得违法使用。如果你重新分发它们,你必须:
- 将使用限制作为你自己许可证或使用条款中可强制执行的条款纳入;
- 向接收者提供 Gemma 条款副本;
- 在你修改过的任何文件上标注醒目通知;
- 附带一个包含 "Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms" 的 Notice 文件。
文件及其许可证:
stable-audio-3-medium-dit-1.5B-v1.0-F16.gguf、stable-audio-3-medium-same-l-v1.0-F16.gguf、stable-audio-3-medium-conditioner-v1.0-F32.gguf:Stability AI Community License(LICENSE.md),转换自stabilityai/stable-audio-3-medium。t5gemma-b-b-ul2-encoder-0.3B-v1.0-F16.gguf、t5gemma-b-b-ul2-v1.0-vocab.gguf:Gemma 使用条款(LICENSE.md、NOTICE)。
通过 Stability AI 的仓库获取。下载之前,应用会要求你用你自己的 Hugging Face 账户,在其官方仓库 stabilityai/stable-audio-3-medium 上接受 Stability AI 的条款:打开该页面,填写访问表单(姓名、电子邮箱、国家/地区、预期用途)并接受。然后在 设置 › 模型存储 › Hugging Face(或下载卡片中)粘贴一个 Hugging Face 访问令牌。应用会用该令牌检查你的账户是否具有访问权限(向 stabilityai/stable-audio-3-medium 的一个固定文件发起一次请求,地址为 d4d3579);它不会下载 Stability AI 的 PyTorch 权重。模型文件本身来自 sa3.cpp 作者的 GGUF 转换(上述 thepatch/* 仓库),经 sha256 校验,不会向那里发送令牌。令牌保留在你的电脑上,只会发送到 huggingface.co。
你有责任遵守这些许可证。所有文件均从 Hugging Face 下载。AI Game Dev 不托管它们。
Powered by Stability AI. This Stability AI Model is licensed under the Stability AI Community License, Copyright © Stability AI Ltd. All Rights Reserved.
版本
| 版本 | 发布时间 | 需要应用 |
|---|---|---|
| 1.1.3最新 | 0.32.0-beta.6 或更高版本 | |
| 1.1.2 | 0.32.0-beta.6 或更高版本 |
安装
在桌面应用中安装
打开包窗口(状态栏中的包图标),选择浏览,搜索 aigd.audio-stable-audio-3-medium,然后点击添加到项目。
还没安装应用?免费下载 AI Game Dev,支持 Windows、macOS 和 Linux。
从终端安装
在项目文件夹中使用 gamedev CLI:
gamedev pkg add aigd.audio-stable-audio-3-medium环境要求
- AI Game Dev 0.32.0-beta.6 或更高版本
gamedev pkg add aigd.audio-stable-audio-3-medium