Esta página foi traduzida automaticamente do inglês. Leia o original em inglês.

Stable Audio 3 Medium (modelo de música)

OficialÁudioGPUv1.1.3aigd.audio-stable-audio-3-medium
Instalar Ainda sem o app? Baixe grátis
Ou pelo terminal
gamedev pkg add aigd.audio-stable-audio-3-medium
Roda no seu computador. Baixa o modelo uma vez e gera na GPU deste computador.

Visão geral

Stable Audio 3 Medium: música instrumental a partir de um prompt de texto, até 6 min 20 s, estéreo 44,1 kHz, sem vocais; o modelo de música maior, para peças completas de trilha sonora. Roda localmente com sa3.cpp em uma GPU (12 GB em CUDA, 13 GB em Vulkan para as peças mais longas). Stability AI Community License: uso comercial apenas abaixo de US$1M de receita anual, após registro.

O Stable Audio 3 Medium é o modelo de música maior da Stability AI. A partir de um prompt de texto, ele cria música instrumental de 1 s até 6 min 20 s por peça, em WAV estéreo de 44,1 kHz. Ele não gera vocais. No app AI Game Dev, ele roda localmente por meio de Efeitos sonoros e música locais (aigd.sa3cpp, o runtime sa3.cpp), então cada faixa não custa nada. Ele precisa de uma GPU. Serve para desenvolvedores de jogos que querem peças instrumentais completas de trilha sonora. Sua licença (Stability AI Community License) permite uso comercial apenas abaixo de um limite de receita e após registro (veja a seção de licença abaixo).

O que você pode criar

  • Músicas de fase instrumentais completas e peças de trilha sonora, de até 6 min 20 s.
  • Faixas longas ambientes e de exploração para áreas abertas.
  • Música para menu, créditos e cutscene.

Exemplos de pedidos

  • "Faça um tema orquestral de exploração de 4 minutos com cordas e percussão suave."
  • "Gere uma faixa eletrônica energética de 3 minutos a 124 BPM para a fase de corrida."
  • "Faça 6 minutos de música ambiente lenta para os créditos."

Destaques

EspecificaçãoValor
Operaçãotexto para música: um prompt, uma duração e uma seed opcional geram um WAV
SaídaWAV estéreo de 44,1 kHz, salvo no seu projeto
Duração1 s a 6 min 20 s (padrão 60 s)
Promptaté 1.000 caracteres; sem vocais
Passospadrão 8, até 100
Orientação (CFG)padrão 1

Este pacote é apenas dados. Ele nomeia os arquivos do modelo. O app os baixa depois que você confirma e aceita a licença abaixo, verifica cada arquivo por sha256 e os executa com sa3.cpp no seu computador.

Qual pacote do Stable Audio 3 escolher

Os três rodam em Efeitos sonoros e música locais (aigd.sa3cpp), recebem um prompt de texto e gravam WAV estéreo de 44,1 kHz sob a mesma Stability AI Community License. O codificador de texto e o tokenizador são compartilhados, então um segundo modelo Stable Audio 3 baixa apenas os próprios arquivos.

PacoteGeraDuraçãoDownloadRequisitos
Stable Audio 3 Small SFXefeitos sonoros, foley, sons de UI, ambiências1–60 s1.71 GBuma GPU com 4 GiB; também roda em CPU, lentamente
Stable Audio 3 Small Musicmúsica instrumental e loops1 s – 2 min1.71 GBuma GPU com 4 GiB; em CPU é lento
Stable Audio 3 Mediummúsica instrumental, o modelo maior1 s – 6 min 20 s5.19 GBCUDA com 12 GiB ou Vulkan com 13 GiB; Mac com 16 GB
  • Efeitos sonoros para a jogabilidade e a UI: Small SFX.
  • Música em uma GPU modesta, ou peças de até 2 minutos: Small Music.
  • Faixas longas de até 6 min 20 s em uma GPU com 12 GiB ou mais (CUDA; 13 GiB em Vulkan): Medium.

Download

5,19 GB, cinco arquivos, cada um fixado em um commit do Hugging Face. São conversões GGUF de stabilityai/stable-audio-3-medium para sa3.cpp, publicadas pelo autor do sa3.cpp. O codificador de texto e o tokenizador são compartilhados por todos os modelos Stable Audio 3, então são baixados uma única vez.

ArquivoOrigemTamanho
stable-audio-3-medium-dit-1.5B-v1.0-F16.gguf (transformador de difusão)thepatch/stable-audio-3-medium-GGUF @ 380a7b22.91 GB
stable-audio-3-medium-same-l-v1.0-F16.gguf (autoencoder)thepatch/stable-audio-3-medium-GGUF @ 380a7b21.71 GB
stable-audio-3-medium-conditioner-v1.0-F32.gguf (condicionador)thepatch/stable-audio-3-medium-GGUF @ 380a7b20.8 MB
t5gemma-b-b-ul2-encoder-0.3B-v1.0-F16.gguf (codificador de texto)thepatch/t5gemma-b-b-ul2-GGUF @ 26caadf0.56 GB
t5gemma-b-b-ul2-v1.0-vocab.gguf (tokenizador)thepatch/t5gemma-b-b-ul2-GGUF @ 26caadf13.8 MB

O transformador de difusão e o autoencoder são F16. O autor do sa3.cpp validou as conversões contra a referência PyTorch da Stability AI (similaridade de cosseno ~1,0).

Em quais computadores

ComputadorVelocidade
CUDA, 12 GiB de VRAM ou maisEm uma RTX 4090 no Windows, um clipe de 380 s levou 15,3 s e usou cerca de 11,5 GiB acima da linha de base.
Vulkan, 13 GiB de VRAM ou maisNa mesma placa, um clipe de 380 s levou 28,2 s e usou cerca de 12,7 GiB acima da linha de base.
Mac com Apple silicon, 16 GB de memória ou maiscerca de 6 s para 12 s de áudio em um Apple M4 (medição do upstream)

Os requisitos de CUDA e Vulkan cobrem a duração máxima. Um clipe de 30 s usou cerca de 2,9 GiB acima da linha de base em qualquer um dos backends no mesmo teste. O primeiro som após a instalação demora mais.

Licença

Stability AI Community License (não é uma licença de código aberto). Leia o texto completo antes de baixar: LICENSE.md (a versão de 5 de julho de 2024, idêntica à do modelo upstream).

  • Uso gratuito: pesquisa, uso pessoal, hobby e outros usos não comerciais, e avaliação.
  • O uso comercial é restrito. Ele é gratuito apenas enquanto você, junto com suas afiliadas, faturar menos de US$1.000.000 por ano em receita, de qualquer fonte.
  • O limite de receita encerra todas as licenças. Assim que você e suas afiliadas passarem a faturar mais de US$1.000.000 por ano, todas as licenças sob o acordo terminam, não apenas o uso comercial. Você então precisa de uma licença Enterprise da Stability AI (stability.ai/enterprise).
  • Registro: antes de qualquer uso comercial, você deve se registrar na Stability AI em stability.ai/community-license.
  • Atribuição: se você distribuir o modelo, ou um produto ou serviço que o utilize, você deve
    1. entregar aos destinatários uma cópia da licença;
    2. manter um arquivo de texto "Notice" com este texto: "This Stability AI Model is licensed under the Stability AI Community License, Copyright © Stability AI Ltd. All Rights Reserved";
    3. exibir com destaque "Powered by Stability AI" em um site, interface de usuário, post de blog, página “sobre” ou documentação do produto relacionada.
  • Uso aceitável: o uso deve seguir a Acceptable Use Policy da Stability AI e as leis aplicáveis, incluindo controles de comércio. Você não pode usar o modelo ou suas saídas para criar ou melhorar outro modelo de IA generativa de base.
  • Outros termos: nenhum direito de marca além da atribuição. A Stability AI pode encerrar a licença se você a violar. Ela também termina se você processar a Stability AI alegando que o modelo ou suas saídas infringem seus direitos.
  • Saídas: entre você e a Stability AI, o áudio que você gera é seu, na medida em que a lei permitir.

Codificador de texto: Gemma Terms of Use. O codificador e o tokenizador T5Gemma são do Google (google/t5gemma-b-b-ul2), sob os Gemma Terms of Use. Você não deve usá-los para os usos previstos na Gemma Prohibited Use Policy nem contra a lei. Se você redistribuí-los, você deve:

  1. incluir as restrições de uso como termo exigível da sua própria licença ou termos de uso;
  2. entregar aos destinatários uma cópia dos Gemma Terms of Use;
  3. marcar qualquer arquivo que você modificou com um aviso destacado;
  4. incluir um arquivo NOTICE com "Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms".

Arquivos e suas licenças:

  • stable-audio-3-medium-dit-1.5B-v1.0-F16.gguf, stable-audio-3-medium-same-l-v1.0-F16.gguf, stable-audio-3-medium-conditioner-v1.0-F32.gguf: Stability AI Community License (LICENSE.md), convertidos de stabilityai/stable-audio-3-medium.
  • t5gemma-b-b-ul2-encoder-0.3B-v1.0-F16.gguf, t5gemma-b-b-ul2-v1.0-vocab.gguf: Gemma Terms of Use (LICENSE.md, NOTICE).

Acesso pelo repositório da Stability AI. Antes do download, o app pede que você aceite os termos da Stability AI no repositório oficial dela, stabilityai/stable-audio-3-medium, com a sua própria conta do Hugging Face: abra-o, preencha o formulário de acesso (nome, e-mail, país, uso pretendido) e aceite. Depois, cole um token de acesso do Hugging Face em Configurações › Armazenamento de modelos › Hugging Face (ou no cartão de download). O app verifica com esse token se a sua conta tem acesso (uma requisição a um arquivo fixado de stabilityai/stable-audio-3-medium, em d4d3579); ele não baixa os pesos PyTorch da Stability AI. Os arquivos do modelo em si vêm da conversão GGUF feita pelo autor do sa3.cpp (os repositórios thepatch/* acima), verificados por sha256, sem nenhum token enviado para lá. O token fica no seu computador e vai apenas para huggingface.co.

Você é responsável por seguir estas licenças. Todos os arquivos são baixados do Hugging Face. O AI Game Dev não os hospeda.

Powered by Stability AI. This Stability AI Model is licensed under the Stability AI Community License, Copyright © Stability AI Ltd. All Rights Reserved.

Versões

Versões de Stable Audio 3 Medium (modelo de música)
VersãoLançamentoRequer o app
1.1.3Mais recente0.32.0-beta.6 ou mais recente
1.1.20.32.0-beta.6 ou mais recente

Instalar

No app para desktop

Abra a janela Pacotes (o ícone de pacote na barra de status), selecione Explorar, pesquise aigd.audio-stable-audio-3-medium e clique em Adicionar ao projeto.

Ainda sem o app? Baixe o AI Game Dev grátis para Windows, macOS ou Linux.

Pelo terminal

Com a CLI gamedev, na pasta do seu projeto:

gamedev pkg add aigd.audio-stable-audio-3-medium

Requisitos

  • AI Game Dev 0.32.0-beta.6 ou mais recente

Mais sobre pacotes

Instalar
gamedev pkg add aigd.audio-stable-audio-3-medium