Componha música de jogo com IA — SuperCollider dentro do AI Game Developer

Música e som costumam ser a última parte de um protótipo de jogo, e a primeira coisa que os jogadores notam. O pacote Music do AI Game Developer permite compor música de jogo com IA: o agente escreve partituras em SuperCollider junto com você, renderiza para WAV, deixa você ouvir no app e exporta o áudio final para o seu projeto Unity, Godot ou Unreal.

Isto não é um gerador de músicas de caixa-preta. A música é código que você pode ler, versionar e alterar, então você pode pedir "o mesmo tema, mais lento, com menos reverb" e receber exatamente isso. Neste post compomos o tema de menu do nosso jogo de demonstração, Skyward Keep, em uma única sessão, e depois olhamos para stems em loop, efeitos sonoros a partir das suas próprias amostras e a exportação para o jogo. O vídeo é uma gravação real do app: as respostas do agente são roteirizadas para a demonstração, e cada chamada de ferramenta nele foi executada de verdade. O clipe desta página é reproduzido sem som; o tema em si é uma peça calma, de caixinha de música, que você pode renderizar no seu próprio projeto com o mesmo pedido.

Por que SuperCollider para áudio de jogos

SuperCollider é uma plataforma open-source madura para síntese sonora e composição algorítmica. Todo som vem de uma partitura, um arquivo de texto que descreve os instrumentos e quando eles tocam. Isso se encaixa bem em um agente de IA:

• O agente escreve e edita texto, que é exatamente o que uma partitura é.
• Uma alteração é precisa e repetível: andamento, tonalidade, instrumentos, efeitos e duração são todos explícitos.
• Os arquivos-fonte ficam no seu projeto e podem ser commitados no Git como código, enquanto o áudio renderizado é uma saída descartável.

Cada renderização registra os hashes do código-fonte, a semente e as configurações antes de rodar, então você pode rastrear qualquer WAV de volta até a partitura que o gerou.

Passo 1: Ative a música para a sessão

A música vem junto com o app como um pacote. Ele é instalado por padrão, e você o ativa para as sessões em que quiser usá-lo, na linha Tools da sessão. Quando você abre uma sessão conectada a um editor Unity, Godot ou Unreal, uma dica curta oferece ativar o Music e, em seguida, compor um tema de exemplo de oito segundos ou descrever a sua própria ideia. Nada é instalado, renderizado ou enviado até você escolher.

Na primeira vez que você realmente o usa, o pacote configura o runtime do SuperCollider de que precisa, uma versão fixada e verificada. Digite /supercollider a qualquer momento para ver o status e um guia curto. Hoje o runtime está disponível no Windows e no macOS.

Passo 2: Componha um tema de menu

Descreva a música como você faria um briefing para um compositor: clima, duração, como ela será usada e qualquer material musical no qual ela deva se basear. O pedido da demonstração é:

"Componha o tema de menu do Skyward Keep: calmo e acolhedor, em torno de 20 segundos, construído sobre o nosso motivo do keep. Deixe-me ouvir e depois adicione ao jogo."

O agente primeiro consulta as notas de áudio do projeto na Knowledge Base, onde o motivo do keep está registrado, e decide por uma versão calma em caixinha de música. Ele cria um projeto AudioSource portátil na pasta do jogo e então escreve a partitura: uma caixinha de música tocando o motivo de quatro notas D, A, B, Fá sustenido, um pad suave sobre os acordes D, A, B menor e G, um baixo arredondado e um reverb compartilhado, a 90 BPM.

A partitura é renderizada localmente, e o agente abre uma prévia para você ouvir ali mesmo no app, com a forma de onda e um player. O resultado são dois arquivos: menu-theme.scd, o código-fonte editável em SuperCollider que fica sob controle de versão, e menu-theme.wav, uma renderização estéreo de 24 segundos a 48 kHz com a cauda do reverb.

As renderizações são WAV de 16 bits, mono ou estéreo, a 44,1, 48 ou 96 kHz, com até dez minutos de duração. O agente também pode analisar uma renderização e informar a duração, os níveis de pico e RMS e qualquer clipping, o que ajuda quando uma mixagem está baixa ou estourando demais.

Itere como você faria com um compositor

Ouça e depois peça mudanças pontuais:

• "Deixe a melodia uma oitava mais baixa e dê aos pads um ataque mais lento."
• "Adicione uma camada leve de percussão na segunda metade."
• "Encurte para 16 compassos e mantenha o final."

Como a partitura é código, cada alteração preserva o restante da peça como estava. Se você gostar mais de uma versão anterior, o Git tem essa versão.

Passo 3: Stems em loop para música adaptativa

Jogos muitas vezes precisam de música em camadas que possam entrar e sair conforme a ação. Peça stems que compartilhem a mesma duração e o mesmo timing:

"Divida o tema da fase em três stems, bateria, baixo e melodia, com a mesma duração e o mesmo andamento, para que façam loop juntos."

Os stems são renderizados com a mesma duração, taxa de amostragem e semente, e cortados no número exato de frames, então se alinham amostra por amostra e fazem loop sem emendas. No motor, você pode então aumentar a bateria quando o combate começa e baixá-la quando ele termina.

Passo 4: Efeitos sonoros a partir das suas próprias amostras

O SuperCollider é igualmente bom para efeitos sonoros. Você pode importar suas próprias gravações em WAV como amostras: PCM mono ou estéreo em 16, 24 ou 32 bits, entre 8 e 192 kHz. A importação registra o hash de cada amostra, então o projeto sabe exatamente de qual áudio uma partitura depende.

"Importe footstep.wav como amostra e crie quatro variações para cascalho: cada uma com altura e duração ligeiramente diferentes, com uma cauda curta."

Variações como essas evitam que sons repetidos pareçam mecânicos, e não custam nada para criar depois que a partitura existe.

Passo 5: Exporte para o jogo

Quando uma renderização está pronta, o agente a exporta para o projeto do jogo com o nome que você escolher:

• Unity: em Assets/Audio, mantendo o arquivo .meta e o GUID quando um arquivo é substituído, para que as referências nas suas cenas não quebrem.
• Godot: em res://Audio/, com a pasta de autoria excluída da importação do Godot.
• Unreal: importado como SoundWave em /Game/Audio por meio da conexão com o editor.
• Pastas simples: na pasta de exportações do AudioSource.

Substituir uma exportação verifica se o arquivo que você está substituindo é o esperado, então um arquivo mais novo nunca é sobrescrito por acidente.

No que ele é bom hoje

O pacote Music funciona melhor para áudio de protótipo e de jogos indie: temas de menu e de fase, camadas ambientes, stingers de vitória e derrota, sons de interface e variações de efeitos. As partituras são renderizadas offline em vez de em síntese ao vivo, e o resultado depende de quão bem a peça é descrita, então comece com peças curtas e vá crescendo.

A música chegou na versão 0.20.0 e, desde a 0.23.0, permanece instalada, mas só entra em uma nova sessão quando você a ativa (https://ai-game.dev/releases/0.23.0). Para experimentar, baixe o app em ai-game.dev/download, abra o projeto do seu jogo e peça um tema de exemplo. Para o restante do fluxo de trabalho, o passo a passo em ai-game.dev/blog/build-game-with-ai-claude-code mostra como o mesmo agente constrói a cena em que essa música toca.