このページは英語から機械翻訳されています。英語の原文を読む。

ブログ

GPU不要、ゲーム向けのクラウドAI動画・音声生成

AIエージェントからVeo 3.1やKling、ElevenLabsなどのクラウドモデルで、カットシーン、トレーラー、ボイス、効果音、音楽を生成できます。

GPU不要、ゲーム向けのクラウドAI動画・音声生成

AI Game Developerは、ゲーム用の動画と音声をクラウドで生成できるようになりました。カットシーン、トレーラー用のショット、アニメーションする背景、ボイス、効果音、楽曲などをAIエージェントに依頼すると、Google Veo 3.1、Kling、ElevenLabsといったクラウドモデル上でジョブが実行されます。処理はAI Game Devのサーバー上で行われるため、ローカルGPUは不要で、各モデルプロバイダーのアカウントやキーも必要ありません。

ローカルモデルはこれまでどおり、しかも無料で使えます。お使いのコンピューターに十分なGPUがあれば、ai-game.dev/blog/local-ai-video-generation-on-your-gpu のガイドでその上での動画生成方法がわかります。クラウド生成はそれ以外のすべての人に向けたものであり、そもそもローカルで動かないモデルを使うための手段でもあります。

クラウドAI動画生成で作れるもの

再生中の動画ストリップへと変化していく、一列の静止フレーム
プロンプトと数枚のフレームから完成したクリップへ
  • 短いスクリプトや自分のコンセプトアートから生成するカットシーンやストーリーの見せ場。
  • ストアページや開発ブログ用のトレーラーショット。
  • アニメーションする背景やタイトル画面。
  • スプライトや視覚効果の参照用クリップ。爆発、魔法、模写するための走りサイクルなど。
  • キャラクターのセリフ、効果音、メニューやレベル用の音楽。

動画モデル

アプリのModelsタブには、すべてのモデルが、何ができるか、どう実行されるか、あなたのアカウントで使えるかどうかとあわせて一覧表示されます。クラウド動画のファミリーは次のとおりです。

  • Google Veo 3.1はLite、Fast、Standardの3つのバリエーションがあり、いずれもネイティブ音声対応で、クリップに音が付いてきます。
  • ByteDanceのSeedance 2.0(および2.0 Fast)は、1回のジョブで最大9枚の参照画像を受け取れます。
  • KuaishouのKling 3.0はStandardとPro、さらに参照画像から動画を作るKling O3もあります。
  • AlibabaのWanには、Wan 2.2とWan 3.0 Primeがあります。
  • MiniMaxのHailuo。
  • PixVerse V6。
  • LightricksのLTX 2.3はFastとProがあります。

一覧にはGemini OmniとHappyHorseも見つかります。これらのモデルのほとんどは映像と一緒に音も生成しますが、Wan 2.2、Hailuo、HappyHorseは無音のクリップを作ります。

クリップを始める4つの方法

動画を始める4つの方法。テキストから、画像から、最初と最後のフレームから、参照画像から
テキストから動画、画像から動画、最初と最後のフレーム、参照画像から動画
  1. テキストから動画:ショットを説明すると、モデルがそれを作ります。すべての動画モデルが対応しています。
  2. 画像から動画:シーンのスクリーンショットやコンセプトアートなどの画像をエージェントに渡すと、それがクリップの最初のフレームになります。これもすべての動画モデルが対応しています。
  3. 最初と最後のフレーム:開始フレームと終了フレームを渡すと、モデルがその間をアニメーションでつなぎます。トランジションやループに便利です。Veo、Seedance、Kling、Wan、Hailuo、PixVerseが対応しています。
  4. 参照画像から動画:複数の参照画像、たとえばキャラクターをいくつかの角度から写したものとロケーションの画像を渡すと、モデルはそれらを新しいショットの中でも一貫させます。Veo 3.1 Standard、Seedance 2.0、Kling O3、HappyHorseが対応しています。

こうしたことを覚えておく必要はありません。エージェントは各モデルのモード、長さ、解像度を把握しているので、欲しい結果をそのまま頼めばよいのです。

AI音声生成:セリフ、効果音、音楽

3つの波形。ボイス、短い効果音、音楽のループ
セリフ、効果音、音楽
  • ElevenLabs:Turbo 2.5とEleven v3によるセリフ、そしてSound Effects 2による1〜22秒の効果音。
  • Kokoro:20種類の声でアメリカ英語のセリフを生成し、クラウドで実行されます。
  • GoogleのLyria 2:インストゥルメンタル音楽を1回のジョブにつき30秒生成します。
  • ACE-Step:オープンウェイトのモデルによるインストゥルメンタル音楽。

音楽については、ai-game.dev/blog/ai-game-music-and-sound-supercollider で解説されているように、エージェントにコードでプロシージャルな音楽やサウンドを書かせることもできます。

AIエージェントで動画と音声を生成する方法

  1. ai-game.dev/download からAI Game Developer Appをダウンロードまたはアップデートし、サインインします。
  2. Modelsタブを開いて動画・音声モデルを眺め、どれがあなたのアカウントで使えるかを確認します。
  3. チャットセッションで、そのセッションのToolsにあるクラウド生成をオンにします。オンにするまでオフになっており、ジョブのたびにアプリが確認するか、月間の割り当てに対する割合で設定した予算までエージェントに使わせるかを選べます。
  4. 必要なものをエージェントに頼みます。たとえば、このスクリーンショットから始めて、洞窟に歩いて入っていく主人公の6秒のクリップを作ってください。モデルを指定することも、エージェントに選ばせることもできます。
  5. ジョブのカードで承認します。カードにはそのジョブが何を使うかが表示され、完成したファイルはプロジェクトに保存されます。

プラン、使用量、地域

クラウド生成は有料プラン(Indie、Studio、Studio Max)向けです。一部のモデルはStudio以上が必要です:Veo 3.1 Standard、Kling 3.0 Pro、Seedance 2.0、Seedance 2.0 Fast。無料プランとトライアルではクラウドモデルを閲覧できますが、実行はできません。

クラウドのジョブはそれぞれ月間の割り当てを一定の割合で消費し、失敗したジョブは課金されません。割り当てを使い果たした場合、そのジョブのカードで許可したときに限り、追加の残高を使えます。自分のコンピューター上のローカルモデルは無料のままです。

一部のモデルはEU/EEA、英国、スイスでは利用できません:Seedance、Kling、Wan、HappyHorse、Hailuo、PixVerse、ACE-Step、Gemini Omniです。Veo、LTX、ElevenLabs、Lyria、Kokoroはこれらの地域でも利用できます。自分で判断する必要はありません。Modelsタブにはあなたの地域で利用できないモデルがすべて表示され、エージェントもモデルを選ぶときに同じ可用性を把握しています。

作ったものは手元に残す

生成されたファイルは当社のサーバーに7日間保存され、その後、そのジョブのためにアップロードした画像とともに削除されます。エージェントは各結果を準備でき次第あなたのプロジェクトに保存します。クラウド上のコピーは7日後に消えるので、プロジェクトにまだ入っていない残したいものはダウンロードしておいてください。

はじめに

皆さんの作品を見せていただけるとうれしいです。作ったカットシーン、トレーラー、サウンドトラックをDiscordコミュニティで共有してください。

ブログのその他の記事

すべての記事