ゲーム向けローカル AI 画像生成 — 自分の GPU でテクスチャとアイコンを作る

AI Game Developer は、自分の GPU でローカルな AI 画像生成を実行できるようになりました。チャットで必要なテクスチャやアイコンを伝えると、エージェントがあなたのマシン上で、プロジェクトのアートスタイルに合わせて生成し、完成したファイルがプロジェクトに保存されて Unity、Godot、Unreal ですぐに使えます。画像はリモートサービスではなく GPU でレンダリングされ、モデルはあなたが承認するまでダウンロードされません。

この記事では、デモゲーム Skyward Keep での 1 回のセッションを追います。空に浮かぶ城を復興する、のんびりしたプラットフォーマーです。最初の島のためのシームレスの草テクスチャ、3 つのアイテムアイコン、そして最初の画像を編集して作る草の夜バージョンです。動画はアプリの実際の録画です。エージェントの返答はデモ用の台本ですが、その中のすべてのツール呼び出しは実際に実行されています。

なぜゲーム画像をローカルで生成するのか

ゲームアートは反復作業です。タイル可能な地面テクスチャは、スケール、色、継ぎ目がしっくりくるまでに何度も試作が必要ですし、アイテムアイコンのセットなら全ファイルで同じライティングとパレットを揃える必要があります。ローカル生成はこのループによく合います。

• 画像はあなたのマシン上でレンダリングされ、ラフ案や参考資料はプロジェクトフォルダ内に残ります。
• ハードウェアが許す限り何度でも反復でき、リモートの順番待ちに縛られません。
• 画像はプロジェクトに書き込まれるので、エージェントは同じセッション内でそれを使えます。テクスチャをマテリアルに割り当てたり、アイコンからインベントリを組んだり、画像を編集してバリエーションを作ったりできます。

生成器は stable-diffusion.cpp で、あなた自身のハードウェア上で動作します。リリース 0.25.0 でアプリに組み込まれました。詳細なリリースノートは https://ai-game.dev/releases/0.25.0 にあります。

ステップ 1: 画像生成を有効にしてモデルを選ぶ

画像生成はセッションのツール行にあるツールです。アートを作りたいセッションで Image Gen をオンにしてください。デスクトップアプリの画像モデルパネルから、あるいは gamedev CLI の /images コマンドでもモデルを管理できます。

各モデルには、必要なファイル、ダウンロードサイズ、対応するハードウェアの階層が示されています。アプリはグラフィックスアダプター、ビデオメモリ、ドライバーを確認し、あなたのマシンで実際に動作するモデルを提示します。モデルは承認した後にのみダウンロードされ、ダウンロードは通知から一時停止、再開、キャンセルでき、ダウンロード済みのモデルはマシン上のすべてのプロジェクトで共有されます。モデルの保存フォルダーは、たとえば容量の大きいドライブへ移動できます。

ステップ 2: 普通の言葉でアセットを依頼する

デモでは、依頼はまるごと 1 文です。

「Meadow Isle 用のシームレスの草テクスチャと、スカイシャード、キープの鍵、Wren のマントのアイコンを、うちのアートスタイルで作って。」

「うちのアートスタイル」は当てずっぽうではありません。Skyward Keep は制作上の決定をナレッジベースに残しているので、エージェントはまずそこを検索してアートディレクションを見つけます。手描き、柔らかい陰影、暖かなリムライト、輪郭線なし、夕焼けのパレット。そしてそのスタイルからプロンプトを組み立て、Qwen-Image-2512 Lightning で GPU 上で生成します。まずテクスチャ、続いて 3 つのアイコンです。

完了すると、エージェントは作ったものを一覧にします。1024×1024 のタイル可能な草テクスチャと 3 つのアイコンで、すべてプロジェクトのアセットフォルダーに保存され、テクスチャはチャットの横のプレビューペインで開かれます。

良いアセットプロンプトの条件

プロジェクトにまだナレッジベースがないなら、スタイルは依頼の中に自分で書きましょう。良いプロンプトは、被写体、スタイル、ゲーム内での用途、フォーマットを指定します。

• 「トップダウン用のシームレスな草の地面テクスチャ。手描き、小さな小石と野花、暖かな日差し。」
• 「金色の鍵のゲームアイテムアイコン。中央配置、柔らかい陰影、無地の暗い背景。」
• 「夕暮れの朽ちた灯台の横長コンセプト画像。レベルセレクト画面用。」

バリエーションは同じセッションで頼みましょう。もっと暗く、石を大きく、花を少なく。エージェントは前に何を頼んだかの文脈を保持します。またリリース 0.25.1 以降、生成キューは作業が残っている間はモデルをロードしたままにするので、バッチ処理で画像ごとにモデルを再読み込みしません ( https://ai-game.dev/releases/0.25.1 )。

ステップ 3: 参照画像から編集する

テキストからの生成は仕事の半分にすぎません。すでに近いものがあって、そのバリエーションが欲しいこともよくあります。デモでの続きの依頼はこうです。

「いいね。じゃあ、この草の月明かりの夜バージョン。筆致はそのままで。」

エージェントは今作ったテクスチャを参照として使い、Qwen-Image-Edit-2511 Lightning で編集します。冷たい青い光、深いインディゴの影、草の先に柔らかな月の輝き、構図と筆致はそのまま。夜バージョンは元画像の隣に保存されるので、夜のレベルではテクスチャを一方から他方へ差し替えるだけです。

編集では、指示によってテキスト、色、マテリアル、オブジェクトを変更でき、最大 4 枚の参照画像を組み合わせられます。ここで最も役立つ習慣は、変えてはいけないものを明確に伝えることです。「シルエットと輪郭線は保ったまま、鎧の色だけをティールに変えて」。

ステップ 4: アセットごとに適したモデルを選ぶ

パネルの各モデルには得意分野が示されていて、その違いはゲームアートでは重要です。現在利用できるモデルの簡単なガイドです。

• Qwen-Image と Qwen-Image-2512: プロンプト追従性とテキスト描画が最も強く、看板、ポスター、UI モックアップ向き。
• FLUX.1 schnell: 4 ステップでくっきりしたイラスト、アイコン、スプライト。
• SDXL 1.0: イラストやコンセプトアート向けの汎用ベース。
• Juggernaut XL v9 と RealVisXL V5.0: シネマティックなショット、キャラクター、環境向けのフォトリアルな SDXL モデル。
• Animagine XL 4.0: アニメ調のキャラクターとイラスト向け。文章ではなくカンマ区切りのタグでプロンプトを書きます。
• Z-Image Turbo: 高速なフォトリアルおよびイラスト調の画像。短いテキストも読める形で描けます。
• FLUX.2 klein 4B: Apple silicon の Mac 向けの小型モデル。イラスト、アイコン、スプライトに。

デモで使った Qwen-Image-2512 と Qwen-Image-Edit-2511 の Lightning 版は、生成を 4 ステップに短縮する LoRA アダプターを追加したもので、フル品質版のおよそ 4〜5 倍の速度になります。試行錯誤の間はこれを使い、最終アセットではフルモデルに切り替えましょう。

ステップ 5: アセットをエンジンで実際に使う

ファイルはすでにプロジェクト内にあるので、次の依頼でそれを使えます。Unity、Godot、Unreal のプロジェクトでは、完成した画像はエンジンにもインポートされ、次のような続けてのプロンプトが同じセッションで機能します。

• 「草テクスチャからマテリアルを作って、Meadow Isle の地面に割り当てて。」
• 「3 つのアイコンを UI スプライトとしてインポートして、インベントリのグリッドに追加して。」
• 「レベルの夜バージョンでは夜の草を使って。」

ここがローカル生成とエンジン接続の交差点です。画像を作ったエージェントが、そのままそれをシーンに組み込みます。まだエンジンを接続していない場合、アプリがプラグインのインストールと接続を代行します。セットアップは ai-game.dev/docs/app で説明しています。

ハードウェアに何を期待できるか

ローカル生成は GPU の性能に縛られます。上記のモデルのほとんどは CUDA 対応の NVIDIA GPU が必要で、SDXL ベースのモデルと FLUX.1 schnell にはビデオメモリ 8 GB、Qwen 系モデルには 16 GB 以上に加えてシステムメモリ 32 GB が必要です。例外は Z-Image Turbo で、AMD、Intel、統合 GPU でも動作します。Apple silicon なら FLUX.2 klein 4B が選択肢です。デモは NVIDIA RTX 4090 で録画しました。

ランタイムには CUDA、Vulkan、Metal 向けのバリアントがあり、さらにプレビュー版の Linux ビルドもあります。アプリはドライバーとメモリに合ったバリアントを選びます。ビデオメモリ不足で起動した場合は、より小さなメモリ予算で 1 回だけ再試行し、CPU への無言のフォールバックは隠さず失敗として報告するので、実行が遅かった理由や起動しなかった理由が必ず分かります。

まずはアプリがあなたのマシンに推奨するモデルから始め、品質がボトルネックになったときだけ上に移りましょう。

ローカル画像はアプリの他の機能とどう噛み合うか

ローカル画像は AI Game Developer のアセットツールの一部です。3D モデルについては、Tripo ツールが参照画像をメッシュに変換し、Blender 連携によってエージェントが実際のエディター内でモデルを構築・編集できます。短いクリップも Video ツールでローカル生成できます。このデモのスカイシャードのアイコンは、ローカル動画の記事でアニメーションする HUD アイコンになります。いずれもセッションのツール行のスイッチなので、セッションは必要なツールだけを抱えます。

アプリが初めてなら、まず ai-game.dev/download からダウンロードし、プロジェクトを開いて、最初のテクスチャを頼んでみてください。ブログの過去記事、たとえば ai-game.dev/blog/build-game-with-ai-claude-code の Unity のフルウォークスルーでは、同じエージェントがこれらのアセットを使うシーンをどう構築するかを紹介しています。