Gemini Omni
gamedev pkg add aigd.cloud-gemini-omni概要
クラウド上のGemini Omni Flash 1.2動画:テキスト、開始画像、または開始フレームと終了フレームからクリップを生成し、常に音声付き。5~10秒、360pから1080pまで。ゲームのトレーラーやアンビエンスショットに。プランの利用枠を消費します。
GoogleのGemini Omni Flash 1.2動画モデルを、AI Game Devエージェントがクラウドで実行します。テキスト、開始画像、または開始フレームと終了フレームからクリップを生成し、どのクリップにもネイティブの音声が付きます。音声が映像に合っているべきトレーラーのカット、アンビエンスショット、アニメーション化したキーアートなどに役立ちます。AI Game Devプランの利用枠を消費し、GoogleアカウントやAPIキーは必要ありません。
できること
- 音の合った短いショットを作れます:環境音、足音、群衆、天候など。
- スクリーンショットやコンセプトアートをアニメーション化できます(image-to-video)。
- あるフレームから別のフレームへ動かせます(開始フレームと終了フレーム)。たとえば昼から夜へのトランジションです。
- トレーラー向けのワイドスクリーン(16:9)ショットや、SNS投稿向けの縦型(9:16)ショットを、360pのプレビューから1080pまでレンダリングできます。
リクエスト例
- 「ネオン街の通りに雨が降る、Gemini Omniの5秒クリップを作って。雨音と遠くの交通音付きで。」
- 「
Assets/Art/campfire.pngをGemini Omniでアニメーション化して。薪の爆ぜる音、虫の声、8秒で。」 - 「城門が開く様子のGemini Omni 360pプレビューを作って、そのあと同じショットを1080pで。」
バリエーション
| バリエーション | 名前 | モード | 長さ | 解像度 | 音声 |
|---|---|---|---|---|---|
gemini-omni-flash-1-2 | Flash 1.2 | txt2vid, img2vid, first_last_frame | 5, 8, 10 s | 360p, 720p, 1080p | 常に |
アスペクト比は16:9と9:16、24 fps、デフォルトの長さは5秒、デフォルト解像度は720pです。音声はオフにできません。ネガティブプロンプトもシードも受け付けません。
モード:txt2vidはテキストからクリップを生成し、img2vidは画像から開始し、first_last_frameは開始画像から終了画像へと動かします。
実行の仕組み
クラウド生成(aigd.cloud-media、すべてのチャットでデフォルトで有効)を通じて実行されます。エージェントは、タスクに適している場合、またはモデル名を指定した場合にこのモデルを選びます。チャットの生成予算内のジョブは確認なしで実行されます(各操作の前に確認が有効な場合は1件ずつ確認します)。見積もりは動画1秒あたりの利用枠の割合で示され、失敗したジョブは利用枠に計上されません。プランで利用できるかどうかはアカウント(Modelsタブ、video_list_models)から取得されます。プランで利用できないバリエーションはロックされた状態で表示されます。クリップはMP4としてプロジェクトに保存され、既存のファイルを上書きすることはありません。
サーバーID(/api/mediaのpackage_id、そのメディアモデルID):aigd.cloud.gemini-omni。
バリエーション、モード、制限はサーバーのカタログに従います(capabilities v2のaigd.cloud.gemini-omni。packages/core/test/cloud-media-manifests.test.tsにより、このパッケージはカタログと一致した状態に保たれます)。サーバーは、プロバイダーのルートと利用枠の消費が確認できてはじめてバリエーションを実行します。計画中のものは「Coming soon」と表示されます。
ライセンス
モデル:プロプライエタリ。生成されたクリップは、そのバリエーションについてのプロバイダーの条件に従ってご利用いただけます。このパッケージはデータのみ(コードなし)で、Apache-2.0です。
バージョン
| バージョン | リリース日 | アプリが必要 |
|---|---|---|
| 0.1.4最新 | 0.25.11 以降 | |
| 0.1.3 | 0.25.11 以降 | |
| 0.1.2 | 0.25.11 以降 | |
| 0.1.1 | 0.25.11 以降 |
インストール
デスクトップアプリで
Packages ウィンドウを開き(ステータスバーのパッケージアイコン)、Browse を選んで aigd.cloud-gemini-omni を検索し、Add to Project をクリックします。
アプリがまだない方は、Windows、macOS、Linux 用の AI Game Dev を無料でダウンロードしてください。
ターミナルから
gamedev CLI を使い、プロジェクトフォルダーで実行します。
gamedev pkg add aigd.cloud-gemini-omni必要条件
- AI Game Dev 0.25.11 以降
gamedev pkg add aigd.cloud-gemini-omni