デスクトップキャプチャと入力インジェクションのコマンドは常に確認を求めるようになりました

画面をキャプチャしたり他のアプリへ入力したりするシェルコマンドは、Never ask を含むすべてのポリシーで確認のために停止するようになりました。今回のリリースでは、エンジン拡張機能の検索が平易な言葉を理解するようになり、拒否されたツール呼び出しには使えるエラーが返り、音声入力も安定します。

注目の機能

デスクトップキャプチャと入力インジェクションに対する常時確認ガード

デスクトップをキャプチャしたり入力をインジェクションしたりするシェルコマンドは、Windows、macOS、Linux で実行前に確認を求めるようになり、確認プロンプトには実行内容が平易な言葉で示されます。これは Never ask に対する唯一の例外です。すべてのポリシーで確認を求め、プランモードでは拒否され、無人で実行されるコマンドラインでは自動承認せずに拒否されます。各チャットのエージェントにも、デスクトップをキャプチャしたり他のアプリを自ら操作したりしないよう指示されます。 (#1298)

改善

エンジン拡張機能の検索が平易な言葉を理解

ツールの検索が、実際に人が入力する言葉に一致するようになったため、植生の散布に関するクエリで PCG Tools 拡張機能が見つかり、何も返らないことがなくなりました。マッチングはアプリ内で行われるため、拡張機能のリリースを待たずにすべての拡張機能ソースが恩恵を受けます。関連語は別の用語と組み合わせた場合にのみ有効なため、tree の検索が behavior tree に反応することはありません。 (#1304)

音声入力でキー入力の順序が保たれる

スペースキーは押された時点で入力されるようになったため、速い入力でも単語間で文字が入れ替わらず、スラッシュコマンドのスペースも保持されます。Ctrl+G でデスクトップとコマンドラインの両方でディクテーションを開始・停止でき、新しい設定では、好みに応じてスペース長押しジェスチャーをオフにできます。デスクトップでの収録中は Composer が読み取り専用のままなので、ライブの部分テキストが入力内容と競合しません。 (#1306)

拒否されたツール呼び出しが修正内容を示すように

エージェントが誤った引数または不足している引数でツールを呼び出すと、拒否メッセージにはその引数名が示され、宣言済みの引数が一覧表示されます。ツール名の綴りが間違っている場合は、利用可能なツールが一覧表示されます。エージェントは推測でターンを浪費する代わりに、次の呼び出しで自己修正できます。引数の値は決して返されず、名前のみが返されます。 (#1309)

修正

音声録音とデーモンハンドシェイクのタイミング競合

開始直後に停止したプッシュトゥトークの収録では、文字起こしが失われることがありました。現在は録音の開始時にアクティベーションが行われます。リスナーの準備ができる前に届いたデーモンのハンドシェイクフレームは破棄されて接続を切断していましたが、現在は早く届いたフレームを読み取られるまで保持します。 (#1310)

時計変更と起動失敗によるメディアとデーモンの停止を解消

システム時計が巻き戻ると、新しいメディアのデプロイが拒否されたり、compact-before-send タイマーが再アームするものもなく待ち続けたりすることがありました。現在は経過時間がゼロでクランプされ、タイマーは時計を読み直します。起動に失敗したネイティブプロセスは、停止バリアをハングさせる代わりに即座に拒否するようになりました。 (#1312)

内部の変更

• docs(agent-lab): iterations 14-16 — catalog 100%, GAS 100%, Landscape + PCG island 83% (#1303)
• docs(agent-lab): iterations 17-18 — Niagara 67%, Control Rig 92% (#1305)
• docs(agent-lab): iterations 19-20 — island 92%, Enhanced Input 100%; Niagara Fluids task (#1307)
• docs(agent-lab): iteration 21 — Niagara Fluids smoke plume 92% (#1308)
• test: version-bump guard tests copy one base repo instead of rebuilding it (#1311)