OpenAIの行動指針を読み解く、Webページの要求はAIの実行許可になるか

AIエージェントは、回答に加えてブラウザーやファイルなどの道具で作業するAIです。「宿を比較して」と頼まれたとき、料金や場所を読むことは目的に沿います。そのページのすべての文章が、新しい仕事の指示になるわけではありません。

Model Specは、外部文書・添付ファイル・道具が返した内容にある指示を、初期状態では情報として扱うよう求めます。ここで信頼しないとは、すべての料金が虚偽だという意味ではありません。その文章の書き手がAIの仕事を変える権限を自動で得ることはない、という意味です。外部資料の扱い

外部資料に混ぜた指示でAIの仕事を別の方向へ向ける試みを「プロンプトインジェクション」と呼びます。ソフトを入れるよう求めるファイルだけが問題ではありません。AIが読むページや文書の文章も、従うべき指示だと取り違えれば仕事を変え得ます。

次は実際の宿や製品を試した結果ではなく、架空の失敗経路です。利用者は比較だけを頼んだのに、外部ページが予約を要求し、AIが利用者の許可と取り違えた場合です。予約の道具も実行できるなら、望まない予約や請求につながる可能性があります。

実行する道具がなくても、外部の書き手が望む推薦や回答へ誘導される恐れはあります。指示の出どころを分けることと、実際に使える道具を絞ることが、問題の別々の部分に働きます。

%% 架空の失敗経路・外部指示の取り違えと予約の道具を実行できる条件がそろった場合
flowchart TD
  A["外部ページの書き手<br/>資料に予約要求を混ぜる"] --> B["AIが要求を取り違える<br/>利用者の許可として扱う"]
  B --> C["アプリの予約の道具を実行<br/>比較の仕事を越える"]
  C --> D["利用者に生じ得る被害<br/>望まない予約・請求"]

OpenAIは、複数の手順を任せる際に、目標、許容する費用・資料・接続先、改めて承認を求める条件を決めるよう説明しています。小さな照会のたびに聞き直すことが目的ではありません。合意した範囲では仕事を続け、広げるときは元の利用者や開発者の承認が必要、という原則です。自律的な仕事の範囲

同じ宿の仕事でも、次のように任せ方を分けられます。表の条件は説明用の例で、特定の旅行サービスの機能案内ではありません。

予約も任せるなら、税・手数料を含む総額、取消条件、どの情報を誰に送るかも決めます。「一番よさそうな宿」だけでは、費用と取り消せる範囲がわかりません。

「AIは許可されたことだけをする」と読んだら、サービスが渡す権限と実際の行動も見ます。モデルの行動指針は望ましい判断を定め、アプリの道具の権限は可能な実行を絞り、実行記録は起きたことを示します。外部へ影響する仕事を設計する際の点検の見方です。

先のAI行動監視の記事では、疑わしい行動を見つけた後の通知と停止を扱いました。この監視の開発者文書も見逃しや誤検知を説明し、重要な行動には人の承認を残すよう案内しています。監視の限界