OpenAIが学習の希望を伝える共通信号を支持、検索とアクセス制限は別に

クローラーはページを自動で探して読むプログラムです。検索向けの収集は質問に合うページを見つけるため、学習利用は資料でモデルの学習済みの値を変えるためのものです。利用者がAIに特定のURLを開くよう頼む動作も別に見ます。

現在のOpenAI文書は次の役割を分けています。設定は独立しているので、検索向けを許可し、学習向けの収集を拒む選択もできます。クローラーの案内

検索用収集を拒否しても、サイトへの案内リンクは残る場合があります。設定反映に約24時間かかり得るという現在の説明は、特定サイトでの実測ではありません。

robots.txt はサイトが自動訪問プログラムにルールを知らせる公開ファイルです。事業者ごとの名前で管理する方法に加え、今回の提案はAI学習という目的に共通の名前を付けます。草案の名前は __usage_ai-training です。

架空の店が、店の記事は学習に使わず、別に公開した広報資料は学習利用を認めたいとします。表は草案のパスごとの希望を説明する例で、このサイトや実際の店に設定した結果ではありません。

%% 希望が伝わる概念図 · OpenAIの共通信号の実装は予定段階
flowchart TD
  A["運営者がパスごとに<br/>学習の希望を表示"] --> B["対応する事業者が読む"]
  B --> C["事業者が処理へ反映<br/>実際の適用範囲は別途照合"]

この信号はクローラーの出入りのルール自体を置き換えません。提案は、内容の利用への希望と収集トラフィックの規則を分けています。個人草案の設計

信号への賛同、製品への実装、標準の承認はそれぞれ別の確認点です。どの段階かによって、運営者は現在の設定を維持するか、新しい案内を待つかを判断できます。

草案では共通の学習名がないファイルは、その希望が表明されていない状態です。あらゆる利用に同意したという意味へ置き換えてはいけません。既存のクローラー規則は別に残ります。

ルールのファイルは訪問者がそれを尊重して処理するためのものです。パスワードのようにページを開けなくする仕組みではありません。既存のrobots.txt仕様RFC 9309も、アクセス権限を与える方法ではないと説明しています。非公開資料は認証などサーバーの保護手段が必要です。RFC 9309