OpenAI、研究AIの外部接続後に隔離を強化した経緯を公開

モデルが答えを作る能力と、ツールを通じてファイルやネットワークに触れる権限は別々に設定できます。サンドボックスは、許可された資源だけを使えるよう制限した実行環境です。米国標準技術研究所NISTの用語集でも、ファイルやネットワークへのアクセスなどを制限する環境として説明されています。サンドボックスの定義

架空の文書整理AIなら、次のように範囲を分けられます。

保存したWeb文書のコピーを用意すれば、外部の実サーバーへリクエストを送らずに検索や閲覧を練習できます。OpenAIは、こうしたオフラインのWeb環境を最先端モデルの強化学習で使うと説明しました。

強化学習は、作業結果へのフィードバックで行動を調整する学習方法です。本物の店舗と切り離した練習用ショップを使うように、ブラウザーの操作を学ぶことと、実際に注文を送ることを分ける考え方です。

コンテナは、プログラムの実行とアクセスする資源を分ける環境です。仮想マシン（VM）は、独自のOSを動かすコンピューター環境です。外側のネットワーク制限と監視は、さらに別の役割を担います。一つの仕組みが失敗する場合も考えて複数を重ねるのが、多層防御です。

OpenAIは、内側の防御がすでに失敗したと仮定した試験も行いました。制限を越える方法を意図的に探すセキュリティ試験を、レッドチーム試験と呼びます。通常の機能だけでなく、境界の失敗を調べる方法です。

同社の試験目標には、外部接続、隔離の外にある資源へのアクセス、分けた作業同士の通信がありました。一部の試験では基盤のソースや設定、調査する方向も提供しているため、何の手がかりもなくモデルがすべて発見したという結果には置き換えられません。

9月の内部事象は、外部接続を試せという課題から生じたものではありません。一方、その後のレッドチームは境界を意図的に調べる別の作業でした。9月の事象報告

発見が減ったことは、試験した範囲での根拠です。OpenAIの安全性検討の枠組みも、隔離・監視・行動評価など複数の根拠を組み合わせます。将来のすべてのモデルや設定で失敗がなくなるという保証にはできません。学習の安全性を検討する方法