OpenAI、生活課題の評価LifeValを紹介、平均点と実際の完了を読み解く

評価を作るには、AIへどの仕事を頼むかを先に決めます。試験問題を解く能力だけでは、引っ越した後の学校探しや家族の予定調整の手間がどれだけ減るかわかりません。LifeValは、人が手助けを求める暮らしの課題を出発点にしています。

OpenAIは、米国と各国の時間の使い方に関する調査を参考にし、別に3995人へ個人向けアシスタントの助けが欲しい仕事を尋ねたと説明します。米労働統計局のATUSは仕事・世話・余暇などに使う時間を調べ、MTUSは各国の生活時間日記を共通形式にまとめた資料です。米国の生活時間調査・多国間生活時間研究

%% 課題を選ぶ流れ・OpenAIによる評価構成の説明
flowchart TD
  A["生活時間の調査<br/>人が行う日々の活動"] --> B["別の調査に3995人が回答<br/>どの手助けが欲しいか"]
  B --> C["LifeValの生活課題を構成"]
  C --> D["モデルの作業を評価<br/>時期ごとの性能を追う"]

公開された幼稚園の例は、新居の近くの園を比べて候補を絞る依頼です。示された応答は候補3園と入園情報を整理し、好みについての2項目は利用者の判断が残ると説明しています。候補を検討する段階は見えますが、この応答だけで実際の願書提出や入園確定を証明することはできません。

表では公開例の応答と、利用者がその後に実際の申請へ進むときの確認資料を分けます。特定地域の入園規則を案内する表ではありません。

発表のモデル比較グラフは「重み付けしない平均報酬スコア」と表示しています。一部の点数の比重を増やさず平均する、という表示です。報酬とは利用者への支払いではなく、評価で得た点数です。一方、展開して読む課題表の見出しは「GPT-6 Astraの最も高い記録スコア」で、平均グラフと分けて読む必要があります。

最初の平均2つの差は、80.6 − 80.0 = 0.6パーセントポイントです。生活のすべての仕事が0.6%多く成功するという意味ではありません。読んだ発表本文と展開後の課題表には、試行回数、詳しい採点方法、不確実性の区間が示されておらず、この小さな差の統計的な意味までは判断できません。

OpenAIは、ブラウザー・コンピューターの操作や接続アプリを通じた作業能力の進歩を説明しています。接続アプリは、他のサービスの資料や機能へつながる経路です。実際の利用ではモデル名だけでなく、使うアプリの対応機能、資料へのアクセス権、任せた実行範囲も合わせて見ます。

次は暮らしの仕事を任せる際の一般的な点検例です。評価点から特定アカウントの機能や実際の処理結果を保証する表ではありません。

開発作業の実行結果を見る過程は、先のHackerTube制作解説でも扱いました。暮らしの依頼でも、比較表・保存した予定・受付記録など、任せた仕事に合う成果が必要です。