Google、操作に応じて場面と音を生成するGenie 4の研究プレビューを発表

ここでの「世界」は地球全体というより、画面の物・空間・動きが続く環境を指します。保存済みの動画では、すでに記録された次の場面を見ます。対話型のワールドモデルは、利用者が動いたり指示したりした内容を反映し、次の場面を生成します。

同じ港で雨だけを頼む場面を考えてみます。下は構図と物を保ち、天気と音を変えた架空の例です。結果を見た利用者は、再び移動したり別の条件を頼んだりできます。

DeepMindは、キーボードで移動やカメラを操作し、文章で進行中の場面を変えるやり取りの録画を公開しました。環境音や人物の会話をリアルタイムに生成し、Gemini系のモデルが場面の文脈や進行を保つ役割を担うと説明しています。開発元が公開したデモであり、本記事でモデルを実行した結果ではありません。

Project Genieは仮想世界を作って探索する製品です。Gemini APIとGoogle AI Studioは、開発者がモデルをアプリにつないだり試したりするための経路です。今回は限られたテスターの意見を集めた後に提供を広げる順序で、これらの原文には全地域の提供日や最終料金は示されていません。

長く探索したり複雑な変更を繰り返したりすると、物の見た目や位置が変わり、同じ物が維持されない問題が残ると開発元は説明します。読める文字の表現、空間の正確さ、長期の一貫性も課題です。映画の場面を考える用途と、現実のロボットの安全な動作を確かめる用途との間には、こうした正確さの検証が必要です。