外から撮った動画を一人称へ。別の視点を作る新研究

10月8日に投稿された論文LEGOは、一つの第三者視点の映像から、一人称視点の映像を生成する研究です。撮影した位置から見える情報を使い、別の位置から見たような映像を作る「新規視点合成」を扱います。著者は学習済みの視点合成器で構造の手掛かりを渡し、確信度が低い領域をマスクして拡散モデルへ伝える方法を説明しています。外から撮った動作を、本人の目線のように見直す表現の方向として興味深い発表です。ただし見えていない部分も推定して作るため、実際にその位置で撮影した記録や現場の証拠とは扱えません。作例を見るときは、物の位置や手の形、遮られた場所がどのように作られているかに注目してみてください。LEGOはこの論文の名称で、玩具企業の製品ニュースではありません。一般サービス、価格、実装要件は確認した要約では未確定で、本サイトは動作を試していません。