TSUKUBA FUTURE #042：自由視点映像でスポーツ観戦をカスタマイズ
システム情報系 北原 格（きたはら いたる） 准教授
映画やテレビで３次元映像を楽しむ机会が増えています。しかしそれらは、予め作られたコンテンツであり、里侧を覗き込んでみたいと思っても、それはかないません。北原さんが开発しているのは、実世界を撮影した画像をリアルタイムで３次元化し、しかも自分の好きな角度や距离から见ることのできる「自由视点映像」技术です。スポーツ観戦はもちろん、看护师やセラピストの行动や表情の観察や、手术における见えにくい部分の确认など、様々な分野での活用が期待されています。
３次元の映像をダイレクトに撮影する方法はありません。そこでどうするかといえば、复数のカメラでひとつの场面を多方向から撮影し、それらの平面画像を组み合わせて３次元モデルを生成するのです。动画はこれを连続的に切り替えることで制作できます。サッカーの试合なら、スタジアムの天井に１台、グラウンドを囲むように観客席に８台のカメラを设置します。これではフォーカスが定まらないように思えますが、场面全体を捉えることが重要で、その中のどの部分をどの方向から见るかは、后で自由に决められます。
复数のカメラによる撮影で大切なのは、全てのカメラが同时にシャッターを切ることです。特にスポーツなど动きの速い场面では、わずかでも时间がずれると３次元画像処理がうまくいきません。この问题を解决するために考案したのが、骋笔厂信号の时刻情报を用いて撮影タイミングを精密に制御する方法です。もうひとつの技术的课题は、３次元空间と撮影画像との対応関係を知ることです。２次元画像から３次元モデルを生成するためには、３次元空间内のある点が２次元画像上でどの位置で见えているかを知る必要があります。しかし、サッカー场のような大规模空间で対応関係を求める试みはこれまで行われていませんでした。幸い、研究チームには、サッカースタジアムを设计施工した建筑関係者が参加していました。「建筑现场で使う３次元测量机を使ってはどうか」という、画像研究の分野では思いもよらなかった提案を受け、世界に先駆けた画期的な大规模撮影システムを実现することができました。
バレットタイムの撮影用スタジオ
そうやって撮影した画像を元に、「人物ビルボード」という手法を使って３次元モデルを生成します。サッカーの场合は、撮影した映像からそれぞれの选手の位置を推定します。そこに２次元のついたてを立て、その上に様々な角度から撮影した画像を贴り付けます。ついたてを観察する方向に合わせて贴り付ける画像を切り替えることで、３次元的な见え方を再现することができます。この手法を用いることで、３次元颁骋モデルを生成するよりも、シンプルに素早く３次元像を提示できるようになりました。また、少ないデータで３次元モデルを表现できるので、インターネットを介したライブ中継も可能になりました。
次に考えるべきはインターフェイス。自由视点を设定する操作としてマウスやキーボードを使うのでは、试合観戦に集中できません。直感的に使えるよう、両手にそれぞれ仮想カメラの视点と自分が见たい视点とのマーカーを持ち、それらを动かすことで自由视点映像が见えるシステムを开発しました。选手の位置までズームすれば、自分が试合をしているような気分も味わえます。さらに、タブレット端末などを用いてさらに手軽に自由视点映像が楽しめるような操作方法も开発中です。
センターフォワードの视线でゴールに迫る映像も再现できる
映像の高画质化も必须です。そこで採用したのが映画「マトリックス」で注目された「バレットタイム」という技法。たくさんのカメラで被写体を取り囲むように撮影し、静止した被写体をいろいろな角度から见るものです。北原さんは、この手法をスタジアムで撮影した映像に适用する试みを进めています。バレットタイムは、人物などを近距离から撮影する场合には効果的ですが、大空间を撮影するとなると何十台ものカメラが必要ですし、画像処理の技术も改良しなくてはなりません。现在、闯リーグの鹿岛アントラーズと协力し、ゴール里に数メートルおきに10台の高解像度カメラを设置して、ゴール付近の自由视点映像を构筑する実験をしています。
北原さんが３次元画像に兴味を持ったきっかけは1985年のつくば科学万博でした。未来都市に迷い込み、赤青メガネで初体験した立体画像。视覚情报だけなのに、それ以外の感覚までが唤起される体験は、中学生だった北原さんにとって衝撃的でした。そのときに埋め込まれた潜在意识に导かれ、晴れて筑波大学入学后は一贯して３次元の自由视点映像の研究に取り组んできました。目下の课题は「没入感」。そのカギは画质の向上と、放送システムとも连动したデータの伝送?処理速度です。4碍や8碍といった映像技术や情报インフラの発达も研究を加速させています。2020年の东京オリンピックまでには、今とは全く违うスポーツ観戦を実现したいと燃えています。
文責：広報室 サイエンスコミュニケーター