博報堂DYホールディングスとHolotch、ボリュメトリックビデオのリアルタイム双方向配信実験を実施

本実験は持ち運び可能な機材を用いたボリュメトリックビデオの撮影、リアルタイム配信における現状の技術課題や運用課題を明らかにすることを目的にしたもので、博報堂が運営する研究機関「UNIVERSITY of CREATIVITY（ユニバーシティ・オブ・クリエイティビティ、略称：UoC）」の新しい次元の感動体験を探究する活動と連携して行われた。

新型コロナウイルスの世界的な蔓延により、演劇や音楽、スポーツなどのエンタテインメント領域では実空間に集まってのイベント開催が困難になっている。その代替手段として、ライブ配信への需要が高まるとともに、より臨場感や実在感を伴った映像体験を可能にする技術として、ボリュメトリックビデオへの注目も集まっている。

ボリュメトリックビデオとは、物理空間を３次元の立体映像として記録した実写の立体動画で、目の前に投影された映像をスマートフォンやARグラスを介して自由なアングルから鑑賞したり、記録した空間・人や物や出来事を別の空間においてそのまま再生し、それらをVRゴーグルを装着するなどして鑑賞することが可能となる。5GやVR/AR技術の普及とともに、バーチャルライブ等のエンタテインメントにおける活用のみならず、バーチャル空間での接客シーンや、遠隔地にいる友人との会話シーンなどにおける次世代コミュニケーションインターフェースとしても今後活用の広がりが期待されている。

今回は、Holotchおよび能がもつ身体性やAR/VRとの融合を探究するプロジェクト「NOH&」の協力の元、約9.5メートル離れた２つの舞台にそれぞれ立った能演者のボリュメトリックビデオをリアルタイムに相互のステージに配信し、鑑賞者がスマートフォンやXRグラスを介して1つの能舞台を鑑賞できるという実験的な体験を構築したとのことだ。

通常、高品質なボリュメトリックビデオの撮影には専用のスタジオが必要で、リアルタイム配信・鑑賞にも高価な専用機材が必要だが、今回の実験では持ち運びが可能な機材セットと一般に生活者が保有するタブレット端末にて実験を行い、現状の技術的課題を明らかにすると同時に、実際のイベントを想定した際の運用面で必要な体制やボリュメトリックビデオ撮影時の機材配置やオペレーション確認を行った。

今回の実験により、持ち運び可能な小型機材によるボリュメトリックビデオの撮影・リアルタイム配信・鑑賞体験が可能であることが確認されるとともに、今回のような能の上映のみならず、コミュニケーション領域やエンタテインメント領域におけるボリュメトリックビデオ活用を通じた新たな体験創造の可能性も示唆されたという。

例えば、通話時に相手と目の前の空間で向き合いながら話せるようになる次世代のビデオ電話や遠隔地同士をつないだライブデュオコンサート、テニスやバレーボールのようなネットを挟んで対戦するスポーツ競技等、従来は考え得なかったような新たな体験にこうした技術は活用できるようになるものと思われるとのことだ。