「リモート社会」の実現をめざす「遠隔共有三次元空間」技術

東京大学大学院
情報学環・学際情報学府
理学博士　暦本純一

遠隔地の空間をリアルタイムで計測・記録・伝送・再構築・共有する「遠隔共有三次元空間」の実現をめざす研究開発で、「リモート社会」の基盤技術を確立する。さまざまな分野での可能性が広がる近未来の姿とは？　当研究開発を進める暦本純一先生に伺いました。

画像を切り分ける発想の導入で、「遠隔共有三次元空間」を実現

先生が中心となって進められた「人間拡張・空間創成型遠隔作業支援基盤の研究開発」の概要を教えてください。

暦本　時間と空間の障壁を越えて、遠隔地で作業する人間やアバターロボットと空間を共有し、遠隔地の全貌を把握しながら遠隔共同作業を支援する環境を実現することをめざすものです。あらかじめ三次元計測された遠隔地の静的な空間情報と、センサーにより動的に取得される空間情報、人間行動情報の融合をリアルタイムでシームレスかつスケーラブルに実現し、低遅延ネットワークと深層学習による身体行動予測を融合したゼロレイテンシー（遅延ゼロ）空間共有技術と融合します。これにより、遠隔作業者の一人称視点と、三次元空間での自由で俯瞰的視点とを自由に行き来できる空間作業支援ユーザインターフェースを構築します。
つまり、遠隔地にいながら、ある空間にいるかのような三次元空間を構築し、一人称視点、三人称視点、さらには背後からの視点といった任意の視点で体感できる技術の確立をめざす研究開発です。具体的には、遠隔地でピアノを演奏をしている人の様子を間近で観察する実証実験や、茶道の動作をいくつかの視点で学習者に伝える実証実験をしてきました。

第１段階は、例えばピアノ演奏の様子を三次元収録し、オフラインでつなぐこと。遠隔地にいながら、そこにいるかのように場面を立体視できる段階です。第２段階では、遠隔地との間をリアルタイムで結合し、相互にコミュニケーションして、離れた場所にいる人同士が共同作業をするものです。この段階では、相手に話しかけたりすることも可能です。現時点では、第１段階が実現し、第２段階の実証に取り組んでいるところです。

実証実験の達成にいたるには、どのような技術的進歩があったのでしょうか。

暦本　従来、膨大な三次元映像の情報すべてをリアルタイムで伝送することは、通信量の問題から現実的ではありませんでした。そこで、背景の建物など変化しない部分の映像の情報をあらかじめ伝送しておき、変化する作業者の映像の情報は、その周辺だけ切り分けて送るようにしました。そうすれば必要な情報の伝送は現実的な通信容量に収まります。画像の切り分けという発想を導入することで、従来不可能だった映像の伝送を実現できました。
背景はスタティック（静的）なので、高精細に三次元計測でき、通信容量とは無関係に遠隔地で再構築できます。いっぽう作業者など動いているものは、背景ほど高精細ではないですが、リアルタイムで情報を伝送します。リアルタイムでの伝送が必要なところとそうでないところの切り分け精度のバランスがうまくとれたことで実証実験の達成に至ったと考えています。
現在は、動く部分をより高精細にするための技術の確立を視野に入れた研究開発を進めています。自動車の自動運転技術にも使われている、距離を測定しながら撮影できるデプスセンサーを使って映像を再構築するなど、映像の三次元再構築技術研究の成果を取り込みつつ改善している途上です。最近は一般のカメラでもAIを活用して再構築する技術が進んでおり、今後急速に進歩する可能性は高いと考えています。

AIはどのような役割をはたすのでしょうか。

暦本　デプスカメラは計測技術であってAI技術ではありません。一方AIは、複数のカメラ映像から機械学習によって三次元空間を再合成するといった作業を実現できます。それにより、少ない台数のカメラでも高精細な映像を再構築するといった技術の実現が可能だと考えています。

「遠隔共有三次元空間」実現はBeyond 5G（B5G）の効果的な応用例

B5Gは、今回の実証実験にどのように寄与しているのでしょうか。

暦本　伝送帯域が広くなり、遅延性が減少していることから、B5Gの効果的な応用例であると言えると思います。「遠隔共有三次元空間」の実現では、遠隔地での映像の再構築、情報の伝送、受信した側での再構築という段階を経ますが、伝送の部分でB5Gによる効率化が得られ、実用に値する遅延性になっていると考えています。

「遠隔共有三次元空間」技術によってどのようなことが実現できるようになりますか。

暦本　この技術は「リモート社会」を構築するうえでたいへん重要なものです。リモート会議での二次元的な画面共有によるオフィスワーカー的な作業にとどまらず、現実の作業現場、例えば農地や災害現場など、実空間を動き回ることが必要な作業の支援になると考えています。
例えば、先程述べたピアノ演奏を遠隔地で体感して学習するといった三次元的な活動を広範囲で支援できます。人間拡張技術とB5Gが融合することで、遠隔地のエキスパートと学習者とをつないで技術を伝達することは、産業のバックボーンとしてさまざまな分野で利活用できます。
具体的な応用のひとつとして遠隔医療が挙げられます。遠隔地でエキスパートの技術をそばで見ているかのように会得できることは教育・技能伝承の観点からも価値が高いです。また、遠隔観光のように、現地に行った体感をすることも可能でしょう。この場合は、あらかじめ撮影しておいた現地の画像を三次元で再構築し、動く画像はリアルタイムで伝送するなどすれば、パートナーとともに観光旅行しているかのような体感ができます。これは体の障害などにより現実には遠隔地に行けない方への支援にもなると思います。

実証実験を実施した茶道の指導も、何かの技術を学習するための教材としての利用にも役立つでしょう。この場合は、先生の様子を三次元計測しておき、利用者はARで見るなどして学びます。現在も動画で学習するコンテンツはありますが、先生の動作を決まった視点から観察することにとどまります。「遠隔共有三次元空間」であれば、先生の動作を外部から観測する三人称視点のほか、先生と一体となった一人称視点や先生の背後から観測する視点も実現できます。
さらに、AI技術を導入すると、コンテンツ学習でも先生に何かを聞いたり、先生から指導してもらったりといったことができる可能性もあります。お点前を理解しているAIが空間に付加されているイメージです。情報の伝送路にAIが入ることで、今なにが起こっているかを人間とAIが共有できるわけです。「今この道具を持ったのはなぜですか」、「私と先生の所作はどこが違いますか」といった質問にAIが的確に答えてくれるでしょう。このような世界は、そう遠い未来ではなく、数年後といったスパンで実現する可能性が高いと考えています。

B5Gは「リモート社会」構築の重要基盤

この研究を今後どのように発展させていきたいとお考えですか。

暦本　作業者が距離の制約にとらわれない機能がインフラとして構築されている「リモート社会」を実現できればと考えています。実際に現場にいないとできない作業がまだまだ多いのが実情ですが、リモートでできることが増えていけば、働く場所の自由度が飛躍的に向上します。過疎地や高齢者への支援にもなるでしょう。また、災害現場など移動にコストがかかるところへの移動を減らすこともできるので、社会的なインフラとしての価値は高いと思います。

B5Gにはどのようなことを期待されていますか。

暦本　「リモート社会」を構築するうえで重要な基盤であると考えています。現在のように遠隔会議をするだけでなく、実空間を共有する三次元のコラボレーションが可能になれば、人間は「どこにいるべき」という制約から解放され、自由になります。それこそ、地球の裏側にいる人とでも共同作業ができるようになると期待しています。

ありがとうございました。