カメラ1台で”リアルな3Dアバター”を構築する新技術が誕生！　メタバースのビジネスシーンに活躍期待

情報通信研究機構（NICT）はこのほど、カメラ1台の映像のみをもとに、自身のリアルな3Dアバターを構築する技術を開発しました。

この技術は「REXR（レクサー、Realistic and EXpressive 3D avataR）」と呼ばれ、表情や動作の変化をリアルタイムで再現できます。

仮想空間の需要が高まる昨今、REXRは、遠隔コミュニケーションの充実度を高めるマイルストーンとなるかもしれません。

この研究は、国際会議『 IEEE VR 2022』において2022年3月14日に発表されています。

CGキャラクターでなく「リアルな3Dアバター」が必要

(画像=リモートでも互いの親密度を深められる技術が必要な時期にきている / Credit: canva、『ナゾロジー』より引用)

現在、仮想空間（メタバース）や複合現実（MR）のなかで、自らの3Dアバターを使い、遠隔コミュニケーションを行う技術が世界各地で開発・改良されています。

しかし現時点での3Dアバターは、あらかじめ作られた、自分の姿とはまったく異なるCGキャラクターを使うことがほとんどです。

そのため、刻々と変化する表情や動作の再現ができず、コミュニケーションにおける相互理解の妨げとなっていました。

また、仕事の場としてメタバースを利用していく未来を考えた場合、CGキャラクターが集まって重要な会議をするわけにはいかないでしょう。

そこで、”本人の姿をもとにしたリアルな3Dアバター”の必要性が高まっています。

ところが、その3Dモデルの構築には、多数のカメラや、位置・奥行きを検出する特殊なセンサーなど、大規模な設備が必須であり、個人が手軽にカメラ1台で作成することは困難でした。

しかし今回、NICTの研究チームは、カメラ1台の映像のみを材料に、自身のフォトリアリスティックな3Dアバターを構築する技術「REXR（レクサー）」の開発に成功しました。

手順は次のとおり。

まず、カメラの前で一回転した本人の映像から全身モデルを作成します。

次に、カメラの前で本人が動くと、顔の表情や身体動作がAIにより推定され、モデルを更新。

こうして、表情や動作の変化をどの方向からでも、入力映像と同レベルで細かくリアルタイムに再現するアバターの完成です。

(画像=カメラ1台からフルボディの3Dアバターを生成する / Credit: NICT – カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現(2022)、『ナゾロジー』より引用)

アバターが細かな表情やボディランゲージを再現してくれるため、非言語情報を相互に読み取ることができ、遠隔コミュニケーションの充実度が高まると期待されます。

REXRを仮想空間における多人数のオンライン・ミーティングに実用できれば、重要な会議やビジネス交渉も、まるでその場にいるかのようなリアルさで行えるでしょう。

まだまだコロナの収束が見えず、世界情勢も不安定な今こそ、リモートでも互いの親密度を深められるREXRのような技術が必要かもしれません。

参考文献
カメラ1台の映像から自分の3Dアバターを構築し表情や動作を豊かに再現〜深い相互理解が生まれる遠隔コミュニケーションの実現に向けて〜