NTTドコモ、VR対応した3Dアバターへリアルタイムに表情を伝送する遠隔接客システムを開発

2022/1/14

Today's PICK UP

株式会社NTTドコモ（以下、ドコモ）は、VR機器に対応した3Dアバターへリアルタイムに表情を反映し伝送する遠隔接客システムを開発したと発表した。本システムでは、オペレーター側の表情を一般的なWEBカメラで取得できる手軽さと、VR機器を介した没入感のある接客体験を提供することが可能だ。

本システムは、接客中のオペレーターの表情をWEBカメラで撮影し、仮想空間のオペレーター役の3Dアバターへリアルタイムに伝送する。顧客はVR機器やパソコン、タブレットを用いて3Dアバターによる接客を受ける。これまでのアバターによる接客とは異なり、リアルタイムにオペレーターの表情が反映されるため、より対面の接客と近い感覚を得ることができる。また、「リアル」、「デフォルメ」の2種類のテイストのアバターから選べるため、シーンや業種に合わせた対応が可能だ。

アバターや表情表現には、Pinscreen社の技術を用いている。特に同社の「ニューラルレンダリング技術」は、フォトリアルなアバターの顔を生成できる特長があり、リアルな表現を実現している。このような技術をドコモがVR上でのコミュニケーション技術に応用することで、仮想空間でのリアルな3Dアバターによる表現が可能になった。スマートフォンやタブレットを介する場合も、レンダリングをシステムのサーバー側で行いストリーミングするため、端末のスペックに依存することなく高品質なアバターを利用することができる。

出典元：プレスリリース

本システムには、アバターによる表情伝送に加え音声通話のほかにも画面共有や文字チャットなど接客応対に必要となる機能を備えている。遠隔地からのリモート接客による働き方改革や地方創生に貢献できると考えているという。今後、実際の接客シーンでのトライアルを踏まえながら商用化を目指すとのことだ。なお、本システムはNTTグループが展開するXR事業（NTT XR）の取り組みの1つだ。

■本システムの概要

1. 特長
VR機器および3Dアバターに対応
「リアル」、「デフォルメ」の各テイストによる豊富なアバターを提供
「ニューラルレンダリング技術」による高品質かつリアルなアバターを実現
画面共有や文字チャットなどの接客に必要な機能も提供

2. 利用イメージ（概略）

出典元：プレスリリース

3. 対応機器
オペレーター側
パソコン（Windows、Webカメラが必要）
顧客側
VR版：Oculus Quest2
スマートフォン・タブレット版：スマートフォン・タブレット（iOS／iPad OS、Android）
パソコン版：Windows、Mac OS

4. アバターイメージ（スマートフォン・タブレット版）
（1）リアルテイスト