アバターを活用した遠隔コミュニケーションと自動同時通訳技術を組み合わせた遠隔同時通訳の実証実験が実施

本実証実験では、美術館などで来場者と説明員が対面で鑑賞した際と比較し、アバターを用いた遠隔での鑑賞で、説明員と鑑賞者間の円滑なコミュニケーションに必要なユーザーインターフェース（UI）の要件を抽出した。具体的には、凸版印刷が2016年より取り組んでいる「IoA仮想テレポーテーション」と総務省委託研究において試作した自動同時通訳アプリケーション（プロトタイプ）を使用して実証を行った。美術館や企業ショールームに説明員（日本語）を置き、離れた場所に視聴者（英語）を配置。説明員はIoANeckを用いて展示解説を実施。また、自動同時通訳アプリケーションを介して、説明員と視聴者は、それぞれ相手の発話内容を自分の母国語の音声として聞くことができ、さらに字幕による確認も可能としたという。実施後、説明員・視聴者双方に対してアンケート調査を行い、UIに関する要件を抽出し、遠隔鑑賞、見学/視察の有用性を確認した。今後、凸版印刷は本実証実験の結果を基にUIの機能向上を行い、国内および国外から博物館や美術館、企業ショールームなどに遠隔鑑賞や見学/視察、商談などが可能となるサービスの実用化を目指していくとのことだ。

現地施設には、ガイドを行う説明員、遠隔地に視聴者を配置。説明員はIoANeckでガイド（日本語）を行い、視聴者は映像閲覧用の端末と自動同時通訳用の端末で鑑賞（英語）。双方が日英自動同時通訳アプリケーション（プロトタイプ）を介して遠隔コミュニケーションを実施。実施後、説明員・視聴者双方に対してアンケート調査を行い、UIに関する要件を抽出。コロナ禍を契機に定着しつつある遠隔鑑賞、見学/視察の有用性が認められたという。

＜実証実験実施地＞
・美術館 ・・・すみだ北斎美術館（2021年1月12日）
・企業ショールーム・・・凸版印刷 PLAZA21小石川（2020年12月18日）
　NECネクサソリューションズ Walk In Solution Center 東京（2021年1月20日）

＜検証内容＞
①会話する目的を達成できたか（展示説明が理解できたか？質疑応答ができたか？）
②通訳結果の字幕表示の有無によるUXの違い
③遠隔と対面でのUXの違い（特に遠隔の優位な点）

＜成果＞
・コロナ禍で人の移動に制限がある状況において、遠隔地の外国人に向けた自動同時通訳によるコミュニケーションに対するニーズの高さを確認。
・抽出されたUIに関する要件

1.　視覚情報の情報量の多さが、対人ガイドに比べ理解度に影響する
（例：字幕表示と対象物を視点が行き来することによるユーザーエクスペリエンス改善の必要性）
2.　反応速度がコミュニケーション理解度に影響する
（例：発話者は質問の回答まで時間がかかると発話が到達・理解されているかが判断つかず困惑）
3.　ガイド、視聴者の様子を映像で共有することにより不安が解消される
（例：相手の表情を見えるようにする必要性）
4. その他のUIに関するニーズとして、合成音声の声色選択、発話タイミングの可視化などが挙がった

ウィズコロナ/アフターコロナ時代において活動が制限される博物館や美術館、企業ショールームなどでは、非対面・非接触での鑑賞、見学/視察を実現するサービスの提供が求められている。将来的には海外から日本のさまざまな施設を遠隔で鑑賞できるサービスに自動同時通訳技術が組み込まれ、言語の壁を越えたコミュニケーションが可能となり、日本の歴史や文化、製品やサービスの理解を促進し、広く世界に認知させることが期待できるとのことだ。