KDDIテクノロジー、スマートグラスを用いた「対面対話自動同時通訳システム」の実証実験を実施

本実証実験では、総務省委託研究において試作したハンズフリー対面対話同時通訳システムが、イベントや展示会場など、同時通訳のコミュニケーションが求められる実用シーンにおいてどのように寄与するかを確認し、その成果を今後の同時通訳システムの改善に活かし、社会実装を目指す。なお、本実証実験においてKDDIテクノロジーはデバイス・アプリケーションの開発から実証フィールドの調査・選定および実証実施を担い、TOPPAN株式会社が全体設計・プロジェクト管理を担っている。

KDDIテクノロジーは、スマートグラスを用いたハンドサインで操作可能な対面対話同時通訳システムを開発した。利用者が互いにスマートグラスをかけている場合は、相手の言語でスマートグラスの画面に表示／音声で発話されるようになり、片方のみがスマートグラスをかけている場合は、手元のタブレット端末に翻訳が表示される。また、常時マイクONのままだと周りのノイズを拾い誤認識・誤訳の原因になるため、利用者のハンドサインを画像認識して、スマートグラスに付いているマイクのON／OFFをを制御することができる。　

今回、イベントや展示会場における対面対話同時通訳のユースケースである、説明員が複数名の外国人来場者をツアーガイドするシーン、および案内係が外国人来場者を1対1で案内するシーンを想定し実証実験を行った。大規模なイベントにおいて屋外でツアーガイドおよび道案内をするシーンをKDDI八俣送信所で、展示会場内の受付およびショールーム案内をするシーンをKDDI MUSEUMで行った。実証実験後、アンケート調査やヒアリングを行い、ハンズフリー対面対話同時通訳システムの有用性を確認した。

実施場所：
・KDDI八俣送信所（2023年11月1日、11月13日）
・KDDI MUSEUM（2023年11月8日、11月15日）

実施内容：
・外国人来場者複数名に対してのツアーガイド
・外国人来場者と1対1での案内

検証内容：
①会話する目的を達成できたか（ガイド説明の理解、質疑応答）
②ハンドサインによる操作の習得は容易か（会話中のスムーズな操作）
③スマートグラスによる翻訳結果やアイコンの表示は適切か

成果：
①外国人来場者はガイドが説明した内容をおおむね理解し、質疑応答を行うことができることを確認
②ハンドサインは種類が少なく単純なジェスチャであれば分かり易く受け入れられることを確認
③スマートグラスでの翻訳結果（字幕／会話履歴）およびアイコンの適切な表示位置を確認

関連して以下の項目について確認した。
・ツアーガイド（屋内、屋外）における複数の言語相手への多言語同時通訳の有用性を確認
・ハンズフリーで利用できる同時通訳システムの有用性を確認
・操作しやすく誤検知の少ないハンドサインのパターンを確認
・スマートグラスの画面上における目に負担の少ない翻訳結果やアイコンの表示位置を確認

長期で行われる国際イベントの場合、各国から多くの来場者が見込まれ、会場での対面対応が繁雑になるため、操作の簡便性が求められると想定されるという。さらに、来場者におけるバリアフリー性、屋外での対応なども考慮すべきと考えられるという。また、将来的にスマートグラスやウェアラブルデバイスの進化に応じ、より簡単により自然に言語の壁を越えたコミュニケーションを可能とするため、周辺技術の活用が重要となるとのことだ。