富士通、JR東日本ら、音の視覚化装置「エキマトペ」を活用した実証実験を実施へ

本実証実験を通じて、聴覚に障がいをもつ人をはじめとする駅の利用者へ快適な体験を提供することで、より安全安心な鉄道利用を実現するとともに、ダイバーシティ＆インクルージョンへの相互理解の促進を目指す。また、台東区と連携し、手話サークルやボランティア団体などの活動情報を「エキマトペ」のディスプレイに表示することで、各コミュニティへの参加を促し、地域のダイバーシティ＆インクルージョンの活性化にも貢献する。

富士通とJR東日本、DNPは、2021年7月に川崎市立聾学校で開催された「未来の通学」をテーマとしたワークショップをきっかけに、誰もが使いやすく、毎日の鉄道利用が楽しくなるような体験を目指して、駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置「エキマトペ」の開発プロジェクトをスタートした。

「エキマトペ」を活用した第一弾のプロジェクトとして、富士通とJR東日本、DNPは、2021年9月13日から15日の3日間、JR巣鴨駅にて駅ホームに流れる音を視覚化する実証実験を実施し、SNSなどを通じて駅の利用者から多くの反響があったという。

第二弾となる本実証実験においては、参画企業としてJR東日本クロスステーションが加わり、社会実装に向けてさらなる省スペース化やコスト削減を意識した「エキマトペ」の筐体の改善を図った。加えて、駅を地域とのタッチポイントとして機能拡張できるよう、ダイバーシティ＆インクルージョンに関する地域情報の掲示機能を追加した。

今回の実証実験では、音の視覚化装置「エキマトペ」を活用し、ホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音し、AI分析でリアルタイムに文字や手話、擬音語、擬声語といったオノマトペに変換して、ホーム上に設置された自動販売機上部の専用ディスプレイに表示する。

音情報の視覚化にあたっては、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000（以下、PRIMEHPC FX1000）」で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別する。ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したJR東日本の駅社員による手話動画とともにディスプレイ上に表現され、電車の発着音やドアの開閉音などは、手書きアニメーションで表現される。

さらに、駅社員によるアナウンスを、富士通の「FUJITSU Software LiveTalk（以下、LiveTalk）」でテキスト変換し、DNPの「DNP感情表現フォントシステム」を通じて、文章の内容に適した感情豊かなフォントで表現する。

＜富士通＞
・「エキマトペ」を活用したシステム設計および開発
・「PRIMEHPC FX1000」による駅の音情報の機械学習およびそれらを識別するAIモデルの構築
・「LiveTalk」を活用した駅社員によるアナウンスをテキスト化するシステムの構築

＜JR東日本＞
・JR上野駅構内における「エキマトペ」の設置場所の提供
・AIモデルの構築にあたり機械学習させる音声などのデータ提供

＜JR東日本クロスステーション＞
・「エキマトペ」を固定する自動販売機の提供

＜DNP＞
・駅社員によるアナウンスを文章の内容に適した感情豊かなフォントで表現する「DNP感情表現フォントシステム」の提供