Today's PICK UP

映像をAIで解析し臨場感を伝える「感情表現字幕システム」が開発

大日本印刷株式会社(以下、DNP)は、株式会社NHKテクノロジーズ(以下、NT)と共同で、映像と音声をAI(人工知能)で解析し、内容や感情に合わせた最適なイメージのフォントで字幕を表示する「感情表現字幕システム」のプロトタイプを開発したと発表した。本システムは、2018年にDNPが開発した文章の内容に合うフォントを自動で判別して表示する「DNP感情表現フォントシステム」を活用している。これにより、耳の不自由な人や音が出せない環境でも、番組の臨場感を伝えることができる。
出典元:プレスリリース

■「感情表現字幕システム」開発の背景

近年、多くの人にわかりやすく情報を伝える“ユニバーサルメディア”へのニーズが高まっており、テレビも聴覚に障がいのある人や高齢者などに向けて、より多くの番組への字幕付与が求められている。NTでは2018年度に「多様な視聴者が番組やコンテンツを楽しめる」をテーマに聴覚に障がいのある人とディスカッションを行い「これまでの字幕放送はフォントに抑揚が無い」、「タイミングがずれることがある」、「発話者がわかりにくい」といった課題があがる一方で、映像効果としてテロップに使われるユニークなフォントは印象深くなるという意見があがったという。また、制作側では番組に字幕を入れる作業が大きな負荷になっており、自動的に精度の高い字幕を付与できる技術が求められていた。こうしたニーズを受けて、両社は「感情表現字幕システム」の共同開発にいたったとのことだ。

■「感情表現字幕システム」の特長

1.映像と音声をAIで解析して、字幕の自動付与と最適なフォントへの自動変換表示
録画やライブ(生放送)の音声を解析して、リアルタイムで字幕を自動的に付与する。その際、字幕の内容や発話者の表情を解析して感情を把握し、その感情の表現に最適なフォントを12種類の中から自動で選んで字幕に使用する。例えば、楽しい内容は丸みのあるフォントで、怒っている内容は角ばったフォントで表示することで、より直感的に内容を伝える。

2.映像内の人物の顔を認識して、発話者の口元の近くに字幕を自動的に表示
映像内の発話者を特定して、自動的にその口元の近くに字幕を表示することができる。これにより、複数の人物が登場する映像でも、誰が何を話しているかを直感的に伝えることができる。

・12種類の感情・イメージと使用フォントの組み合わせ例(感情の分類やフォントは手動で変更可能)
出典元:プレスリリース

人気の記事

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

Googleやビル・ゲイツも出資する“代替肉”スタートアップ「インポッシブル・フーズ」〜海外ユニコーンウォッチ#2〜

「ユニコーン企業」ーー企業価値の評価額が10億ドル以上で設立10年以内の非上場企業を、伝説の一角獣になぞらえてそう呼ぶ。該当する企業は、ユニコーンほどに珍しいという意味だ。かつてのfacebookやTwitter、現在ではUberがその代表と言われている。この連載では、そんな海外のユニコーン企業の動向をお届けする。今回は欧米を中心に注目されている「代替肉」を扱う「インポッシブル・フーズ」を紹介する。

全ての日本企業のデジタルシフトを掲げたデジタルホールディングス。「広告事業の売上は追わない」構造改革の真意に田中道昭教授が迫る

全ての日本企業のデジタルシフトを掲げたデジタルホールディングス。「広告事業の売上は追わない」構造改革の真意に田中道昭教授が迫る

社会環境・ビジネス環境が激変する中、全ての産業でデジタルシフト、DX(デジタルトランスフォーメーション)の必要性が叫ばれています。今回は、2020年7月1日に社名変更を行い、広告代理店からデジタルシフト支援事業を中核に構造改革を行うデジタルホールディングス グループCEO 野内 敦氏に、立教大学ビジネススクール田中道昭教授が対談形式でお話を伺います。 前編では、改革後初めての通期決算についての分析と考察、従来の体制から生まれ変わるための企業文化変革と事業戦略についてお話します。