日経イノベーション・ラボ、バーチャルヒューマンを使った動画作成を簡単に

開発されたのは、AIが作り出した実在しない人物や、実在する人物をベースに、自由に発話する内容を指定し動画を制作するシステム。報道での利用やオンラインイベントの司会など様々なシーンでの利用が考えられる。現在、動画作成には出演者や撮影スタッフ、スタジオの確保など多くのコストがかかるが、このシステムを使うことで、いつでも誰でも簡易的な動画を作ることが可能となる。

人物をキャプチャーしてCGを作る従来の手法とは異なる技術で、AIに人間の写真の特徴を学習させることで、より自然な人物データを自動生成することが可能になった。その人物データに対して、入力された音声データに合わせて自然な形で唇の形を生成するリップシンク技術や表情を変化させる技術を組み合わせることで、バーチャルな人物ながらも写実的な動画を生成する技術の開発に成功。リップシンクは入力する音声データの言語を問わずに多言語で利用することが可能。この技術により人種、年齢、性別、言語を問わない多様性のあるバーチャルヒューマンを利用することができる。

従来のCGから人物を制作する手法では、専門家が時間をかけてCG制作を行う必要があったが、本システムの活用により大きなコスト削減が見込まれる。これまで人物を撮影し3Dモデリングや音声を収録して動画を作成する場合、最低でも数日から10日程度、高い品質を求める場合は数ヵ月の時間が必要だった。本システムを利用することにより、1日で動画を制作することが可能となる。

また本システムでは写真や動画を用意することで実在する人物をもとにして自由な動画を作ることもできる。実在する人物の顔のみをバーチャルヒューマンに置き換えることも可能。将来は自分の動画をアップロードし、自分のデジタルアバターを生成することもできるようになる予定とのことだ。

このシステムは日本経済新聞社グループ内で利用を開始。本システムを用いて制作した動画は日本経済新聞 電子版で公開された。10月4日の日本経済新聞夕刊紙面のコラム「ニッキィの大疑問」に、動画につながるQRコードを掲載しているとのこと。