東映アニメーションとPFN、AIを活用したアニメ制作効率化の実験的取り組みを共同で実施
東映アニメーション株式会社（以下、東映アニメ）と株式会社Preferred Networks（以下、PFN）は、AI技術を活用してアニメ制作を効率化すべく、PFNの深層学習による画像変換技術、セグメンテーション技術などを映像制作に活用する実験的な取り組みを共同で行った。その中で、東映アニメの新規IP研究開発チーム「PEROs」が2021年2月に公開した、佐世保市を舞台にした実験映像『URVAN』（ウルヴァン）の背景美術制作に、PFNが開発するアニメの背景美術制作支援ツールScenify（シーニファイ）が活用された。
東映アニメは、1956年の創立以来60年以上にわたり、日本のアニメーションの「開拓者」として、演出、作画、美術などの技法で独自の「伝統」を積み重ねてきた。一方で、CG・xR・AI等の最新のデジタル技術による「革新」にも取り組み、新たな映像表現に挑戦している。PFNは機械学習・深層学習などの最先端技術の実用化を目指しており、イラスト・アニメ・ゲームなどのクリエイティブ産業向けにも、キャラクター生成、イラスト自動着色、高精度3Dスキャンなど、制作手法の革新、新しい表現を可能にするための技術開発を行っている。
今回、東映アニメで、長年にわたり背景美術制作の技法を培ってきた製作部 美術課、AIの活用に取り組んできたデジタル映像部 テクノロジー開発推進室、そしてPEROsが連携し、約5分間の実験映像『URVAN』を制作するにあたり、PFNの画像変換およびセグメンテーション技術を応用して開発されたScenifyを活用した。同作品では、実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現しており、現地で実際に撮影された風景写真からScenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に大幅短縮することができたという。Scenifyは、同作品で制作した背景美術の約2/3に使用されている。この技術の活用により、美術クリエイターは作業負担・工数を削減することができ、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てることが可能になったとのことだ。
また、Scenifyの開発では、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分（BOOK）を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能、さらに、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行ったという。
今回、東映アニメで、長年にわたり背景美術制作の技法を培ってきた製作部 美術課、AIの活用に取り組んできたデジタル映像部 テクノロジー開発推進室、そしてPEROsが連携し、約5分間の実験映像『URVAN』を制作するにあたり、PFNの画像変換およびセグメンテーション技術を応用して開発されたScenifyを活用した。同作品では、実在する佐世保の風景をアニメ調・サイバーパンク調の2つの画風で表現しており、現地で実際に撮影された風景写真からScenifyでアニメ調の背景素材に自動変換することで、美術クリエイターが画像の前処理工程に要する時間を従来の約1/6に大幅短縮することができたという。Scenifyは、同作品で制作した背景美術の約2/3に使用されている。この技術の活用により、美術クリエイターは作業負担・工数を削減することができ、クリエイティブの自由度・振れ幅が大きいサイバーパンク調の背景制作により多くの時間を充てることが可能になったとのことだ。
また、Scenifyの開発では、背景美術の制作に必須となる、背景画像からキャラクターに接する部分・手前にくる部分（BOOK）を自動的に切り出す「BOOK分け」機能、画像の一部を除去した後の空白を自然に塗りつぶす「スマート塗りつぶし」機能、さらに、Scenifyをクリエイターの制作ワークフローに組み込みやすくするためのプロトタイプUIの開発も行ったという。
出典元：プレスリリース
■実験映像作品『URVAN』におけるScenifyを利用した背景美術制作の例
出典元：プレスリリース
出典元：プレスリリース
出典元：プレスリリース
