NTTデータ、脳科学とAIで音楽トレンドを可視化、ヒットソングの予測に成功
2020/9/4
株式会社ＮＴＴデータ、株式会社ＮＴＴデータ経営研究所と株式会社阪神コンテンツリンクは、ＮＴＴデータの人間の脳活動を推定する技術 NeuroAI1と、阪神コンテンツリンクのBillboard JAPANの総合ソングチャートHOT 100のデータを組み合わせた共同研究を2019年9月から実施。2016年12月から2020年5月までにチャートインした2,185曲を対象に、楽曲を聴いた際の推定脳活動・音色の特徴、歌詞、コード進行や過去のチャート情報等の楽曲特徴を利用し研究を行った結果、以下の技術開発に成功したと発表した。
①楽曲の脳情報化による新たな特徴の獲得（脳情報化された楽曲特徴の類似性が評価可能に）
②ヒットソングの特徴の可視化（「ヒットの要因」を脳情報や歌詞・コード進行などの楽曲特徴から把握）
③未来の音楽トレンド予測（どんな楽曲がトレンドとなるのか4か月程度先まで予測）
これにより、どのような特徴を備えた楽曲がトレンドとなっているのか、そして今後どうなるのかの定量的な評価が可能となり、思いもよらないヒットソングが突然現れる今日のマーケットへの適応が期待されるという。
3社は今後、所属アーティストの躍進を目指すレコード会社などに向け、アーティストの発掘・育成やマーケティングの支援、そしてストリーミング事業社などに向けたチャートデータや脳情報を基にしたプレイリストの制作支援を行うなど、新たなサービスのトライアル提供を2020年9月から開始するとのことだ。
②ヒットソングの特徴の可視化（「ヒットの要因」を脳情報や歌詞・コード進行などの楽曲特徴から把握）
③未来の音楽トレンド予測（どんな楽曲がトレンドとなるのか4か月程度先まで予測）
これにより、どのような特徴を備えた楽曲がトレンドとなっているのか、そして今後どうなるのかの定量的な評価が可能となり、思いもよらないヒットソングが突然現れる今日のマーケットへの適応が期待されるという。
3社は今後、所属アーティストの躍進を目指すレコード会社などに向け、アーティストの発掘・育成やマーケティングの支援、そしてストリーミング事業社などに向けたチャートデータや脳情報を基にしたプレイリストの制作支援を行うなど、新たなサービスのトライアル提供を2020年9月から開始するとのことだ。
■背景
デジタル技術の発達に伴い、ストリーミングサービスや動画配信サービスなど音楽の楽しみ方が多様化している。阪神コンテンツリンクは、日本でビルボード・ブランドのマスター・ライセンスを持ち、この多様化した音楽市場の実態を多角的に捉えた「ストリーミング」や「ダウンロード」、「CDセールス」など8種類の指標を組み合わせた総合楽曲チャート「Billboard JAPAN HOT100」を構成する多様なデータを保有している。一方、ＮＴＴデータグループでは、脳情報通信技術「NeuroAI」の研究・事業開発に取り組み、動画広告の分野では、広告効果の予測が既存の機械学習に優越することを示すなどの成果を上げている。そこで、3社は音楽に対する人間の反応を科学的に把握するために「楽曲チャートデータ」と「脳情報通信技術」を融合させる共同研究開発プロジェクトを2019年9月から行ったとのことだ。
■共同研究について
・目的
①楽曲を聴いている際の脳活動の推定による特徴の抽出と可視化
②楽曲特徴（脳情報・歌詞・コード進行）とチャートデータによる楽曲トレンドの定量把握とトレンド予測
・対象楽曲・チャートデータ
①楽曲データ：2185曲（2016/12-2020/5の8種類のチャートで100位以内にランクインした楽曲）
②Billboard Japan Hot 100の週次チャートデータ：2047曲（2016/12/5週-2020/7/26週まで）
・方法
NeuroAIで楽曲の音声から1秒ごとの脳活動を予測。また、音声の周波数を解析し、楽曲の特徴を抽出。
歌詞情報、コード進行情報、アーティストの過去チャート情報を定量化し、独自アルゴリズムを構築。
・研究成果
①楽曲の脳情報化による新たな特徴の獲得
NeuroAIは、映像・音声から人間の脳活動を推定する技術だ。今回NeuroAIを音楽に適用することにより、音楽ジャンルの情報や音声信号処理によらない新たな「楽曲特徴」を定量化した。
また、脳情報に含まれる、人間が感じる音楽への潜在的かつ言語化不可能な反応を利用することで、楽曲トレンドを反映したCMタイアップソングの提案や、「今までは聴かなかったようなジャンルから好きになれる楽曲との出会いを提供する」など新たなアプローチによるプレイリストの作成提案(図1)などが期待される。
図1：“NeuroAI selected Play List” 特定の曲と類似した脳情報表現が推定された楽曲をリスト化
①楽曲を聴いている際の脳活動の推定による特徴の抽出と可視化
②楽曲特徴（脳情報・歌詞・コード進行）とチャートデータによる楽曲トレンドの定量把握とトレンド予測
・対象楽曲・チャートデータ
①楽曲データ：2185曲（2016/12-2020/5の8種類のチャートで100位以内にランクインした楽曲）
②Billboard Japan Hot 100の週次チャートデータ：2047曲（2016/12/5週-2020/7/26週まで）
・方法
NeuroAIで楽曲の音声から1秒ごとの脳活動を予測。また、音声の周波数を解析し、楽曲の特徴を抽出。
歌詞情報、コード進行情報、アーティストの過去チャート情報を定量化し、独自アルゴリズムを構築。
・研究成果
①楽曲の脳情報化による新たな特徴の獲得
NeuroAIは、映像・音声から人間の脳活動を推定する技術だ。今回NeuroAIを音楽に適用することにより、音楽ジャンルの情報や音声信号処理によらない新たな「楽曲特徴」を定量化した。
また、脳情報に含まれる、人間が感じる音楽への潜在的かつ言語化不可能な反応を利用することで、楽曲トレンドを反映したCMタイアップソングの提案や、「今までは聴かなかったようなジャンルから好きになれる楽曲との出会いを提供する」など新たなアプローチによるプレイリストの作成提案(図1)などが期待される。
図1：“NeuroAI selected Play List” 特定の曲と類似した脳情報表現が推定された楽曲をリスト化
出典元：プレスリリース
②ヒットソングの特徴（脳情報・音質特徴・歌詞・コード進行）の可視化
週単位の楽曲トレンドを定量的に把握するため、楽曲特徴（脳情報・歌詞特徴・コード進行特徴）およびアーティストの前週のチャートデータから、チャートポイントを説明する「チャートモデル」を構築した。過去のチャート情報を加味しているため、アーティスト知名度等の影響をある程度差し引いたうえで、どのような楽曲特徴が支持されているのかを把握できることが期待される。
例として、Billboard JAPAN HOT 100の2020年上半期チャートを対象とし、実際のランキングと「楽曲特徴のみ」のモデルで再構築したランキングを比較した（図2）。
再構築したランキングでは、Official髭男dism、LiSA、菅田将暉などに加え、wacci、ヨルシカ、iriといった次世代アーティストたちもランクインする、新旧の楽曲が混交するランキングとなっており、楽曲特徴によるトレンドを把握する可能性が見出された。
図2：Billboard JAPAN HOT 100の2020年上半期と楽曲特徴のみからトレンドを評価したランキング
週単位の楽曲トレンドを定量的に把握するため、楽曲特徴（脳情報・歌詞特徴・コード進行特徴）およびアーティストの前週のチャートデータから、チャートポイントを説明する「チャートモデル」を構築した。過去のチャート情報を加味しているため、アーティスト知名度等の影響をある程度差し引いたうえで、どのような楽曲特徴が支持されているのかを把握できることが期待される。
例として、Billboard JAPAN HOT 100の2020年上半期チャートを対象とし、実際のランキングと「楽曲特徴のみ」のモデルで再構築したランキングを比較した（図2）。
再構築したランキングでは、Official髭男dism、LiSA、菅田将暉などに加え、wacci、ヨルシカ、iriといった次世代アーティストたちもランクインする、新旧の楽曲が混交するランキングとなっており、楽曲特徴によるトレンドを把握する可能性が見出された。
図2：Billboard JAPAN HOT 100の2020年上半期と楽曲特徴のみからトレンドを評価したランキング
出典元：プレスリリース
③未来の音楽トレンド予測
週単位で、どのような楽曲特徴（含・前週のチャートデータ）を持つ曲が上位にランクインするかを定量的に表したこのモデルの時系列変化を「トレンドの変化」と捉え、過去の変化パターンから未来にどんな楽曲特徴が支持されるのかを予測することを試みた。
実際のチャートデータだけではなく、「急に聴かれるようになった」楽曲について指標化したデータ（急上昇トレンド指標）を対象に新たなチャートモデルをつくり、時系列変化を予測した。すると、全データの90％を利用し（2016/12/5-2020/3/16）その変化パターンを学習させたが、2020/3/23以降の未学習に仮設定したデータにおいても予測精度が維持できていた（図３）。今回対象としたデータの中では最新の2020/7/26週のチャートデータに関しても、YOASOBI、ヨルシカ、Rin音、Novelbrightなどによる楽曲の順位上昇を予測することができたという。
図3：予測されたチャートモデルの精度と予測された楽曲
週単位で、どのような楽曲特徴（含・前週のチャートデータ）を持つ曲が上位にランクインするかを定量的に表したこのモデルの時系列変化を「トレンドの変化」と捉え、過去の変化パターンから未来にどんな楽曲特徴が支持されるのかを予測することを試みた。
実際のチャートデータだけではなく、「急に聴かれるようになった」楽曲について指標化したデータ（急上昇トレンド指標）を対象に新たなチャートモデルをつくり、時系列変化を予測した。すると、全データの90％を利用し（2016/12/5-2020/3/16）その変化パターンを学習させたが、2020/3/23以降の未学習に仮設定したデータにおいても予測精度が維持できていた（図３）。今回対象としたデータの中では最新の2020/7/26週のチャートデータに関しても、YOASOBI、ヨルシカ、Rin音、Novelbrightなどによる楽曲の順位上昇を予測することができたという。
図3：予測されたチャートモデルの精度と予測された楽曲
出典元：プレスリリース
