KDDI総合研究所、マスク着用時の表情認識AI技術を開発

KDDI総合研究所ではこれまで人の感情や状態を推測するための技術として、表情認識AI技術の研究に取り組んできた。しかし、新型コロナウイルス感染拡大を防ぐため、日常的にマスクを着用することが求められており、マスクを着用した場合は顔の面積の最大70％が覆われ、KDDI総合研究所の従来の表情認識AI技術（従来技術）では十分に認識できないという課題が生じたという。

今回、KDDI総合研究所は、マスクを着用していても90％以上の精度でポジティブ・ニュートラル・ネガティブの表情を認識する独自の深層学習技術「顔領域適応型表情認識AI」を開発。本技術はマスクで顔の大半（70%ほど）を隠したとしても、顔露出領域とマスク着用領域を別々に分析し総合的に客観評価して表情を認識する。

今回開発した「顔領域適応型表情認識AI」は、マスクを着用した人の顔画像から高精度に表情を認識するために、顔露出領域とマスク着用領域を別々に推定しながら、両者の相関関係も同時に考慮して実現したとのことだ。
・顔露出領域については、目の周辺領域の特徴量（例えば、表情は眉間にシワを寄せるなどに表れやすい）に加えて、検出顔のその他の領域（例えば、鼻・口・頬・顔面の筋肉の露出領域）も可能な限り活用。
・マスク着用領域についても、顔全体、特に鼻・口・頬における筋肉の変化によって、マスク自体にシワが生じて変形することとなるため、マスク着用領域の特徴量も学習。また、顔露出領域から認識された表情の特徴量と、マスク着用領域から認識された表情の特徴量との相関関係を得られるように、それぞれの特徴量の重要度を学習で数値化。

（1）顔の入力画像に対して画素単位でマスク着用の境界領域を検出し、顔露出領域及びマスク着用領域をそれぞれ抽出
（2）顔露出領域及びマスク着用領域に対して、それぞれのニューラルネットワーク「顔露出領域特徴量抽出モデル」および「マスク領域特徴量抽出モデル」に入力し学習。中間層特徴量層は、ニューラルネットワークの最終段の中間層を可視化することで、それぞれの領域画像の特徴量を認識。
（3）顔露出領域及びマスク着用領域の相関関係を学習するため、中間特徴量融合層は、表情分類の教師ラベルに基づいて、下記により、「顔露出領域特徴量抽出モデル」および「マスク領域特徴量抽出モデル」のそれぞれの中間特徴量層毎に異なる重み（それぞれの中間特徴量層からの特徴量の重要度を数値化したもの）を学習で導出。
・顔露出領域入力中間層に対する重み　　：β
・マスク着用領域入力中間層に対する重み：１－β

実際の利用場面においては、中間特徴量融合層は、各中間層特徴量から出力された中間特徴量を重み付きで融合して、表情を推定する。これにより、顔露出領域とマスク着用領域を別々に分析しながら双方の相関関係も同時に考慮可能することで、マスクを着けている場合でも表情分析・推定処理の高精度化実現しているという。評価実験では、インターネットで収集したマスクを着用した検証データセットを用いて、今回の表情認識AIと従来技術との比較実験を行った結果、表情認識精度は90%以上に達成し、従来技術（58%）を大幅に上回る精度が実現できることを確認したとのことだ。