花王、肌の質感を評価・可視化する「肌評価AI」を開発
2021/1/25
花王株式会社メイクアップ研究所は、人工知能（AI）技術のひとつである深層学習（ディープラーニング）を用いて、肌の見た目の印象を客観的・定量的に評価し、さらに画像化する「肌評価AI」を開発したと発表した。この技術を応用することで、化粧感、化粧くずれの程度、年齢印象などを、客観的に評価することが可能となるという。
■背景
人は、肌の色・質感などのわずかな違いを瞬時に読み取り、顔や肌の印象を感じ取る。花王は、肌を美しく魅せるメイクアップ化粧品を提供するため、これまで見た目の肌印象を評価するさまざまな手法を開発し、化粧品開発に応用してきた。しかし、多様で繊細な肌印象の違いを人の目と同じレベルで評価することは難しく、また特殊な装置を必要とするため測定が容易ではないという課題があったという。
■“肌パッチ”画像を学習する「肌評価AI」
画像解析に強いとされるディープラーニングは、顔画像を入力すると年齢などを予測するAIを構築できることが知られている。花王は、ディープラーニングのモデルに、年齢ではなく「素肌らしさ」など肌のさまざまな見た目印象を評価するように学習させることで、「肌評価AI」を構築できるのではないかと考えた。しかし、このAIには、顔画像のどこを見て判断しているかがわからないという欠点がある。AIは、入力された画像全体から、線、点、角度、周波数などさまざまな情報を抽出し、複雑な計算を繰り返して、最終的な評価結果を導き出すが、花王は、そのAIの評価が髪、眉、唇など肌以外の情報に影響されている可能性を懸念。そこで、肌以外の要素を極力排除するため、顔全体ではなく、もとの顔画像から小領域を切り出した画像“肌パッチ”を用いる方法を検討したとのことだ。
出典元：プレスリリース
■素肌らしさと化粧肌らしさ（化粧感）といった印象を評価する「化粧感評価AI」の開発
花王は、画像認識用に設計されたディープラーニングモデルとしてすでに高い評価を得ているVGG16を、素肌と化粧肌を判別するという目的に合わせて再学習させ、「化粧感評価AI」の構築に取り組んだ。まず、化粧感を評価するのに最適な肌パッチのサイズを検討。20～70代の日本人女性269名の素肌と化粧肌の顔画像を同一の撮影装置で撮影し、8.9×8.9mmから44.5×44.5mmまでの異なるサイズで切り出してデータセットを構築。肌パッチサイズごとに、素肌と化粧肌を判別するAIモデルをつくり、それらを学習用画像とは異なる撮影装置・照明条件で撮影した素肌・化粧肌の顔画像に適用し、判別精度を評価した。その結果、17.8mmの肌パッチで学習したモデルの精度が最もよいことがわかったという。
出典元：プレスリリース
次に、20～70代の日本人女性512名のベースメイク塗布前後の画像を撮影し、この画像から17.8mm四方の領域を切り出して計43,897枚からなる“肌パッチ”を作成、AIにこの肌パッチデータセット画像を学習させた。その結果、1枚1枚の肌パッチが素肌であるか、化粧肌であるかを92.7％の精度で判別できたという。このAIは、肌パッチ画像からさまざまな肌特徴を解析し、判別の根拠となる素肌／化粧肌らしさを示す数値を、1枚の肌パッチごとに出力する。その肌パッチの結果を統合すると、顔全体の肌の印象を総合評価したり、化粧感の分布を画像化したりすることが可能とのことだ。
出典元：プレスリリース
花王は、このような複数の肌パッチ評価データを統合した結果は、実際の見た目の肌の化粧感と関係すると考え、学習に用いた512名中269名の顔画像について、AIによる結果と訓練された5名の判定者による化粧感の評定を比較した。その結果、高い精度で相関を確認できた（R＝0.72）ことから、この手法で化粧肌らしさといった印象を評価可能な「化粧感評価AI」が構築できたと考えたとのことだ。花王ではこのAIを、開発したパウダーファンデーションの素肌らしさの評価などに活用している。
■さまざまな肌印象を評価するAIへの応用
今回構築した手法は、肌パッチデータセットや学習方法を調整することで、化粧感評価以外にもさまざまな応用が可能。花王では、肌年齢の推定、化粧くずれの程度などの評価を行なうAIモデルをこの技術を応用して構築している。たとえば、「化粧くずれ度評価AI」では、化粧くずれが鼻、頬、額など皮脂が出やすい部位から進行すること、化粧持ち効果を狙って設計した化粧下地は明らかに皮脂による化粧くずれを低減させていることなどを容易に画像化することが可能だという。
出典元：プレスリリース
