エフセキュア、AI推薦に関する実験を行い「意図的な偽情報や陰謀論の拡散が操作可能なもの」だと発表

AIによる推薦システムは、検索エンジン、オンラインショッピングサイト、ストリーミングサービス、ソーシャルメディアなど、今日私たちが享受している多くのオンラインサービスで使用されている。しかし、人々がインターネット上で見るものやすることに対する影響力が大きくなっていることから、意図的な偽情報の拡散や陰謀論の促進に積極的に利用されるなど、様々なタイプの悪用に対する懸念が生じている。

エフセキュアの人工知能研究センターのシニア・リサーチャーであるAndy Patel (アンディ・パテル) 氏は最近、単純な操作技術がソーシャルメディア上のAI推薦にどのような影響を与えるかを知るために、一連の実験を行った。
「TwitterをはじめとするSNSは、多くの人々やグループが様々な主張を押し付ける戦場となっています。その中には、有機的な会話や広告だけでなく、正当な情報に対する信頼を損ない、低下させることを目的としたメッセージも含まれています。これらの『工作員』がどのようにAIを操作できるかをリサーチすることで、AIが現実的にできることの限界を明らかにし、理想的にはどのように改善できるかを明らかにすることができます。」

PEWリサーチセンターが2020年末に実施した調査によると、アメリカ人の53%がソーシャルメディアからニュースを入手していることがわかったという。18歳から29歳の回答者は、最も頻繁にニュースを入手する情報源としてソーシャルメディアをあげている。一方、ソーシャルメディアを情報源とすることに潜在的なリスクがあることも調査で明らかになっている。2018年に行われた調査では、虚偽の内容を含むTwitterの投稿がリツイートされる確率は通常の投稿より70%も高いことが判明しているとのことだ。

パテル氏は、Twitterからデータを収集し、協調フィルタリングモデル (機械学習の一種で、過去のやりとりに基づいてユーザーとコンテンツの類似性を符号化する) を学習させて、推薦システムに利用することを試みた。その後、特定のアカウント間でリツイートが行われたデータ (ポイズンデータ) を用いてモデルを再学習させ、推奨度がどのように変化するかを調べる実験を行った。

リツイートするアカウントを適切に選択し、リツイートを行うアカウントの数と公開するリツイートの数を変化させることで、ごく少数のリツイートであっても、注入されたリツイートによってコンテンツが共有されたアカウントを推奨するように推薦システムを操作することができたという。

今回の実験は、ソーシャルメディアなどのウェブサイトがユーザーにおすすめ情報を提供する際に採用するであろうAIの仕組みを簡略化して行ったものだが、パテル氏は、Twitterをはじめとする多くの大手サービスが、現実世界で既にこうした攻撃に対処していると考えているとのことだ。
「私たちは、実際の攻撃がどのように行われるかを知るために、簡略化したモデルに対してテストを実施しました。ソーシャルメディアのプラットフォームは、今回の研究で実証されたものと似たような攻撃にすでに直面しているものと思いますが、これらの運営企業は結果だけを見て、それがどのように機能するかにはさほど注意を払っていないため、こうしたことが現実に起こっていると信じるのは難しいのではないでしょうか。」

エフセキュアのAI担当バイスプレジデントであるMatti Aksela (マッティ・アクセラ) 氏は、AIのセキュリティに関する潜在的な課題を認識し、対処することが重要だと語っている。
「今後、AIへの依存度が高まっていく中で、潜在的な悪用からAIを守るために何をすべきかを理解する必要があります。私たちが依存しているサービスの多くをAIや機械学習が担うようになると、その結果を信頼できるものとするために、得られる利益に加えて、そのセキュリティ上の強みと弱みを理解する必要が出てきます。セキュアなAIは、信頼できるAIの基盤なのです。」