生成AIを活用したシステム向けセキュリティ診断サービス「AI Red Team」が提供開始

近年、多くの分野で生成AI、とりわけ大規模言語モデル（LLM）の利用が増加の一途をたどっている。LLMへの期待が高まる一方で、LLMには、「プロンプトインジェクション」、「プロンプトリーキング」と呼ばれる脆弱性や、「ハルシネーション」、「機微情報の漏洩」、「不適切なコンテンツの生成」、「バイアスリスク」といったリスクが存在することが浮き彫りになってきたという。LLMを利活用する企業は、これらの問題を把握し、適切な対策を施す必要がある。昨今、生成AIを用いたシステムやサービスに特化したセキュリティ診断の重要性が叫ばれており、諸外国では独立した外部の専門家による診断の必要性について言及され始めているとのことだ。

本サービスでは、同社の専門家が実際のシステムに擬似攻撃を行うことで、LLMを活用したサービスにおけるAI固有の脆弱性と、そのAIと連携する周辺機能を含めたシステム全体の問題点を、セキュリティ上の観点から評価する。AIは、それ単体でサービスとして機能することはなく、周辺機能と連携することで具体的な提供サービスを構成する。そのため、LLM単体のリスクを特定するだけではなく、サービス全体を俯瞰して、「リスクが顕在化した場合に、システムやエンドユーザに悪影響を与えるかどうか」というリスクベースアプローチでも評価する必要があるという。本サービスでは、LLM単体でのセキュリティリスクを洗い出し、LLMを含むシステム全体を評価するという2段階に分けた診断を実施する。診断の結果、見つかった問題点と緩和策をまとめた報告書を提供する。

本サービスの主な特長は、以下の2点だ。

・独自開発した自動テストと専門家による調査で、効率的・網羅的・高品質な診断を実施
同社は、LLM向けDASTを採用し、自動でテストが可能な診断用アプリケーションを独自に開発した。このアプリケーションを用いることで、効率的かつ網羅的に脆弱性を検出することができる。さらに、LLMのセキュリティに精通したエンジニアが診断にあたり、自動テストではカバーできない各システム固有の問題点も洗い出し、検出された脆弱性を調査で深く掘り下げる。

・システムやサービス全体における実際のリスクを評価し、対策コストを削減
生成AIは、確率的に出力を決定する性質がある。また、内部の動作を完全に理解することは困難であるという特性上、システムの部分的評価で脆弱性を洗い出すには限界があるという。同社では、長年培ってきたセキュリティ診断のノウハウを組み合わせることにより、システムやそれが提供するサービス全体を包括的に診断した上で、AIに起因する脆弱性が顕在化するかどうかを診断する。本サービスは、AI固有の問題を評価するだけでは対処が難しい「OWASP Top10 for LLM」にも対応が可能とのことだ。

また、仮にAIそのものに脆弱性があった場合、システム全体から見た実際のリスクの程度を評価することによって、実施が難しいAIそのものの脆弱性対応をせずに済むよう、代替の対策案を提示することができる。その結果、対策コストを抑えることが期待できるという。