AI Security Forensics: Netskopeの標準運用手順書

Netskope Security Incident Response TeamのインシデントレスポンスエンジニアであるSahil Kumar Jhaによる執筆

この文書は、Netskopeのセキュリティインシデント対応チームが、AIモデル、大規模言語モデル（LLM）、およびエージェント型AIシステムに関連するインシデントを調査するために使う標準運用手順書（SOP）です。 

エージェント型AIシステムは、従来のソフトウェアとは異なる方法で障害が発生します。問題が発生した際、その証拠は推論トレース、ツール呼び出し、ベクター検索、モデル出力に残り、その一部はセッションが終了した瞬間に消えてしまいます。

ほとんどのインシデント応答プレイブックは、静的なログと予測可能なシステムを前提としています。エージェントはそのツールパラメータを自分で考案したのか、それともそうするように指示されたのか？ポイズニングされたドキュメントがエントリーポイントだったのか、それとも誰かがモデル自体を改ざんしたのか？といった疑問に答えることはできません。これは人間主導の攻撃だったのか、それとも確信を持ったハルシネーションだったのか？

本ホワイトペーパーは、セキュリティチーム向けの、証拠収集から根本原因の特定、報告までを網羅した実践的な4層のフレームワークです。これは、防御対象のシステムと同等の速度で迅速に行動する必要がある他のインシデント対応チームの利益のために共有するものです。

発見する：

• セッションの再起動やタイムアウトによって失われる前に、エージェントのメモリ状態や推移の痕跡など、揮発性のAIエビデンスを保持する方法。
• モデルの整合性、エージェントロジック、検索拡張生成（RAG）とデータ、インフラストラクチャを網羅する4層のフォレンジックモデル。
• ツール規約違反（過剰なエージェンシー、OWASP LLM06）、プロンプトインジェクション、RAGポイズニング、またはリソース乱用に関連するインシデントについて、意図、エントリーポイント、および影響を特定する方法。