AI Security Forensics : procédure opérationnelle standard de Netskope

Rédigé par Sahil Kumar Jha, ingénieur de réponse aux incidents au sein de l'équipe de réponse aux incidents de sécurité de Netskope

Ce document présente la procédure opérationnelle standard (SOP) qu'utilise l'équipe de réponse aux incidents de sécurité de Netskope pour enquêter sur les incidents impliquant des modèles d'IA, des grands modèles de langage (LLM) et des systèmes d'IA agentique. 

Les systèmes d’IA agentique ne connaissent pas les mêmes types de défaillance que les logiciels traditionnels. En cas d’anomalie, les preuves se trouvent dans les traces de raisonnement, les appels d’outils, les récupérations de vecteurs et les sorties de modèles, certaines d’entre elles disparaissant dès la fin d’une session.

La plupart des guides de réponse aux incidents supposent des journaux statiques et des systèmes prévisibles. Ils ne peuvent pas répondre à des questions telles que : l'agent a-t-il inventé ce paramètre d'outil, ou lui a-t-on demandé de le faire ? Un document empoisonné était-il le point d'entrée, ou quelqu'un a-t-il altéré le modèle lui-même ? S'agit-il d'une attaque menée par l'humain ou d'une hallucination assurée ?

Ce document constitue un cadre pratique à quatre couches destiné aux équipes de sécurité, couvrant l'acquisition des preuves jusqu'à la cause racine et le reporting. Nous partageons ce document au bénéfice des autres équipes de réponse aux incidents qui doivent agir aussi rapidement que les systèmes qu'elles défendent.

Découvrez :

• Comment préserver les preuves volatiles de l'IA, y compris l'état de la mémoire des agents et les traces de raisonnement, avant qu'elles ne soient perdues lors d'un redémarrage de session ou d'une expiration.
• Modèle d'investigation forensique à quatre couches couvrant l'intégrité des modèles, la logique des agents, la génération augmentée par récupération (RAG) et les données, ainsi que l'infrastructure.
• Comment déterminer l'intention, le point d'entrée et l'impact des incidents impliquant une mauvaise utilisation d'outils (agence excessive, OWASP LLM06), une injection de messages (prompt injection), un empoisonnement RAG ou un abus de ressources.