AI Security Forensics: Die Standardarbeitsanweisung von Netskope

Verfasst von Sahil Kumar Jha, Incident-Response-Ingenieur im Netskope Security Incident Response Team

Dieses Dokument enthält die Standardarbeitsanweisung (Standard Operating Procedure, SOP), mit der das Sicherheitsteam für die Vorfallreaktion von Netskope Vorfälle untersucht, an denen KI-Modelle, große Sprachmodelle (LLMs) und agentische KI-Systeme beteiligt sind. 

Agentische KI-Systeme scheitern nicht auf die Art und Weise, wie herkömmliche Software scheitert. Wenn etwas schiefläuft, finden sich die Belege in Begründungsspuren, Tool-Aufrufen, Vektorabrufen und Modellausgaben, und ein Teil davon verschwindet, sobald eine Sitzung endet.

Die meisten Playbooks für die Vorfallsreaktion gehen von statischen Protokollen und vorhersehbaren Systemen aus. Sie können Fragen nicht beantworten wie: Hat der Agent diesen Tool-Parameter erfunden oder wurde ihm dies aufgetragen? War ein vergiftetes Dokument der Einstiegspunkt oder hat jemand das Modell selbst manipuliert? Handelte es sich um einen von Menschen gesteuerten Angriff oder um eine selbstbewusste Halluzination?

Dieses Dokument bietet ein praxisnahes Framework in vier Ebenen für Sicherheitsteams und deckt die Beweiserfassung von der Ursachenanalyse bis zur Berichterstattung ab. Wir teilen dies zum Nutzen anderer Incident-Response-Teams, die sich genauso schnell bewegen müssen wie die von ihnen verteidigten Systeme.

Entdecken:

• So bewahren Sie flüchtige KI-Beweise auf, einschließlich des Speicherstatus von Agenten und Reasoning-Traces, bevor sie durch einen Sitzungsneustart oder ein Zeitlimit verloren gehen.
• Ein vierstufiges Forensikmodell, das Modellintegrität, agentische Logik, Retrieval-Augmented Generation (RAG) und Daten sowie Infrastruktur abdeckt.
• So ermitteln Sie Absicht, Einstiegspunkt und Auswirkungen bei Vorfällen im Zusammenhang mit Tool-Missbrauch (Excessive Agency, OWASP LLM06), Prompt-Injektion, RAG-Vergiftung oder Ressourcenmissbrauch.