AI Security Forensics: Procedimiento operativo estándar de Netskope

Escrito por Sahil Kumar Jha, ingeniero de respuesta a incidentes del equipo de respuesta a incidentes de seguridad de Netskope

Este documento es el procedimiento operativo estándar (SOP) que utiliza el equipo de respuesta ante incidentes de seguridad de Netskope para investigar incidentes relacionados con modelos de IA, grandes modelos de lenguaje (LLM) y sistemas de IA agéntica. 

Los sistemas de IA agéntica no fallan de la misma manera que el software tradicional. Cuando algo sale mal, las evidencias se encuentran en los registros de razonamiento, las llamadas a herramientas, las recuperaciones de vectores y los resultados del modelo, y parte de ello desaparece en el momento en que finaliza una sesión.

La mayoría de los planes de respuesta ante incidentes asumen registros estáticos y sistemas previsibles. No pueden responder a preguntas como: ¿inventó el agente ese parámetro de herramienta o se le indicó que lo hiciera? ¿Fue un documento envenenado el punto de entrada o alguien manipuló el propio modelo? ¿Se trató de un ataque impulsado por humanos o de una alucinación segura?

Este documento ofrece un marco práctico de cuatro capas para los equipos de seguridad, que abarca desde la adquisición de evidencias hasta la causa raíz y la generación de informes. Compartimos esto para beneficio de otros equipos de respuesta ante incidentes que necesitan moverse tan rápido como los sistemas que defienden.

Descubre:

• Cómo preservar la evidencia volátil de la IA, incluido el estado de la memoria del agente y los rastros de razonamiento, antes de que se pierda debido a un reinicio de sesión o a un tiempo de espera agotado.
• Un modelo forense de cuatro capas que abarca la integridad del modelo, la lógica agéntica, la generación aumentada por recuperación (RAG) y los datos, y la infraestructura.
• Cómo determinar la intención, el punto de entrada y el impacto en incidentes relacionados con el uso indebido de herramientas (agencia excesiva, OWASP LLM06), la inyección de instrucciones, el envenenamiento de RAG o el abuso de recursos.