Investigação Forense em AI Security: Procedimento Operacional Padrão da Netskope

Escrito por Sahil Kumar Jha, engenheiro de resposta a incidentes da Equipe de Resposta a Incidentes de Segurança da Netskope

Este documento é o procedimento operacional padrão (SOP) que a equipe de resposta a incidentes de segurança da Netskope usa para investigar incidentes envolvendo modelos de IA, grandes modelos de linguagem (LLMs) e sistemas de IA agêntica. 

Os sistemas de IA agêntica não falham da mesma forma que o software tradicional. Quando algo dá errado, as evidências ficam registradas em rastros de raciocínio, chamadas de ferramentas, recuperações de vetores e saídas de modelos, e parte disso desaparece no momento em que uma sessão é encerada.

A maioria dos guias de resposta a incidentes pressupõe logs estáticos e sistemas previsíveis. Elas não conseguem responder a perguntas como: o agente inventou esse parâmetro de ferramenta ou recebeu instruções para isso? Um documento contaminado foi o ponto de entrada ou alguém adulterou o próprio modelo? Este foi um ataque impulsionado por humanos ou uma alucinação confiante?

Este documento apresenta uma estrutura prática de quatro camadas para equipes de segurança, abrangendo desde a aquisição de evidências até a causa raiz e a geração de relatórios. Estamos compartilhando isso para o benefício de outras equipes de resposta a incidentes que precisam agir tão rápido quanto os sistemas que defendem.

Descobrir:

• Como preservar evidências voláteis de IA, incluindo o estado de memória do agente e os rastros de raciocínio, antes que sejam perdidas em uma reinicialização de sessão ou tempo limite (timeout).
• Um modelo forense de quatro camadas que abrange a integridade do modelo, a lógica agêntica, a geração aumentada por recuperação (RAG) e dados, além da infraestrutura.
• Como determinar a intenção, o ponto de entrada e o impacto de incidentes envolvendo uso indevido de ferramentas (agência excessiva, OWASP LLM06), prompt injection, envenenamento de RAG ou abuso de recursos.