O futuro do Zero Trust e do SASE é agora! Assista sob demanda

fechar
fechar
  • Por que Netskope chevron

    Mudando a forma como a rede e a segurança trabalham juntas.

  • Nossos clientes chevron

    A Netskope atende a mais de 3.000 clientes em todo o mundo, incluindo mais de 25 das empresas da Fortune 100

  • Nossos parceiros chevron

    Fazemos parceria com líderes de segurança para ajudá-lo a proteger sua jornada para a nuvem.

O mais alto nível de Execução. A Visão mais avançada.

A Netskope foi reconhecida como Líder no Magic Quadrant™ do Gartner® de 2023 para SSE.

Obtenha o Relatório
A Netskope foi reconhecida como Líder no Magic Quadrant™ do Gartner® de 2023 para SSE.
Ajudamos nossos clientes a estarem prontos para tudo

Veja nossos clientes
Woman smiling with glasses looking out window
A estratégia de comercialização da Netskope, focada em Parcerias, permite que nossos Parceiros maximizem seu crescimento e lucratividade enquanto transformam a segurança corporativa.

Saiba mais sobre os parceiros da Netskope
Group of diverse young professionals smiling
Sua Rede do Amanhã

Planeje seu caminho rumo a uma rede mais rápida, segura e resiliente projetada para os aplicativos e usuários aos quais você oferece suporte.

Receba o whitepaper
Sua Rede do Amanhã
Apresentando a plataforma Netskope One

O Netskope One é uma plataforma nativa da nuvem que oferece serviços convergentes de segurança e rede para permitir sua transformação SASE e zero trust.

Saiba mais sobre o Netskope One
Abstrato com iluminação azul
Adote uma arquitetura Secure Access Service Edge (SASE)

O Netskope NewEdge é a maior nuvem privada de segurança de alto desempenho do mundo e oferece aos clientes cobertura de serviço, desempenho e resiliência inigualáveis.

Conheça a NewEdge
NewEdge
Netskope Cloud Exchange

O Cloud Exchange (CE) da Netskope oferece aos clientes ferramentas de integração poderosas para tirar proveito dos investimentos em estratégias de segurança.

Saiba mais sobre o Cloud Exchange
Vídeo da Netskope
A plataforma do futuro é a Netskope

Intelligent Security Service Edge (SSE), Cloud Access Security Broker (CASB), Cloud Firewall, Next Generation Secure Web Gateway (SWG) e Private Access for ZTNA integrados nativamente em uma única solução para ajudar todas as empresas em sua jornada para o Secure Access Service Arquitetura de borda (SASE).

Vá para a plataforma
Vídeo da Netskope
Next Gen SASE Branch é híbrida — conectada, segura e automatizada

Netskope Next Gen SASE Branch converge o Context-Aware SASE Fabric, Zero-Trust Hybrid Security e SkopeAI-Powered Cloud Orchestrator em uma oferta de nuvem unificada, inaugurando uma experiência de filial totalmente modernizada para empresas sem fronteiras.

Saiba mais sobre Next Gen SASE Branch
Pessoas no escritório de espaço aberto
Desenvolvendo uma Arquitetura SASE para Leigos

Obtenha sua cópia gratuita do único guia de planejamento SASE que você realmente precisará.

Baixe o eBook
Mude para serviços de segurança na nuvem líderes de mercado com latência mínima e alta confiabilidade.

Conheça a NewEdge
Lighted highway through mountainside switchbacks
Permita com segurança o uso de aplicativos generativos de IA com controle de acesso a aplicativos, treinamento de usuários em tempo real e a melhor proteção de dados da categoria.

Saiba como protegemos o uso de IA generativa
Ative com segurança o ChatGPT e a IA generativa
Soluções de zero trust para a implementação de SSE e SASE

Conheça o Zero Trust
Boat driving through open sea
Netskope obtém alta autorização do FedRAMP

Escolha o Netskope GovCloud para acelerar a transformação de sua agência.

Saiba mais sobre o Netskope GovCloud
Netskope GovCloud
  • Recursos chevron

    Saiba mais sobre como a Netskope pode ajudá-lo a proteger sua jornada para a nuvem.

  • Blog chevron

    Saiba como a Netskope permite a transformação da segurança e da rede por meio do SSE (Security Service Edge)

  • Eventos e workshops chevron

    Esteja atualizado sobre as últimas tendências de segurança e conecte-se com seus pares.

  • Security Defined chevron

    Tudo o que você precisa saber em nossa enciclopédia de segurança cibernética.

Podcast Security Visionaries

How to Use a Magic Quadrant and Other Industry Research
Neste episódio, Max Havey, Steve Riley e Mona Faulkner analisam o intrincado processo de criação de um Magic Quadrant e por que ele é muito mais do que apenas um gráfico.

Reproduzir o podcast
Como usar um Quadrante Mágico e outros podcasts de pesquisa do setor
Últimos blogs

Leia como a Netskope pode viabilizar a jornada Zero Trust e SASE por meio de recursos de borda de serviço de segurança (SSE).

Leia o Blog
Sunrise and cloudy sky
SASE Week 2023: Sua jornada SASE começa agora!

Replay das sessões da quarta SASE Week anual.

Explorar sessões
SASE Week 2023
O que é o Security Service Edge?

Explore o lado de segurança de SASE, o futuro da rede e proteção na nuvem.

Saiba mais sobre o Security Service Edge
Four-way roundabout
  • Empresa chevron

    Ajudamos você a antecipar os desafios da nuvem, dos dados e da segurança da rede.

  • Liderança chevron

    Nossa equipe de liderança está fortemente comprometida em fazer tudo o que for preciso para tornar nossos clientes bem-sucedidos.

  • Customer Solutions chevron

    Estamos aqui junto com você a cada passo da sua trajetória, assegurando seu sucesso com a Netskope.

  • Treinamento e certificação chevron

    Os treinamentos da Netskope vão ajudar você a ser um especialista em segurança na nuvem.

Apoiando a sustentabilidade por meio da segurança de dados

A Netskope tem o orgulho de participar da Visão 2045: uma iniciativa destinada a aumentar a conscientização sobre o papel da indústria privada na sustentabilidade.

Saiba mais
Apoiando a sustentabilidade por meio da segurança de dados
Pensadores, construtores, sonhadores, inovadores. Juntos, fornecemos soluções de segurança na nuvem de última geração para ajudar nossos clientes a proteger seus dados e seu pessoal.

Conheça nossa equipe
Group of hikers scaling a snowy mountain
A talentosa e experiente equipe de Serviços Profissionais da Netskope fornece uma abordagem prescritiva para sua implementação bem sucedida.

Conheça os Serviços Profissionais
Netskope Professional Services
Proteja sua jornada de transformação digital e aproveite ao máximo seus aplicativos de nuvem, web e privados com o treinamento da Netskope.

Saiba mais sobre Treinamentos e Certificações
Group of young professionals working

Entendendo os riscos de ataques de prompt injection no ChatGPT e em outros modelos de linguagem

05 de junho de 2023

Sumário

Os modelos de linguagem ampla (LLMs), como o ChatGPT, ganharam popularidade significativa por sua capacidade de gerar conversas semelhantes às humanas e auxiliar os usuários em várias tarefas. No entanto, com seu uso crescente, surgiram preocupações sobre possíveis vulnerabilidades e riscos de segurança. Uma dessas preocupações são os ataques de prompt injection, em que agentes mal-intencionados tentam manipular o comportamento dos modelos de linguagem criando soluções de input estratégicas. Neste artigo, discutiremos o conceito de ataques de prompt injection, exploraremos suas implicações e descreveremos algumas possíveis estratégias de atenuação.

O que são ataques prompt injection?

No contexto de modelos de linguagem como o ChatGPT, um prompt é o texto inicial ou o comando dado ao modelo para gerar uma resposta. O prompt define o contexto e fornece orientação para que o modelo gere uma resposta coerente e relevante.

Os ataques de prompt injection envolvem a criação de prompts de input de uma maneira que manipula o comportamento do modelo para gerar resultados tendenciosos, maliciosos ou indesejáveis. Esses ataques exploram a flexibilidade inerente dos modelos de linguagem, permitindo que os adversários influenciem as respostas do modelo modificando sutilmente as instruções de input ou o contexto.

Implicações e riscos

Um prompt injection pode revelar as instruções anteriores de um modelo de linguagem e, em alguns casos, impedir que o modelo siga suas instruções originais. Isso permite que um usuário mal-intencionado remova as proteções sobre o que o modelo pode fazer e pode até expor informações confidenciais. Alguns exemplos de prompt injection para o ChatGPT foram publicados aqui.

Os riscos desses tipos de ataques incluem o seguinte:

  1. Propagação de informações errôneas ou desinformação: Ao injetar prompts falsos ou enganosos, os invasores podem manipular modelos de linguagem para gerar informações que parecem plausíveis, mas imprecisas. Isso pode levar à disseminação de informações erradas ou desinformação, o que pode ter implicações sociais graves.
  2. Geração de resultados tendenciosos: Os modelos de linguagem são treinados em grandes quantidades de dados de texto, que podem conter vieses diferentes. Os ataques de prompt injection podem explorar esses vieses criando prompts que levam a resultados tendenciosos, reforçando ou ampliando preconceitos existentes.
  3. Preocupações com a privacidade: Por meio de ataques de prompt injection, os adversários podem tentar extrair informações confidenciais do usuário ou explorar vulnerabilidades de privacidade presentes no modelo de linguagem, o que pode levar a violações de privacidade e ao uso indevido de dados pessoais.
  4. Exploração de sistemas downstream: Muitas aplicações e sistemas dependem do output de modelos de linguagem para o input. Se as respostas do modelo de linguagem forem manipuladas por meio de ataques de prompt injection, os sistemas de downstream podem ser comprometidos, o que leva a outros riscos de segurança.

Inversão de modelo

Um exemplo de ataque de prompt injection é a "inversão de modelo", em que um invasor tenta explorar o comportamento dos modelos de machine learning para expor dados confidenciais ou sensíveis.

A ideia central por trás de um ataque de inversão de modelo é aproveitar as informações reveladas pelos resultados do modelo para reconstruir dados de treinamento privados ou obter insights sobre informações confidenciais. Ao projetar cuidadosamente as consultas e analisar as respostas do modelo, os invasores podem reconstruir recursos, imagens ou até mesmo textos que se assemelham muito aos dados de treinamento originais.

As organizações que usam modelos de machine learning para processar informações confidenciais enfrentam o risco de vazamento de dados proprietários. Os invasores podem fazer engenharia reversa de segredos comerciais, propriedade intelectual ou informações confidenciais explorando o comportamento do modelo. Informações como registros médicos ou nomes e endereços de clientes também podem ser recuperados, mesmo que tenham sido anonimizados pelo modelo.

Estratégias de mitigação para desenvolvedores

Até o momento em que este artigo foi escrito, não havia nenhuma maneira de impedir completamente os ataques de prompt injection. No entanto, há algumas estratégias de atenuação que devem ser consideradas por qualquer organização que queira desenvolver aplicações de modelo de linguagem:

  • Validação e filtragem de input: A implementação de mecanismos rigorosos de validação de inputs pode ajudar a identificar e filtrar prompts potencialmente maliciosos ou prejudiciais. Isso pode envolver a análise do input em busca de padrões específicos ou palavras-chave associadas a vetores de ataque conhecidos. O uso do machine learning para fazer a validação de entrada é uma abordagem emergente.
  • Testes adversários: Submeter regularmente os modelos de linguagem a testes adversários pode ajudar a identificar vulnerabilidades e melhorar sua robustez contra ataques de prompt injection. Isso envolve a criação e a análise de entradas projetadas especificamente para acionar comportamentos indesejados ou explorar pontos fracos.
  • Treinamento de modelos e pré-processamento de dados: Os desenvolvedores devem ter como objetivo treinar modelos de linguagem em conjuntos de dados diversificados e imparciais, minimizando a presença de vieses inerentes. Técnicas cuidadosas de pré-processamento e aumento de dados podem ajudar a reduzir o risco de distorções nos resultados dos modelos.

Estratégias de mitigação para usuários

Não é importante apenas que desenvolvedores de modelos de linguagem considerem os riscos de segurança, mas também os consumidores. Algumas estratégias de atenuação para os usuários incluem:

  • Bloqueio de tráfego indesejado: Uma organização pode bloquear domínios relacionados a aplicações de LLM que não sejam consideradas seguras ou até mesmo bloquear o tráfego em que informações confidenciais estejam sendo incluídas.
  • Conscientização e educação do usuário: Os usuários devem ser informados sobre os riscos associados aos ataques de prompt injection e incentivados a ter cuidado ao interagir com modelos de linguagem. As campanhas de conscientização podem ajudar os usuários a identificar possíveis ameaças e evitar a participação inadvertida em atividades mal-intencionadas.

Conclusão

As organizações estão correndo para implementar modelos de linguagem em seus produtos. Embora esses modelos ofereçam grandes ganhos na experiência do usuário, todos nós precisamos considerar os riscos de segurança associados a eles.  

Os controles atenuantes devem ser implementados e testados para garantir a implantação responsável e segura dessa tecnologia. Em especial, os controles atenuantes relacionados à validação de inputs e aos testes adversários reduzirão muito o risco de exposição de dados confidenciais por meio de ataques de prompt injection.

Os usuários de modelos de IA devem evitar o envio de dados privados, confidenciais ou proprietários devido ao risco de serem expostos a terceiros.

author image
Colin Estep
Colin Estep tem 16 anos de experiência em software, com 11 anos focados em segurança da informação. Atualmente, é pesquisador na Netskope, onde se concentra em segurança para AWS e GCP.

Stay informed!

Subscribe for the latest from the Netskope Blog