Evento di Lancio: Smart AI Security. Controllo Totale dei Dati. Prenota il tuo posto

chiudere
chiudere
La tua rete di domani
La tua rete di domani
Pianifica il tuo percorso verso una rete più veloce, sicura e resiliente, progettata per le applicazioni e gli utenti che supporti.
Experience Netskope
Prova direttamente la piattaforma Netskope
Ecco la tua occasione per sperimentare in prima persona la piattaforma single-cloud di Netskope One. Iscriviti a laboratori pratici e a ritmo autonomo, unisciti a noi per dimostrazioni mensili di prodotti dal vivo, fai un test drive gratuito di Netskope Private Access o partecipa a workshop dal vivo guidati da istruttori.
Un leader in SSE. Ora è un leader nel settore SASE a singolo fornitore.
Netskope è riconosciuto come Leader Più Lontano in Visione sia per le piattaforme SSE che SASE
2 volte leader nel Quadrante Magico di Gartner® per piattaforme SASE
Una piattaforma unificata costruita per il tuo percorso
Securing Generative AI for Dummies
Securing Generative AI for Dummies
Scopri come la tua organizzazione può bilanciare il potenziale innovativo dell'AI generativa con pratiche solide di sicurezza dei dati.
eBook sulla Modern Data Loss Prevention (DLP) for Dummies
Modern Data Loss Prevention (DLP) for Dummies
Ricevi consigli e trucchi per passare a un DLP fornito dal cloud.
Modern SD-WAN for SASE Dummies Book
Modern SD-WAN for SASE Dummies
Smettila di inseguire la tua architettura di rete
Comprendere dove risiede il rischio
Advanced Analytics trasforma il modo in cui i team di operazioni di sicurezza applicano insight basati sui dati per implementare policy migliori. Con l'Advanced Analytics, puoi identificare tendenze, concentrarti sulle aree di interesse e utilizzare i dati per agire.
Supporto tecnico Netskope
Supporto tecnico Netskope
I nostri ingegneri di supporto qualificati sono dislocati in tutto il mondo e possiedono competenze diversificate in sicurezza cloud, networking, virtualizzazione, content delivery e sviluppo software, garantendo un'assistenza tecnica tempestiva e di qualità.
Video Netskope
Formazione Netskope
La formazione Netskope ti aiuterà a diventare un esperto di sicurezza cloud. Siamo qui per aiutarti a proteggere il tuo percorso di trasformazione digitale e a sfruttare al meglio le tue applicazioni cloud, web e private.

Questo rapporto esamina come le organizzazioni stiano bilanciando i benefici delle app di IA generativa gestendo al contempo i rischi associati, evidenziando una strategia sempre più popolare che coinvolge DLP e coaching interattivo per gli utenti.

28 minuti di lettura

Sommario esecutivo collegamento collegamento

Il Cloud and Threat Report di quest'anno sulle app di IA si concentra in particolare sulle tendenze e sui rischi delle applicazioni genAI, poiché l'uso di genAI è cresciuto rapidamente con ampia portata e un impatto ampio sugli utenti enterprise. Il 96% delle organizzazioni intervistate ha utenti che utilizzano GenAI, con il numero di utenti che è triplicato negli ultimi 12 mesi. L'uso reale delle app GenAI include aiuto con la programmazione, l'assistenza alla scrittura, la creazione di presentazioni e la generazione di video e immagini. Questi casi d'uso presentano sfide per la sicurezza dei dati, in particolare come prevenire che dati sensibili, come il codice sorgente, i dati regolamentati e la proprietà intellettuale, vengano inviati ad app non approvate.

Iniziamo questo rapporto esaminando le tendenze di utilizzo delle applicazioni genAI, quindi analizziamo i rischi generali introdotti dall'uso di genAI, discutiamo controlli specifici che sono efficaci e possono aiutare le organizzazioni a migliorare di fronte a dati incompleti o New aree di minaccia, e concludiamo con uno sguardo alle tendenze e alle implicazioni future.

Sulla base di milioni di attività degli utenti anonimizzate, l'utilizzo dell'app genAI ha subito cambiamenti significativi da giugno 2023 a giugno 2024:

  • Praticamente tutte le organizzazioni ora utilizzano applicazioni genAI, con un utilizzo che è aumentato dal 74% al 96% delle organizzazioni nell'ultimo anno.
  • L'adozione di GenAI sta crescendo rapidamente e non ha ancora raggiunto uno stato stabile. L'organizzazione media utilizza più di tre volte il numero di app genAI e ha quasi tre volte più utenti che utilizzano attivamente queste app rispetto a un anno fa.
  • Il rischio per i dati è una priorità per i primi utilizzatori di app genAI, con la condivisione di codice sorgente proprietario con app genAI che rappresenta il 46% di tutte le violazioni delle policy sui dati.
  • L'adozione di controlli di sicurezza per abilitare in sicurezza le app genAI è in aumento, con più di tre quarti delle organizzazioni che utilizzano Policy/allow Policy, DLP, coaching live per gli utenti e altri controlli per abilitare le app genAI proteggendo i dati.

L’intelligenza artificiale in generale è stata popolare e ha attirato investimenti considerevoli, con finanziamenti per un totale di oltre 28 miliardi di dollari in oltre 240 accordi azionari dal 2020 al 22/03/2024.[1]

AI 100 Le principali aziende per finanziamento azionario

Con OpenAI e Anthropic che totalizzano quasi due terzi (64%) dei finanziamenti totali, i finanziamenti per l'IA sono dominati e guidati dall'IA di genere. Ciò riflette il crescente entusiasmo per genAI dopo il rilascio di ChatGPT da parte di OpenAI nel novembre 2022. Oltre alle startup, sono stati creati numerosi ETF e fondi comuni di investimento incentrati sull'intelligenza artificiale, il che indica un ulteriore livello di finanziamento da parte degli investitori del mercato pubblico. L'ingente ammontare di investimenti darà impulso alla ricerca e allo sviluppo, al lancio dei prodotti e ai rischi e abusi associati.

Rapporti prezzo/vendite sovradimensionati indicano che l'esecuzione è in ritardo rispetto alle alte aspettative degli investitori. Hugging Face ha un multiplo di 150 volte una valutazione di 4,5 miliardi di dollari su ricavi da 30 milioni e Perplexity un multiplo di 65 volte rispetto a una valutazione di 520 milioni su ricavi di 8 milioni didollari[1]:

Multiplo dei ricavi AI 100 per azienda

Sebbene i ricavi reali siano in ritardo, l'attività di rilascio dei prodotti è elevata, indicando che siamo ancora agli inizi del ciclo di innovazione nell'IA con un forte investimento in R&S. Ad esempio, ci sono state 34 rilasci di funzionalità (minori e maggiori) di ChatGPT da novembre 2022[2], ovvero circa due al mese.

È chiaro che la genAI sarà il motore degli investimenti in IA nel breve termine e introdurrà il rischio e l'impatto più ampi per gli utenti aziendali. È o sarà integrato di default sulle principali piattaforme applicative, di ricerca e di dispositivi, con casi d'uso come ricerca, revisione di copie, regolazione di stile/tono e creazione di contenuti. Il rischio principale deriva dai dati che gli utenti inviano alle app, inclusa la perdita di dati, la condivisione involontaria di informazioni riservate e l'uso inappropriato di informazioni (diritti legali) dai servizi genAI. Attualmente, il testo (LLM) è usato di più, con i loro casi d'uso più ampi, anche se le app genAI per video, immagini e altri media sono anch'esse un fattore.

Questo rapporto riassume l'utilizzo e le tendenze di genAI sulla base di dati anonimizzati dei clienti negli ultimi 12 mesi, descrivendo in dettaglio l'utilizzo dell'applicazione, le azioni degli utenti, le aree di rischio e i controlli iniziali, fornendo al contempo indicazioni prescrittive per i prossimi 12 mesi.

 

Nei circa 18 mesi trascorsi dal rilascio pubblico di ChatGPT nel novembre 2022, una grande maggioranza di organizzazioni ha utenti che utilizzano qualche tipo di applicazione genAI. Questo numero è aumentato costantemente dal 74% a giugno 2023 al 96% a giugno 2024. Quasi tutte le organizzazioni oggi utilizzano app genAI.

 

Il numero di app genAI utilizzate in ogni organizzazione è in aumento significativo, più che triplicando da una media di 3 diverse app genAI a giugno 2023 a oltre 9,6 app a giugno 2024. La crescita è ancora più significativa se si considerano gli estremi superiori. Il 25% delle organizzazioni più importanti è passato da 6 a 24 app, mentre l'1% più importante (non raffigurato) è passato da 14 a 80 app.

Questa tendenza è comprensibile a causa dell'aumento delle offerte di genAI all'inizio di un ciclo di innovazione tecnologica, alimentato dagli investimenti significativi e dall'entusiasmo per le opportunità che offrono per aumentare l'efficienza aziendale. L'implicazione per le organizzazioni che gestiscono il rischio derivante dai propri utenti è che il numero di offerte GenAI in uso continua a crescere, rappresentando un obiettivo in movimento quando si esaminano i controlli del rischio, di cui parleremo più avanti in questo rapporto.

 

Le principali app di IA in uso sono cambiate nell'ultimo anno. Nel giugno 2023, ChatGPT, Grammarly e Google Bard (ora Gemini) erano le uniche app GenAI significative ad avere un numero significativo di utenti enterprise. A giugno 2024, sono disponibili più app GenAI con un uso significativo. Questo rapporto copre quasi 200 diverse app monitorate da Netskope Threat Labs. ChatGPT mantiene il suo dominio in termini di popolarità, con l'80% delle organizzazioni che lo utilizza, mentre Microsoft Copilot, che è diventato generalmente disponibile a gennaio 2024, è terzo con il 57% delle organizzazioni che lo utilizzano. Grammarly e Google Gemini (precedentemente Bard) mantengono posizioni elevate.

La crescita nel tempo mostra incrementi per lo più costanti per tutte le applicazioni, con la notevole eccezione di Microsoft Copilot, il cui utilizzo è cresciuto fino al 57% di tutte le organizzazioni intervistate nei sei mesi successivi al rilascio. Ciò dimostra, in parte, gli elevati tassi di adozione della base installata aziendale Microsoft per New offerte Microsoft.

L'elenco delle app genAI più popolari include una varietà di nuovi arrivati, che cambieranno nel corso del prossimo anno. La categorizzazione di ciascuna di queste app è interessante, poiché indica quali sono i casi d'uso più popolari delle app genAI da parte degli utenti aziendali.

Categorie di app GenAI più popolari

Applicazione GenAICategoria
ChatGPTRicerca, Generale
GrammarlyScrivere
GeminiRicerca, Generale
Microsoft CopilotRicerca, Generale
Perplexity AIRicerca, Generale
QuillBotScrivere
VEEDRicerca
ChatbaseGenerale, Ricerca
WritesonicScrivere
GammaPresentazioni

Ci aspettiamo che le principali candidature cambieranno significativamente nel prossimo anno e appariranno molto diverse nel rapporto del prossimo anno. Ci saranno anche ulteriori consolidazioni, oltre a rapporti con i produttori di apparecchiature originali (OEM). Ad esempio, Chatbase offre modelli ChatGPT e Gemini come scelte. Dal punto di vista della quota di mercato, potremmo voler raggruppare l'attività applicativa per tecnologia sottostante. Tuttavia, dal punto di vista del rischio organizzativo, il raggruppamento per applicazione rivolta all'utente è più importante perché i controlli di sicurezza spesso differiscono da applicazione a applicazione e incorporano domini/URL a un certo livello per distinguere le applicazioni. Cioè, potrebbe benissimo esserci una politica che vieti ChatGPT vero e proprio ma permette a Chatbase di usare ChatGPT sotto. Poiché i loro casi d'uso sono diversi, la gestione del rischio e i controlli differiscono.

 

Non solo le organizzazioni utilizzano sempre più app genAI, ma aumenta anche la quantità di attività degli utenti con tali app. Sebbene la percentuale complessiva di utenti che utilizzano app genAI sia ancora relativamente bassa, il tasso di aumento è significativo, passando dall'1,7% di giugno 2023 a oltre il 5% di giugno 2024, quasi triplicando in 12 mesi per l'organizzazione media. Anche le organizzazioni con un numero di utenti al mese superiore alla media hanno registrato un'adozione significativa di genAI anno dopo anno: il 25% delle organizzazioni principali è cresciuto dal 7% al 15% utilizzando app genAI. Indipendentemente dalle dimensioni dell'organizzazione, continuiamo a registrare una crescita nell'adozione di genAI che proseguirà anche nel prossimo anno, poiché non abbiamo ancora visto segnali di un appiattimento dei tassi di crescita.

 

Risks collegamento collegamento

I dati continuano a rappresentare la risorsa più importante da proteggere quando si utilizzano app di genAI. Gli utenti sono ancora gli attori chiave nel causare e prevenire i rischi per i dati e oggi i rischi per la sicurezza più urgenti per gli utenti GenAI sono tutti correlati ai dati.
È utile considerare il rischio dei dati dal punto di vista dell'utente lungo due dimensioni:

  • Quali dati inviano gli utenti ai servizi genAI?
  • Quali dati ricevono e utilizzano gli utenti dai servizi genAI?

Input: Invio dei dati

Output: Risultati dei dati

Quali dati inviano gli utenti ai servizi genAI?

Quali dati ricevono e utilizzano gli utenti dai servizi genAI?

Rischi:

  • App sconosciute/sospette

  • Perdita di dati: PII, credenziali, copyright, segreti commerciali, HIPAA/GDPR/PCI

Rischi:

  • Correttezza: allucinazioni, disinformazione

  • Legale: violazioni del copyright

  • Economico: efficienza del lavoro, sostituzione

  • Ingegneria sociale: phishing, deepfake

  • Ricatto

  • Contenuti discutibili

Tra le organizzazioni incluse in questo studio, i rischi e le minacce riconosciuti negli ultimi 12 mesi si concentrano sull'utilizzo delle applicazioni e sui rischi relativi ai dati, cosa che spesso accade nelle fasi iniziali dei mercati focalizzati su applicazioni o servizi. Inoltre, i rischi su cui si interviene si trovano sul lato sinistro della tabella: i rischi relativi ai dati associati agli utenti che inviano richieste alle app genAI, in contrapposizione al lato destro della tabella che riguarda il rischio di utilizzare dati provenienti o apparentemente provenienti dai servizi genAI. Questa definizione delle priorità ha senso per la maggior parte delle organizzazioni: la prima priorità tende a essere la protezione del patrimonio informativo di un'organizzazione e in seguito si affronteranno problemi di responsabilità o correttezza nell'uso dei contenuti provenienti dalle app genAI.

Enumerando e assegnando priorità ai rischi a questo livello, le organizzazioni non solo saranno in grado di comprendere meglio i rischi specifici delle loro app genAI, ma soprattutto di determinare quali controlli e policy sono necessari per affrontare tali rischi.

 

Controls collegamento collegamento

Poiché i primi rischi nel mercato della genAI si sono concentrati sulla presentazione dei dati da parte degli utenti, anche i controlli sul lato sinistro della tabella sono stati la priorità per le organizzazioni. Questi controlli sono discussi più in dettaglio di seguito.

Input: Invio dei dati

Output: Risultati dei dati

Quali dati inviano gli utenti ai servizi genAI?

Quali dati ricevono e utilizzano gli utenti dai servizi genAI?

Rischi:

  • App sconosciute/sospette

  • Perdita di dati: PII, credenziali, copyright, segreti commerciali, HIPAA/GDPR/PCI

Rischi:

  • Correttezza: allucinazioni, disinformazione

  • Legale: violazioni del copyright

  • Economico: efficienza del lavoro, sostituzione

  • Ingegneria sociale: phishing, deepfake

  • Ricatto

  • Contenuti discutibili

Controls:

  • AUP: limitare quali app vengono utilizzate

  • DLP: prevenzione/blocco

  • Formazione/coaching degli utenti

  • Rilevamento avanzato di movimenti di dati sospetti

Controls:

  • AUP: quali dati da quali app, per quale scopo

  • Politica di riferimento/fonte dei dati

  • Chiarimenti/strumenti/processi sui ruoli lavorativi

  • Anti-phishing

  • Rilevamento di deepfake/allucinazioni (verifica dei dati)

  • Tracciamento/impronta digitale dei dati

 

Applicazioni

Il punto di partenza per il rischio delle app genAI sono le applicazioni stesse. In pratica, i controlli applicativi sono anche il punto di partenza per controllare tale rischio, solitamente implementati come elenchi di autorizzazioni o blocchi all'interno di un SWG o proxy in linea.

La maggior parte delle organizzazioni ha limitato l'uso delle app genAI per proteggere i propri dati: a giugno 2024, il 77% delle organizzazioni bloccava almeno un'app genAI, con un aumento del 45% rispetto al 53% delle organizzazioni a giugno 2023.

Questa tendenza indica una buona maturità e adozione dei controlli di base sull'uso delle applicazioni genAI. Controllare quali app vengono utilizzate in un'organizzazione è un punto di partenza necessario per ridurre i rischi. Tuttavia, saranno necessari controlli più dettagliati per essere efficaci. L'uso specifico di un'applicazione spesso determina se l'attività debba essere consentita o meno. Ad esempio, una ricerca generale in ChatGPT dovrebbe essere consentita, mentre la sottomissione del codice sorgente no.

Esaminando più in dettaglio le applicazioni bloccate, anche il numero mediano di applicazioni bloccate per tutti gli utenti di un'organizzazione è aumentato, passando da 0,6 app a giugno 2023 a oltre 2,6 app a giugno 2024. Il fatto che le app genAI siano state soggette a così pochi divieti a livello aziendale rispetto alle centinaia di app genAI presenti sul mercato è indice della popolarità di altri controlli più sfumati, di cui parleremo più dettagliatamente più avanti in questo rapporto.

Le applicazioni genAI più bloccate sono in qualche modo legate alla popolarità, ma un buon numero di app meno popolari sono quelle più bloccate. Tra le organizzazioni che bloccano le app genAI, il 28% blocca Beautifal.ai (rendendola l'app genAI più comunemente bloccata) e il 19% blocca Perplexity AI, che è la decima app più comunemente bloccata. I blocchi possono spesso rappresentare una misura temporanea, poiché New app vengono valutate per determinare se servono a scopi aziendali legittimi e sono sicure per determinati casi d'uso.

Le applicazioni specifiche bloccate variano in base alla politica aziendale, ma quando le percentuali sono sufficientemente elevate, come nell'elenco delle prime 10 sopra riportato, vale la pena che tutte le organizzazioni verifichino se le applicazioni specifiche vengono utilizzate nel proprio ambiente e se modificare i controlli relativi alla categoria di applicazioni. La tabella seguente mostra che le app più bloccate riguardano una varietà di casi d'uso diversi nello spazio genAI.

Categorie di app GenAI più bloccate

Applicazione GenAICategoria
Beautiful.aiPresentazioni
WritesonicScrivere
CraiyonImages
TactiqTrascrizione di riunioni aziendali (Zoom, Meet)
AIChattingGenerale, Ricerca, Scrittura, Riepilogo PDF
Github CopilotCodifica
DeepAIGenerale, Ricerca, Chat, Immagine, Video
sciteRicerca
Poe AIGenerale, Ricerca
Perplexity AIGenerale, Ricerca

 

Prevenzione della perdita di dati (DLP)

Man mano che le organizzazioni superano gli elenchi delle applicazioni consentite, tendono a iniziare ad attuare controlli più dettagliati sull'utilizzo delle applicazioni consentite. Non sorprende che i controlli DLP stiano diventando sempre più popolari come controllo del rischio dei dati di genAI. La prevenzione della perdita di dati è aumentata in popolarità dal 24% a giugno 2023 a oltre il 42% delle organizzazioni che utilizzano DLP per controllare i tipi di dati inviati alle app genAI a giugno 2024, con una crescita di oltre il 75% su base annua.

L'aumento dei controlli DLP riflette una comprensione tra le organizzazioni su come mitigare efficacemente il rischio dei dati in un contesto di tendenza più ampia e ampia all'aumento dell'uso delle app genAI. All'interno della Politica DLP, le organizzazioni cercano di controllare flussi dati specifici, in particolare per bloccare i prompt genAI contenenti informazioni sensibili o riservate. Nelle organizzazioni con una Politica di protezione dei dati, il codice sorgente rappresenta quasi la metà (46%) di tutte le violazioni DLP, con dati regolamentati guidati da regolamenti di settore o requisiti di conformità al 35%, e proprietà intellettuale al 15%. I dati regolamentati sono stati una delle principali violazioni pre-genAI e rafforzano le sfide legate alla formazione manuale degli utenti sulla condivisione impropria dei dati regolamentati.


La pubblicazione di dati sensibili sulle app genAI non solo riflette le attuali priorità delle organizzazioni, ma dimostra anche l'utilità di varie app genAI. Ad esempio, la popolarità di GitHub Copilot, unita alla quota di mercato di Microsoft come piattaforma di sviluppo software, potrebbe indurre in futuro un maggiore utilizzo di genAI per la generazione di codice.

 

Coaching

Sebbene le applicazioni o le attività palesemente dannose siano ben gestite da controlli che bloccano e avvisano, il rischio per i dati è spesso più un'area grigia. I controlli di coaching possono rappresentare una tecnica molto efficace per gestire le zone grigie, soprattutto nei primi cicli tecnologici in rapida evoluzione come la GenAI. Inoltre, le organizzazioni possono utilizzare il coaching per informare e perfezionare i controlli di sicurezza senza bloccare la produttività con falsi positivi e processi di approvazione lenti.

I controlli di coaching forniscono una finestra di dialogo di avviso all'utente durante l'interazione con le app genAI, consentendogli di annullare o procedere con le proprie azioni. Funziona come le funzionalità di navigazione sicura integrate nei browser. Il vantaggio è che offre un'esperienza più amichevole per l'utente, senza bloccarne il lavoro, ma informandolo e consentendogli di migliorare il proprio comportamento.

Per le organizzazioni dotate di policy per controllare l'utilizzo delle applicazioni genAI, il 31% di esse utilizzava dialoghi di coaching a giugno 2024, rispetto al 20% delle organizzazioni a giugno 2023, con un aumento di oltre il 50% nell'adozione.

Questo coincide con la crescente sofisticazione delle organizzazioni nell'applicare controlli di coaching simili provenienti da altri domini di sicurezza a New come il rischio delle app genAI. Sebbene la crescita si sia appiattita, i controlli per l'allenamento sono relativamente New rispetto ai blocchi e allerti basati su DLP o applicazione. Ci aspettiamo che l'adozione continui a crescere man mano che sempre più organizzazioni comprenderanno come utilizzare il coaching per gestire i rischi più grigi associati ai dati.

Analizzando la risposta effettiva dell'utente agli avvisi di dialogo di coaching che si sono verificati, possiamo osservare una misura dell'efficacia. Per tutti gli utenti che hanno ricevuto avvisi di dialogo di coaching per le app genAI, nel 57% dei casi gli utenti hanno scelto di interrompere l'azione che stavano eseguendo, il che ha ridotto il rischio che gli utenti evitassero di inviare dati sensibili nei prompt delle app genAI o di utilizzare app genAI sconosciute o New . Il 57% è sufficientemente alto da sostenere la tesi secondo cui il coaching può rappresentare un controllo efficace per integrare i blocchi applicativi espliciti e la politica DLP. Inoltre, il coaching consente anche il feedback. Quando si decide di procedere, la maggior parte delle organizzazioni adotta delle policy che richiedono agli utenti di giustificare le proprie azioni durante l'interazione di coaching.

Questo non significa che le decisioni degli utenti siano la base della Politica di Sicurezza. Piuttosto, indica che per le organizzazioni che utilizzano il coaching, circa la metà dell'uso delle app genAI che non viene bloccata del tutto può essere ulteriormente ridotta dalle decisioni degli utenti. Altrettanto importante, le decisioni degli utenti in risposta ai dialoghi di coaching possono e devono informare la revisione e l'adeguamento delle politiche di sicurezza. Sebbene le decisioni degli utenti possano essere errate e rischiose, le due categorizzazioni costituiscono la base per ulteriori revisioni. Le applicazioni che un utente ha deciso di non usare basandosi su un dialogo di coaching dovrebbero essere analizzate per una lista di blocchi diretta. Le applicazioni che un utente ha deciso di usare dovrebbero essere esaminate per essere inserite in una lista di standard aziendali consentite o magari bloccate se esiste un'app migliore o più accettabile. Le risposte degli utenti ai prompt di coaching potrebbero anche essere usate per affinare Policy più sfumate, come la Politica DLP, per renderle più mirate nella loro applicazione.

 

Analisi comportamentale

Stiamo osservando i primi segnali di rilevamenti avanzati di comportamenti sospetti degli utenti riguardo al movimento dei dati, rilevati dai motori di rilevamento comportamentale. Il movimento di dati sospetto spesso comprende molteplici indicatori di comportamenti sospetti o inaspettati da parte di un utente rispetto al normale livello di attività dell'utente o dell'organizzazione. Gli indicatori potrebbero riguardare attività di download o upload anomale, fonti o destinazioni di dati New o sospette, come le app New generazione, nonché altri comportamenti sospetti, come l'uso di un indirizzo IP o di un agente utente inaspettato o offuscato.

Un esempio di allarme comportamentale avanzato rilevato per movimenti di dati sospetti riguarda il trasferimento di dati da un'applicazione gestita dall'organizzazione e caricati su un'app genAI personale non approvata.

Analogamente al coaching, l'elenco delle app visualizzate in questi avvisi può essere utilizzato anche per stabilire le priorità degli sforzi di controllo con l'utilizzo delle applicazioni genAI. Ad esempio, due app di uso comune potrebbero sovrapporsi nelle funzionalità e questo potrebbe dare priorità agli sforzi per ridurre il numero di app.

L'uso di avvisi comportamentali dimostra la consapevolezza e l'adozione tempestive da parte delle organizzazioni di misure per individuare le minacce più difficili da rilevare, che tradizionalmente includono credenziali compromesse, minacce interne, movimenti laterali e attività di esfiltrazione di dati da parte di malintenzionati.

Se osserviamo più da vicino i movimenti dei dati sensibili, scopriamo che le applicazioni più importanti da cui provengono i dati sensibili riflettono la popolarità delle app cloud aziendali, con OneDrive (34%) e Google Drive (29%) in cima, seguite da SharePoint (21%), Outlook (8%) e Gmail (6%).

Le prime 3 app sono tutte app di cloud storage e collaborazione e sono state la fonte dei dati sensibili l'84% delle volte, mentre le principali app cloud email sono state la fonte nel 14% dei casi. Sapendo quali applicazioni specifiche sono coinvolte più frequentemente nei movimenti di dati sensibili, i team di sicurezza possono quindi regolare i controlli in modo appropriato, ad esempio posizionando ulteriori controlli DLP attorno alle applicazioni di condivisione file. Le organizzazioni dovrebbero dare priorità alla valutazione del rischio di sicurezza e all'implementazione dei controlli riguardanti il movimento dei dati tra app, specialmente passando dalle app gestite alle app genAI non gestite, poiché sta diventando sempre più comune e potenzialmente con un grande impatto sulla perdita di dati.

 

Guida collegamento collegamento

Sulla base delle tendenze degli ultimi dodici mesi, raccomandiamo di rivedere le operazioni di sicurezza attuali e la valutazione del rischio, con un focus specifico sull'IA e sui cambiamenti specifici di generAI necessari.

Il quadro per la comprensione e la gestione del rischio genAI prevede la revisione delle operazioni di sicurezza in cinque aree principali con una personalizzazione specifica per i rischi specifici di genAI:

  • Analisi, in particolare valutazione del rischio, dello stato attuale dell'utilizzo delle app genAI e del comportamento degli utenti.
  • Pianificazione dell'analisi dei rischi e implementazione dei controlli.
  • Controlli di prevenzione, inclusi applicazioni genAI consentite e politiche DLP.
  • Controlli di rilevamento, come coaching e analisi comportamentale.
  • Controlli di bonifica/mitigazione, inclusi blocchi New, applicazioni inappropriate.

I primi passi nell'analisi saranno inventariare le app di generAI utilizzate per formare una base da cui pianificare. Successivamente, i controlli di prevenzione e rilevamento possono essere implementati con restrizioni delle app consentite (liste di applicazioni accettabili) e restrizioni dei dati inviati a tali app (controlli DLP).

 

Crea base di utilizzo dell'app

Utilizzando i registri dei gateway web sicuri o dei proxy e la risoluzione DNS locale, è possibile raccogliere metriche chiave in:

  • Popolarità delle app: quali app, quante volte a settimana/mese
  • Numero di utenti: con un volume minimo per settimana/mese
  • Volume utente: quanto utilizzo (cioè transazioni utente) al giorno/settimana/mese, quanti dati (richiamo/risposta/volume)

Una semplice analisi tramite foglio di calcolo può generare grafici simili a quelli mostrati in questo report. Con una semplice automazione, è possibile rivedere i dati settimanalmente o mensilmente per individuare eventuali cambiamenti nel tempo e valori anomali in qualsiasi momento.

 

Ridurre le incognite

Dalla base di applicazione e utilizzo, il passo successivo sarà rimuovere le app sconosciute o sospette e imporre una lista di app accettabile. Questo riduce sia la superficie di attacco che i vettori di attacco. Le misure specifiche includono l'identificazione di una lista di app accettabile in base alle esigenze lavorative degli utenti, il blocco di app sconosciute sospette e la formazione degli utenti all'auto-monitoraggio tramite tecniche di coaching all'interno dei tuoi gateway web e proxy sicuri.

 

Ridurre la perdita di dati sensibili

Rilevare minacce avanzate non è banale, ma poiché le minacce interne e le credenziali compromesse restano comuni ma difficili sfide, è necessario pianificare anche le minacce genAI. Sebbene gli avvisi di rilevamento comportamentale non facciano parte delle offerte dei fornitori di GenAI, fanno parte delle piattaforme e soluzioni di cybersecurity esistenti. Queste capacità di rilevamento comportamentale dovrebbero essere valutate con particolare attenzione alle minacce specifiche della genAI. Il numero e il tipo di avvisi specifici sono il punto di partenza.

Oltre al rilevamento degli avvisi, le valutazioni dei prodotti dovrebbero includere anche il punteggio e il monitoraggio del rischio. Il rilevamento comportamentale è generalmente più efficace con un concetto di monitoraggio granulare del rischio degli utenti e delle app nel tempo, in modo che l'analisi della causa principale possa essere eseguita a livello di utente e di app. Ad esempio, alcune app o utenti potrebbero comportare maggiori rischi e una correzione mirata può contribuire a ridurli.

 

Affinare il quadro del rischio

I quadri di rischio devono essere rivisti e adattati o personalizzati specificamente per l'IA o l'IA di generazione. Sforzi come il NIST AI Risk Management Framework[4] possono essere utilizzati negli sforzi interni.

Gestione dei rischi di sicurezza informatica specifici dell'intelligenza artificiale nel settore dei servizi finanziari, a cura del Dipartimento del Tesoro degli Stati Uniti, marzo 2024[5] è un ottimo esempio di gestione del rischio dell’IA nel settore dei servizi finanziari, ma può anche essere adattato al tuo settore o alla tua organizzazione.

Un buon quadro di gestione del rischio supporterà la pianificazione futura per le future aree di minaccia, come la responsabilità e il rischio legale derivante dall'uso delle informazioni delle app genAI. Questo può essere raccontato in una Acceptable Use Policy (AUP) insieme alle linee guida per i dati inviati alle app genAI. Questa Politica potrebbe essere implementata come una combinazione di controlli manuali (addestramento) e controlli tecnici in un SWG/proxy.

Gran parte del miglioramento nella gestione del rischio a lungo termine deriverà da un'iterazione coerente e regolare di analisi delle lacune, priorità, pianificazione ed esecuzione.

 

Veduta collegamento collegamento

Oltre a misure tecniche specifiche per affrontare il rischio di genAI, le organizzazioni devono dedicare del tempo al monitoraggio delle principali tendenze per anticipare i probabili cambiamenti nei prossimi 12 mesi. Consigliamo di monitorare le tendenze in cinque aree principali: best practice, i tre principali fornitori aziendali, investimenti in genAI, crescita e investimenti nelle aziende infrastrutturali e adozione di fornitori di servizi di chat/LLM.

 

Best practices

Le best practice e i quadri di conformità tendono a essere indicatori ritardi nel senso che spesso vengono creati dopo che un prodotto o una tecnologia ha ricevuto un'ampia adozione e una vasta base utenti consolidata. Monitorare queste migliori pratiche è utile, per la prioritizzazione basata sulle aree di minaccia comuni, l'analisi delle lacune e per assistere nell'implementazione di controlli tecnici concreti o iniziative di gestione del rischio.

Due documenti che costituiscono linee guida utili sono il NIST AI Risk Management Framework[4] e la Managing Artificial Intelligence-Specific Cybersecurity Risks in the Financial Services Sector del Dipartimento del Tesoro degli Stati Uniti, marzo 2024[5].
Inoltre, monitora l'ISAC del tuo settore, poiché è probabile che in tali forum vengano discusse le migliori pratiche o la condivisione di indicatori per i rischi correlati all'intelligenza artificiale.

 

Impatto sulle tre grandi imprese

Sebbene si parli molto di startup, inclusi finanziamenti, valutazioni, ricavi e rilasci di prodotti, in ultima analisi saranno le aziende e i loro utenti a essere maggiormente influenzati da ciò che fanno i principali fornitori di applicazioni, piattaforme e dispositivi.

I tre grandi raggiungono il numero più elevato (da 100 milioni a oltre 1 miliardo) di utenti sia consumer che aziendali con le loro app/piattaforme/dispositivi aggregati:

  • Microsoft: Apps/AD/Azure/Surface/AI PC
  • Google: App/Spazio di lavoro/GCP/Android
  • Mela: iPhone/iPad/Mac

Hanno o probabilmente renderanno la genAI gratuita e integrata nei servizi esistenti:

  • Microsoft: Copilot come parte di Windows, Git e Visual Studio
  • Google: Gemini come parte della ricerca Google
  • Apple: Apple Intelligence e ChatGPT come parte di iOS/MacOS

Le organizzazioni dovrebbero monitorare ciò che Microsoft, Google e Apple fanno nell'ambito della genAI. Concentrandosi sui casi d'uso e sulle funzionalità utilizzate dai propri utenti, le organizzazioni saranno meglio preparate sia per gli eventi previsti che per quelli probabili nei prossimi 12 mesi. Ad esempio, man mano che i dipartimenti di ingegneria standardizzano l'uso di GitHub Copilot per l'assistenza alla codifica, la politica di sicurezza dovrebbe implementare in modo proattivo controlli di app, DLP e rilevamento avanzato per Copilot e app simili.

 

Più investimenti, innovazione e minacce

Il capitale di rischio non resta a lungo in disparte (o in banca) e gli oltre 10 miliardi di dollari di Microsoft saranno sicuramente spesi da OpenAI prima o poi. Le aziende con più liquidità saranno quelle che alla fine stimoleranno la maggior parte delle attività di ricerca e sviluppo e dei lanci di prodotti. Queste startup e i loro servizi di genAI dovrebbero essere considerati prioritari, in quanto rappresentano la fonte di rischio più probabile, semplicemente in virtù della loro attenzione alla rapida crescita della quota di mercato e del numero di utenti.

Parte degli investimenti è confluita in aziende che offrono servizi New generazione basati su set di dati specifici del dominio, che potrebbero essere per professione (ad esempio informazioni legali o mediche), o per lingua (ad esempio traduzione professionale di testi dal giapponese all'inglese) o altri settori di competenza. Nel breve termine, ciò comporterà maggiori sfide per i team di sicurezza a causa dell'elevato numero di app da controllare, ma in definitiva sarà utile poiché lo scopo delle app genAI sarà più specifico, il che renderà i controlli a livello di app e i controlli DLP associati per un'app più efficaci e mirati. È molto più difficile gestire il rischio con un'app genAI generica e multifunzionale, come ChatGPT, poiché i casi d'uso e i set di dati potrebbero riguardare praticamente qualsiasi cosa e le policy potrebbero essere troppo generiche.

Altre aziende, spesso nel tentativo di competere, rilasciano rapidamente, spesso e "testano in produzione". E a causa delle pressioni concorrenzie o delle dinamiche di mercato, le grandi aziende, oltre alle startup, possono anche dare priorità allo sviluppo e al rilascio delle funzionalità rispetto ai test:

"È importante non trattenere le funzionalità solo perché potrebbero esserci problemi occasionali, ma piuttosto affrontarli man mano che li troviamo", ha affermato Liz Reid, che è stata promossa al ruolo di vicepresidente della ricerca di Google a marzo, in una riunione aziendale, secondo l'audio ottenuto da CNBC.[3]

Questo non è un giudizio sulla filosofia del passaggio rapido sul mercato, ma piuttosto un'osservazione del pensiero dei fornitori all'inizio di un ciclo di innovazione. Osservando le release di prodotti e funzionalità dei fornitori di genAI, si possono anticipare le aree di rischio prima che diventino evidenti. Al minimo, questo dovrebbe stabilire aspettative per cicli di rilascio rapidi, innescare triage/valutazioni interne per valutare New funzionalità e sollevare dubbi sul controllo organizzativo sulla "versione" di un'app genAI che stanno utilizzando.

 

Società di infrastrutture

Molte aziende possono concentrarsi su app e servizi genAI man mano che i loro utenti li utilizzano di più. Tuttavia, le aziende infrastrutturali sottostanti, spesso quotate in borsa, e quelle che forniscono hardware dovrebbero essere monitorate per identificare le future tendenze macro, in particolare gli investimenti. Proprio come il settore dei router durante il boom di internet negli anni '90, le aziende infrastrutturali e le loro performance finanziarie saranno indicatori principali dell'investimento in applicazioni e software e identificheranno le future aree di minaccia da analizzare e pianificare.

Ad esempio, guardando gli investimenti NVDA (ad esempio, data center, SOC, PC) e l'espansione dei ricavi/base clienti, si possono osservare tendenze nei mercati delle applicazioni o dei servizi genAI.

Anche un monitoraggio finanziario degli investimenti sul mercato pubblico da parte di fondi comuni di investimento ed ETF, nonché il monitoraggio di parametri quali capitalizzazione di mercato rispetto a ricavi/utili (prezzo/vendite), divergenza tra ricavi infrastrutturali e ricavi da startup/software, possono determinare le tendenze nella ricerca e sviluppo. La ricerca e sviluppo in genere porta al rilascio di prodotti che comportano utilizzi e rischi.

 

Servizi di chat/LLM

È chiaro che se un'organizzazione implementa un proprio servizio di chat o una struttura di ricerca utilizzando la tecnologia genAI, esiste il rischio di altre minacce non trattate in questo rapporto, ovvero attacchi rapidi per aggirare le barriere che portano ad allucinazioni o risultati distorti, o altri attacchi di iniezione di dati come l'avvelenamento dei dati. Le organizzazioni dovrebbero dedicare tempo a questi rischi mentre pianificano quei progetti.

Man mano che sempre più organizzazioni implementano ampiamente servizi di ricerca o chat sui loro siti web che utilizzano LLM o altre app genAI, ci sarà un aumento degli attacchi contro tutti i servizi genAI, perché gli attaccanti generalmente seguono un uso crescente e il denaro associato.

Queste tendenze di minaccia possono quindi causare aggiustamenti o revisioni dei servizi genAI di un'organizzazione, come un servizio di chat di vendita o una funzione di ricerca di base di conoscenza di supporto. Le organizzazioni che sono, o stanno pianificando di essere, fornitori di servizi dovrebbero periodicamente rivedere i loro profili di rischio basandosi su questa tendenza macro più ampia per verificare se la loro postura al rischio è cambiata e se ciò influisce sul loro quadro di controllo per la protezione, il rilevamento o la mitigazione dei servizi genAI esposti.

 

Una prospettiva CISO

Sebbene la generAI abbia un enorme potenziale per innovazioni ed efficienza, introduce anche rischi sostanziali che le organizzazioni devono affrontare in modo proattivo. L'uso di governance, tecnologia, processi e persone dovrebbe essere applicato, sfruttando un quadro che supporti un solido backstop per le tue iniziative. Come abbiamo visto con questa ricerca, ci sono state alcune sorprese, come la condivisione di informazioni normative con i servizi. Sebbene molte organizzazioni stiano adottando soluzioni genAI, l'uso della genAI come servizio IT ombra, combinato con informazioni normative e dati sensibili, come segreti e password, rappresenta un'esposizione in cui nessuna organizzazione vuole trovarsi. L'unico approccio è adottare un piano d'azione programmatico per affrontare sia l'uso e l'adozione tattica che strategica. La ricerca ha mostrato l'adozione dei servizi seguiti da risposte rapide nella valutazione e nel finanziamento. Spesso è bene ricordare che la seconda legge di Newton può essere applicata anche ad accelerare i cicli di adozione e la tua organizzazione può trovarsi rapidamente a gestire una minaccia che è cambiata da un giorno all'altro. Anche se il panorama può cambiare, l'adozione e le tendenze rapidi possono ancora essere utili come "previsione" in cui il "meteo genAI in arrivo" può essere usato per guidare la conversazione con i colleghi del settore e come lente per altri rapporti e ricerche sulle minacce.

 

Conclusion collegamento collegamento

La proliferazione delle tecnologie di intelligenza artificiale (IA), in particolare quelle guidate dall'IA generativa (genAI), ha avuto un impatto significativo sulla gestione del rischio nelle aziende. La GenAI, pur promettendo progressi in innovazione ed efficienza, introduce anche rischi sostanziali che le organizzazioni devono affrontare in modo proattivo.

GenAI, con la sua capacità di generare contenuti in modo autonomo, presenta sfide uniche. Le imprese devono riconoscere che i risultati generati dalla genAI possono involontariamente esporre informazioni sensibili, propagare disinformazione o addirittura introdurre contenuti dannosi. Pertanto, diventa fondamentale valutare e mitigare questi rischi in modo completo.

L'attenzione dovrebbe essere rivolta al rischio di dati derivante dall'uso delle app genAI, poiché i dati sono al centro dei sistemi genAI. Ecco alcuni passi tattici specifici per affrontare il rischio derivante dalla genAI:

  • Conosci il tuo stato attuale: inizia valutando la tua infrastruttura di intelligenza artificiale esistente, le pipeline di dati e le applicazioni genAI. Identificare vulnerabilità e lacune nei controlli di sicurezza.
  • Implementa i controlli fondamentali: Stabilisci misure di sicurezza fondamentali, come controlli di accesso, meccanismi di autenticazione e crittografia. Questi controlli fondamentali costituiscono la base per un ambiente di IA sicuro.
  • Pianifica controlli avanzati: Oltre alle basi, sviluppa una roadmap per controlli di sicurezza avanzati. Considera la modellazione delle minacce, il rilevamento delle anomalie e il monitoraggio continuo.
  • Misura, avvia, rivedi, itera: valuta regolarmente l'efficacia delle tue misure di sicurezza. Adattale e perfezionale basandosi su esperienze reali e minacce emergenti.

Quando si interagisce con fornitori di IA/genAI, le organizzazioni dovrebbero informarsi sulle loro misure di protezione dei dati, sui protocolli di crittografia e sulla conformità alle normative sulla privacy.
Le organizzazioni devono considerare questioni più ampie di gestione del rischio, incluse implicazioni legali, etiche e di responsabilità. Collabora con i team interni di gestione del rischio esistenti, inclusi stakeholder legali, di conformità e rischio, per rivedere il tuo quadro di gestione del rischio e adattarti alle aree di rischio di IA e genAI. Sfrutta il Framework di Gestione del Rischio IA del NIST[4] per guidare gli sforzi della tua organizzazione.

Infine, rimani informato sulle tendenze macro nell'IA e nella cybersecurity. Monitorare gli sviluppi nell'etica dell'IA, i cambiamenti normativi e gli attacchi avversari. Anticipando i punti critici emergenti e le aree di minaccia, le imprese possono adeguare proattivamente le proprie strategie di mitigazione del rischio.
In sintesi, le imprese devono navigare nel panorama in evoluzione del rischio legato all'IA combinando competenze tecniche, pianificazione strategica e vigilanza. genAI, pur essendo trasformativo, richiede un approccio robusto alla gestione del rischio per salvaguardare dati, reputazione e continuità aziendale.

 

References collegamento collegamento

[1] Le startup di intelligenza artificiale più promettenti del 2024, CB Insights https://www.cbinsights.com/research/report/artificial-intelligence-top-startups-2024/
[2] ChatGPT — Note di rilascio, OpenAI. https://help.openai.com/en/articles/6825453-chatgpt-release-notes
[3] Il capo della ricerca TECH Google dice 'non sempre troveremo' errori con i prodotti di IA e dobbiamo correre rischi ritirandoli, CNBC. https://www.cnbc.com/2024/06/13/google-wont-always-find-mistakes-in-ai-search-vp-reid-tells-staff.html
[4] Framework di Gestione del Rischio IA del NIST, NIST. https://www.nist.gov/itl/ai-risk-management-framework
[5] Gestione dei rischi di cybersecurity specifici per l'intelligenza artificiale nel settore dei servizi finanziari da Dipartimento del Tesoro degli Stati Uniti, marzo 2024. https://home.treasury.gov/system/files/136/Managing-Artificial-Intelligence-Specific-Cybersecurity-Risks-In-The-Financial-Services-Sector.pdf

 

Informazioni su questo rapporto collegamento collegamento

Netskope fornisce protezione dai dati e dalle minacce a milioni di utenti in tutto il mondo. Le informazioni presentate in questo rapporto si basano su dati di utilizzo resi anonimi raccolti dalla piattaforma Netskope Security Cloud in relazione a un sottoinsieme di clienti Netskope previa autorizzazione. Le statistiche contenute nel presente rapporto si basano sul periodo di tredici mesi dal 1° giugno 2023 al 30 giugno 2024.

Questo rapporto include milioni di utenti in centinaia di organizzazioni in tutto il mondo, operanti in diversi settori, tra cui servizi finanziari, sanità, produzione, telecomunicazioni e vendita al dettaglio. Le organizzazioni incluse in questo rapporto hanno ciascuna più di 1.000 utenti attivi.

 

Netskope Threat Labs

Composta dai massimi ricercatori del settore nel cloud e nel malware, Netskope Threat Labs scopre, analizza e progetta difese contro le più recenti minacce web, cloud e dati che colpiscono le imprese. I nostri ricercatori sono relatori e volontari regolari nelle principali conferenze sulla sicurezza, tra cui DEF CON, Black Hat e RSAC.