企業における AI アプリ: 2024 年

genAIアプリのリスクの出発点は、アプリケーション自体です。 実際には、アプリケーション制御は、そのリスクを制御するための出発点でもあり、通常はインラインSWGまたはプロキシ内の許可リストまたはブロックリストとして実装されます。

ほとんどの組織は、データを保護するために genAI アプリの使用を制限しており、2024 年 6 月時点で 77% の組織が少なくとも 1 つの genAI アプリをブロックしています。これは、2023 年 6 月の 53% の組織から 45% 増加しています。

この傾向は、genAIアプリケーションの使用に関する基本的な制御が十分に成熟し、採用されていることを示しています。 組織内で使用されるアプリを制御することは、リスクを軽減するための必須の出発点です。 ただし、効果を発揮するには、より詳細な制御が必要になります。 多くの場合、アプリケーションの特定の使用によって、アクティビティを許可するかどうかが決まります。 例えば、ChatGPTでの一般的な検索は許可されるべきですが、ソースコードの提出は許可されるべきではありません。

ブロックされたアプリケーションをさらに詳しく見ると、組織内のすべてのユーザーに対してブロックされたアプリケーションの数の中央値も、2023 年 6 月の 0.6 個から 2024 年 6 月の 2.6 個以上に増加しています。 市場に出回っている何百もの genAI アプリと比較して、genAI アプリに対する組織全体の禁止が非常に少ないことは、他のより微妙な制御が普及していることを示しています。これについては、このレポートの後半で詳しく説明します。

最もブロックされたgenAIアプリケーションは、人気にある程度の影響を与えていますが、あまり人気のないアプリもかなり多くブロックされています。 genAI アプリをブロックしている組織のうち、28% が Beautifal.ai (最も頻繁にブロックされる genAI アプリ) をブロックし、19% が Perplexity AI (10 番目に頻繁にブロックされるアプリ) をブロックしています。 新しいアプリが正当なビジネス目的を果たしているかどうか、特定のユースケースに対して安全であるかどうかを判断するために評価されるため、ブロックは一時的な措置となることがよくあります。

ブロックされる具体的なアプリケーションは組織のポリシーによって異なりますが、上記のトップ 10 リストのように割合が十分に高い場合は、すべての組織が、特定のアプリケーションが自社の環境内で使用されているかどうか、またアプリケーションのカテゴリに関する制御を調整するかどうかを検討する価値があります。 次の表は、genAI 空間におけるさまざまなユースケースで最も多くブロックされているアプリを示しています。

最もブロックされたGenAIアプリのカテゴリー

組織が許可されたアプリケーションのリストを超えて成熟するにつれて、許可されたアプリケーションの使用に関してよりきめ細かい制御を実施する傾向があります。 当然のことながら、DLPコントロールはGenAIデータリスクコントロールとして人気が高まっています。 データ損失防止の人気は、2023 年 6 月の 24% から、2024 年 6 月には DLP を使用して genAI アプリに送信されるデータの種類を制御する組織の 42% 以上にまで増加し、前年比で 75% 以上増加しています。

DLP コントロールの増加は、genAI アプリの使用が増加するというより広範な傾向の中で、データ リスクを効果的に軽減する方法を組織全体で理解していることを反映しています。 DLP ポリシーでは、組織は特定のデータ フローを制御し、特に機密情報や秘密情報を含む genAI プロンプトをブロックすることを目指しています。 データ保護ポリシーを持つ組織では、ソース コードがすべての DLP 違反のほぼ半分 (46%) を占め、業界規制やコンプライアンス要件によって規制されたデータが 35%、知的財産が 15% を占めています。 規制対象データは、GenAI以前の違反領域のトップであり、規制対象データの不適切な共有に関するユーザーの手動トレーニングの課題を強化しています。

機密データを genAI アプリに投稿することは、組織間の現在の優先順位を反映するだけでなく、さまざまな genAI アプリの有用性も示します。 たとえば、GitHub Copilot の人気と、ソフトウェア開発プラットフォームとしての Microsoft の市場シェアが相まって、将来的にはコード生成における genAI の使用が増える可能性があります。

明らかに悪意のあるアプリケーションやアクティビティは、ブロックしてアラートを生成するコントロールによって適切に処理されますが、データリスクは多くの場合、グレーゾーンです。 コーチングコントロールは、特にgenAIのような動きの速い初期のテクノロジーサイクルにおいて、グレーゾーンに対処するための非常に効果的な手法です。 さらに、組織はコーチングを使用して、誤検知や承認プロセスの遅延によって生産性を低下させることなく、セキュリティ制御を通知および改善することができます。

コーチングコントロールは、genAIアプリの操作中にユーザーに警告ダイアログを提供し、ユーザーがアクションをキャンセルまたは続行できるようにします。 ブラウザに組み込まれた安全なブラウジング機能のように機能します。 利点は、ユーザーの作業をブロックするのではなく、ユーザーに通知し、ユーザーの行動を改善することができるように、ユーザーにとってより親しみやすいエクスペリエンスを提供することです。

genAI アプリケーションの使用を制御するポリシーを持つ組織では、2023 年 6 月の 20% の組織と比較して、2024 年 6 月時点で 31% の組織がコーチング ダイアログを使用しており、導入率は 50% 以上増加しています。

これは、他のセキュリティ ドメインからの同様のコーチング制御を genAI アプリ リスクなどの新しいドメインに適用する組織の高度化が進んでいることと一致しています。 成長は鈍化していますが、コーチング制御は、DLP またはアプリケーションに基づく完全なブロックやアラートと比較すると比較的新しいものです。 コーチングを活用してデータに関連するよりグレーなリスクを管理する方法を理解する組織が増えるにつれて、コーチングの採用は拡大し続けると予想されます。

コーチングダイアログアラートに対する実際のユーザーの反応を分解すると、有効性の尺度がわかります。 genAI アプリのコーチング ダイアログ アラートを受け取ったすべてのユーザーのうち、57% のケースで、ユーザーは実行中のアクションを停止することを選択しました。これにより、ユーザーは genAI アプリのプロンプトで機密データを送信したり、不明または新しい genAI アプリの使用を避けたりすることでリスクが軽減されました。 57% という数字は、コーチングが明示的なアプリケーション ブロックと DLP ポリシーを補完する効果的なコントロールとなり得ることを裏付けるのに十分な高さです。 さらに、コーチングはフィードバックも可能にします。 続行することを決定すると、ほとんどの組織では、コーチングのやり取り中にユーザーが自分の行動を正当化することを要求するポリシーを導入します。

これは、ユーザーの意思決定がセキュリティ ポリシーの基礎となることを示唆するものではありません。 むしろ、コーチングを活用している組織では、完全にブロックされていない genAI アプリの使用の約半分が、ユーザーの決定によってさらに削減される可能性があることを示しています。 同様に重要なのは、コーチング ダイアログに対するユーザーの決定が、セキュリティ ポリシーのレビューと調整に反映される可能性があることです。 ユーザーの決定には誤りがあり、リスクが伴う可能性がありますが、この 2 つの分類は、さらなるレビューの基礎を形成します。 ユーザーがコーチングダイアログに基づいて使用しないことを決定したアプリケーションは、完全なブロックリストについて分析する必要があります。 ユーザーが使用を決定したアプリケーションは、許可された企業標準リストに掲載するためにレビューするか、より優れたアプリやより受け入れやすいアプリがある場合はブロックする必要があります。 コーチング プロンプトに対するユーザーの応答は、DLP ポリシーなどのより微妙なポリシーを調整して、適用対象をより絞り込むためにも使用できます。

行動検出エンジンによって検出されたデータ移動に関して、疑わしいユーザー行動の高度な検出の初期の兆候が見られます。 疑わしいデータの移動は、多くの場合、ユーザーまたは組織の通常のアクティビティ ベースラインに関して、ユーザーによる疑わしいまたは予期しない動作の複数の指標で構成されます。 指標には、異常なダウンロードまたはアップロード アクティビティ、新しい genAI アプリなどのデータの新しいまたは疑わしいソースまたはターゲット、予期しないまたは難読化された IP アドレスやユーザー エージェントの使用などのその他の疑わしい動作が含まれる場合があります。

疑わしいデータ移動に対して検出された高度な動作アラートの一例としては、組織が管理するアプリケーションからデータが移動され、承認されていない個人の genAI アプリにアップロードされるケースが挙げられます。

コーチングと同様に、これらのアラートに表示されるアプリのリストを使用して、genAI アプリケーションの使用に関する制御作業に優先順位を付けることもできます。 たとえば、よく使用される 2 つのアプリが機能的に重複している場合があり、それだけでアプリの数を減らすための取り組みが優先される可能性があります。

行動アラートの使用は、従来は認証情報の侵害、内部脅威、横方向の移動、悪意のある行為者によるデータ流出活動など、検出が困難な脅威を組織が早期に認識し、採用していることを示しています。

機密データの動きを詳しく見てみると、機密データの発生源となった上位のアプリケーションは、OneDrive(34%)、Google Drive(29%)がトップ、次いでSharePoint(21%)、Outlook(8%)、Gmail(6%)と、企業のクラウドアプリの人気を反映していることがわかります。

上位 3 つのアプリはすべてクラウド ストレージおよびコラボレーション アプリであり、84% の確率で機密データのソースとなっていました。一方、主要な電子メール クラウド アプリは 14% の確率でソースとなっていました。 機密データの移動にどの特定のアプリケーションが頻繁に関与しているかを把握することで、セキュリティチームは、ファイル共有アプリケーションの周囲に追加のDLP制御を配置するなど、制御を適切に調整できます。 組織は、アプリ間のデータ移動、特に管理対象アプリから管理対象外の genAI アプリへの移行に関するセキュリティ リスク評価と制御の実装を優先する必要があります。これは、このような移動が一般的になりつつあり、大きなデータ損失の影響をもたらす可能性があるためです。