AIの可視化、ガバナンス、および保護は、現在のリスク状況を理解することから始まります。以下の表は、組織内で観察される違反の頻度に基づいて最も一般的でリスクをランク付けしたものです。このリストのトップは上流のデータポリシー違反で、かつてはアラートのほぼ100%を占めていましたが、他の種類の違反が増加するにつれて90%を下回っています。その対極にあるのが、悪意のあるコード違反（AIシステムが悪意のあるコードを返す場合）であり、その数は最も少ないものの、最も深刻な問題である。
以下のリストでは、これらのリスクそれぞれについて、方向性、意図、深刻度を含め、より詳細に検討します。
上流のデータポリシー違反
方向： 上流
インテントプロファイル： インサイダー/生産性/過失
重大度： 累積
上流のデータポリシー違反とは何ですか?
最もよくあるAIリスクは、ユーザーやエージェントが組織のデータ使うポリシーに違反してAIシステムにデータを送信しようとする場合であり、未承認のサービスに機密情報やソースコードを送ることが含まれます。 組織は通常、そのようなポリシーを使わずにユーザーをシャドウAIから回避し、承認されたAIサービスへ誘導し、使うケースを適切なサービスへ誘導します。 例えば、一部のAIサービスはコーディングや開発作業のみに許可されている一方で、他のサービスは文書やスプレッドシートの機密データの処理のみに許可されています。データポリシー違反は主に、生産性向上を目指しながらも組織のポリシーを知らずに怠慢に行っている信頼できる内部者から発生します。 ここでのリスクの重大さは累積的であり、機密データの継続的な第三者への露出はコンプライアンスや規制責任を引き起こす可能性があります。
下流のデータポリシー違反
方向： 下流
インテントプロファイル： インサイダー/生産性/過失
重大度： 低/中程度
下流のデータポリシー違反とは何ですか?
下流データポリシー違反は、AIサービスが組織のポリシーでユーザーやエージェントへのアクセスを禁止しているデータを返送したときに発生します。 このような違反は、組織 使う MCP、検索拡張生成(RAG)、または独自データ上で訓練されたカスタマイズモデルで発生します。 このようなケースでは、AIアプリがユーザーやエージェントがアクセス権限のない接続されたシステムから機密データを返すことがあります。 もう一つよくある例として、下流データポリシー違反の例としては、組織がアプリを承認しながら使うを特定の使うケースに限定する場合があります。 例えば、ユーザーやエージェントは使うを汎用チャットボットとして使うすることは許可されるが、ソースコードの生成は許可されないかもしれません。 アプリから返されるソースコードはすべて、ダウンストリーム違反として分類されます。上流違反と同様に、下流違反の主な意図プロファイルは生産性向上を動機とする信頼できる内部者であり、リスクの重度はデータの種類やアクセス範囲によって異なります。
コンテンツフィルタリング
方向： 双方向
インテントプロファイル： 内部関係者／行動
重大度： Low
AIリスクの観点から見たコンテンツフィルタリングとは何でしょうか？
コンテンツフィルタリング違反は双方向であり、ユーザーやエージェントが組織のポリシーで不適切とみなされるコンテンツを含むAIシステムにプロンプトを送ったり、応答を受けた場合に発生します。 これらの違反は、セキュアウェブゲートウェイ(SWG)によるURLフィルタリング違反に似ています。組織がウェブ上の性的または暴力的なコンテンツをブロックするのと同様に、AIアプリによる返送も同様にブロックします。コンテンツフィルタリング違反は、組織のネットワークやデータ資産への脅威が最小限であるため、軽度です。むしろ、それらは主に人事、法令遵守、あるいは企業文化の整合性に関する問題である。
迅速な注入と脱獄
方向： 双方向
インテントプロファイル： 敵対的／回避的
重大度： Critical
即時注射とは何ですか？脱獄（ジェイルブレイク）とは何ですか？
即時インジェクションおよびジェイルブレイク違反は、ユーザーまたはエージェントがガードレールを回避したり、基盤となるシステム命令を覆したり、あるいは何らかの制限されたアクションをAIシステムに強制的に実行させようとした場合に発生します。こうした違反行為は、内部関係者または外部の敵対者による意図的な敵対行為または回避行為に起因する。多くのケースでは、これらは間接的なプロンプトインジェクション攻撃であり、攻撃者がAIシステムがアクセスした外部データソースに悪意のある命令を埋め込む仕組みです。 悪用が成功するとモデルの制御プレーンが侵害され、接続されているバックエンドサービス全体で連鎖的な実行パスが引き起こされる可能性があるため、その深刻度は極めて高い。
機密データの要求
方向： 上流
インテントプロファイル： 敵対的／偵察／情報収集
重大度： High
AIリスクの文脈で機密データの要求とは何でしょうか?
機密データの要求は、ユーザーやエージェントが意図的に制御を回避してアクセスしようとする兆候を示す上流違反です。このような違反の重大度は、異なる意図プロファイルのために、一般的に下流のデータポリシー違反よりも高くなります。下流のデータポリシー違反は、ユーザーがアクセス権限のないデータにアクセスしているため、意図的な促しなしに発生することがあります。これに対し、機密データの要求は、そのデータへのアクセスを意図していることを示します。機密データの要求と下流のデータ違反が組み合わさると、依頼者が成功していることを示す重大なリスクが示唆されます。
海賊行為と著作権
方向： 下流
インテントプロファイル： コンプライアンス/偶発的
重大度： Low
AIに関連する著作権リスクとは何ですか？
著作権侵害および海賊行為は、AIアプリケーションが有効な第三者のライセンスや許可の帰属表示なしに、保護された、著作権で保護された、または商標登録された素材を返す場合に発生する、下流における違反行為である。このような資料は、不適切に使うと組織に法的および経済的なリスクをもたらします。 それでも、組織のネットワークやデータ資産に対する脅威は最小限であり、したがってリスクは低いと考えられています。
悪意のあるコード
方向： 下流
インテントプロファイル： 敵対的／兵器化
重大度： Critical
AIの文脈における悪意のあるコードとは何ですか？
悪意のあるコード違反とは、AIアプリケーションが応答として悪意のあるコードを返す場合に発生する。悪意のあるコードとは、ユーザーやエージェントが直接実行する可能性のあるシェルコマンド、あるいはより広範なコードベースに組み込まれた悪意のあるコード断片などである可能性がある。急速に普及しつつある自律型コーディングエージェントは、人間よりもはるかに速くコードを生成し、AIが生成したコードやコマンドを自律的に実行するため、このリスクを増幅させる。AIアプリは、間接的なプロンプトの挿入、トロイの木馬化されたAIツールやモデル、あるいは自然発生的な原因によって、悪意のあるコードを返す可能性があります。脆弱なデータに対する訓練の結果として、有機的な悪意のあるコードが返されることがあります。 発生的なずれあるいは幻覚。悪意のあるコードの実行が成功すると、広範囲にわたるシステム侵害につながる可能性があるため、その深刻度は極めて高い。悪意のあるコード違反と、迅速なインジェクションおよびジェイルブレイク違反が組み合わさることで、意図が明らかになり、成功の可能性が示唆される。
