KI-Sichtbarkeit, Governance und Schutz beginnen mit dem Verständnis der aktuellen Risikolandschaft. Das untenstehende Diagramm listet die häufigsten Risiken nach der Häufigkeit der innerhalb von Organisationen beobachteten Verstöße auf. Ganz oben auf dieser Liste stehen Upstream-Datenrichtlinien, die früher fast 100 % der Warnungen ausmachten, aber durch andere Arten von Verstößen unter 90 % gefallen sind. Am anderen Ende des Spektrums stehen Verstöße gegen bösartigen Code (bei denen ein KI-System bösartigen Code zurückgibt), die zwar am wenigsten, aber auch am schwerwiegendsten sind.

In der folgenden Liste untersuchen wir jedes dieser Risiken ausführlicher, einschließlich Richtung, Absicht und Schwere der Risiken.
Verstöße gegen Upstream-Datenrichtlinien
Regie: Flussaufwärts
Absichtsprofil: Insider/Produktivität/Fahrlässigkeit
Schweregrad: Kumulativ
Was ist ein Verstoß gegen die Upstream-Datenrichtlinie?
Das häufigste KI-Risiko besteht darin, dass ein Nutzer oder Agent versucht, Daten an ein KI-System zu senden, was gegen die Datennutzungsrichtlinien der Organisation verstößt, einschließlich der Übermittlung vertraulicher Informationen oder Quellcodes an nicht genehmigte Dienste. Organisationen nutzen solche Richtlinien typischerweise, um ihre Nutzer von Schatten-KI abzulenken und zu zugelassenen KI-Diensten zu führen sowie Anwendungsfälle zu den passenden Diensten zu führen. Beispielsweise sind einige KI-Dienste nur für Codierungs- und Entwicklungsaufgaben autorisiert, während andere ausschließlich zur Verarbeitung sensibler Daten in Dokumenten und Tabellenkalkulationen zugelassen sind. Verstöße gegen Datenrichtlinien stammen hauptsächlich von vertrauenswürdigen Insidern, die ihre Produktivität steigern wollen, dies aber fahrlässig tun (ohne Kenntnis der organisatorischen Richtlinien). Das Risiko ist hier kumulativ, da eine konstante Exponierung sensibler Daten gegenüber Dritten zu einer Compliance- oder regulatorischen Haftung führen kann.
Verstoß gegen nachgelagerte Datenrichtlinien
Regie: Flussabwärts
Absichtsprofil: Insider/Produktivität/Fahrlässigkeit
Schweregrad: Niedrig/mäßig
Was ist ein Verstoß gegen die nachgelagerte Datenrichtlinie?
Verstöße gegen nachgelagerte Datenrichtlinien treten auf, wenn ein KI-Dienst Daten zurückgibt, auf die organisatorische Richtlinien dem Nutzer oder Agenten den Zugriff verbieten. Solche Verstöße treten auf, wenn eine Organisation MCP, retrieval-augmented generation (RAG) oder angepasste Modelle verwendet, die auf proprietären Daten trainiert wurden. In diesen Fällen kann eine KI-App sensible Daten von einem angeschlossenen System zurückgeben, auf die der Nutzer oder Agent keinen Zugriff hat. Ein weiteres weniger häufiges Beispiel für einen Verletzung der Downstream-Datenrichtlinien tritt auf, wenn eine Organisation eine App autorisiert, aber deren Nutzung auf einen bestimmten Anwendungsfall beschränkt. Zum Beispiel dürfen Nutzer und Agenten die App als allgemeinen Chatbot nutzen, aber keinen Quellcode generieren. Jeder von der App zurückgegebene Quellcode würde als nachgelagerter Verstoß eingestuft werden. Wie bei Upstream-Verstößen ist das primäre Absichtsprofil für Downstream-Verstöße ein vertrauenswürdiger Insider, der durch Produktivitätsgewinn motiviert ist, und die Schwere des Risikos hängt von der Art der Daten und der Breite des Zugangs ab.
Inhaltsfilterung
Regie: Bidirektional
Absichtsprofil: Insider/Verhalten
Schweregrad: Niedrig
Was ist Inhaltsfilterung im Kontext von KI-Risiken?
Verstöße gegen die Inhaltsfilterung sind bidirektional und treten auf, wenn ein Nutzer oder Agent einen Prompt an ein KI-System schickt oder eine Antwort von ihm erhält, das Inhalte enthält, die nach organisatorischen Richtlinien als unangemessen angesehen werden. Diese Arten von Verstößen ähneln URL-Filterverstößen von einem Secure Web Gateway (SWG): So wie Organisationen sexuelle oder gewalttätige Inhalte im Web blockieren, blockieren sie diese Inhalte typischerweise auch von KI-Apps zurückzusenden. Verstöße gegen Inhaltsfilterung sind gering schwerwiegend, da sie eine minimale Bedrohung für das Netzwerk oder die Datenressourcen der Organisation darstellen. Stattdessen geht es in erster Linie um HR, rechtliche Compliance oder kulturelle Abstimmungsfragen.
Prompt Injection und Jailbreak
Regie: Bidirektional
Absichtsprofil: Adversarial/Ausweichen
Schweregrad: Critical
Was ist eine prompte Injektion? Was ist Jailbreaking?
Prompt Injection- und Jailbreaking-Verstöße treten auf, wenn ein Nutzer oder Agent versucht, Leitplanken zu umgehen, zugrundeliegende Systemanweisungen zu umgehen oder ein KI-System zu einer eingeschränkten Aktion zu zwingen. Solche Verstöße resultieren aus absichtlichen, gegnerischen oder ausweichenden Handlungen eines Insiders oder eines externen Gegners. In vielen Fällen handelt es sich dabei um indirekte Prompt-Injection-Angriffe, bei denen ein Angreifer bösartige Anweisungen in externe Datenquellen einbettet, auf die ein KI-System zugegriffen wird. Die Schwere ist entscheidend, da eine erfolgreiche Ausnutzung die Modellkontrollebene unterwandert und potenziell kaskadierende Ausführungspfade über verbundene Backend-Dienste auslöst.
Anfragen nach sensiblen Daten
Regie: Flussaufwärts
Absichtsprofil: Gegnerisch/Aufklärung/Ernte
Schweregrad: High
Was sind Anfragen nach sensiblen Daten im Kontext von KI-Risiken?
Anfragen nach sensiblen Daten sind Upstream-Verstöße, die auftreten, wenn ein Nutzer oder Agent Anzeichen zeigt, absichtlich zu versuchen, Kontrollen zu umgehen, um darauf zuzugreifen. Die Schwere einer solchen Verletzung ist in der Regel höher als die eines nachgelagerten Datenrichtlinienverstoßes aufgrund eines anderen Absichtsprofils. Ein nachgelagerter Datenverstoß kann ohne absichtliche Aufforderung auftreten, einfach weil das System Zugriff auf Daten hat, auf die der Nutzer keinen Zugriff hat. Im Gegensatz dazu deuten Anfragen nach sensiblen Daten darauf hin, dass der Anforderer beabsichtigt, auf diese Daten zuzugreifen. Anfragen nach sensiblen Daten, kombiniert mit nachgelagerten Datenverletzungen, deuten auf ein kritisches Risiko hin, da sie darauf hindeuten, dass der Anforderer mit seinen Bemühungen Erfolg hat.
Piraterie und Urheberrecht
Regie: Flussabwärts
Absichtsprofil: Compliance/Unfall
Schweregrad: Niedrig
Welche urheberrechtlichen Risiken sind mit KI verbunden?
Eine Piraterie- und Urheberrechtsverletzung ist eine nachgelagerte Verletzung, die eintritt, wenn eine KI-Anwendung geschütztes, urheberrechtlich geschütztes oder markenrechtlich geschütztes Material ohne gültige Lizenzierung Dritter oder eine Genehmigung zurückgibt. Solches Material stellt ein rechtliches und finanzielles Risiko für die Organisation dar, wenn es unsachgemäß verwendet wird. Dennoch stellt es eine minimale Bedrohung für das Netzwerk oder die Datenressourcen der Organisation dar und gilt daher als geringes Risiko.
Bösartiger Code
Regie: Flussabwärts
Absichtsprofil: Adversarial/Waffennutzung
Schweregrad: Critical
Was ist bösartiger Code im KI-Kontext?
Ein Verstoß gegen bösartigen Code tritt auf, wenn eine KI-Anwendung in ihrer Antwort bösartigen Code zurücksendet. Der bösartige Code kann Shell-Befehle sein, die der Nutzer oder Agent direkt ausführen könnte, oder ein Schnipsel von bösartigem Code, der in eine breitere Codebasis integriert wird. Autonome Coding-Agenten, die schnell an Beliebtheit gewinnen, verstärken dieses Risiko, da sie Code viel schneller als Menschen generieren und autonom KI-generierten Code und Befehle ausführen. Eine KI-App könnte durch eine indirekte Prompt-Injektion, trojanisierte KI-Tools oder -Modelle oder sogar organisch bösartigen Code zurücksenden. Organischer bösartiger Code könnte als Ergebnis von Schulungen auf verwundbaren Daten zurückgegeben werden, Emergente Fehlausrichtung, oder Halluzinationen. Die Schwere ist entscheidend, da eine erfolgreiche Ausführung von bösartigem Code zu weit verbreiteten Systemkompromittierungen führen kann. Verstöße gegen bösartigen Code in Verbindung mit Prompt Injection- und Jailbreak-Verstößen zeigen Absicht und deuten auf möglichen Erfolg hin.