0:00:01 Max Havey: Hallo und herzlich willkommen zu einer weiteren Ausgabe von Security Visionaries, einem Podcast rund um die Welt der Cyberdaten und der technologischen Infrastruktur, der Experten aus aller Welt und aus verschiedenen Bereichen zusammenbringt. Ich bin Ihr Gastgeber, Max Havey, und heute werden wir unser Bestes geben, um den Hype von der Realität zu trennen, wenn es um KI-Bedrohungen und Cyberspionage geht. Und ich habe zwei wirklich tolle Gäste, die beide sehr viel zu diesem Thema zu sagen haben. Als Erstes haben wir Ray Canzanese, Leiter der Netskope Threat Labs. Ray, willkommen zurück in der Sendung.
0:00:29 Ray Canzanese: Hey, danke für die Einladung, Max. Es ist schon eine Weile her.
0:00:32 Max Havey: Das hat es. Das hat es. Es ist vielleicht schon ein paar Jahre her, daher freue ich mich sehr, dass du wieder im Podcast dabei bist. Und als Zweites hier, das wir kürzlich in unserer Hackers-Folge gesehen haben, haben wir Neil Thacker, den globalen Datenschutzbeauftragten von Netskope, zu Gast. Willkommen zurück, Neil.
0:00:45 Neil Thacker: Danke, Max. Danke, dass Sie mich beim letzten Mal in den Neunzigern wieder eingeladen haben. Wir sind zurück in den 2020er Jahren.
0:00:51 Max Havey: Ich habe Sie in die Gegenwart gebracht. Diesmal werden wir uns aber mit der Zukunft beschäftigen. Eindrucksvoll. In letzter Zeit gab es viele Diskussionen über KI-gestützte Bedrohungen im Bereich der Cyberspionage. Besonders hervorzuheben ist ein Bericht von Anthropic über die erste jemals gemeldete KI-gesteuerte Cyber-Spionagekampagne, bei der es nach Ansicht einiger Kritiker an einigen wichtigen Beweisen mangelt. Bevor wir uns damit näher befassen, möchte ich jedoch erwähnen, dass sowohl Ray als auch Neil bereits einige Gedanken zu KI-gestützten Bedrohungen in der Zukunft von Phishing-Angriffen und Datenlecks im Agrarsektor mit Blick auf das Jahr 2026 geäußert haben. Fangen wir also dort an. Neil, könntest du uns deine jüngste Prognose erläutern, wonach 2026 wahrscheinlich das erste Jahr sein wird, in dem wir einen von einer automatisierten KI gesteuerten Datendiebstahl erleben?
0:01:35 Neil Thacker: Ja, sicher. Ich meine, ich bin etwas verärgert, Anthropic, ich habe das schon 2025 hervorgehoben. Ich habe das Jahr 2026 vorhergesagt. Der Grund dafür ist jedoch, dass ich das Gefühl habe, wir hätten in Bezug auf KI innerhalb der Cybersicherheit einen Wendepunkt erreicht. Wir sehen sehr viele Organisationen, die offensichtlich KI-Technologien entwickeln und einsetzen, um ihre bestehenden Fähigkeiten in diesem Bereich zu verbessern, aber sie nutzen sie auch für defensive Fähigkeiten. Es ist also natürlich klar, dass wir im Jahr 2026 hier einen offensiven Spielstil sehen werden, und das ist nichts New. Wir verfügen seit vielen Jahren über Technologien und Werkzeuge, die Angreifer für ihre Angriffe nutzen, und diese werden natürlich immer ausgefeilter. Für mich bedeutete das, einen Blick auf die Entwicklung zu werfen, in die wir uns bewegen, und zu erkennen: Nun, das wird bald passieren, und wenn nicht im Jahr 2025, dann im Jahr 2026. Aber wir sehen das: Viele Organisationen bereiten sich auf dieses Wettrüsten im Bereich KI, Verteidigung und Angriff vor und rüsten sich im Grunde für genau dieses Ergebnis.
0:02:40 Max Havey: Sicher. Und Ray, ich weiß, dass dein Team dazu auch eine Reihe von Vorhersagen erstellt hat. Wie reagieren Sie darauf, und gibt es irgendwelche Prognosen aus Ihrem Team, die Sie im Hinblick auf diese wachsende Altersproblematik erwähnen möchten?
0:02:53 Ray Canzanese: Ja, ich denke, ähnlich wie Neil hatten wir Prognosen für beide Seiten, richtig? Auf der einen Seite nutzen Angreifer die Technologie, um Angriffe zu verstärken oder um Angriffe zu optimieren. Und das Risiko dabei ist erstens, dass es etwas schneller und einfacher wird, einen Angriff zu entwickeln. Und zweitens ist es in bestimmten Dingen wirklich gut. Wenn ich ein gefälschtes Video von dir, Max, machen wollte, in dem du versuchst, jemanden dazu zu bringen, sein Passwort oder etwas anderes preiszugeben, wäre das mit der heutigen Technologie ziemlich einfach. Wir gehen daher davon aus, dass es zu einem Anstieg von Social Engineering und Phishing kommen wird. Und auf der anderen Seite steigt das Risiko von Sicherheitsverletzungen auch dort, wenn Organisationen vermehrt auf diese Technologien setzen und dabei möglicherweise nicht die bewährten Verfahren befolgen oder wenn neue Risiken entstehen, an die niemand wirklich gedacht hat. Wenn wir also über KI-Sicherheit sprechen, geht es nicht nur darum, sie vor Hackern
schützen, sondern auch darum, sie sicher und verantwortungsvoll
. 0:04:05 Max Havey: Das ist in gewisser Weise ein zweischneidiges Schwert. Es geht um den Schutzaspekt, aber auch darum, dies zu nutzen und den Leuten zu ermöglichen, es auf eine sichere Weise zu verwenden, ohne dabei versehentlich Daten preiszugeben. Vor diesem Hintergrund und zurück zum philanthropischen Bericht: Warum fehlten Ihrer Meinung nach so viele der üblichen und nützlichen Daten, die solche Berichte normalerweise enthalten und die es anderen ermöglichen, daraus zu lernen, wenn es um ein so bedeutendes Ereignis geht – den ersten KI-gestützten Cyber-Spionagefall dieser Art?
0:04:39 Ray Canzanese: Ich denke, die kurze Antwort ist, dass man für das Marketing keine weiteren Details benötigt. Beim Marketing muss man darüber sprechen, wie leistungsstark das Produkt ist und wie verantwortungsvoll man mit dieser Macht umgeht. Aus Marketingsicht macht es also Sinn. Wenn also so etwas passiert und man dadurch tatsächlich einen Angriff unterbricht, macht das Sinn. Das würde man am liebsten sofort veröffentlichen. Das wird jedem, der für Sie arbeitet, ein gutes Gefühl geben, und es werden viele Leute Podcasts darüber machen – richtig gutes Marketing, vielleicht sogar etwas zynischer. Ich denke, wenn man als Pionier in einem Bereich tätig ist, in dem man eine wirklich beeindruckende Technologie entwickelt hat, und man herumgeht und sagt: „Hey, was wir hier gebaut haben, ist wirklich gefährlich, deshalb solltet ihr anderen Leuten nicht erlauben, das zu bauen, was wir gebaut haben, weil ihr ihnen das nicht anvertrauen würdet, aber ihr könnt uns vertrauen, weil ihr sehen könnt, dass wir hier das Richtige tun“, dann ist das schon etwas anderes. Das ist also eine etwas zynischere Aussage, die besagt
dass es vielleicht mehr als nur Marketing ist, sondern auch kluge Geschäftstüchtigkeit, nämlich darüber zu sprechen
wie mehr Unternehmen das Gleiche tun dürfen sollten. 0:05:51 Max Havey: Sicher. Nun ja, und ich meine, das ist ja das Interessante daran: Es gibt so viel Potenzial im Bereich der KI, und sie wurde von vielen Leuten immer als eine Art Blackbox angesehen, insbesondere von denen, die etwas zögerlicher sind, sich kopfüber damit auseinanderzusetzen. Habt ihr eine Ahnung, wie zutreffend diese Behauptung ist? Es ist gut fürs Marketing, es zeigt gut, wie leistungsstark diese Technologie sein kann, aber wie zuverlässig halten wir das als tatsächlichen Angriff oder Ähnliches?
0:06:25 Neil Thacker: Ja, ich meine, es war nicht unbedingt einzigartig. Ich meine, wenn man sich die Art des Angriffs ansieht, dann war es genau das gleiche Muster, dem viele Angreifer seit Jahren folgen. Es ist also nichts Neues. Das ist nichts Besonderes. Ich denke also, dass aus der Weitergabe dieser Information hervorgeht, dass dies offensichtlich passiert ist, aber dass es aus der Art des Angriffs ohnehin nichts Besonderes zu lernen gibt. Ich denke, das Spannende, das Einzigartige daran ist, dass dies vollständig von einem KI-Agenten orchestriert wurde. Es ist also gut von den Menschen gelernt, nach diesen Prinzipien zu handeln. Und wenn man sich das hier ansieht, folgt es einem sehr ähnlichen Muster. Es führte die Aufklärung durch, kartierte die Angriffsfläche, suchte nach Schwachstellen, sammelte Anmeldeinformationen und ging dann zur letzten Phase der Datenerfassung über. Wir folgen also seit Jahren demselben Muster.
0:07:17 Neil Thacker: Ich meine, das wirklich Spannende wäre, wenn man einen New Weg gefunden hätte, dies ohne so viele Schritte zu tun, aber so weit sind wir in Bezug auf das Lernen daraus noch nicht. Ja, so sehe ich das im Großen und Ganzen. Ich glaube nach wie vor, dass dies geschehen ist. Ich denke, um auf Rays Aussage zurückzukommen, ging es darum, ob sie uns New Informationen gegeben haben. Nein, es war wieder einmal ein hervorragender Artikel, eine großartige Geschichte, die erzählt werden wollte, und Geschichten erzählen ist im Übrigen immer gut. Die Menschen lieben Geschichten und lernen diese Dinge gern durch Geschichten kennen, aber es fehlen noch einige technische Details, aber ich denke, die werden bald kommen. Wir werden mehr Angriffe dieser Art sehen und es werden auch mehr Informationen darüber ausgetauscht werden, warum diese Angriffe möglicherweise einzigartig sind und wie sie dazulernen. Ich erinnere mich auch an das Jahr 2016, als wir dies auf der Defcon im Rahmen der Cyber Grand Challenge beobachten konnten, wo vollautonome Maschinen in einem Capture-the-Flag-Spiel gegen andere Maschinen kämpften. Und das war großartig, denn während sie Sicherheitslücken aufspürten und Exploits starteten, lernten sie auch dazu. Darauf müssen wir vorbereitet sein. Das war übrigens vor 10 Jahren, wir haben also schon vor 10 Jahren gesehen, dass die Theorie möglich ist. Wir treten nun in ein Zeitalter ein, in dem solche Dinge immer häufiger vorkommen werden.
0:08:31 Ray Canzanese: Und ich denke, das ist ein guter Punkt, Neil, nämlich dass wir absolut davon überzeugt sind, dass sie etwas entdeckt haben, und ich denke, einer der Gründe dafür ist, dass viele von uns, die im Bereich Cybersicherheit arbeiten, diese Tools genau für solche Aufgaben aus der Perspektive eines Red Teams verwendet haben. Wir wissen schon seit einiger Zeit, dass dies möglich ist. So kam es natürlich immer häufiger vor, dass so etwas passierte, und in diesem Fall scheint es, als hätten sie jemanden dabei erwischt und vermuteten, dass er es in böser Absicht tat. Rechts. War es eine chinesische PT-Gruppe? Ich weiß nicht. Rechts. Dafür wurden keine Beweise vorgelegt, aber ist es passiert? Mit ziemlicher Sicherheit ja, es ist passiert. Rechts. Die Fragen beziehen sich also eher auf die Details als auf das Konzept selbst und darauf, ob der Missbrauch aufgedeckt und gestoppt wurde.
0:09:20 Max Havey: Falls zukünftig ähnliche Angriffe gemeldet werden, welche wichtigen Details würden Sie in einem solchen Bericht sehen wollen, damit man daraus für die Zukunft lernen kann?
0:09:34 Neil Thacker: Ja, ich würde mir die technischen Details ansehen, also wie der Angriff ablief, ob er erfolgreich war, was das Ziel war, welche Sicherheitslücke ausgenutzt wurde usw. Eine Sache, die mir an dem Bericht wirklich gut gefallen hat, war die Verwendung New Begriffe, von denen ich nicht wusste, dass sie in der Vergangenheit schon einmal verwendet wurden, aber auf die Geschwindigkeit der Ausnutzung, meinen New Lieblingsausdruck, das operative Tempo des Angriffs, wurde ein besonderer Fokus gelegt. Es war klar, dass sie durch ihre Forschung herausfanden, dass dies für einen Menschen nicht möglich sei, weshalb es sich um einen KI-Agenten handeln müsse. Also nochmals: Geschwindigkeit, Schnelligkeit, Ausnutzung, die Fähigkeit, zusätzliche Arten von Schwachstellenscans zu nutzen und all diese Dinge. Das wäre also in etwa das, worauf ich achten würde. Außerdem gibt es in Zukunft – ich denke, worüber wir hier sprechen – vielleicht einige einzigartige Details, die wir ermitteln und identifizieren und in irgendeiner Form zuordnen können, was im Hinblick auf Angriffe immer schwierig ist. Können wir also erneut feststellen, ob es sich um einen von Menschen oder von Maschinen ausgeführten Angriff handelt? Ist das wichtig? Ich meine, das ist die andere Frage, die wir uns jetzt stellen müssen. Wir müssen herausfinden, ob es sich wieder um eine Maschine oder einen Menschen handelt. Ja, genau hier müssen wir ansetzen, um uns das anzusehen. Ich denke, das brauchen wir in zukünftigen Berichten: Methoden zur besseren Identifizierung der New Taktiken, Techniken usw., die von autonomen Tools eingesetzt werden.
0:10:57 Ray Canzanese: Ich denke, wenn man einen solchen Bericht schreibt und versucht, anderen zu helfen, muss man genügend Details preisgeben, damit andere Menschen in der gleichen Situation diese Informationen nutzen und etwas dagegen unternehmen können. Wenn Sie also in diesem Fall glauben, dass es sich um eine ATP-Gruppe handelt, die Ihren Dienst angegriffen hat, sind Sie nicht der Einzige, der LLMs hostet und es den Menschen ermöglicht, mit ihnen zu interagieren. Es gibt also eine ganze Branche, die gerne wüsste, was diese TTPs sind, damit sie anfangen kann, bei ihren Diensten nach denselben zu suchen und bestimmte Verhaltensweisen zu blockieren. Solche Informationen werden Sie meiner Meinung nach in Zukunft immer häufiger in solchen Berichten finden.
0:11:40 Max Havey: Sicher. Und es wirft auch eine Frage auf, wenn man bedenkt, dass dieser Bericht von einem so großen KI-Anbieter stammt, und ich glaube, du hast das vielleicht schon ein bisschen angesprochen, Ray, aber warum scheinen KI-Unternehmen so darauf bedacht zu sein, zu suggerieren, dass KI so erfolgreich für ruchlose Zwecke, für solche Angriffe und ähnliches, eingesetzt wird? Warum ist das ein so wichtiges Thema für sie, insbesondere in diesem erzählerischen Rahmen?
0:12:06 Ray Canzanese: Und ich meine, ich glaube, ich habe das schon ziemlich deutlich angedeutet, wenn man eine Geschichte erzählt und die KI so stark hervorhebt, diese KI-Sachen sind so mächtig, seht euch an, was sie alles können. Das ist eine wirklich gute Geschichte. Und ich meine, das passt wirklich gut zum Thema Philanthropie. Es passt perfekt zu ihrem Image, über die Risiken zu sprechen. Denn wenn man dann über die Risiken spricht, darüber, wie man sie minimiert, und sich so als Vorreiter in diesem Bereich der Risikobetrachtung und -minderung positioniert, hilft das dem Unternehmen und sorgt dafür, dass die Gewinne fließen.
0:12:48 Neil Thacker: Stellen Sie sich das wie den Löwen und sein Rudel vor, richtig? Das ist ihre Rolle als Löwe. Sie verfügen über diese enorm leistungsstarke Fähigkeit und haben dennoch die volle Kontrolle darüber oder die Fähigkeit zu erkennen, wann sie möglicherweise auf eine bestimmte Weise eingesetzt wird. Ja, genau diese Analogie meine ich, wenn ich den Löwen und die Fähigkeit des Löwenbändigers vergleiche.
0:13:07 Max Havey: Das finde ich auch interessant, denn ich habe kürzlich Daten vom MIT gesehen, die besagen, dass 95 % der KI-Initiativen in Unternehmen keinen wirklichen, erkennbaren Mehrwert schaffen. Und warum sollten Bedrohungsakteure in solchen Situationen so viel bessere Ergebnisse erzielen? Spielen sie einfach nur mehr damit herum, indem sie New Wege finden, es kaputt zu machen? Für einige
0:13:26 Ray Canzanese: Extent, geht es darum, ein Problem zu finden, das LLMs gut lösen können, und Neil hat bereits darauf hingewiesen, dass dies ein ziemlich routinemäßiger Angriff im Hinblick auf Dinge ist, die man schon unzählige Male gesehen hat, richtig? Ehemalige Studenten sind darin sehr gut, nicht wahr? Vervollständige dies bitte automatisch für mich. Ich möchte, dass Sie mir alle Details dessen mitteilen, was ich bei diesem Angriff tun muss. Und das ist also ein Teil davon. Wähle das richtige Problem für das Werkzeug, und genau das ist das richtige Problem, mit dem dieses Werkzeug interagieren kann. Daher ist es naheliegend, dass Sie dort ein gutes Ergebnis erzielen würden. Viele Organisationen erzielen gute Ergebnisse bei der Automatisierung von Programmieraufgaben, und genau darum geht es hier.
0:14:07 Neil Thacker: Es geht darum, diese Aufgaben zu automatisieren, um Zeit zu sparen. Was wir im Bereich der Cybersicherheit definitiv beobachtet haben, ist die Art und Weise, wie wir Reaktionen auf Sicherheitsverletzungen messen, wie Organisationen dies seit so langer Zeit tun. Es geht darum, wie schnell man auf diese Sicherheitsverletzung reagieren kann, um sie abzumildern, um Kontrollmaßnahmen zu ergreifen und sicherzustellen, dass die Sicherheitsverletzung nicht erfolgreich ist. Daher ist es letztendlich der richtige Zeitpunkt für ein Eingreifen, wenn man sich in einer früheren Phase der Angriffskette befindet. Wenn wir nun wieder auf KI eingehen, so ist diese darauf ausgelegt, schnell und automatisiert zu funktionieren und zudem skalierbar zu sein. Wenn man sich die Anwendungsfälle für KI ansieht, ist dies in vielen Fällen ein hervorragendes Beispiel. Leider hat dies deshalb auch Auswirkungen auf Organisationen. Denn wir haben das Gleiche schon in den Anfängen groß angelegter DDoS-Angriffe gesehen, solche Dinge eben. Diese Skripte ließen sich so gut wie automatisieren, und diese Anfragen an Zielorganisationen könnten auf diese Weise bearbeitet werden. Wenn Menschen dies tun würden, wäre es weitgehend wirkungslos. Doch mittlerweile beobachten wir dies in einer fortgeschritteneren Form, indem wir gezielt Organisationen mit spezifischen Techniken angreifen, beispielsweise durch Datenexfiltration usw. Hier bewegen wir uns hin – das ist die heutige Skalierbarkeit solcher Angriffe.
0:15:20 Ray Canzanese: Mir gefällt, dass Sie Begriffe wie Bots und Skripte verwenden, denn wir nennen sie jetzt Agenten, aber konzeptionell ist es immer noch dasselbe. Die Geschwindigkeit kam mit den Bots und Skripten, aber man brauchte immer noch Menschen, die die Bots und die Skripte schrieben. Und ich denke, der entscheidende Punkt dabei ist, dass wir jetzt diese Bots und Skripte schneller schreiben können und sie gezielt auf bestimmte Organisationen ausrichten können, denn genau das ermöglicht uns das LMS. Es ist also eine Mischung aus Zugänglichkeit und Geschwindigkeit. Hier ist jemand, der vielleicht nicht das nötige Know-how hatte, um all diese Drehbücher selbst zu schreiben, oder der nicht über die richtigen Ressourcen verfügte, um in kurzer Zeit ein kleines Team zusammenzustellen, das dies erledigen konnte. Aber eine Reihe von KI-Agenten, viel einfacher, diese Aufgabe zu erledigen.
0:16:09 Neil Thacker: Und auch hier gilt: Sie können schnell iterieren, sodass sie lernen: Okay, diesmal nicht erfolgreich, und es dann eine Minute später erneut versuchen. Andererseits, vielleicht aus menschlicher Sicht, braucht es vielleicht ein paar Stunden, ein paar Tage, um herauszufinden, okay, warum ich bei etwas nicht erfolgreich war, auch das wurde schon vor 10 Jahren bewiesen. Genau das können diese Systeme sehr, sehr schnell wiederholen und dann zum nächsten Schritt übergehen. Und das Ziel ist natürlich, im Angriff erfolgreich zu sein. Wenn es also nicht klappt, kann man den Vorgang wiederholen und schnell zum nächsten Mal übergehen, um beim nächsten Mal vielleicht erfolgreicher zu sein.
0:16:43 Max Havey: Nun, es ist auch interessant zu hören, dass Sie immer wieder auf die Idee zurückkommen, dass nichts davon wirklich New ist. Es handelt sich um Dinge, die uns im Grunde schon länger bekannt sind, oder um Techniken, die schon seit einiger Zeit Anwendung finden, und die KI hat sie einfach zugänglicher gemacht. Es beseitigt, um es mal so auszudrücken, einige der Hindernisse für die Bösen, für die Bedrohungsakteure und dergleichen. Und glauben Sie, dass es in Zukunft immer wichtiger werden wird, diese Bedrohungen in solche mit KI-Unterstützung und solche mit menschlicher Beteiligung zu unterteilen? Ich denke, wie du, Neil, bereits angedeutet hast, dass die Frage Mensch oder Maschine hier eine wichtige Klassifizierung sein wird, die Cybersicherheitsexperten in Zukunft im Auge behalten sollten.
0:17:24 Neil Thacker: Ja, ich denke schon. Nun ja, aufgrund der Art der Angriffe, die auftreten können, spielt es bei einem Angriff von außen meiner Meinung nach keine allzu große Rolle, aber wenn es sich um einen Angriff innerhalb Ihrer Organisation handelt und Ihr KI-Agent dafür verantwortlich ist, dann müssen Sie unbedingt wissen, dass es Ihr KI-Agent war, der dies getan hat. Das andere ist also, dass wir Angriffe immer aus der Perspektive eines externen Bedrohungsakteurs oder eines internen Bedrohungsakteurs betrachtet haben. Meiner Meinung nach ist es unbedingt notwendig zu wissen, wann es innerhalb der eigenen Organisation passiert. Wir haben immer – und ich bin seit 25 Jahren in dieser Branche – untersucht, dass man bei einem internen Vorfall natürlich wissen muss, wer das war, denn diese Person ist ja innerhalb der eigenen Organisation. Bei einem externen Vorfall muss man wissen, ob es sich um einen Angriff handelte und wie man sich dagegen verteidigen kann. Ich nehme an, genau dann braucht man einen Insider-Agenten innerhalb der eigenen Organisation. Ja, Sie müssen wissen, ob Ihnen dieser Agent gehört und entsprechend reagieren.
0:18:17 Ray Canzanese: Und ich denke, das ist eine gute Antwort, denn auf einer gewissen Ebene ist es einem ja egal, richtig? Wenn es sich bei dem Insider um einen Agenten oder um eine Person handelt, dann tut er trotzdem etwas Schlechtes, und wir wollen, dass es aufhört. Aber ich denke, der wichtigste Grund, warum wir weiterhin darüber sprechen sollten, insbesondere jetzt, ist sicherzustellen, dass wir uns alle der Tatsache bewusst sind, dass einige unserer Insider nicht unbedingt Menschen sind. Und wenn es sich bei den Insidern nicht um Personen handelt, also um Nicht-Menschen, die in Ihrer Organisation Aufgaben übernehmen, sieht das oft anders aus. Diese Aktivitäten tauchen in verschiedenen Protokollen und an verschiedenen Stellen auf, und Sie müssen sicherstellen, dass Ihre Strategie dies berücksichtigt und abdeckt. Es reicht nicht zu sagen: „Natürlich interessiere ich mich für Insider.“ Wir müssen uns überlegen, welche Geschmacksrichtung diese Insider bevorzugen würden. Und suche ich an den richtigen Stellen, um diese Insider und ihre möglichen Fehler aufzudecken?
0:19:15 Max Havey: Sicherlich. Und ich denke, in diesem Sinne möchte ich auf Neils Vorhersage zurückkommen, mit der wir hier begonnen haben, wenn wir darüber nachdenken, was ein weiterer großer Agentenverstoß sein könnte, zusätzlich zu dem, worüber Anthropic bereits berichtet hat. Wenn es zu einem Sicherheitsvorfall wie dem von Neil beschriebenen käme, was wären Ihrer Meinung nach die treibenden Kräfte? Handelt es sich um einen Unfall oder um einen böswilligen Akteur, der eine Agenten-KI einsetzt? Was halten Sie für ein wahrscheinliches Szenario, das wir möglicherweise erleben könnten?
0:19:43 Neil Thacker: Das ist eine gute Frage. Ich denke, wir werden eine Mischung sehen. Ich denke, wir werden in vielen Fällen – ich denke, wir sehen dieses Feedback bereits – feststellen, dass CISOs sagen: „Oh, ich wusste gar nicht, dass wir diesen Dienst nutzen.“ Oh, mir war nicht bewusst, dass wir diesen Anwendungsfall verwenden. Mir war nicht bewusst, dass dieser Dienst so viele Daten verbraucht. Ich denke, wir haben bereits Rückmeldungen von Organisationen erhalten, die erkennen, dass sie dies vielleicht schon im Zusammenhang mit einem versehentlichen Problem, einem Sicherheitsvorfall, einem versehentlichen Datenleck oder dem Gelangen von Daten an den falschen Dritten beobachten. Oder sind inzwischen zu viele Agenten miteinander vernetzt, sodass sie den Überblick über diese Dienste und deren Nutzung verloren haben? Ich höre diese Frage, diesen Kommentar, der in den heutigen Diskussionen häufig auftaucht, lautet: Wem gehört mein MCP-Server?
0:20:33 Neil Thacker: Und ich denke, wir werden dieses Problem definitiv noch häufiger sehen. Darüber wird nicht im gleichen Maße berichtet werden wie über externe Bedrohungsakteure, aber ich denke, wir werden eine interessante Mischung davon sehen. Also ja, um nochmal auf die Wahrscheinlichkeits- und Auswirkungensdiskussionen zurückzukommen: Vielleicht besteht eine etwas höhere Wahrscheinlichkeit für ein Problem mit Insidern, aber etwas, das kontrollierbar ist. Bei einem Angriff durch einen externen Bedrohungsakteur ist es zwar immer noch wahrscheinlich, aber die Auswirkungen könnten enorm sein, denn jetzt befinden wir uns im Inneren, mit Daten, die aus der Organisation abgeflossen sind und möglicherweise verloren gegangen sind, durchgesickert sind, zu Bußgeldern, Strafen, Sanktionen usw. für die Organisation geführt haben oder, um es nochmals zu sagen, zu einem allgemeinen Reputationsschaden und der Herausforderung für Organisationen, sich davon zu erholen. Ja, ich denke, es wird in Zukunft eine Mischung geben. Aber ja, das ist etwas, worauf wir achten müssen. Wir müssen die Kennzahlen im Hinblick darauf betrachten, wie sich dies in Zukunft entwickeln wird. Ich denke, wir mussten schon immer überlegen, wie wir jeder Bedrohung mit einer Reihe von Kontrollmaßnahmen, Empfehlungen usw. begegnen können, die wir umsetzen können. Und ich denke
wir, wie jede andere Organisation heutzutage, beide Fähigkeiten im Blick behalten müssen: die internen und die externen Akteure. 0:21:48 Ray Canzanese: Ein weiterer Aspekt, über den ich auch mit vielen Sicherheitsteams spreche, sind diese KI-Unternehmen selbst. Das sind Unternehmen, die mit riesigen Datenmengen arbeiten. Viele dieser Unternehmen sind weniger als ein Jahr alt, weniger als zwei Jahre. Es handelt sich um sehr junge Unternehmen, die sich in einem New Bereich schnell bewegen. Und sie sind besorgt über diese Unternehmen und darüber, was diese Unternehmen unternehmen, um all die Daten zu schützen, die sie besitzen. Und so höre ich oft die Frage: Wie kann ich Nutzern die Nutzung von Dienst A ermöglichen, aber nur für diese sehr spezifischen Anwendungsfälle? Oder kann ich sicherstellen, dass keine unserer Geschäftsgeheimnisse, Kundendaten oder Quellcodes in diesen Dienst gelangen? Das ist ein weiteres Problem. Und man sollte auch darauf achten, wie ein Sicherheitsverstoß bei einem dieser KI-Unternehmen aussehen wird. Handelt es sich um Datendiebstahl? Wird es zu einer Modellvergiftung kommen? Wenn man in eines dieser Unternehmen eindringt, die von den eigentlichen Zielen genutzt werden, ergeben sich viele Möglichkeiten, Schaden anzurichten.
0:23:02 Neil Thacker: Und das könnte sein, ich meine, das könnte die naheliegendste Lösung sein, nicht wahr? Genau. Um auf Ihren Punkt zurückzukommen, Ray, das haben wir schon gesehen. Ich meine, ich habe mir Organisationen angesehen, die jemand bei NECAP nutzen wollte, wir haben ihnen Fragen gestellt, und sie blicken zurück und runzeln nicht die Stirn in Bezug auf Cybersicherheit. Was ist das? Ja, absolut, das ist ein potenzielles Problem. Das ist etwas, was jede Organisation tun muss. Das ist ein wichtiger Punkt. Wie reagieren Ihre Lieferanten und Dienstleister auf Angriffe dieser Art auf ihre Organisation, ihre Infrastruktur, ihre Systeme und Dienste?
0:23:36 Ray Canzanese: Und selbst wenn Sie sich entscheiden, ihnen zu vertrauen und sie zu nutzen, was tun Sie, um diese Interaktion zu überwachen und sicherzustellen, dass nichts schiefgegangen ist, dass nichts anders verwendet wird, als Sie es beabsichtigt haben?
0:23:53 Max Havey: All das scheint auf eine sich entwickelnde Art von Gespräch hinauszulaufen, das Sicherheitsteams mit ihren Organisationen über diese Art von Gesprächen führen müssen, und zwar allgemein über KI und insbesondere über agagentische KI, da diese einen immer größeren und substanzielleren Teil der Art und Weise ausmacht, wie Unternehmen KI einsetzen. Und vor diesem Hintergrund – Sie haben hier ja schon ausführlich darüber gesprochen – wie verändert das die bereits laufenden Diskussionen über KI in der Cybersicherheit?
0:24:24 Neil Thacker: Ja, definitiv. Wir sprechen doch darüber, oder? Es ist seit einigen Jahren ein heiß diskutiertes Thema, und wir befinden uns jetzt an diesem Punkt, wie ich eingangs erwähnte, an diesem Wendepunkt, an dem Organisationen erkennen, dass es zwar gemischte Berichte über Organisationen gibt, die keinen immensen Nutzen sehen, aber dennoch jede Organisation irgendeine Form von KI einsetzt, sei es auch nur Gen AI oder ähnliches. Die meisten Organisationen investieren jedoch stark in diese Dienste, um viele ihrer Arbeitsabläufe und Teile ihrer Geschäftsprozesse besser zu automatisieren. Wir sehen also, dass dies heute in Organisationen der Fall ist, und ich denke, es geht auch darum, wie Organisationen jetzt darauf reagieren. Dasselbe Problem hatten wir mit der Cloud. Dasselbe Problem hatten wir mit Cloud. Die Cloud hat sich nicht unbedingt unbemerkt in den Organisationen breitgemacht, aber die Menschen waren sich dessen bewusst. Doch dann gab es diese Explosion. Alle nutzten nun SAS und öffentliche Cloud-Dienste.
0:25:16 Neil Thacker: Und wenn ich so zurückblicken darf, dann auf die Neunzigerjahre, als wir das Internet wieder hatten, da war es genau dasselbe. Es hat sich irgendwie langsam eingeschlichen, und plötzlich nutzten alle die Dienste im Internet. Wir befinden uns also an einem Punkt, an dem, würde ich sagen, ein hoher Prozentsatz der Menschen in Organisationen eine Form von KI einsetzt. Ja, so fangen wir an, uns darauf vorzubereiten. Um auf den Ausgangspunkt zurückzukommen: Die Diskussionen drehen sich nun darum, ob wir eine Anwendung, ein KI-Inventar unserer KI-Dienste haben. Wie haben wir diese Dienstleistungen bewertet? Wie üben wir Kontrolle aus? Wir haben beispielsweise ein gängiges Beispiel: Wir verfügen über ein Inventar unserer KI-Assets und haben dieses unserem Daten-Asset-Inventar zugeordnet. Dadurch verstehen wir, welche Daten an diesen KI-Dienst fließen, und wenn wir dabei eine Anomalie feststellen, müssen wir eingreifen und diese Anomalie blockieren. So ungefähr sehe ich diese Entwicklung heute in Organisationen stattfinden.
0:26:09 Ray Canzanese: Und ich würde sagen, ein gutes Zeichen, das mir in letzter Zeit aufgefallen ist, ist, dass wir offensichtlich schon seit einigen Jahren viel darüber sprechen und ich Fragen von Sicherheitsteams erhalten habe, die mich fragen: Hey, wie sichere ich meine agentenbasierten KI-Bereitstellungen in Bedrock? Und ich sage dann: Oh, cool. Können Sie mir mehr darüber erzählen, wie Sie es verwenden? Und die sagen dann so: Nun ja, wir nutzen es noch nicht. Wir denken gerade darüber nach. Das ist ganz offensichtlich die Richtung, in die sich die Dinge entwickeln. Wir testen es gerade und legen Wert auf Sicherheit, und ich bin beeindruckt. Ich bin glücklich. So hatte ich mir das vorgestellt: Wir haben genug darüber gesprochen, sodass die Leute Bescheid wissen und Fragen stellen, bevor sie sich zu tief in den Prozess vertiefen. Dadurch sind sie etwas besser vorbereitet als vielleicht beim anfänglichen KI-Chatbot-Hype, als alle über Nacht damit anfingen und man von Anfang an aufs Ganze ging.
0:27:10 Max Havey: Absolut. Und da wir nun zum Ende unseres Gesprächs kommen, möchte ich von Ihnen wissen, was Organisationen tun können, um diese weitreichenden Risiken jetzt einzudämmen und diese Gespräche anzustoßen? Welchen Rat würden Sie Organisationen geben, die ihre Sicherheit in diesem Bereich verbessern möchten, da dies weiterhin ein Thema und eine Bedrohung sein wird, mit der sie sich auseinandersetzen müssen?
0:27:34 Neil Thacker: Ich denke, es beginnt damit, zu verstehen, was man hat. Wir beginnen immer mit der Cybersicherheit; es geht darum, welche KI-Dienste man hat und wie diese miteinander verbunden sind. Bei den von uns beobachteten Angriffsarten ist es also offensichtlich, dass in vielen Fällen die Verbindung zwischen den Agenten die Ursache dafür sein kann. Es ist also wichtig, ein gutes Verständnis dafür zu haben, was man benutzt, warum man es benutzt, zu analysieren, was der Dienst tut, also was normal aussieht, und dann einige Steuerelemente hinzuzufügen. Wenn Sie also ungewöhnliche Aktivitäten feststellen, sollten Sie diese isolieren und natürlich auch sicherstellen, dass Ihre Plattformen und Dienste getrennt sind. So wird verhindert, dass ein KI-Agent, der Zugriff auf Nicht-Produktionsumgebungen hat (z. B. auf einen Test- oder Experimentierstandort), auch Zugriff auf Ihre Produktionsumgebung erhält oder seine Berechtigungen dort ausweiten kann.
0:28:27 Neil Thacker: Wir schauen uns also verschiedene Trennungsmöglichkeiten an. Ich denke aber, dass wir bis 2026 einen enormen Anstieg bei der Nutzung von KI-Gateways durch Organisationen erleben werden, um den Einsatz von KI in ihren Organisationen besser zu identifizieren, die Vernetzung der Dienste zu analysieren und entsprechende Schutzmaßnahmen sowie technische Kontrollen einzuführen. Das ist es, was ich vorausgesagt habe: Ja, wir werden einen bedeutenden Sicherheitsvorfall erleben, der Schlagzeilen machen wird, und die Reaktion darauf wird sein, dass wir jetzt die Rechtfertigung haben, zu investieren und diese Fähigkeiten einzuführen, um unsere Organisation besser davor zu schützen. Das ist also das, was ich im Zusammenhang mit diesen New Risiken erwarte, mit denen wir uns auseinandersetzen müssen
Auch wenn sie auf alten Risiken und Taktiken basieren, müssen wir darauf reagieren, und zwar mit Technologie, um diesen schnell wachsenden autonomen Bedrohungen
entgegenzuwirken. 0:29:27 Ray Canzanese: Ja, da stimme ich vollkommen zu. Alles beginnt mit Transparenz. Wenn man anfängt, sich anzusehen, was man bereits einsehen kann, entdeckt man oft auch, wo es blinde Flecken in der eigenen Wahrnehmung gibt, und das liefert eine gute Strategie für die Bereiche, in denen man noch mehr tun muss. Und was man bei der Untersuchung eines Problems stets im Hinterkopf behalten sollte, ist diese gefährliche Mischung aus Ereignissen auf Endgeräten, Ereignissen in der Cloud, menschlichen Identitäten, nicht-menschlichen Identitäten – all diese Dinge wirken zusammen. Finden Sie also heraus, was Sie verwenden, erstellen Sie eine Übersicht und suchen Sie nach Ihren blinden Flecken, nach MCP-Gateways, KI-Gateways, Cloud-Logs – alles, was Ihnen hilft, diese Transparenzlücken zu schließen.
0:30:16 Max Havey: Ich denke, das ist ein guter Zeitpunkt für uns, um aufzuhören, Leute. Und Neil, vielen Dank, dass du heute hier bist. Sie hatten viele großartige Perspektiven zu bieten, insbesondere da Sie einer der Anstoßgeber für diese Episode waren, indem Sie den ersten KI-gesteuerten Cyber-Datendiebstahl im Jahr 2026 vorhergesagt haben. Vielen Dank, dass Sie dabei waren.
0:30:35 Neil Thacker: Ja, sicher. Kein Problem. Ja, es war toll
wieder mit euch zu sprechen, Max und Ray, und ich bin sicher
wir werden 2026 noch viel mehr darüber reden. 0:30:42 Max Havey: Auch, mit ziemlicher Sicherheit. Und Ray, vielen Dank wie immer für deine Teilnahme und dein großartiges Fachwissen im Bereich Bedrohungsanalysen. Ich weiß
dass Sie bereits an zahlreichen Bedrohungsberichten mitgearbeitet und über viele Bedrohungen geschrieben haben. Daher haben Sie hier viele wertvolle Einblicke gegeben, und ich bin sicher,
Sie im Laufe der weiteren Entwicklung noch mehr dazu beitragen werden. 0:30:55 Ray Canzanese: Ja, danke für die Einladung, Max. Freut euch schon auf das nächste!
0:30:58 Max Havey: Absolut. Und damit endete die Sendung mit dem Podcast „Security Visionaries“, und ich war Ihr Gastgeber, Max. Wenn Ihnen diese Folge gefallen hat, teilen Sie sie mit einem Freund und abonnieren Sie Security Visionaries auf Ihrer bevorzugten Podcast-Plattform, sei es Apple Podcasts, Spotify oder unsere New Videos auf YouTube. Dort könnt ihr in unserem Archiv nach früheren Episoden suchen und alle zwei Wochen New Folgen entdecken, die entweder von mir oder meinen wunderbaren Co-Moderatorinnen Emily, wear Mouth und Bailey Pop präsentiert werden. Und damit sehen wir uns in der nächsten Folge wieder.
){kind=icon}
