0:00:01.4 Emily Wearmouth: Hallo und willkommen zum Security Visionaries Podcast. Heute habe ich einen Gast zu Gast, mit dem ich schon seit einiger Zeit aussteigen wollte, und das nicht nur, weil er eine tolle Berufsbezeichnung hat, sondern auch, weil er eine tolle Berufsbezeichnung hat. Mark Day ist Chief Scientist und arbeitet für das Cybersicherheits- und Netzwerkunternehmen Netskope. Willkommen in der Show, Mark.
0:00:20.1 Tag markieren: Danke, Emily. Es ist schön, hier zu sein.
0:00:22.6 Emily Wearmouth: Nun, bevor wir in das Thema eintauchen, zu dem ich dich heute ein wenig befragen möchte, könntest du uns ein wenig über dich und deinen Hintergrund erzählen?
0:00:29.6 Tag markieren: Sicher. Wie Sie sagten, bin ich Chief Scientist bei Netskope. Ich habe meine Abschlussarbeit am MIT gemacht, wo ich promoviert habe. Ich bin ein Experte für verteilte Systeme und habe im Laufe der Jahre bei einer Vielzahl von Technologieunternehmen viele verschiedene Arbeiten mit verteilten Systemen durchgeführt, wobei Netskope das aktuelle Unternehmen ist.
0:00:52.4 Emily Wearmouth: Helfen Sie mir zu verstehen, wenn ich an Wissenschaft denke, geht mein Gehirn sofort zu Pipetten und Reagenzgläsern. Aber helfen Sie mir zu verstehen, was die Rolle des Chief Scientist in einem Technologieunternehmen ist, insbesondere wie arbeiten Sie mit einem Chief Engineer, einem Chief Product Officer und einem Chief Technology Officer zusammen? Wo passen Sie in diese Mischung?
0:01:09.1 Tag markieren: Nun, meine Rolle hier besteht hauptsächlich darin, gute Fragen zu stellen und dann zu erkennen, wann ich gute oder vielleicht weniger gute Antworten bekomme, und auf bessere Antworten zu drängen, wenn es nötig ist. Und so lag ein besonderer Fokus von mir auf der Infrastruktur, den Sanitäranlagen, wenn Sie so wollen. Und so weiß ich genug, um gefährlich zu sein, wenn es um all die verschiedenen Arten von Technologien geht, die in die Entwicklung der Netskope-Lösung einfließen. Und so bin ich gut positioniert, wenn etwas schief geht oder wenn wir uns in eine andere Richtung bewegen müssen, um sowohl zu verstehen, was die Probleme sind, als auch um vielleicht die Leute zu finden, die dies am besten innerhalb der Organisation erreichen können. Es geht also zum Teil darum, ein Fänger vieler seltsamer neuer technischer Dinge zu sein, die sich materialisieren könnten, die noch nicht im Portfolio von jemand anderem sind, und auch bereit zu sein, Fragen zu stellen und mir keine allzu großen Sorgen zu machen, wenn ich dumme Fragen stelle. Das ist also der Punkt, an dem die Promotion hilfreich ist, dass ich sagen kann, wenn ich etwas nicht verstehe, ist es wahrscheinlich wirklich schwer oder wirklich neu.
0:02:25.1 Emily Wearmouth: Das ist eine wirklich klare Art und Weise, ... Ich will wirklich deinen Job, Mark. Ich werde es einfach mal rausbringen. Ich werde mich ans MIT begeben. Ich bin hinter deinem Job her.
[Gelächter]
0:02:33.1 Emily Wearmouth: Nun, an dieser Stelle werde ich eine kleine Inhaltswarnung herausgeben. Wenn Sie es nicht im Titel der Serie gesehen haben, wird in dieser Folge ein Schimpfwort verwendet. Es ist eine milde Frage, aber wenn Sie sich vor empfindlichen kleinen Ohren schützen, die beim Zuhören und Zubereiten des Abendessens um Ihre Füße hängen könnten, hier ist Ihre Warnung, dass wir das Wort, das oft mit BS abgekürzt wird, vollständig verwenden werden. Und es gibt einen Grund dafür, versprochen. Aber vielleicht ein paar Leute aus der Küche führen. Okay, Warnung ordnungsgemäß geliefert. Mark, vor ein paar Monaten hast du mir gesagt, dass große Sprachmodelle Bullshit-Künstler sind und dass du trotzdem glaubst, dass sie immer noch unglaublich wertvoll sein können, was sehr widersprüchlich erscheint. Beginnen wir also mit der Frage, warum glauben Sie, dass LLMs oder KI-Modelle Bullshitter sind?
0:03:18.2 Tag markieren: Rechts. Nun, das ist keine originelle Erkenntnis. Alles, was ich wirklich getan habe, ist, einen veröffentlichten Artikel aufzugreifen und zu umarmen, der den Punkt gemacht hat... Der Titel des Artikels lautete: ChatGPT ist Bullshit. Und der Punkt ist, dass es in der Moralphilosophie einen technischen Begriff von Bullshit gibt, der im Grunde genommen verwendet wird, um das Verhalten zu beschreiben, in dem man alles Notwendige sagt, um seine Argumente zu untermauern, ohne Rücksicht darauf, ob es wahr ist oder nicht. Und das ist eine Sache, bei der wir Menschen erkennen können, die sie tun. Und wissen Sie, manchmal ist es in Ordnung und manchmal nicht. Aber es ist ein Merkmal dieser großen Sprachmodelle, die im KI-Bereich viel Aufmerksamkeit erhalten, denn im Grunde genommen funktioniert ein großes Sprachmodell so, dass es Dinge konstruiert, die plausibel sind, und es konstruiert Dinge, die gut klingen, basierend auf dem, was es trainiert wurde, aber es hat kein Konzept davon, was wahr und was unwahr ist. In einem quasi definitorischen Sinne sind große Sprachmodelle also von Natur aus Bullshitter. Sie wissen nicht, wie sie etwas anderes machen können.
0:04:33.0 Emily Wearmouth: Ist das der Grund, warum wir Probleme wie Halluzinationen in KI-Systemen bekommen?
0:04:37.8 Tag markieren: Ja, Halluzination ist die höfliche Art, sich auf Bullshit zu beziehen.
[Gelächter]
0:04:42.2 Tag markieren: Und so denke ich, dass eine der Dienstleistungen dieses Papiers darin bestand, darauf hinzuweisen, dass, als KI-Forscher über die Tatsache sprachen, dass ihre Modelle manchmal halluzinierten oder dass es ein Problem mit Halluzinationen gab und dass weitere Forschungen darüber durchgeführt werden mussten, das, was sie sich tatsächlich einen Weg bahnten, die Tatsache war, dass ihre Modelle Bullshitter waren. Und wie gesagt, ich denke, dass, obwohl es sicherlich Meinungsverschiedenheiten darüber innerhalb der KI-Gemeinschaft gibt, ich denke, dass es gute Gründe für die Annahme gibt, dass angesichts der Art und Weise, wie große Sprachmodelle funktionieren, was effektiv darin besteht, dass sie statistisch wahrscheinliche Sätze produzieren, anstatt sich auf eine Art von Wissen zu beziehen, Ich denke, dass sie von Natur aus Bullshitter sind. Und was auffällt, ist, wie oft sie es schaffen, etwas zu erzählen, das zufällig wahr ist, im Gegensatz zu der Tatsache, dass wir gelegentlich bemerken, dass es Bullshit ist.
0:05:41.5 Emily Wearmouth: Das ist faszinierend. Also, okay, ich bin kein Fan von Unwahrheiten, also überzeugen Sie mich, wie kann etwas, das an sich Wahrheitskonzepte missachtet, einen Wert haben? Wir benötigen Vertrauen in die Systeme, die wir verwenden. Wie können wir also Vertrauen zu diesen Systemen aufbauen, von denen wir wissen, dass sie uns belügen?
0:06:00.0 Tag markieren: Nun, die Herausforderung hier ist nicht unbedingt, dass sie versuchen, uns zu belügen, oder dass sie zu 100% lügen. Ich denke, eine weitere nützliche Metapher, die einige Leute für generative KI für große Sprachmodelle verwenden, ist intern as a Service. Und das fängt die Idee ein, dass es sehr ähnlich ist, als hätten Sie gerade einen Praktikanten eingestellt und er weiß viele Dinge, aber er versteht nicht wirklich, wie Ihre Organisation funktioniert oder was Ihnen wichtig ist oder wie bestimmte Aspekte der Welt zusammengesetzt sind. Und so können sie einige sehr dumme Fehler machen. Und ich denke, dass KI eine ähnliche Qualität hat: Man kann ihr eine bestimmte Art von Frage stellen, und sie wird sofort mit einer fabelhaften Antwort zurückkommen. Und Sie werden sagen, ich weiß nicht, wie ich ohne das gelebt habe. Und dann kannst du es ähnlich fragen und es kommt mit etwas, von dem du einfach weißt, dass es absolut falsch ist. Und du sagst, nun, das war schrecklich. Und abgesehen davon, dass du weißt, wovon du sprichst, weiß ich nicht, ob du eine Möglichkeit hast, dich davor zu schützen.
0:07:11.7 Emily Wearmouth: Unsere Zuhörer sind in der Regel führend in den Bereichen Sicherheit, Daten und Technologie. Welchen Denkprozess würden Sie Menschen raten, die ihre Ideen durchlaufen, wenn sie über die Aufgaben nachdenken, die sie solchen Systemen geben würden?
0:07:24.9 Tag markieren: Sie möchten die gängige Meinung zu einem bestimmten Thema verstehen, mit dem Sie nicht vertraut sind. Das ist eine großartige Aufgabe für eine KI. Wenn Sie möchten, dass es einen großen Korpus von Dingen zusammenfasst, für die Sie keine Zeit haben, sie zu lesen, und Sie damit einverstanden sind, dass es auf dem Weg dorthin vielleicht kleinere Pannen gibt, ist das eine weitere großartige Aufgabe. Ich denke, wenn man sich einer KI zuwendet und sagt: "Sag mir, was wird in fünf Jahren das marktführende Produkt sein", dann ist das absurd, oder? Sie werden diese Art von Informationen einfach nicht daraus ziehen. Und ich glaube, ich habe sogar Fragen gestellt, wissen Sie, ich habe kürzlich eine ziemlich spezifische technische Frage gestellt. Ich suchte nach Szenarien, die zu einem Problem passten, das ich einem Kunden erklären wollte, und ich spezifizierte das Szenario ziemlich sorgfältig und die KI gab mir immer wieder Antworten, von denen ich dachte, dass ich sie ausgeschlossen hätte. Und es war einer dieser Bereiche, in denen ich, wenn ich nicht schon ziemlich viel über diesen Bereich gewusst hätte, versucht gewesen wäre, einfach zu kopieren, einzufügen, was darin stand, es auf meine Folien zu setzen und dann dem Kunden Müll zu präsentieren.
0:08:40.4 Emily Wearmouth: Es gibt also eine Menge KI in den Systemen von Netskope. Für welche Art von Dingen lassen Sie oder das Netskope-Team KI tun? Und warum fühlst du dich wohl dabei, diese Dinge zu tun?
0:08:51.2 Tag markieren: Hier kommt es darauf an, zwischen verschiedenen Geschmacksrichtungen oder verschiedenen Genres von KI zu unterscheiden. Die großen Sprachmodelle, die ChatGPT-artigen Dinge, bekommen die ganze Aufmerksamkeit, weil es sehr aufregend ist, mit einem menschlich erscheinenden Wesen zu interagieren, ihm Fragen zu stellen und so weiter. Und fast keine der KIs, die in der Netskope-Plattform einen Mehrwert schaffen, ist von dieser Art. Was bei der Art und Weise, wie wir KI einsetzen, immer noch viel häufiger ist, sind Modelle des maschinellen Lernens. Sie sind keine großen Sprachmodelle und erledigen Aufgaben, die, wenn Menschen sie erledigen, ein gewisses Maß an Intelligenz erfordern. Und so gibt es zum Beispiel ein Modell in Netskope, das es uns ermöglicht, Dinge zu identifizieren, bei denen es sich sehr wahrscheinlich um Pässe oder Führerscheine handelt. Und das ist die Art von Dingen, die man erreichen kann, indem man sich einen großen Korpus an Passbildern und Führerscheinbildern besorgt und der Maschine effektiv beibringt, solche Dinge zu erkennen. Und es erledigt diese Aufgabe ungefähr so gut wie ein Mensch. Aber das hat in keiner Weise etwas mit dieser ganzen Art von "Ich sollte mir Sorgen über die Antwort machen, die ich von dieser KI bekomme, weil sie mich vielleicht verarscht. Das ist also ein Grund, warum wir im Großen und Ganzen ziemlich viel KI in der Netskope-Plattform haben, aber ich bin nicht sehr besorgt über das Bullshit-Problem dort.
0:10:31.4 Emily Wearmouth: Gen AI war letztes Jahr vielleicht der heiße Favorit, und dieses Jahr sind wir alle davon abgekommen. Wir strömen alle herbei, um eine neue Band in der Stadt zu sehen, Agentic AI. Und deshalb wollte ich Sie fragen, als wir das letzte Mal darüber gesprochen haben, war agentische KI nicht wirklich auf dem Radar. Wie müssen wir über die Art und Weise nachdenken, wie wir agentische KI einsetzen, wenn wir uns einig sind, dass sie uns auch verarschen? Ist es anders oder gilt die gleiche Vorsicht? Es gibt einen großen Unterschied zwischen generativ und agentisch. Wie lässt sich diese Bullshit-Theorie also anwenden?
0:11:01.0 Tag markieren: Ich denke, zunächst einmal denke ich, dass die Jury noch nicht entschieden hat, ob sich agentic sinnvoll von Gen AI unterscheidet. Ich neige eher zu der Theorie, die besagt, dass Gen AI uns tatsächlich etwas Interessantes über die Natur der Sprache und der Welt sagt und die Tatsache, dass diese relativ einfach erscheinenden Prozesse extrem nicht-triviale Dinge tun können. Agentisch scheint mir nur einige Ideen von Workflow und Interaktion in den Mix zu mischen. Ich weiß nicht, ob ich das gleiche Gefühl habe, dass es eine neue Welt ist. Ich nehme an, dass ich noch überzeugt sein werde, aber an diesem Punkt denke ich eher, okay, also ist die KI, nachdem sie einen großen auffälligen Moment hatte, jetzt irgendwie wieder in den üblichen Modus, in dem ein Haufen Leute herumlaufen, die gehypte Dinge sagen, aber nicht wirklich viel vorzuweisen haben.
0:11:58.5 Emily Wearmouth: Deine Meinung wäre also, dass es nur eine neue Marketingmethode ist, um alle wieder für etwas Neues zu begeistern? [Gelächter]
0:12:04.0 Tag markieren: Ja, ich denke, im Moment ist die Jury noch nicht entschieden. Ich bin offen dafür, mich überzeugen zu lassen, aber ich bin noch nicht überzeugt.
0:12:09.9 Emily Wearmouth: Interessant. Nun, wegen Ihrer großartigen Berufsbezeichnung erlauben Sie mir zu fragen, ich habe einen kurzen Ausflug in die Welt der Science-Fiction. Worauf freust du dich am meisten, idealerweise im Bereich der künstlichen Intelligenz, aber vielleicht auch nicht, was noch kommen wird?
0:12:26.2 Tag markieren: Ich denke, das, was mich am meisten begeistern würde, was ich noch nicht gesehen habe und von dem ich denke, dass wir es irgendwann, wenn auch vielleicht nicht zu meinen Lebzeiten, sehen werden, ist eine Form von neuer Kunst, die erkennbar in der KI verwurzelt ist. Und die Analogie, die ich hier ziehen würde, ist die der Art und Weise, wie Filme funktionierten. Und Filme waren anfangs eine Neuheit und die Leute benutzten sie dann für kleine Schnipsel von Dingen. Und dann benutzten die Leute sie in einer Art Imitationsmodus, bei dem sie Theaterstücke filmten, oder frühe Filme waren sehr stark von dem beeinflusst, was im Theater passierte. Und dann gibt es einen Punkt, an dem sich ihr eigenes Vokabular entwickelt, und in der Folge gibt es filmische Arbeiten, die in der einen oder anderen Dimension erkennbar Meisterwerke sind. Und ich denke, dass wir irgendwie an dem Punkt angelangt sind, an dem es eine Neuheit ist und die Leute es nutzen, um herumzualbern. Und man könnte sagen, dass einige der Dinge, die die Leute mit aktueller KI-Kunst machen, bei denen man ein Bild generiert, das einem gefällt, das sehr stark im Imitationsmodus ist, wir noch nicht einmal in der Lage sind, uns vorzustellen, was das Äquivalent zu Citizen Kane wäre. Wir sind sicherlich noch nicht an einem Punkt, an dem wir uns ein Werk wie Christian Marclays The Clock vorstellen können. Aber es scheint mir, als ob die Interaktion von Menschen mit KI irgendwann zu Kunstwerken führen wird, die in gewisser Weise analog sind.
0:14:09.7 Emily Wearmouth: Als ich an der Uni war, lebte ich mit jemandem zusammen, der Kunstgeschichte studierte, und ich erinnere mich, dass sie sich über viele Aufsätze darüber abmühte, was die Bedeutung von Kunst ist. Und ist dieser Gegenstand Kunst? Handelt es sich bei diesem Artikel um Kunst? Was ist Kunst? Was ist Handwerk? Du wirst eine ganz neue Art von Kurs eröffnen, den das arme Mädchen beim nächsten Mal machen muss. Kann nur von einem Menschen erschaffen werden. [kichert]
0:14:29.6 Tag markieren: Oh, absolut. Absolut. Nun, ich meine, ich denke, dass die interessante Frage dort nicht so sehr ist, wissen Sie, kann eine Maschine Kunst schaffen? Aber ich denke, dass eine Kombination aus Maschine und Mensch etwas sehr Interessantes bewirken wird.
0:14:42.5 Emily Wearmouth: Nun, ich weiß, dass mein Sohn sehr gespannt auf KI in der Zukunft ist, die es ihm ermöglicht, Harry Potter zu sein, ohne durch Vorsprechen gehen zu müssen oder sein Leben durch Ruhm ruiniert zu bekommen. Darauf konnten wir uns also alle freuen. [Gelächter]
0:14:52.7 Tag markieren: Bitte schön. Genau.
0:14:54.9 Emily Wearmouth: Brillant. Nun, gibt es noch etwas, Mark, das Sie unseren Zuhörern mit auf den Weg geben wollten, wenn sie in den kommenden Monaten über KI nachdenken?
0:15:01.5 Tag markieren: Ich denke, dass das eine Wort, Bullshit, wahrscheinlich das Wichtigste ist, was man ihnen hinterlassen kann.
0:15:06.7 Emily Wearmouth: [Gelächter] Wir wollten nicht bis zum Ende des Podcasts kommen und nicht ein letztes Mal fluchen. Vielen Dank.
0:15:11.5 Tag markieren: Bitte schön.
0:15:12.0 Emily Wearmouth: Nun, danke, eigentlich, dass ihr es zu unserer fluchtesten Episode aller Zeiten gemacht habt. Ich denke, wir haben es mit gelehrter Souveränität und viel Ernsthaftigkeit umgesetzt. Also vielen Dank.
0:15:21.2 Tag markieren: Danke, Emily.
0:15:22.8 Emily Wearmouth: Sie haben den Security Visionaries Podcast gehört und ich war Ihre Gastgeberin, Emily Wearmouth. Wenn Ihnen diese Folge gefallen hat, teilen Sie sie bitte, aber folgen Sie uns auch auf Ihrer Lieblings-Podcast-Plattform, damit Sie in Zukunft keine Folge mehr verpassen. Wir fangen Sie beim nächsten Mal ein.
){kind=icon}
