LLMはデタラメです

0:00:01.4 エミリー・ウェアマス: こんにちは、Security Visionaries Podcastへようこそ。今日は、少し前から乗りたかったゲストが参加していますが、それは彼が素晴らしい役職を持っているだけでなく、素晴らしい役職を持っているからです。Mark Dayは、サイバーセキュリティおよびネットワーキング企業のNetskopeでチーフサイエンティストを務めています。マーク、ショーへようこそ。

0:00:20.1 マークデー:ありがとう、エミリー。ここに来られてうれしいです。

0:00:22.6 エミリー・ウェアマス: さて、今日少しクイズを出す予定のトピックに入る前に、あなた自身とあなたのバックグランドについて少し教えていただけますか?

0:00:29.6 マークデー:もちろん。おっしゃるように、私はNetskopeのチーフサイエンティストです。私はMITで大学院の研究を行い、博士号を取得しました。私は分散システムの専門家であり、さまざまなテクノロジー企業で長年にわたってさまざまな分散システムの作業を行ってきましたが、現在のNetskopeはその1つです。

0:00:52.4 エミリー・ウェアマス: ですから、科学について考えるとき、私の脳はすぐにピペットや試験管に行きます。しかし、テクノロジー企業におけるチーフサイエンティストの役割、特にチーフエンジニア、チーフプロダクトオフィサー、チーフテクノロジーオフィサーとどのように連携するのかを理解するのに役立ててください。そのミックスの中で、あなたはどこに位置づけられますか?

0:01:09.1 マークデー:さて、ここでの私の役割は、主に良い質問をすること、そして良い答えが得られているとき、またはあまり良くない答えを得ているときに認識し、必要なときにはより良い答えを求めることです。ですから、私の特筆すべき焦点は、インフラ、いわば配管です。そのため、Netskopeソリューションの構築に使用されるさまざまな種類のテクノロジーについて、危険であるのに十分な知識があります。ですから、物事がうまくいかなかったり、問題が何であるかを理解し、組織内でそれを最もよく達成できる人を見つけるために、別の方向に進む必要があるときに、私は良い立場にいます。ですから、まだ他の誰かのポートフォリオではない、多くの奇妙な新しい技術的なものが具体化しているかもしれないことをキャッチすること、そしてまた、質問をしに行く準備をし、愚かな質問をしてもあまり心配しないことが問題なのです。ですから、博士号が役に立つのは、何か理解できないことがあれば、それはおそらく本当に難しいか、本当に新しいかだと言えるのです。

0:02:25.1 エミリー・ウェアマス: それは本当に明確な方法です...マーク、君の仕事が本当に欲しいんだ。私はただそれを出すつもりです。私はMITに飛び立ちます。私はあなたの仕事を追いかけています。

(笑い)

0:02:33.1 エミリー・ウェアマス: さて、この時点で私は少しコンテンツ警告を出します。番組のタイトルに見当たらなかった場合、このエピソードは悪態をつく言葉を使うことになります。 それは穏やかなものですが、あなたが聞いて夕食を準備するときにあなたの足にぶら下がっているかもしれない敏感な小さな耳を保護しているなら、ここに私たちがよくBSと短縮される単語を完全に使用するというあなたの警告があります。 そして、それには理由があります、私は約束します。しかし、もしかしたらキッチンから何人かの人々を案内するかもしれません。さて、警告は正式に配信されました。マークさん、数ヶ月前、あなたは私に、大規模な言語モデルはでたらめなアーティストであり、それにもかかわらず、彼らはまだ信じられないほど価値があると信じていると言いましたが、それは非常に矛盾しているように思えます。では、なぜLLMやAIモデルがデタラメだと思うのか、という話から始めましょう。

0:03:18.2 マーク・デー: 右。まあ、これは独創的な洞察ではありません。私が本当にやったことは、要点を指摘した公開された記事を拾い上げて受け入れることだけです...記事のタイトルは「ChatGPT Is Bullshit」でした。そして、ここでのポイントは、道徳哲学には、デタラメという技術的な概念があり、基本的には、それが真実であるかどうかに関係なく、自分の主張をするために必要なことを言っている行動を説明するために使われるということです。 そして、これは私たちが人々が行っていることを識別できることです。そして、大丈夫なときもあれば、そうでないときもあります。なぜなら、基本的に大規模言語モデルの仕組みは、もっともらしいものを構築し、訓練されたものに基づいて良さそうなものを構築することですが、何が真実で何が真実でないかという概念は持っていないからです。したがって、ある準定義的な意味では、大規模な言語モデルは本質的にデタラメです。彼らはそれと違うことをする方法を知らない。

0:04:33.0 エミリー・ウェアマス:これが、AIシステム内で幻覚のような問題が発生する理由なのでしょうか?

0:04:37.8 マークデー:そう、幻覚はでたらめを指す丁寧な方法です。

(笑い)

0:04:42.2 マークデー:ですから、その論文の役目の一つは、AI研究者が自分たちのモデルが時々幻覚を見るという事実や、幻覚に問題があること、それについてさらなる研究が必要であることについて話しているとき、彼らが実際に踏みにじっていたのは、自分たちのモデルがデタラメであるという事実だったことを指摘することだったと思います。先ほど申し上げたように、AIコミュニティ内では確かに意見の相違がありますが、大規模な言語モデルの仕組みを考えると、つまり、ある種の知識体系を参照するのではなく、統計的に可能性の高い文章を生成していると考えるのには十分な理由があると思います。 彼らは本質的にデタラメだと思います。そして、驚くべきことは、彼らがたまたま真実であることを伝えることができる頻度であり、それがたまにでたらめであることに気付くという事実とは対照的です。

0:05:41.5 エミリー・ウェアマス: それは興味深いですね。ですから、私は虚偽の話は好きではありませんので、真実の概念を本質的に無視しているものが、どうして価値があるのか、私に納得させてください。私たちが使うシステムには信頼が必要です。 では、嘘をついているとわかっているこれらのシステムとの信頼関係を築くにはどうすればよいでしょうか?

0:06:00.0 マークデー:さて、ここでの課題は、必ずしも彼らが私たちに嘘をつこうとしているとか、100%嘘をついているということではありません。大規模言語モデルの生成AIに使うもう一つの有用な比喩は、サービスとしてのインターンだと思います。つまり、インターンを雇ったばかりで、彼らは多くのことを知っているのに、組織がどのように機能しているのか、あなたにとって何が重要なのか、世界の特定の側面がどのようにまとめられているのかを実際には理解していないという考えを捉えています。そして、彼らは非常に愚かな失敗をすることができます。 そして、AIと似たような性質があり、AIに特定の質問を投げかけると、すぐに素晴らしい答えが返ってくると思います。そして、これなしではどうやって生きていたのかわからないと言うでしょう。そして、同じようなことを尋ねると、絶対に間違っているとわかっていることが出てきます。そして、あれはひどかった。そして、あなたが何を言っているのかを知ること以外に、あなたがそれから自分自身を守る方法を持っているかどうか、私は知りません。

0:07:11.7 エミリー・ウェアマス: 私たちのリスナーは、セキュリティ、データフィールド、テクノロジーのリーダーである傾向があります。この種のシステムにどのようなタスクを与えるかを考えているときに、どのような思考プロセスを通じてアイデアを出すようにアドバイスしますか?

0:07:24.9 マークデー:あなたは、自分がよく知らない特定の主題に関する従来の知恵を理解したいと考えています。これはAIにとって素晴らしい仕事です。読む時間がないものの大きなコーパスを要約したい場合、途中で小さな不具合があっても大丈夫なら、それも素晴らしいタスクです。AIに目を向けて、「5年後に市場をリードする製品は何になるか教えてください」と言ったら、それはばかげていると思いますよね?ただ、そのような情報は得られないでしょう。そして、質問をすることさえ、最近、かなり具体的な技術的な質問をしていたと思います。私は、顧客に説明しようとしていた問題に一致するシナリオを探していました。シナリオを非常に慎重に指定したところ、AIは私が除外したと思っていた答えを何度も返してきました。そして、そのスペースについてまだよく知らなかったら、書かれていることをコピーして貼り付けてスライドに貼り付け、お客様にゴミをプレゼントしたいという誘惑に駆られたでしょう。

0:08:40.4 エミリー・ウェアマス: つまり、Netskopeのシステムには多くのAIが搭載されているのです。あなたやNetskopeチームはAIにどのようなことをさせていますか?そして、なぜあなたはそのようなことをすることに抵抗がないのですか?

0:08:51.2 マークデー: ここで重要なのは、AIの異なるフレーバーやジャンルを区別することです。大規模な言語モデルやChatGPTのようなものは、人間のように見える存在と対話したり、質問をしたりするのが非常にエキサイティングであるため、すべての注目を集めています。そして、 Netskope プラットフォームで価値を付加するAIのほとんどは、そのようなタイプではありません。 それよりも、私たちがAIを使っているのが、やはりマシンラーニングモデルです。 それらは大規模な言語モデルではなく、人間が行うときにある程度の知能を必要とするタスクを実行しています。そのため、たとえば、Netskopeには、パスポートである可能性が非常に高いものや運転免許証である可能性が非常に高いものを識別できるモデルがあります。そして、それは、パスポート画像と運転免許証画像の大規模なコーパスを取得し、機械にそのようなものを認識するように効果的に教えることで達成できる種類のことです。そして、それは人間が行うのと同じくらいそのタスクを実行します。しかし、それは決してこの種の全体とは関係ありません、ご存知のように、このAIから得られる答えについて心配すべきです。これが、大まかに言えば、 Netskope プラットフォームにかなりのAIが搭載されている理由の1つですが、そこでのデタラメな問題についてはあまり心配していません。

0:10:31.4 エミリー・ウェアマス: だから、 生成AI はおそらく昨年のホットなお気に入りでしたが、今年は私たち全員がそれをやめました。 私たちは皆、新しいバンド、Agentic AIを見るために集まっています。そこでお聞きしたいのですが、前回この話をしたときは、エージェントAIはあまり注目されていなかったのです。エージェントAIが私たちをもでたらめにしていることに同意した場合、エージェントAIの使い方をどのように考える必要があるのでしょうか? それは異なるのでしょうか、それとも同じ注意が適用されますか?ジェネレーティブとエージェントの間には大きな違いがあります。では、このでたらめな理論はどのように適用されるのでしょうか?

0:11:01.0 マーク・デー:まず第一に、個人的には、エージェントティックが生成AIと意味のある違いがあるかどうかについて、陪審員はまだ出ていないと思います。私は、 生成AI が実際に言語と世界の性質について何か興味深いことを教えてくれるという理論、そしてこれらの比較的単純に見えるプロセスが極めて重要なことを行うことができるという事実に傾いています。 私にはAgenticは、ワークフローとインタラクションのいくつかのアイデアをミックスしているように見えます。 新しい世界であるという感覚が自分と同じかどうかはわかりません。まだ納得していないかもしれませんが、この時点では、AIは派手な大活躍をしたAIが、今ではいつものモードに戻っているような感じで、大勢の人が大げさなことを言いながら走り回っているのですが、それに対してあまり見せるものがないのです。

0:11:58.5 エミリー・ウェアマス: つまり、それは新しいことにみんなを再び興奮させるための新しいマーケティング方法に過ぎないということですか?(笑い)

0:12:04.0 マークデー:ええ、現時点ではまだ陪審員が出ていないと思います。私は納得することにオープンですが、まだ納得していません。

0:12:09.9 エミリー・ウェアマス: 面白いね。今、あなたの素晴らしい役職のおかげで、私に尋ねることを許してください、私はSFの世界に短い同盟を持っています。 あなたが最も楽しみにしていること、理想的には人工知能の領域ですが、おそらくそうではない、それはまだ来ていないのですか?

0:12:26.2 マーク・デー:私がまだ見たことのない、そして私が生きている間にはおそらくないかもしれませんが、ある時点で私たちが見ると思う最も興奮するのは、AIに根ざした何らかの形の新しい芸術だと思います。そして、ここで私が描くと思う類推は、映画の仕組みです。そして、映画は最初は目新しいもので、人々はそれをちょっとした断片に使うようになりました。そして、人々は演劇を撮影したり、初期の映画は劇場で何が起こっていたかに非常に影響されるような、ある種の模倣的なモードでそれらを使用します。 そして、彼ら自身の語彙が発達するポイントがあり、その結果、何らかの次元で認識できるほどの傑作である映画的な作品が生まれます。そして、私たちはそれが目新しい段階にあり、人々はそれをふざけるために使っていると思います。 そして、現在のAIアートで人々が行っていることの中には、自分が好きな画像を生成するものの中には、非常に模倣的なモードにあるものもあり、私たちはまだ『市民ケーン』に相当するものが何であるかさえ概念化できていないと言えるでしょう。確かに、クリスチャン・マークレーの「時計」のような作品を想像できる段階にはまだ達していません。しかし、人とAIの相互作用が、やがてある意味で類似した芸術作品につながるように思えます。

0:14:09.7 エミリー・ウェアマス: 大学にいたとき、美術史の学位を取得している人と一緒に住んでいたのですが、彼女が芸術の意味についてたくさんのエッセイを苦労して書いていたのを覚えています。そして、このアイテムはアートなのでしょうか?このアイテムはアートですか?アートとは?クラフトとは?あなたは、あの可哀想な女の子が次にやらなければならない全く新しい種類のコースを開くことになります。人間以外の者が創造することはできません。(笑い声)

0:14:29.6 マークデー:ああ、もちろんです。そうですよ。そうですね、つまり、そこで興味深い問題は、機械が芸術を創り出すことができるということではないと思います。しかし、何か機械と人間の組み合わせが何か非常に興味深いことをすると思います。

0:14:42.5 エミリー・ウェアマス: そうですね、私の息子が将来AIに非常に興奮していることを知っています。これにより、オーディションを受けたり、名声によって人生が台無しにされたりすることなく、ハリーポッターになることができます。だから、私たちは皆、それを楽しみにしていました。(笑い)

0:14:52.7 マークデー:さあ行こう。その通り。

0:14:54.9 エミリー・ウェアマス: 輝かしい。さて、マークさん、今後数ヶ月でAIについて考えているリスナーに伝えたいことは他にもありますか?

0:15:01.5 マークデー: たわごとという一言が、おそらく彼らに残すべき最も重要なことだと思います。

0:15:06.7 エミリー・ウェアマス: (笑いながら)ポッドキャストの終わりまでたどり着きたくなかったし、最後にもう一度誓いたくなかったんだ。ありがとうございました。

0:15:11.5 マークデー: さあ行こう。

0:15:12.0 エミリー・ウェアマス:まあ、実は、これまでで最も悪態をつくエピソードにしてくれてありがとう。私たちはそれを博識な落ち着きと多くの重厚感を持ってやり遂げたと思います。では、どうもありがとうございました。

0:15:21.2 マークデー: ありがとう、エミリー。

0:15:22.8 エミリー・ウェアマス: あなたはSecurity Visionaries Podcastを聞いており、私はあなたのホストであるEmily Wearmouthです。このエピソードを楽しんだ場合は、共有してくださいだけでなく、お気に入りのポッドキャストプラットフォームでフォローして、将来エピソードを見逃さないようにしてください。また次回お会いしましょう。