0:00:01.4 Emily Wearmouth: Olá e bem-vinda ao Security Visionaries Podcast. Hoje, tenho a companhia de um convidado que eu queria receber há algum tempo, e não apenas porque ele tem um ótimo cargo, mas também porque ele tem um ótimo cargo. Mark Day é cientista-chefe da empresa de segurança cibernética e redes Netskope. Bem-vindo ao show, Mark.
0:00:20.1 Mark Day: Obrigado, Emily. É bom estar aqui.
0:00:22.6 Emily Wearmouth: Agora, antes de mergulharmos no tópico sobre o qual pretendo questioná-la um pouco hoje, você poderia nos contar um pouco sobre você e sua formação?
0:00:29.6 Mark Day: Claro. Como o senhor disse, sou cientista-chefe da Netskope. Eu fiz meu trabalho de pós-graduação no MIT, onde tenho um PhD. Sou especialista em sistemas distribuídos e, ao longo dos anos, trabalhei com vários sistemas distribuídos em diversas empresas de tecnologia, sendo a Netskope a atual.
0:00:52.4 Emily Wearmouth: Então me ajude a entender que, quando penso em ciência, meu cérebro imediatamente usa pipetas e tubos de ensaio. Mas me ajude a entender qual é o papel do cientista-chefe em uma empresa de tecnologia, em particular, como você trabalha ao lado de um engenheiro-chefe, um diretor de produto e um diretor de tecnologia? Onde você se encaixa nessa mistura?
0:01:09.1 Mark Day: Bem, meu papel aqui é basicamente fazer boas perguntas e depois reconhecer quando estou recebendo boas respostas, ou talvez não tão boas, e pressionando por respostas melhores quando preciso. Então, um foco particular meu tem sido a infraestrutura, o encanamento, se você quiser. Portanto, sei o suficiente para ser perigoso em relação a todos os diferentes tipos de tecnologias que fazem parte da criação da solução Netskope. Portanto, estou bem posicionado quando as coisas correm mal ou quando precisamos seguir uma direção diferente para entender quais são os problemas e talvez encontrar as pessoas que melhor possam fazer isso dentro da organização. Então, em parte, é uma questão de entender muitas coisas técnicas novas e estranhas que podem estar se materializando e que ainda não são o portfólio de outra pessoa, e também de estar preparado para fazer perguntas e não ficar muito preocupado se eu estiver fazendo perguntas estúpidas. Então é aí que o PhD é útil, posso dizer que se eu não entendo alguma coisa, provavelmente é genuinamente difícil ou genuinamente nova.
0:02:25.1 Emily Wearmouth: Essa é uma maneira muito clara de... Eu realmente quero seu emprego, Mark. Eu só vou colocar isso lá fora. Eu vou para o MIT. Estou atrás do seu emprego.
[risos]
0:02:33.1 Emily Wearmouth: Agora, neste momento, vou lançar um pequeno aviso de conteúdo. Se você não o viu no título do programa, este episódio usará um palavrão. É leve, mas se você se protege de orelhinhas sensíveis que podem estar penduradas em seus pés enquanto você ouve e prepara o jantar, aqui está seu aviso de que usaremos na íntegra a palavra que geralmente é abreviada para BS. E há uma razão para isso, eu prometo. Mas talvez leve algumas pessoas para fora da cozinha. Ok, aviso devidamente entregue. Mark, há alguns meses você me disse que grandes modelos linguísticos eram artistas idiotas e que, apesar disso, você acredita que eles ainda podem ser incrivelmente valiosos, o que parece extremamente contraditório. Então, comece com por que você acredita que LLMs ou modelos de IA são besteiras?
0:03:18.2 Mark Day: Certo. Bem, essa não é uma visão original. Tudo o que eu realmente fiz foi pegar e abraçar um artigo publicado que explicava... O título do artigo era ChatGPT Is Bullshit. E a questão é que existe uma noção técnica de besteira na filosofia moral, em que ela é basicamente usada para descrever o comportamento no qual você diz o que é necessário para defender seu caso, independentemente de ser verdade ou não. E isso é algo que podemos identificar as pessoas fazendo. E, você sabe, às vezes está tudo bem e às vezes não. Mas é uma característica desses grandes modelos de linguagem que estão recebendo muita atenção no espaço da IA, porque, fundamentalmente, a forma como um grande modelo de linguagem funciona é que ele constrói coisas que são plausíveis e que soam bem com base no que foi treinado, mas não tem nenhum conceito do que é verdadeiro e do que é falso. Então, em um sentido quase definitivo, grandes modelos de linguagem são intrinsecamente mentirosos. Eles não sabem como fazer nada diferente disso.
0:04:33.0 Emily Wearmouth: É por isso que temos problemas como alucinações nos sistemas de IA?
0:04:37.8 Mark Day: Sim, alucinação é a forma educada de se referir a besteiras.
[risos]
0:04:42.2 Mark Day: Então eu acho que um dos serviços desse artigo foi ressaltar que quando pesquisadores de IA estavam falando sobre o fato de que seus modelos às vezes tinham alucinações ou que havia um problema com alucinações e que mais pesquisas precisavam ser feitas sobre isso, o que eles estavam realmente tentando contornar era o fato de que seus modelos eram mentirosos. E, como eu disse, acho que, embora certamente haja divergências sobre isso na comunidade de IA, acho que há boas razões para pensar que, dada a forma como os grandes modelos de linguagem funcionam, ou seja, eles estão produzindo estatisticamente frases prováveis em vez de fazerem referência a algum tipo de corpo de conhecimento, acho que eles são intrinsecamente mentirosos. E o que chama a atenção é a frequência com que eles conseguem dizer algo que por acaso é verdade, em oposição ao fato de que ocasionalmente percebemos que é besteira.
0:05:41.5 Emily Wearmouth: Isso é fascinante. Então, ok, eu não sou fã de inverdades, então me convença de como algo que está intrinsecamente desconsiderando conceitos de verdade pode ter valor? Exigimos confiança nos sistemas que usamos. Então, como podemos construir uma confiança com esses sistemas que sabemos que estão mentindo para nós?
0:06:00.0 Mark Day: Bem, o desafio aqui não é necessariamente que eles estejam tentando mentir para nós ou que mentem 100% das vezes. Acho que outra metáfora útil que algumas pessoas usam para IA generativa para grandes modelos de linguagem é o estagiário como serviço. Isso captura a ideia de que é como se você tivesse acabado de contratar um estagiário e ele soubesse muitas coisas, mas não entendesse realmente como sua organização funciona, o que é importante para você ou como certos aspectos do mundo são reunidos. E assim eles podem cometer alguns erros muito bobos. E acho que existe uma qualidade semelhante à IA: você pode fazer um certo tipo de pergunta e ela retornará com uma resposta fabulosa imediatamente. E você dirá, eu não sei como vivi sem isso. E então você pode perguntar uma coisa semelhante e ela surge com algo que você sabe que está absolutamente errado. E você diz, bem, isso foi terrível. E além de saber do que você está falando, eu não sei se você tem uma maneira de se proteger contra isso.
0:07:11.7 Emily Wearmouth: Nossos ouvintes tendem a ser líderes em segurança, campos de dados e tecnologia. Que processo de pensamento você recomendaria que as pessoas realizassem suas ideias quando pensassem nas tarefas que atribuiriam a esses tipos de sistemas?
0:07:24.9 Mark Day: Você quer entender a sabedoria convencional sobre um assunto específico com o qual não está familiarizado. Essa é uma ótima tarefa para uma IA. Se você quiser que ele resuma um grande conjunto de coisas que você não tem tempo para ler e está bem com a possibilidade de haver pequenas falhas ao longo do caminho, essa é outra ótima tarefa. Acho que se você recorrer a uma IA e disser, me diga qual será o produto líder de mercado em cinco anos, isso é absurdo, certo? Você simplesmente não vai obter esse tipo de informação com isso. E acho que mesmo fazendo perguntas, você sabe, eu estava recentemente fazendo uma pergunta técnica bastante específica. Eu estava procurando cenários que correspondessem a um problema que estava tentando explicar a um cliente e especifiquei o cenário com muito cuidado, e a IA continuou me dando respostas que eu achava que havia descartado. E foi uma daquelas áreas em que, se eu ainda não soubesse muito sobre esse espaço, teria ficado tentado a simplesmente copiar e colar o que ele dizia, colocá-lo nos meus slides e depois apresentar o lixo ao cliente.
0:08:40.4 Emily Wearmouth: Então, há muita IA nos sistemas da Netskope. Que tipo de coisas o senhor ou a equipe da Netskope estão fazendo com que a IA faça? E por que você se sente confortável fazendo essas coisas?
0:08:51.2 Mark Day: O que importa aqui é distinguir entre diferentes sabores ou diferentes gêneros de IA. Os grandes modelos de linguagem, do tipo ChatGPT, chamam toda a atenção porque é muito empolgante interagir com uma entidade aparentemente humana, fazer perguntas e assim por diante. E quase nada da IA que agrega valor na plataforma Netskope é desse tipo. O que é muito mais comum nas formas como usamos a IA ainda são os modelos de aprendizado de máquina. Eles não são grandes modelos de linguagem e estão realizando tarefas que, quando os humanos as realizam, exigem algum grau de inteligência. Assim, por exemplo, há um modelo no Netskope que nos permite identificar coisas que têm grande probabilidade de serem passaportes ou carteiras de motorista. E esse é o tipo de coisa que você pode fazer obtendo um grande corpus de imagens de passaportes e imagens de carteiras de motorista e ensinando efetivamente a máquina a reconhecer esse tipo de coisa. E ele executa essa tarefa tão bem quanto uma pessoa. Mas isso não se relaciona de forma alguma com todo esse tipo de, você sabe, eu deveria me preocupar com a resposta que estou recebendo dessa IA, porque talvez ela esteja me enganando. Esse é um dos motivos pelos quais, em termos gerais, temos um pouco de IA na plataforma Netskope, mas não estou muito preocupado com o problema da besteira.
0:10:31.4 Emily Wearmouth: Então, o Gen AI foi o grande favorito possivelmente no ano passado, e este ano todos nós o abandonamos. Estamos todos nos reunindo para ver uma nova banda na cidade, a Agentic AI. Então eu queria te perguntar, na última vez que falamos sobre isso, a IA agente não estava realmente no radar. Como podemos considerar a forma como usamos a IA agente se concordamos que eles também estão nos enganando? É diferente ou o mesmo cuidado se aplica? Há uma grande diferença entre generativo e agente. Então, como essa teoria da besteira se aplica?
0:11:01.0 Mark Day: Acho que, em primeiro lugar, pessoalmente acho que o júri ainda não decidiu se agentic é significativamente diferente de Gen AI. Estou mais inclinado à teoria que diz que o Gen AI realmente nos diz algo interessante sobre a natureza da linguagem e do mundo e o fato de que esses processos aparentemente relativamente simples podem fazer coisas extremamente não triviais. Só para mim, o Agentic parece misturar algumas ideias de fluxo de trabalho e interação. Não sei se tenho a mesma sensação de que é um mundo novo. Acho que ainda posso estar convencido, mas neste momento eu estou mais do tipo, ok, então a IA, depois de um grande momento chamativo, agora está meio que de volta ao modo normal, no qual há um monte de pessoas correndo por aí dizendo coisas exageradas, mas sem realmente ter muito a mostrar.
0:11:58.5 Emily Wearmouth: Então, sua opinião seria que é apenas uma nova forma de marketing de deixar todo mundo empolgado com algo novo novamente? [risos]
0:12:04.0 Mark Day: Sim, acho que no momento o júri ainda não decidiu. Estou aberto a ser convencido, mas ainda não estou convencido.
0:12:09.9 Emily Wearmouth: Interessante. Agora, por causa do seu incrível cargo, permita-me perguntar, tenho um breve namoro no mundo da ficção científica. O que mais o entusiasma, idealmente no campo da inteligência artificial, mas talvez não, que ainda está por vir?
0:12:26.2 Mark Day: Acho que a coisa que mais me empolgaria e que eu ainda não vi e que veremos em algum momento, embora possivelmente não em minha vida, é alguma forma de arte nova que está reconhecidamente enraizada na IA. E a analogia que eu acho que faria aqui é com a forma como os filmes funcionavam. E os filmes eram inicialmente uma novidade e as pessoas então os usavam para pequenos trechos de coisas. E então as pessoas os usavam de uma forma meio imitativa, em que filmavam peças teatrais ou os primeiros filmes eram muito influenciados pelo que estava acontecendo no teatro. E então chega um ponto em que seu próprio vocabulário se desenvolve e, posteriormente, há obras cinematográficas que são reconhecidamente obras-primas em uma dimensão ou outra. E acho que estamos meio que na fase de ser uma novidade e as pessoas a estão usando para brincar. E você poderia dizer que algumas das coisas que as pessoas fazem com a arte atual da IA, em que você gera uma imagem de que gosta, estão basicamente no modo imitativo, ainda não conseguimos conceituar nem mesmo qual seria o equivalente a Cidadão Kane. Certamente ainda não estamos em um ponto em que possamos imaginar uma obra como The Clock, de Christian Marclay. Mas me parece que a interação das pessoas com a IA acabará por levar a obras de arte que, em certo sentido, são análogas.
0:14:09.7 Emily Wearmouth: Então, quando eu estava na universidade, eu morava com alguém que estava fazendo um curso de história da arte, e eu me lembro dela trabalhando em muitos ensaios sobre qual é o significado da arte? E esse item é arte? Esse item é arte? O que é arte? O que é artesanato? Você vai abrir um novo tipo de curso que aquela pobre garota terá que fazer na próxima vez. Não pode ser criado por nada além de um ser humano. [risada]
0:14:29.6 Mark Day: Ah, com certeza. Absolutamente Bem, quero dizer, acho que a questão interessante é: você sabe, uma máquina pode criar arte? Mas acho que alguma combinação entre máquinas e humanos fará algo muito interessante.
0:14:42.5 Emily Wearmouth: Bem, eu sei que meu filho está muito empolgado com a IA no futuro, permitindo que ele seja Harry Potter sem ter que passar por audições ou ter sua vida arruinada pela fama. Então, todos nós poderíamos esperar por isso. [risos]
0:14:52.7 Mark Day: Aí está. Exatamente.
0:14:54.9 Emily Wearmouth: Brilhante. Bem, há mais alguma coisa, Mark, que você gostaria de deixar nossos ouvintes saberem quando pensarem em IA nos próximos meses?
0:15:01.5 Mark Day: Eu acho que uma única palavra, besteira, é provavelmente a coisa mais importante para deixar para eles.
0:15:06.7 Emily Wearmouth: [risos] Não queríamos chegar ao final do podcast e não xingar pela última vez. Muito obrigado
0:15:11.5 Mark Day: Aí está.
0:15:12.0 Emily Wearmouth: Bem, obrigado, na verdade, por fazer deste o nosso episódio mais suado de todos os tempos. Acho que fizemos isso com desenvoltura erudita e muita seriedade. Então, muito obrigado.
00:15:21.2 Mark Day: Obrigado, Emily.
0:15:22.8 Emily Wearmouth: Você está ouvindo o podcast Security Visionaries e eu fui sua apresentadora, Emily Wearmouth. Se você gostou desse episódio, compartilhe-o, mas também certifique-se de nos seguir em sua plataforma de podcast favorita para nunca perder um episódio no futuro. Nos vemos na próxima vez.
){kind=icon}
