Dévoiler les aspects sous-estimés de l’IA

Emily Wearmouth [00:00:01] Bonjour et bienvenue dans cette édition de Security Visionaries, un podcast destiné à tous ceux qui travaillent dans les écosystèmes de la cybersécurité et des données. Je suis votre animatrice, Emily Wearmouth, et cette semaine, j'ai trois invités extraordinaires qui apportent trois perspectives différentes à une discussion que je voulais avoir avec eux sur l'IA. Permettez-moi tout d'abord de vous présenter tout le monde. Tout d'abord, nous avons Yihua Liao, un scientifique spécialiste des données qui a travaillé pour tous les grands noms, Facebook, Microsoft, Uber, et qui est maintenant à la tête du site AI Labs à l'adresse Netskope. Bienvenue donc, Yihua.

Yihua Liao [00:00:31] Merci. Je suis heureux d'être ici.

Emily Wearmouth [00:00:32] Ensuite, nous avons Neil Thacker, qui est responsable de la sécurité de l'information et un responsable de la protection des données très expérimenté. Il a travaillé avec de grands noms comme Swiss Re, Deutsche Bank, Camelot, la société de loterie. Il a également été conseiller auprès de l'ENISA et de la Cloud Security Alliance. Bienvenue Neil.

Neil Thacker [00:00:49] Merci, Emily. C'est un grand plaisir d'être ici.

Emily Wearmouth [00:00:51] Et enfin, Suzanne Oliver est notre experte en propriété intellectuelle aujourd'hui. Suzanne travaille dans le secteur privé en tant que stratège en matière de propriété intellectuelle et avocate chez Cintra. Elle a dirigé le département de la propriété intellectuelle chez ARM et n'est pas étrangère à Westminster, au Royaume-Uni, où elle représente un certain nombre d'organismes de propriété intellectuelle et d'associations d'IA et d'apprentissage automatique au niveau gouvernemental. J'ai rencontré Suzanne pour la première fois à la London Tech Week, où nous avons eu une grande conversation tout en essayant de manger poliment dans de petites boîtes à lunch en carton. Je suis donc très heureux qu'elle nous rejoigne aujourd'hui pour que je puisse avoir une deuxième chance de faire une première impression. Bienvenue, Suzanne.

Suzanne Oliver [00:01:23] Merci. Et oui, c'était un excellent déjeuner. Très bien. Nous vous remercions.

Emily Wearmouth [00:01:28] L'IA est un sujet très en vogue, et je pense que vous aurez du mal à trouver quelqu'un qui n'a pas parlé de l'IA cette année. Vous pouvez donc vous demander ce que nous pouvons ajouter à ce vaste sujet de discussion. Et c'est vraiment ce que je voulais faire aujourd'hui. Je voulais poser cette question à nos panélistes. J'ai donc demandé à chacun d'entre eux de se préparer à répondre à une question. Et cette question est la suivante : au milieu de toutes ces discussions et de tout ce battage autour de l'IA, quelle est la chose dont vous aimeriez vraiment que l'on parle davantage ? Chacun aborde la question sous un angle légèrement différent, alors voyons quelles sont leurs réponses. Et Neil, je vais commencer par vous. C'est un peu comme un rendez-vous à l'aveugle. Première question, s'il vous plaît, Neil.

Neil Thacker [00:02:05] Oui, c'est une excellente question. C'est ce que je pense. Je veux dire, par exemple, que j'aimerais que tout le monde arrête d'utiliser chatGPT, AI et ML sont des synonymes, et je pense qu'il est utile de s'éloigner de cela pour mieux comprendre et sensibiliser à l'omniprésence de l'IA aujourd'hui. Je pense que nous disons généralement qu'il n'y a pas assez d'informations à ce sujet. C'est un peu comme si une organisation disait, par exemple, qu'elle utilise le nuage, alors qu'en réalité elle utilise des milliers d'applications dans le nuage et que chacune d'entre elles accomplit une tâche légèrement différente. Je pense que nous sommes confrontés au même défi avec l'IA. Il est déjà très répandu dans les organisations et, bien sûr, chez les consommateurs. Ils utilisent ces outils et ces services. C'est donc la première chose à faire. Et bien sûr, je veux dire que c'est important à cause d'un certain nombre de domaines clés. Je veux dire par là que la première est la prise de conscience générale de l'utilisation actuelle de l'IA et qu'il ne s'agit pas d'une technologie d'avenir. Cela se passe aujourd'hui. Je pense que, deuxièmement, nous devons comprendre les personnes, les entreprises et les données qui permettent aux consommateurs de savoir que l'I.A. ne se limite pas à une application spécifique. C'est un peu comme si vous disiez que c'est ChatGPT. Je veux dire que ce que je déteste, c'est quand j'entends quelqu'un parler d'IA et qu'il dit que c'est de l'IA comme ChatGPT. C'est une idée fausse, car il n'y a que quelques applications aujourd'hui qui utilisent des capacités de type IA. Il est donc présent dans de nombreuses applications que nous utilisons aujourd'hui. Il est utilisé, il est omniprésent. Il est essentiel pour les organisations et les consommateurs de comprendre la raison, les données traitées et les résultats attendus de l'utilisation de cette application et de ce service. Voilà donc les principaux aspects que je vois.

Emily Wearmouth [00:03:48] Très bien, merci Neil. Je regarde la réaction de Suzanne et j'ai une question à vous poser à ce sujet. Selon vous, qui devrait posséder ces définitions ? Vous savez, Neil ne veut pas que l'on définisse l'IA comme un simple ChatGPT. Existe-t-il une définition commune ou une norme pour l'IA ? Et si oui, qui ne l'a pas ou qui devrait l'avoir ?

Suzanne Oliver [00:04:07] Encore une fois, très bonne question. Personne ne le possède aujourd'hui. D'autres normes sont également utilisées pour décrire les niveaux, par exemple les niveaux d'autonomie des voitures et des véhicules autonomes. Et je pense que notre époque réclame certainement un peu plus de transparence sur ce qu'est et ce que n'est pas l'IA et ce qu'est le ML. Souvent utilisés de manière interchangeable, ils sont en fait très différents. Je pense donc qu'il y a beaucoup d'engouement, et je pense qu'il y a beaucoup d'engouement parce qu'il y a un manque de compréhension de ce que ces systèmes peuvent et ne peuvent pas faire. Mais d'un autre côté, il y a un manque de compréhension de qui est propriétaire de ce qui entre et de qui est propriétaire de ce qui sort - pour reprendre l'un des points de Neil, qui est mon plus grand problème, et je pense que Netskope, dans l'un de vos rapports, a mis en évidence la quantité de code source qui est en fait introduite dans ces outils. Le code source propriétaire peut être un manque de compréhension du fait que ces outils ne prétendent pas garder ce secret ou ne prétendent pas vous permettre de le garder comme vôtre. Et ils prétendent également posséder toute la production. C'est donc toute la question de la transparence de qui possède quoi. Comment ça s'appelle et à quoi ça sert, je pense que oui. Il est bon, peut-être pas de normaliser, mais de créer un langage New qui nous aide à communiquer ces aspects plus clairement aux personnes qui ne les comprennent pas nécessairement d'emblée.

Emily Wearmouth [00:05:35] Neil, avez-vous un exemple ? Vous dites que l'I.A. est déjà omniprésente et que c'est une technologie d'aujourd'hui, pas du futur. Avez-vous des exemples de cas où vous avez vu l'IA à l'œuvre alors que les gens ne sauraient peut-être pas qu'il faut la chercher là ?

Neil Thacker [00:05:47] Oui, je veux dire que nous avons vu l'introduction de nombreux assistants d'I.A., en particulier dans les réunions et les réunions de vidéoconférence, etc. Il est donc assez courant aujourd'hui que je rejoigne une réunion et qu'un assistant IA prenne parfois la place de quelqu'un, ce qui est toujours intéressant. Mais oui, c'est évidemment immédiat, je veux dire que je vérifie la présence des participants dans les réunions. Ce n'est pas le cas de tout le monde. Tout le monde n'est pas conscient de l'existence d'un assistant IA. Et je pense que c'est, je veux dire, c'est peut-être bien. Par exemple, si l'assistant prend des notes ou rédige le procès-verbal de la réunion, ce qui est une excellente chose car la plupart des gens n'aiment pas faire cela. C'est donc une excellente chose. Automatisons cette capacité. Mais bien sûr, si ce système d'IA effectue une analyse supplémentaire des sentiments, peut-être qu'il examine l'évaluation de l'humeur, peut-être que j'ai vu cet assistant d'IA évaluer l'humeur toutes les 5 secondes, ce qui me préoccupe un peu. Je veux dire par là que même nous avons vu certains services utiliser la notation du QI, c'est-à-dire écouter la façon dont les gens parlent et interagissent et essayer d'évaluer leur QI. Bien entendu, si vous faites ce genre de chose lors d'une réunion, vous devez en informer quelqu'un à l'avance, car cette personne pourrait vouloir vérifier d'abord la politique de confidentialité du vendeur, du fournisseur de ce service, de l'assistant d'intelligence artificielle. Vous devriez peut-être l'expliquer d'emblée. Alors bien sûr, si vous passez une mauvaise journée, alors peut-être qu'ils sont tout à fait je ne sais pas. Je veux dire que l'une de ces choses va surprendre quelqu'un à un moment ou à un autre. Ce n'est qu'un exemple, peut-être grossier, mais je pense que c'est là que nous devons mieux comprendre les capacités du service. Il ne s'agit pas seulement d'enregistrer et de rédiger des comptes rendus de réunions. Il y a tellement de possibilités. Il s'agit de sensibiliser les gens à ce sujet. Par exemple, je suis retourné voir un fournisseur, l'un de ces services, et je lui ai demandé : "D'accord, quelle est votre politique en matière de protection de la vie privée ? Et leur réponse, ne vous inquiétez pas, c'est entièrement couvert. Quoi qu'il en soit, c'est l'avenir. Il suffit donc de l'accepter. La sonnette d'alarme est donc immédiatement tirée. Bien sûr, bien sûr. J'ai donc dû approfondir mes recherches pour savoir exactement ce qu'offre leur service. Je pense donc qu'il est difficile pour les gens de comprendre cela. Et encore une fois, il est parfois trop tard. Ils sont mis sur la sellette. Ils doivent procéder à une évaluation rapide, à un jugement sur ces services. Alors oui, il s'agit de bien comprendre cette compréhension. Là encore, le fournisseur de ces technologies et services doit faire preuve d'un certain niveau de confiance.

Emily Wearmouth [00:08:12] Je dirais qu'il est assez audacieux d'envoyer une IA à une réunion à votre place. Toutes ces conversations sur les gens qui vont perdre leur emploi, c'est un peu comme si on s'engageait volontairement dans cette voie, n'est-ce pas ?

Neil Thacker [00:08:23] Oui, je pense que le problème est que lorsque nous organisons une réunion, nous envoyons tous notre propre assistant IA à la réunion. De quoi discutent-ils ? J'aimerais bien être une mouche sur le mur.

Emily Wearmouth [00:08:30] Avec ça. Brillant. Yihua. Je voulais vous faire entrer. À ce stade, vous travaillez beaucoup à la construction de systèmes d'intelligence artificielle et à l'écriture de modèles d'apprentissage automatique. Que pensez-vous du fait que tout soit constamment qualifié de ChatGPT ? Trouvez-vous cela frustrant ?

Yihua Liao [00:08:49] C'est, vous savez, parce que j'ai l'impression que le lavage par l'IA est vraiment un problème. Vous savez, c'est, c'est obscurcir la clarté de la compréhension de l'IA. J'aimerais donc que l'on discute davantage de la manière dont les entreprises de sécurité et peut-être les entreprises technologiques en général construisent l'IA et la ML, c'est-à-dire quels sont les intrants du modèle de l'IA, quels sont les résultats et quelle est la fiabilité des résultats ? C'est vrai ? Et j'ai l'impression qu'il y a un manque de compréhension et de transparence sur ces aspects. Par conséquent, je pense qu'il y a quelques idées fausses. Vous savez, la façon dont je vois les choses, vous savez, d'habitude certaines personnes peuvent dire, hé, je peux tout faire. Vous savez, il va prendre nos emplois et, vous savez, il va contrôler tout ce que nous faisons. Et puis il y a aussi des gens qui disent, par exemple, vous vous entraînez avec mes données et je ne veux pas que vous utilisiez mes données pour vous améliorer, pour aider mes concurrents. Je pense que depuis que j'ai créé le Netskope AI Labs et au fil des ans, nous avons développé de nombreuses capacités d'I.A. chez Netskope et avant cette frénésie générale d'I.A.. Je pourrais donc peut-être vous faire part de mon point de vue et vous expliquer comment nous construisons des modèles d'apprentissage automatique et d'IA chez Netskope. Tout d'abord, nous avons construit de nombreux modèles d'IA chez Netskope, notamment des modèles permettant d'identifier les logiciels malveillants, les sites de phishing et les données sensibles. Je pense que Suzanne a mentionné le classificateur de code source, c'est quelque chose que mon équipe a construit il y a quelques années. Nous utilisons également l'apprentissage automatique pour identifier les comportements anormaux des utilisateurs, qui peuvent être le signe d'une violation de données ou d'une menace interne, etc. Ainsi, à un niveau élevé, ce qui entre dans nos modèles, ce sont les données que nous essayons de rassembler à partir de différentes sources, y compris des données du domaine public ou des données que nous avons acquises auprès de tierces parties. Nous n'utiliserons donc jamais les données de nos clients pour élaborer des modèles d'apprentissage automatique sans leur autorisation. Comme vous pouvez l'imaginer, certains modèles d'apprentissage automatique, par exemple l'analyse du comportement de l'utilisateur, nécessitent d'examiner le comportement normal de chaque utilisateur. Mais même pour ce type de modèle, nous devons d'abord obtenir l'autorisation de nos clients. Par exemple, lorsque l'utilisateur télécharge un fichier, nous n'avons pas nécessairement besoin d'examiner le contenu du fichier pour décider si ce comportement est anormal ou non. C'est vrai. C'est donc essentiellement ce qui entre dans la composition du modèle. En ce qui concerne les résultats du modèle. Et vous savez, de nos jours, presque toutes les entreprises affirment qu'elles font de l'IA et que les modèles d'IA sont très précis. Mais je dirais que si quelqu'un vous dit que son IA est précise à 100%, je dirais qu'il ment. Vous savez, en fin de compte, l'IA est vraiment une probabilité, vous savez, la probabilité qu'une chose se produise sur la base des données d'entraînement dont ils disposent. Vous avez donc toujours besoin d'un humain dans la boucle pour vérifier les résultats du modèle d'IA ou peut-être d'une sorte de boucle de rétroaction à l'intérieur de votre produit afin de prendre ce retour d'information et de réentraîner votre modèle et de l'améliorer au fil du temps. L'IA est donc un processus innovant. C'est un parcours, et vous ne pouvez jamais vous attendre à ce que le modèle soit précis à 100% ou même à 99% la première fois. Vous devez toujours procéder à des itérations au fil du temps.

Emily Wearmouth [00:13:30] Je vois beaucoup de hochements de tête de la part de Suzanne et de Neil. N'hésitez pas à ajouter quelque chose.

Suzanne Oliver [00:13:37] Oui, je pense que le point de fiabilité avec lequel je suis d'accord avec véhémence, c'est le manque de compréhension, en particulier, vous savez, je sais que c'est la bête noire de Neil, quand vous passez de l'IA directement à ChatGPT. C'est un exemple assez intéressant en soi qui peut être utilisé comme, vous savez, il présente des données incorrectes comme correctes parce qu'il n'a aucune compréhension du vrai et du faux. Vous savez, c'est juste la probabilité que ce soit la réponse que vous cherchez. C'est ainsi qu'il fonctionne. Et je pense que c'est là que, vous savez, je parlais tout à l'heure d'éducation et de compétences pour comprendre que ces choses sont des outils. Et comme les humains, ils sont faillibles, mais ils le sont de différentes manières. C'est vrai. Et je pense que notre société doit comprendre un peu mieux cela. Mais le point sur, vous savez, avoir cette transparence sur la façon dont nous les décrivons, peut-être que nous devons les catégoriser dans différentes sortes de façons fonctionnelles et catégoriser la production de risque comme les niveaux d'autonomie que nous avons mentionnés plus tôt, mais oui, en quelque sorte oui, hochement de tête, hochement de tête d'accord véhément.

Emily Wearmouth [00:14:54] Et Neil, je voulais vous poser une question et vous avez autre chose à dire, alors n'hésitez pas à répondre aux deux. Mais si certains des points abordés par Yihua ont trouvé un écho chez vous, en tant que personne dont le travail consiste à protéger les données. Quel genre de questions posez-vous à quelqu'un comme Yihua dans d'autres entreprises technologiques pour aller au fond de ce que ces systèmes sont censés faire ?

Neil Thacker [00:15:16] Oui, je veux dire, on en revient toujours aux données, n'est-ce pas ? Il s'agit donc de savoir ce qu'il advient des données saisies dans le cadre d'une requête d'entrée. Par exemple, si vous utilisez la genAI, qu'arrive-t-il au modèle ? Le modèle est-il utilisé pour fournir des services supplémentaires en privé ou en public, et qu'est-ce qu'une analyse contrôle ? Il est évident qu'il a été mentionné qu'il s'agit là encore d'un exemple de contrôles organisationnels mis en œuvre, mais il s'agit également de savoir ce qu'il advient des résultats et s'il existe une sorte de contrôle d'intégrité effectué sur les résultats et si ces derniers peuvent être utilisés pour passer en revue et préformer d'autres modèles. C'est vrai. Il s'agit donc d'un autre aspect qui vous permet d'entrer dans une boucle et d'exploiter davantage, d'affiner la requête de sortie sur la base d'une série de boucles de rétroaction utilisant les services d'intelligence artificielle. Mais encore une fois, il est important de comprendre que ces données datent de combien de temps ? Combien d'itérations ces données ont-elles subies ? Mais cela dépend aussi de choses comme, par exemple, quel pays ? Je pense qu'il s'agit d'un sujet sur lequel nous poserons certainement plus de questions dans un avenir proche, alors que de nouvelles réglementations seront peut-être mises en place pour protéger les individus. Et nous entendrons dire que l'IA de l'UE est une loi qui sera mise en place pour protéger les citoyens de l'UE. Mais, bien sûr, cela signifie généralement qu'il y aura une série d'autres exigences réglementaires et de réglementations provenant d'autres pays qui veulent continuer à faire des affaires avec l'UE, ce genre de choses. Nous avons vu que le GDPR en est un exemple. Il s'agit donc d'éléments dont il faut tenir compte. J'ajouterai que nous sommes tous conscients, peut-être ici et peut-être ailleurs, du phénomène de l'hallucination, qui permet à l'IA de créer des contenus imaginatifs et créatifs. Et elle n'est pas fondée sur des faits ou la vérité. J'en ai eu un exemple récemment. Quelqu'un a de nouveau posé la question : "Quel est le record du monde de la traversée de la Manche à pied ?" Et il a donné une date de nom et une heure de passage.

Emily Wearmouth [00:17:20] C'était mon record, Neil.

Neil Thacker [00:17:21] Oui, 14 heures et 51 minutes.

Emily Wearmouth [00:17:24] Cela m'a pris du temps. Oui, oui.

Neil Thacker [00:17:26] Mais pour certaines personnes, elles se disent, eh bien, peut-être que c'était encore une fois correct. Peut-être que quelqu'un a de nouveau traversé la Manche en empruntant le tunnel sous la Manche, par exemple. Mais le contenu qui suit indique que seuls les nageurs professionnels devraient tenter l'expérience. On peut donc penser qu'il s'agit d'une hallucination. Ce n'est qu'un exemple. Mais oui, je pense que nous devons être conscients des données, de leur intégrité, de la manière dont elles sont protégées et aussi de toutes les réglementations qui sont susceptibles d'entrer en vigueur. Mais nous essayons en fait de protéger, encore une fois, les citoyens sur l'utilisation de ces services et sur les données qui sont réellement traitées.

Yihua Liao [00:17:59] Oui. Neil, c'est tout à fait vrai. Je veux dire que l'hallucination est certainement un défi pour, vous savez, les praticiens comme moi, nous essayons beaucoup de choses New, en essayant de minimiser la probabilité d'hallucination. Mais je voudrais également mentionner que, vous savez, mettre en évidence le thing que vous avez mentionné plus tôt. L'I.A., c'est vraiment une question de données, n'est-ce pas ? La qualité de votre IA dépend de celle de vos données d'apprentissage. Vous savez, si vous ne disposez pas de données fiables et de qualité, si vos données sont biaisées et que votre modèle n'est pas très performant, je suis sûr que certains d'entre vous ont entendu l'histoire selon laquelle certains modèles d'IA de reconnaissance faciale sont moins précis. Et lorsqu'il s'agit de peaux plus foncées ou de femmes, il y a donc un biais de genre et d'âge dans les données d'apprentissage. C'est donc un problème pour nous, pour les entreprises de sécurité comme la nôtre, car la plupart de nos modèles d'apprentissage automatique ne tiennent pas compte d'éléments tels que l'âge, le sexe et d'autres informations confidentielles. Mais je dirais qu'il est toujours possible que l'entraînement que nous utilisons pour former nos modèles d'IA ne représente pas réellement ce que nous voyons dans le monde réel. Ainsi, vous savez, en tant que scientifique des données ou scientifique du ML, nous essayons toujours d'améliorer la qualité de nos données de formation afin qu'elles soient plus représentatives de ce que nous voyons dans le monde réel.

Neil Thacker [00:19:44] Oui, je veux dire que nous voyons aussi, par exemple, toute la chaîne d'approvisionnement et l'économie de l'I.A., n'est-ce pas ? Il existe des organisations qui fournissent toutes des données pouvant être utilisées pour ce type de formation, et nous devons commencer à parler de l'intégrité des données à ce niveau également. La question de savoir où ces données ont été obtenues s'apparente un peu à la discussion sur le marketing. D'où proviennent ces informations ? L'information a-t-elle été obtenue avec le consentement de l'intéressé ? Toutes ces choses. Cela donne lieu à une discussion, n'est-ce pas ? L'ensemble de l'étude économique sur la chaîne d'approvisionnement, d'où proviennent ces données, qui a donné son autorisation ou son approbation pour traiter ces données. C'est vrai. Il y a beaucoup d'exigences et de défis que les organisations doivent relever lorsqu'elles commencent à s'intéresser à l'IA et à l'utilisation de l'IA dans leur organisation.

Emily Wearmouth [00:20:28] Tout à fait. Et je pense que c'est peut-être une bonne façon de répondre à la question. Suzanne. Nous avons eu un entretien préalable, présentez votre réponse. Comment répondriez-vous à cette question ? Quelle est la chose dont vous aimeriez que l'on parle davantage ?

Suzanne Oliver [00:20:42] Oui, je crois que j'en ai déjà parlé. Il s'agit sans aucun doute de la transparence de ce qui entre et de ce qui sort, et de qui en est le propriétaire. Je veux dire que les données en tant que telles ne peuvent pas être possédées en tant que telles, et c'est probablement un tout autre sujet en soi, donc je ne m'y attarderai pas. Mais je pense, en m'appuyant sur la remarque de Yihua concernant les préjugés inconscients. Vous savez qu'il y a 35 biais cognitifs minimums que nous avons en tant qu'humains, et j'aurais probablement pu en citer trois si vous m'aviez posé la question avant cet appel. Dès lors, comment pouvons-nous espérer que les données introduites dans ces outils soient représentatives de nous-mêmes si nous ne nous comprenons même pas pour commencer ? C'est donc l'un des éléments de ma réponse à mon livre, devrais-je dire. L'autre question est de savoir qui est le propriétaire de la production. De mon point de vue, l'IA concerne donc principalement le droit d'auteur et la propriété du droit d'auteur. Par exemple, si je télécharge des photos dans l'un de ces outils et qu'il crée une sorte d'outil qui prend l'une de mes photos et y apporte une modification, alors cette modification est peut-être la propriété de l'outil. Par exemple, il s'agirait d'OpenAI et de ChatGPT, mais je possède la photo originale, de sorte que le résultat est un travail New, par exemple, mais il peut potentiellement enfreindre quelque chose qui s'est produit auparavant parce que vous regardez en arrière avec la contrefaçon et que l'innovation va de l'avant. Encore une fois, il s'agit de concepts très difficiles à comprendre pour les profanes et les hommes d'affaires. Mais, à moins que vous ne soyez comme moi une sorte de geek de la propriété intellectuelle, il n'y a que très peu de discussions à ce sujet. Et la langue n'est certainement pas facile. Le droit d'auteur n'est pas un sujet facile à appréhender. Je pense donc qu'en tant que leaders technologiques, nous devons être ceux qui rendent la conversation plus transparente. Cela nous ramène à ce que je disais tout à l'heure, à savoir qu'il faut définir un langage commun pour parler des données qui entrent, des données qui sortent et de l'outil lui-même, afin que nous puissions vraiment comprendre, contrôler et normaliser certaines des choses qui se passent pour faciliter la compréhension de ce qui se passe.

Emily Wearmouth [00:23:04] De votre point de vue, dans quelle mesure sommes-nous en train d'essayer de fermer la porte de l'écurie après que le cheval s'est enfui ? Vous parlez de choses comme Facebook qui possède mes photos de vacances depuis plus de dix ans. Ils ont de la chance. Mais pour les consommateurs, on a l'impression que, dans une certaine mesure, le cheval s'est emballé en ce qui concerne la propriété des données pour alimenter ces systèmes. Est-ce le cas pour les entreprises ou existe-t-il encore une possibilité de fermer la porte ?

Suzanne Oliver [00:23:26] Je ne suis pas sûre que nous fermerons un jour la porte, mais je pense qu'il ne sert à rien de rester assis à regarder le cheval s'enfuir et s'éloigner. Je pense qu'il y a peut-être un peu d'harmonisation à faire. Et pour moi, c'est la vitesse du changement. C'est la rapidité du changement qui fait que les organisations ne savent pas où se trouvent leurs données d'or, qui s'en occupe et qui les télécharge dans le nuage. Et vous ne pouvez que vous ne pouvez que gérer mon exception. Mais vous ne voulez pas que ces exceptions se produisent. C'est vrai. Je pense donc qu'il s'agit vraiment de comprendre le comportement de vos ingénieurs, le comportement de votre personnel de marketing et d'avoir ces conversations avec eux sur le fait que ces outils sont géniaux. Ils vous permettront de gagner du temps. Mais vous rendez-vous compte que lorsque cet outil de secrétariat fonctionne en arrière-plan, il se trouve sur un serveur situé dans un pays où vous ne souhaitez peut-être pas que les procès-verbaux de vos réunions mensuelles du conseil d'administration soient stockés sur un serveur situé dans ce pays, même si cela vous permet d'économiser du temps en rédigeant ces procès-verbaux. Ainsi, bien que cela semble facile à faire et que cela semble être un outil efficace à utiliser, il y a en fait des inconvénients. Il s'agit simplement d'avoir un peu d'intelligence pour se dire que tout ce qui est positif a forcément un revers. Neil a fait allusion tout à l'heure au fait de poser ces questions : cet outil semble vraiment efficace, mais en fait pourquoi est-il gratuit ? Pourquoi est-ce bon marché ? Pourquoi cela coûte-t-il moins cher que d'avoir une personne assise, qui rédige le procès-verbal ou le partage ? Et il doit y avoir un autre côté de l'équation. Et je pense que vous devez vous poser cette question.

Neil Thacker [00:25:15] Oui, je pense que l'une des préoccupations que j'ai en général est qu'aujourd'hui nous voyons déjà des organisations, par exemple, émettre des questionnaires pour mieux comprendre l'utilisation de l'IA dans un produit ou un service. Le défi que vous rencontrez toujours est qu'un questionnaire est généralement, encore une fois, unique, peut-être sur l'adoption d'un outil New, New technologie qui peut être sur l'IA, ou il peut s'agir d'un examen annuel de cet outil. Mais je pense qu'il faut toujours qu'il y ait un moment où nous le faisons presque plus régulièrement, plus continuellement, sur la base de, Suzanne, comme vous l'avez souligné, cette adoption rapide, cette croissance rapide de la maturité de ces services. Ainsi, un outil que vous pourriez adopter aujourd'hui aura un aspect très différent dans une semaine, dans deux semaines ou dans un mois, au fur et à mesure de l'ajout des fonctionnalités et des capacités de New. Il s'agit donc presque d'une évaluation continue. Je suis un fervent partisan de l'évaluation des applications et des services et de l'utilisation de ces données pour définir une politique basée sur celles-ci. Et encore une fois, cela pourrait être, par exemple, je veux dire que même nous voyons ce défi autour des applications et des services qui ont été compromis. Les règles qu'ils ont mises en place, que les fournisseurs n'ont pas mises en place pour protéger le service, ont été enfreintes. Comme pour la plupart des choses, les gens vont pirater, les pirates vont pirater. C'est vrai. Vous devez donc être conscient de ce genre de choses. Et oui, il y a aussi des cas d'utilisation farfelus où des outils arrivent qui franchissent peut-être la ligne en termes d'éthique et que l'organisation, par exemple, que les employés de l'organisation, par exemple, utilisent et qui peuvent peut-être aller à l'encontre de leur propre politique d'éthique. Cela doit donc faire partie de l'évaluation, de la note de confiance. C'est pourquoi, d'un point de vue organisationnel, les entreprises devraient chercher à mieux superviser la gouvernance autour de l'utilisation des services d'IA.

Emily Wearmouth [00:27:02] Je vous ai demandé au début, Suzanne, qui devrait posséder les définitions et les normes. D'une certaine manière, il s'agit d'une répétition de la question de savoir qui devrait être propriétaire de l'adjudication de ce type de décisions. Neil a fait allusion aux prochains actes de l'UE en matière d'IA. Les gouvernements du monde entier ont multiplié les manœuvres pour se faire passer pour des chefs de file du développement de l'IA. Mais est-il réaliste de penser qu'il s'agit de quelque chose qui peut être réglementé ou qui doit venir de l'industrie ? D'où vient le leadership, selon vous ?

Suzanne Oliver [00:27:34] Je pense que cela fonctionne toujours quand cela vient de l'industrie, personnellement parlant. Mais en fin de compte, je pense que les organismes de normalisation font du très bon travail. L'autonomie de ces six niveaux, de 0 à 5, est maintenue par SEA, je crois, qui est une organisation automobile autonome, sauf erreur de ma part. L'internet est actuellement réglementé par des organismes indépendants. Je voterais donc pour un organisme indépendant. Mais du point de vue de l'industrie, je ne pense pas que je resterai. Je pense que Yihua a mentionné le concept d'écoblanchiment. Je ne pense pas qu'il doive s'agir d'une auto-certification. Il y a trop de cela avec le carbone et les compensations carbone et ce genre de choses qui, vous savez, nous sommes, vous savez, je pense éthiquement, vous savez, vert ou quoi que ce soit avec un peu d'éthique tech mean, j'ai vu beaucoup trop de startups qui ont un algorithme ML fonctionnant sur leur machine et ensuite ils ont partout dans leur sorte de pitch decks vous savez où j'entreprise je machin, vous savez, ils utilisent un algorithme de vision par ordinateur sur étagère. Je pense que cela aussi n'aide personne à comprendre ce que c'est, pourquoi c'est là, quelle valeur cela apporte aussi. Mais il y a beaucoup de points que Neil et vous avez soulevés lors de cet appel.

Emily Wearmouth [00:29:20] Yihua, en tant que développeur, quelle est la part de responsabilité des développeurs et quelle est la part d'injustice ? Et vous savez, on devrait vous laisser créer des choses que nous pourrions peut-être réglementer en tant que société plus large.

Yihua Liao [00:29:32] Je pense qu'en tant que praticiens de l'IA, nous devons également assumer une grande responsabilité en matière d'IA responsable. Chez Netskope, nous disposons d'un comité interne de gouvernance de l'IA qui nous aide à définir la stratégie de l'IA, à mettre en place les processus de révision, etc. Et chaque fois que nous commençons à travailler sur une initiative New ou un modèle d'IA New, nous devons toujours passer par un processus interne très solide d'examen de la sécurité et de la protection de la vie privée, et nous devons remplir des questionnaires et préciser très clairement, vous savez, ce qui entre dans le modèle. Quel est le modèle, comment sera-t-il utilisé, y a-t-il des problèmes de confidentialité, etc. Je pense donc que non seulement le gouvernement et l'industrie, mais aussi toutes les entreprises et tous les praticiens de l'IA devraient en être conscients et prendre cela au sérieux. Et pour s'assurer que chacun d'entre nous puisse construire des systèmes ou des produits d'IA de manière responsable.

Emily Wearmouth [00:30:48] Merci. C'était une question bien méchante de ma part. Je vous remercie donc de vous être attaqué à ce problème. J'apprécie donc beaucoup cette conversation et je ne doute pas un instant que si nous étions confortablement installés dans un pub britannique, elle pourrait durer encore de nombreuses heures. Mais notre producteur est en train de me faire signe, et c'est à moi de donner le coup de sifflet et d'essayer de vous emballer. Je vais donc essayer de résumer et n'hésitez pas à m'interrompre si je me trompe. Je pense qu'il est juste de dire qu'il y a beaucoup de fils entrelacés entre les différentes façons dont vous avez tous les trois répondu à ma question, mais j'ai également l'impression qu'il y a beaucoup de consensus. Je pense que vous êtes tous d'accord pour dire que nous voulons que les gens cessent d'utiliser les termes "chatGPT", "AI" et "ML" comme synonymes. Neil, nous soutenons tous votre souhait et nous essaierons d'y travailler. Nous sommes également tombés dans le piège lors de cette discussion. Je ne sais pas si vous avez remarqué que, dans une certaine mesure, je faisais référence au même exemple, mais nous devons faire mieux. Nous avons également, je pense, largement convenu qu'il serait bénéfique d'avoir plus de détails explicites sous le capot, pour l'auditeur américain, derrière cette brillante étiquette d'IA que les gens apposent sur tout, que ce soit pour attirer l'attention de la presse ou pour obtenir des évaluations élevées, afin que les organisations et les utilisateurs puissent mieux comprendre le niveau de risque qu'ils doivent appliquer dans leurs évaluations et ce à quoi ils peuvent ou ne doivent pas faire confiance. Et puis je pense que le dernier point que nous avons abordé tout au long et qui découle de votre réponse principale, Suzanne, est que nous bénéficierions certainement de plus de conversations sur la propriété des données dans l'ensemble de la chaîne d'approvisionnement de l'IA, à la fois en ce qui concerne ce qui est entrant et ce qui est sortant. Il s'agit donc de mieux faire comprendre à la société, aux entreprises et aux particuliers à quoi ressemble cette conversation sur la propriété, afin que les gens puissent prendre des décisions en connaissance de cause. Mais rien qu'en pensant à cette liste, nous savons ce qu'il en est, n'est-ce pas ? Je veux dire que c'est une liste très modeste.

Neil Thacker [00:32:36] Cela semble facile.

Suzanne Oliver [00:32:37] Yeah, all solved. In one podcast.

Emily Wearmouth [00:32:41] Ils devraient nous contacter plus souvent. Je vous remercie tous pour le temps que vous m'avez accordé et pour cette conversation intéressante et transversale, je suppose, où chacun d'entre vous est venu apporter son point de vue. Je tiens à dire à nos auditeurs que nous nous reverrons la prochaine fois dans le cadre de l'émission Security Visionaries. Nous vous remercions.

Yihua Liao [00:33:00] Merci.

Neil Thacker [00:33:00] Merci à tous.

Suzanne Oliver [00:33:01] Merci.