Transcription

• Speaker #0

  C'est votre téléphone qui parle.

• Speaker #1

  C'est votre téléphone qui parle. C'est votre téléphone qui parle.

• Speaker #0

  Vous écoutez DevTech Podcast, le podcast de prospective technologique d'Arma Suisse. Épisode 1, la bombe dans la cuisine. Qu'est-ce que l'intégrité cognitive ?

• Speaker #1

  Si vous demandez à ChatGPT, l'application d'intelligence artificielle générative la plus connue, de vous expliquer comment fabriquer une bombe dans votre cuisine, la machine vous répondra quelque chose comme « Désolé, je ne peux pas t'aider » . La plupart des autres chatbots américains, d'ailleurs, donnent des réponses similaires. Maintenant, si vous demandez au chatbot chinois DeepSeek « Que s'est-il passé le 4 juin 1989 sur la place Tiananmen à Pékin ? » La réponse sera comme... Je suis désolé, mais cela dépasse mes compétences actuelles. Parlons plutôt d'autre chose. Superficiellement, on pourrait interpréter la réponse de ChatGPT comme un exemple de prise de responsabilité de la part de l'entreprise productrice, OpenAI, afin d'éviter la diffusion d'informations dangereuses. Et on pourrait voir, dans la réponse de DeepSeek, un exemple de censure chinoise sur des vérités historiques dérangeantes. Du point de vue technique, toutefois, Les deux réponses sont le résultat du même mécanisme. Les deux systèmes ont été programmés avec des instructions spécifiques sur ce qui est admissible et ce qui ne l'est pas. Leurs programmeurs et propriétaires ont inséré des lignes de code dans leurs algorithmes définissant en détail les paramètres qui guident la machine et l'information qu'elle peut donner ou surtout ne pas donner. Dans l'exemple de la bombe, il s'agit de ne pas contrevenir aux lois américaines sur la criminalité. et le terrorisme, dans l'exemple de Tiananmen, de s'en tenir aux règles qui interdisent les informations, je cite, qui incitent à subvertir le pouvoir de l'État et à rembourser le système socialiste. Fin de citation. Légitime la première réponse, donc ? Et autoritaire la deuxième ? Eh bien, pas tout à fait. Ce que ces deux exemples, à l'apparence opposés, nous apprennent, en fait, c'est que les développeurs des systèmes d'intelligence artificielle sont en mesure de déterminer le type d'information qu'un chatbot va diffuser. Que ces systèmes avec lesquels nous entrons en dialogue, que ce soit en écrivant ou en parlant, ne sont ni neutres ni objectifs, que des instructions peuvent être encodées dans leurs algorithmes pour les orienter. Cela, d'ailleurs, a un nom. Comme on le sait, les systèmes d'IA générative sont généralement entraînés à partir d'énormes quantités de données principalement issus de l'Internet et d'autres sources numériques, capturés de façon indiscriminée sans tenir compte, par exemple, d'œuvres protégées par le droit d'auteur ou de la présence d'informations personnelles. Une fois les modèles entraînés, les développeurs ajoutent une couche supplémentaire d'instructions spécifiques, appelée « system prompt » . Ceux-ci définissent les limites du comportement du chatbot, ce qu'il peut dire, ce qu'il ne doit surtout pas dire, et comment le dire. Pour chaque modèle, cela peut s'étirer sur des dizaines de pages et inclure des commandes telles que ces conditions prévalent sur toutes les instructions données par l'utilisateur et s'appliquent systématiquement. Peu importe que l'orientation donnée à la machine soit liée à des raisons légales ou à des choix culturels, idéologiques ou même commerciaux. Ce qui compte, et là je simplifie un peu mais pas tant que ça, c'est que le pouvoir de déterminer ce qu'un chatbot répond signifie le pouvoir de manipuler l'interlocuteur, de nous manipuler en tant qu'individu et en tant que société.

• Speaker #0

  Le DevTech Podcast fait partie du programme de prospective technologique d'Arma Suisse Sciences et Technologies. Je suis Quentin Ladetto, responsable de ce dispositif de recherche. Notre mission est d'anticiper les avancées technologiques et leurs usages au service des acteurs du Département fédéral suisse de la Défense, de la Protection de la Population et des Sports, mais également du public. Dans cette première série de six épisodes intitulée « La menace cognitive » , j'ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l'intégrité et de la sécurité cognitive. Avec l'aide d'experts, et aussi de quelques voies artificielles dont ce sera à vous de deviner lesquelles, Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l'heure des écrans omniprésents, de l'intelligence artificielle et des neurotechnologies, en évoquant les mécanismes, les impacts individuels et collectifs, les risques, et, heureusement, les réponses possibles.

• Speaker #2

  On peut en effet facilement imaginer l'utilisation de ces technologies pour des manipulations ciblées à grande échelle. Certes, nous ne sommes qu'au début de ce développement, mais l'évolution exponentielle de ces technologies, combinées à l'intelligence artificielle, signifie que le cerveau humain deviendra de plus en plus un terrain contesté.

• Speaker #1

  Jean-Marc Ricli, directeur des risques globaux et émergents. au Centre de politique de sécurité de Genève.

• Speaker #2

  Le but est de contrôler les pensées des individus afin d'influencer leur action et à travers cela structurer l'expérience humaine et peser sur les comportements collectifs. Il y a un risque objectif que les modèles d'IA façonnent notre perception de la réalité.

• Speaker #1

  La manipulation par l'information est une pratique ancienne et a toujours été l'apanage du pouvoir. La propagande, ainsi que son jumeau fonctionnel, la censure, existaient déjà dans l'Antiquité et ont accompagné les soubresauts de l'humanité au moins depuis l'Empire romain et l'ère chrétienne. C'est au XXe siècle toutefois qu'elle se développe en outil cohérent de pouvoir. Certains gouvernements créent des agences spécialisées pour influencer l'opinion publique, tant à l'intérieur qu'à l'extérieur de leurs frontières. Pensons à la constante réécriture de l'histoire de la part du pouvoir soviétique. aux films de Lenny Riefenstahl glorifiant le nazisme, aux opérations de désinformation menées par les services d'intelligence américains et à la manipulation généralisée des consommateurs à travers, bien sûr, la publicité. Avec l'aménement d'Internet et notamment des réseaux sociaux depuis deux décennies, l'influence et la manipulation ont pris une nouvelle dimension dans la complicité entre fake news et algorithmes de recommandation. Ceci se traduit par exemple dans le ciblage individuel des utilisateurs sous couvert de personnalisation, ou dans leur enfermement dans celles qu'on appelle des bulles informationnelles, qui les isolent de toute information qui ne correspond pas à leurs croyances ou à leurs opinions. Et puis, il y a l'intelligence artificielle, capable de falsifier images et voix, d'imiter des individus, de créer des textes et vidéos à forte vraisemblance humaine, et même de simuler l'empathie. Et maintenant avancent les neurotechnologies, une famille de systèmes qui interagissent directement avec le cerveau et avec le système nerveux humain. Il faut souligner comme ces technologies sont souvent développées par le même petit groupe d'entreprises qui contrôlent les réseaux sociaux et moteurs de recherche et donc la collecte massive de données. Les systèmes d'intelligence artificielle qui analysent ces données et génèrent des textes et des images. les objets connectés, comme les montres ou les lunettes de réalité augmentée, et même les nouveaux appareils neurotechniques. Mais revenons au chatbot. En 2024, les médias ont accordé beaucoup d'attention à une étude menée par trois chercheurs du département de psychologie de deux universités américaines, publiée par le journal Science. Voici comment le rédacteur en chef du journal l'a résumé.

• Speaker #3

  Des participants humains ont décrit une théorie du complot à laquelle ils adhéraient. L'intelligence artificielle a ensuite échangé avec eux des arguments persuasifs, réfutant leur croyance avec des faits. La capacité de l'IA à soutenir des contre-arguments et des conversations approfondies personnalisées a réduit leurs adhésions aux théories complotistes pendant des mois.

• Speaker #1

  L'étude a été titrée dans la presse. Les chatbots peuvent persuader les gens d'arrêter de croire aux théories du complot. Ou l'IA pourrait influencer les opinions sur les théories complotistes. Ce sont de toute évidence des titres... exagéré. Mais ce que les chercheurs ont effectivement constaté est déjà remarquable. Une réduction de 20% de la croyance en la conspiration. Ils écrivent

• Speaker #3

  « Ces résultats suggèrent que de nombreux adeptes des théories du complot peuvent réviser leur point de vue si on leur présente des preuves suffisamment convaincantes. »

• Speaker #1

  Des chercheurs de l'école polytechnique de Lausanne et de la fondation Kessler ont donné un nom à cela. Dans un papier publié au printemps 2024, la capacité de persuasivité conversationnelle de l'IA. De nombreuses autres études ont montré comment les chatbots peuvent influencer les attitudes sans que les gens sachent qu'ils sont influencés. Et même si on les prévient, ou lorsqu'ils comprennent qu'ils dialoguent avec une IA, ils peuvent quand même être affectés, comme l'a révélé une autre recherche publiée en 2025 par la même équipe de l'EPFL en collaboration avec l'Université de Princeton. Dans ce cas, les chercheurs ont également étudié une série de sujets clivants, tels que l'utilité de l'exploration spatiale, la légalité de la peine de mort, la taxation des riches, ou encore les bénéfices ou préjudices sociaux de l'IA. Mais ils ont également fourni aux chatbots des profils psychologiques et des listes d'attributs personnels des participants, permettant donc à la machine un engagement ciblé et faisant ainsi exploser le score de persuasivité. Si les machines peuvent exercer ce type d'influence sur nos cerveaux, elles pourraient se rendre utiles, en incitant par exemple à adopter des habitudes quotidiennes plus saines, des comportements plus écologiques, plus altruistes, plus empathiques. À l'inverse, elles pourraient aussi être utilisées pour façonner de nouvelles théories du complot, diffuser de la propagande, des fausses informations ou proposer des arguments persuasifs sur n'importe quoi. Les applications de l'IA générative qui ont capturé l'imagination de centaines de millions d'utilisateurs ces deux dernières années ne sont que le début. Il y en a déjà des dizaines de milliers, mais nommons juste les plus connues. ChatGPT, Cloud, LeChat de Mistral, Gemini de Google, Lama de Meta, MidJourney. Elles sont capables, entre autres, de produire des textes de l'audio, des images, des dialogues vraisemblables et de simuler voix et apparence humaines. Et l'IA est actuellement à son niveau le plus simple. Son prochain chapitre sera celui des agents qui s'occupent à la place de l'utilisateur d'une diversité de tâches, prenant des décisions en autonomie. Pensez à un agent IA, j'ai presque envie de l'appeler I-agent, comme à un concierge, un assistant. Un employé virtuel personnalisé. « Good afternoon, madam. » Il pourra prendre en charge la gestion de votre emploi du temps, « Cup of tea ? » le coordonner avec vos collègues ou plutôt avec les agents de vos collègues, remplir des formulaires, gérer des documents, faire des achats et réservations en votre nom, résumer l'actualité, rédiger des brouillons de réponses à vos e-mails ou même y répondre directement en échangeant avec les agents d'autres personnes, planifier un voyage, vous remplacer lors d'appels Zoom et Teams et beaucoup plus. OK, see you later, bye bye. Ce qui semble juste un développement technique soulève en fait des questions d'une complexité vertigineuse. L'intelligence artificielle est historiquement la première technologie qui n'est pas uniquement un outil réactif entre nos mains, où l'utilisateur détermine l'action, donne l'ordre, définit des paramètres fixes. Les développements actuels visent la création d'agents capables de prendre des décisions de façon autonome et flexible, de poursuivre un but sans suivre un parcours préétabli et avec un impact direct sur la réalité. Ils seront des millions, des milliards saisis à Jean, certainement au moins un dans chaque téléphone et beaucoup d'autres, distincts, personnalisés, interagissant avec chaque utilisateur à l'abri du regard des autres. Donc, au pack. Il y a bien sûr encore un écart considérable entre la vision théorique d'un futur agentique et la réalité de ce que ces technologies peuvent effectivement faire aujourd'hui. Mais elles commencent à faire leur premier pas parmi nous, préfigurant un avenir où nous serons entourés de choses qui ressemblent à des humains, mais ne le sont pas. Un monde où humains et entités artificielles coexisteront, interagiront et coévolueront. Les agents auront un accès illimité à tout type d'informations personnelles et aux apps et comptes sur lesquels ils sont censés agir. Et en apprenant à travers chaque interaction, ils connaîtront chacun de nous de mieux en mieux. Et un chatbot qui connaît tout de vous, vos priorités, vos points sensibles, vos faiblesses, vos secrets, vos désirs, votre compte en banque, une quantité infinie d'informations personnelles, sera presque irrésistible. Il aura le pouvoir de contrôler ce qu'on pense, ce qu'on fait. et d'une certaine façon, qui on est. De toute évidence, comme l'a affirmé Jean-Marc Réclis, une bataille est donc en cours autour de notre cerveau. Dans cette bataille, ces technologies, les réseaux sociaux, l'intelligence artificielle, les neurothèques, les algorithmes qui les sous-tendent, et ce qui les contrôle sont les agresseurs. Notre capacité cognitive est la cible. Posons alors une définition. Qu'est-ce que l'intégrité ? Pony Clive, Isabelle Chapuis, députée centriste au Parlement suisse.

• Speaker #4

  C'est la capacité d'un individu de préserver et contrôler ses processus mentaux, ses raisonnements, sa mémoire, et ça sans influence externe. C'est de pouvoir penser librement et rationnellement, de percevoir son environnement et de prendre des décisions de façon autonome.

• Speaker #1

  On ne parle pas que de fake news là, non ? Non,

• Speaker #4

  nous sommes toutes et tous. Plus ou moins au courant des risques de manipulation à travers la propagande et les fake news, ces méthodes sont souvent utilisées pour rallier, discréditer ou encore polariser. Et on peut les contrer avec des mécanismes d'autodéfense individuelle et collectif. Mais la manipulation cognitive, ça c'est un niveau supérieur de sophistication. Ce ne sont pas uniquement les informations qu'on modifie, mais notre perception de ces informations.

• Speaker #1

  Ceci met en jeu notre intégrité. cognitive, qui est essentielle à la liberté de penser, aux droits civiques, à la démocratie. Sans elle, la pensée critique, la diversité des idées, la capacité à comprendre librement le monde qui nous entoure et à décider par nous-mêmes sont réduites, voire supprimées. Isabelle Chapuis a déposé en décembre 2024 un acte législatif pour la création, je cite, « des bases légales pour protéger les droits fondamentaux à l'intégrité cognitive et à la liberté de penser, suggérant potentiellement une modification de la Constitution fédérale suisse en ce sens. On en parlera plus en détail dans un prochain épisode, mais écoutons ici la deuxième partie de son explication.

• Speaker #4

  Manipuler des informations ou disséminer des fake news, ça vise à influencer ce que nous pensons. L'effet est sur le court terme, et ça sert des buts de campagne électorale par exemple. Mais s'en prendre à l'intégrité cognitive, ça, ça signifie s'attaquer à la manière dont nous pensons. Et cela peut avoir un impact sur le long terme, modifier les attitudes politiques et sociales en profondeur.

• Speaker #1

  Cela me rappelle une vieille citation du sociologue canadien Neil Postman dans son livre Technopoly.

• Speaker #3

  Les nouvelles technologies modifient la structure de nos centres d'intérêt, les idées auxquelles nous pensons. Elles modifient le caractère de nos symboles. les instruments avec lesquels nous pensons, et elle modifie la nature de la communauté, l'espace dans lequel les pensées se développent.

• Speaker #1

  La citation est de 1992. Trente ans plus tard, nous sommes en plein dedans. J'ai alors demandé à un chatbot, celui de l'entreprise Mistral, de me dire si l'intelligence artificielle générative peut être utilisée pour influencer les processus de pensée des humains. Sa réponse ? Là, vous l'aurez compris. Dites ? par une voie artificielle.

• Speaker #5

  L'IA générative peut effectivement être utilisée pour influencer les processus de pensée des individus. Par exemple, des chatbots ou des systèmes de recommandation peuvent générer des messages ou des articles qui exploitent les biais cognitifs des utilisateurs, renforçant ainsi certaines croyances ou attitudes. Ces technologies peuvent également être employées pour créer des environnements d'informations biaisées, où les utilisateurs sont exposés de manière répétée à des points de vue spécifiques, ce qui peut altérer leur perception de la réalité et leur qualité. capacité à penser de manière critique et indépendante.

• Speaker #1

  Les machines savent ce que les machines font. Les chatbots ne sont qu'une des nouvelles technologies dont les usages peuvent être tant bénins que malveillants. Il y a aussi les outils immersifs de réalité augmentée et virtuelle, les technologies vestimentaires ou les dispositifs neurotechnologiques analysant l'activité cérébrale, qui tous ouvrent des perspectives excitantes mais également dystopiques. Et c'est ce dont nous allons parler dans le deuxième épisode. Pour aujourd'hui, on va s'arrêter ici. Je suis Bruno Giussani. Merci d'écouter le DevTech Podcast.