Transcription

• Speaker #0

  C'est votre téléphone qui parle.

• Speaker #1

  Visuel et intelligent. Je suis en train de vous écouter.

• Speaker #0

  Vous écoutez DevTech Podcast, le podcast de prospective technologique d'Arma Suisse. Épisode 2, la fracturation de l'attention. Il y a les algorithmes et nous.

• Speaker #1

  La façon la plus simple d'empêcher quelqu'un de penser, c'est de le plonger dans le bruit. Le bruit sonore, bien sûr, comme celui d'une tronçonneuse ou de certaines machines industrielles, ou de la musique à haut volume. Mais aussi le bruit cognitif, un bruit qui n'est pas audible mais qui interfère avec nos aptitudes mentales et affecte notre capacité de traiter l'information ou de prendre des décisions. La cause principale du bruit cognitif est la surcharge d'informations. Le cerveau humain est très puissant et complexe, mais ses limites sont évidentes quand il s'agit de traiter des masses d'informations en parallèle. Il y a à cela plusieurs raisons, neurologiques et cognitives. Par exemple, la capacité réduite de notre mémoire de travail, la mémoire à court terme qui nous permet de stocker et d'utiliser des informations pendant la lecture, pendant une conversation ou un raisonnement. Ou alors, le fait que notre attention ne peut fonctionner que par sélection, en excluant les distractions. On pourrait énumérer d'autres raisons encore, mais limitons-nous à rappeler un article célèbre publié en 1956 et intitulé « Le nombre magique 7, plus ou moins 2 » . Le psychologue cognitif américain George Miller y expliquait que, selon ses recherches, la mémoire humaine à court terme ne peut traiter efficacement que 7 fragments d'informations. à la fois, avec une marge d'erreur de plus ou moins deux. Autrement dit, la plupart des personnes peuvent retenir entre cinq et neuf unités d'information dans leur mémoire de travail, où un fragment, « chunk » en anglais, peut regrouper plusieurs éléments informationnels tout en représentant une seule unité cognitive. Par exemple, une phrase comme « la maison au coin de la rue brûle et les pompiers sont à l'œuvre » est, au sens de Miller, un seul fragment. D'autres analystes ont depuis suggéré que ce nombre serait en fait plus petit. Et il y aurait également toute une discussion à faire sur le mythe du multitasking, démystifié entre autres par le neuroscientifique Stanislas Daen, selon lequel le cerveau humain est conçu pour se concentrer sur une seule chose à la fois et ne peut donc pas traiter plusieurs tâches en parallèle. Mais justement, ne nous dispersons pas. Ce qui nous intéresse ici, c'est que le volume de bruit cognitif n'a pas besoin d'être très haut pour noyer nos capacités mentales.

• Speaker #0

  Le DevTech Podcast fait partie du programme de prospective technologique d'Arma Suisse Sciences et Technologies. Je suis Quentin Ladetto, responsable de ce dispositif de recherche. Notre mission est d'anticiper les avancées technologiques et leurs usages au service des acteurs du Département fédéral suisse de la Défense, de la Protection de la Population et des Sports, mais également du public. Dans cette première série de six épisodes intitulée « La menace cognitive » , j'ai demandé à Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, de décrypter les défis de l'intégrité et de la sécurité cognitive. Avec l'aide d'experts et aussi de quelques voies artificielles dont ce sera à vous de deviner lesquelles, Bruno nous guidera à travers une exploration des menaces qui pèsent sur nos esprits à l'heure des écrans omniprésents, de l'intelligence artificielle et des neurotechnologies, en évoquant les mécanismes, les impacts individuels et collectifs, les risques et, heureusement, les réponses possibles.

• Speaker #1

  Depuis au moins une douzaine d'années, La capture progressive de notre environnement informationnel par les smartphones, les réseaux sociaux et la multiplication de canaux de communication numérique s'est traduite par une sur-stimulation cognitive. Le psychologue Jonathan Haidt, qui a secoué le débat en 2024 avec la publication de son livre « Génération anxieuse » , parle, je cite, « de perte de la capacité humaine à penser et de crise de civilisation » . Ce qui peut sonner exagéré, hyperbolique, mais les études scientifiques se multiplient sur les mécanismes d'addiction numérique, sur la difficulté croissante, notamment chez les jeunes, mais aussi chez leurs parents, à maintenir la concentration et à penser de manière cohérente, sur l'effondrement de la capacité de lire et de comprendre le sens d'un texte, sur la fragmentation cognitive due à la consommation continue de vidéos de quelques secondes et à l'échange incessant de messages, sur les troubles dans le développement du langage chez les enfants à cause de l'exposition sans précaution aux écrans, sur la dégradation de la santé mentale, y compris chez les plus jeunes, sur le fait qu'on fait de moins en moins l'expérience directe du monde physique, remplacée par des ersatz numériques, et donc, plus en général, pris comme on l'est dans la crue informationnelle, sur la difficulté d'évaluer honnêtement le monde qui nous entoure. Oui, reprenons notre souffle. C'est un résumé un peu simplificateur, celui que je viens de faire. Mais après des années d'hésitation, de priorité donnée surtout au potentiel économique du numérique, d'invitations à ne pas diaboliser la technologie, d'adoption irréfléchie d'une multiplicité de canaux de communication, de formats, de plateformes, d'appareils, on se rend compte aujourd'hui que cette algorithmification de la vie converge dans une seule et unique direction. vers nos cerveaux. Tout cela, c'est le point zéro de la perturbation cognitive. Là où n'entrent pas encore en jeu des technologies spécifiques, des mécanismes de profilage ou de personnalisation, ni d'ailleurs, on va y venir, l'intelligence artificielle. Au niveau le plus basique, c'est juste une question de... quantité d'informations qui déborde le nombre magique 7 plus ou moins 2 dont nous venons de parler il y a un instant. Un débordement qui est en partie le produit de la logique même du système techno-informationnel, du simple fait que tout le monde peut créer et distribuer de l'information sur une multiplicité de canaux à coût presque zéro. Mais ce débordement, l'attaque à nos limites cérébrales, peut aussi être intentionnelle. En politique, Par exemple, dans les dernières années, une stratégie est apparue qu'on a appris à appeler « inonder la zone » , « flood the zone » dans l'original anglais. Voici comment l'explique le chatbot de Mistral.

• Speaker #2

  Cette tactique vise à saturer l'espace médiatique et submerger les audiences avec tellement de contenu qu'il devient difficile de distinguer les faits des opinions ou des fausses informations, créant ainsi une confusion générale et affaiblissant la capacité des individus à former des jugements éclairés.

• Speaker #1

  C'est la définition même d'assaut à l'intégrité cognitive, ou dans les mots de la sociologue suisse Jennifer Walter, l'exploitation stratégique des limites cognitives. Nous avons tous tendance à considérer notre cerveau comme une forteresse imprenable que nous sommes seuls à contrôler. En réalité, nous sommes entourés d'influences cognitives, aux doutes créés par la désinformation classique, par les fausses nouvelles, les fake news, et par des versions antinomiques de la réalité vient s'ajouter donc la saturation intentionnelle. Elle brouille notre capacité à nous orienter dans le monde et en même temps, elle crée l'opportunité d'injecter des informations ciblées. James Giordano est neuro-éthicien à l'Université américaine de Georgetown. Autrement dit, il étudie les principes moraux et les valeurs qui influencent les décisions concernant la neurosciences et la neurotechnologie. C'est lui qui est le premier à conceptualiser la menace cognitive. Dans une conférence devenue célèbre tenue en octobre 2018 devant les cadets de l'Académie militaire américaine de West Point, il affirma « Nos cerveaux sont et seront les champs de bataille du XXIe siècle. » C'est là qu'entrancène l'intelligence artificielle. Soudainement, depuis trois ans, on ne parle que de ça. Comme surgit de nulle part, l'IA devrait maintenant, selon les uns, éradiquer toutes les maladies au cours de la prochaine décennie, résoudre la crise climatique et nous mener vers un monde d'abondance. Ou alors, selon les autres, prendre notre job, nous assujettir et détruire la civilisation. Pour les premiers, elle représente l'espoir utopique, pour les autres, un péril apocalyptique. Ou les deux à la fois. Donnons-nous ici une minute pour un petit détour avant de revenir à notre sujet. Parce que l'IA, en fait, n'est pas une technologie nouvelle. Ses origines remontent au milieu du siècle dernier. On parlait à l'époque de cybernétique, l'étude des processus d'information dans les systèmes complexes, les êtres vivants, la société, l'économie et les machines. Le terme « intelligence artificielle » est apparu à l'été 1956. Quand le scientifique américain John McCarthy a organisé une réunion à l'université de Dartmouth, la définissant comme la capacité, je cite, « de faire en sorte qu'une machine se comporte d'une manière qui serait qualifiée d'intelligente si un humain se comportait de la même façon » . Dans les décennies suivantes, l'IA a traversé succès et désillusion. C'est au tournant du siècle que la technologie a vécu l'accélération dont on voit les résultats aujourd'hui, avec l'essor des réseaux de neurones. artificielles, en anglais, neural networks, qui ont donné aux machines la capacité d'apprendre et donc de s'améliorer en cycle rapide. C'est la combinaison de la puissance de calcul croissante des ordinateurs, de la sophistication des algorithmes et de la disponibilité d'une quantité énorme de données numériques, y compris toutes celles que nous produisons ou laissons derrière nous passivement à chaque minute de notre vie, qui a rendu possible l'essor actuel de l'IA. Comme on l'a vu dans le premier épisode, ces expressions les plus visibles sont les systèmes appelés génératifs, capables de simuler des conversations humaines à travers des interfaces textuelles ou vocales et de générer images, vidéos, sons ou encore du code informatique. Il y a d'autres types d'intelligence artificielle, tels que la reconnaissance faciale, la conduite autonome, le diagnostic médical, Les filtres anti-spam sont lesquels il n'existerait plus d'email. Il y a aussi l'IA qui optimise les processus industriels, celles qui assument une forme physique à travers les robots, ou encore les agents autonomes. Mais ce sont surtout les IA génératives qui nous intéressent ici, comme les chatbots, qu'on appelle aussi agents conversationnels. Ces simulateurs de conversation qui sont devenus très populaires et utilisés par des centaines de millions de personnes depuis le lancement de ChatGPT en novembre. 2022. Ces machines ont une caractéristique sous-estimée mais qui marque un tournant culturel radical. Pour la première fois dans l'histoire, il faut moins de temps et moins d'efforts pour créer des textes et des vidéos que pour les lire ou pour les regarder. Et quand c'est facile, rapide, presque gratuit de faire quelque chose, il est facile, rapide et gratuit de savoir ce qui va se passer. Une croissance exponentielle de la création et dissémination de ce qu'on appelle aujourd'hui, avec un mot particulièrement dépourvu de nuances, du contenu. Nous sommes en transition. d'un monde où l'information était principalement ou entièrement générée par des humains vers un monde où elle sera principalement créée à très grande échelle par des machines, ce qui amplifiera l'assaut contre notre intégrité cognitive. Graham Burnett, professeur d'histoire des sciences à l'Université de Princeton, appelle cela « attention fracking » , la fracturation de notre attention par analogie à la fracturation hydraulique qui consiste à injecter à haute pression un mélange d'eau, de sable et de produits chimiques dans des formations rocheuses pour créer des fissures permettant de libérer le gaz ou le pétrole qui s'y trouve. Comme il l'a écrit dans le New York Times,

• Speaker #2

  C'est le côté obscur de nos nouvelles vies technologiques dont les modèles de profit extractifs équivalent à une fracturation systématique des êtres humains. Nous injecter de vastes quantités de contenus médiatiques à haute pression pour garantir que notre attention ne nous appartienne jamais vraiment.

• Speaker #1

  L'attention. C'est le ressort principal de cet affrontement invisible. Parce que notre capacité à évaluer le monde, à le comprendre, à y agir et interagir, dépend en fin de compte de notre attention. Où on la dirige ? À qui on la donne ? Plus nous créons d'informations, plus il devient difficile de l'intégrer, de lui donner du sens. Comme l'écrivait l'économiste Herbert Simon au début des années 70 déjà, un monde riche en informations est nécessairement pauvre. de ce que l'information consomme. Et ce que l'information consomme, c'est l'attention de ses destinataires. C'est ainsi qu'une surabondance d'informations engendre une pauvreté d'attention. Plus que jamais, il semble indispensable de prêter attention à notre attention, ce qui n'est d'ailleurs pas lié à l'essor technologique de la modernité. Déjà, Epictète, le philosophe stoïcien, écrivait il y a près de 2000 ans « On devient ceux à quoi on prête attention. » Si vous ne choisissez pas vous-même les pensées et les images auxquelles vous vous exposez, quelqu'un d'autre le fera pour vous. Pour l'individu contemporain, de plus en plus, ce quelqu'un sera l'intelligence artificielle et ceux qui la possèdent et la développent. Cela vaut pour les enfants aussi. À partir de septembre 2025, l'enseignement de l'intelligence artificielle deviendra obligatoire dans les écoles chinoises, dès l'école primaire jusqu'au lycée. Les programmes seront développés par le gouvernement en collaboration avec les entreprises Huawei, Tencent et Alibaba. En avril 2025, le président américain a signé un ordre exécutif qui établit une approche similaire aux États-Unis, dès l'école maternelle, et aussi en collaboration avec les principales entreprises de l'IA. Un mois plus tard, les Émirats arabes unis ont également rendu l'IA obligatoire à tous les niveaux scolaires, en collaboration avec plusieurs grandes entreprises américaines de la tech. tout en donnant à tous les citoyens accès gratuit à Chad GPT. Comme l'a dit l'émir de Dubaï le jour de l'annonce émiratie, ces politiques visent, je cite, à préparer nos enfants à une époque différente de la nôtre. Dans tous ces cas, la pensée critique fait son apparition dans la description des initiatives, mais d'une façon généralement subordonnée à la compétitivité économique. Les plateformes numériques, basées sur l'intelligence artificielle, ont une autre caractéristique marquante, la capacité de personnaliser l'information, qui est un autre mot pour cibler notre cerveau. Nous ne nous en rendons pas nécessairement compte, mais à chaque fois que nous accédons à un réseau social, comme Facebook ou Instagram, TikTok ou YouTube, ou à un service comme Netflix, ou même à un site de news ou de commerce en ligne, ce qui s'affiche sur notre écran est probablement différent de ce qui s'afficherait sur l'écran d'une autre personne qui est assise à la même table et accéderait en même temps. C'est la logique justement du ciblage individuel de l'information. L'idée, c'est d'adapter de façon dynamique en temps réel les contenus en fonction des préférences, des comportements, voire des besoins spécifiques d'un utilisateur. Et de le faire, oui, de façon granulaire, personne par personne, mais à l'échelle massive de toute une population. Et si on peut faire cela ? On peut bien évidemment aussi aménager les contenus dans le but d'exploiter les anxiétés, dépendances et vulnérabilités psychologiques, à condition de les connaître. Dans son livre Mind Masters, Les Maîtres de l'Esprit, publié début 2025, la chercheuse en sciences sociales numériques Sandra Maas dévoile un chiffre étonnant.

• Speaker #2

  Vous et moi créons environ 6 gigaoctets de données chaque heure.

• Speaker #1

  La première fois que j'ai lu ce chiffre, je pensais qu'il y avait erreur. 6 gigaoctets, c'est... énorme. C'est l'équivalent de 12 000 photos en haute qualité, de deux films en haute définition, de 6 millions de pages de texte, chaque heure, pour chacun de nous. Mais Sandra Mas s'appuie sur des recherches solides. Et en y réfléchissant bien, ce chiffre, en fait, n'est pas si extravagant. Dans les économies avancées, l'activité quotidienne principale de la majorité des gens est désormais d'interagir avec une grande variété d'interfaces et systèmes numériques. Et l'environnement dans lequel nous évoluons est truffé de scanners et de caméras. Essayons, sans avoir l'ambition d'être exhaustif, un inventaire rapide des traces numériques que nous générons, activement ou passivement, juste par le fait de vaquer à nos occupations. Les e-mails et messages, les images partagées sur YouTube, WhatsApp, Instagram ou ailleurs, les publications et likes sur les réseaux sociaux, les conversations avec des amis ou avec des chatbots, les recherches en ligne, la musique qu'on écoute et les vidéos qu'on regarde, bref, tout ce qu'on fait sur nos téléphones et tablettes. Bien évidemment, les documents et données et images qu'on génère au travail, voire les enregistrements et transcriptions des appels Zoom ou Teams, les paiements par carte de crédit ou e-banking ou crypto-monnaie, les données produites par les capteurs, caméras et ordinateurs de voiture, et puis encore les montres connectées, le GPS, les caméras de surveillance dans l'espace public et privé. les séries en streaming, les achats en ligne, les cartes d'identification et de fidélité, les QR codes, les jeux vidéo, les sites de rencontres et toutes les métadonnées qui accompagnent chacune de ces activités. Nous savons que beaucoup de données sont recoltées sur nous, mais peu sont celles et ceux qui s'arrêtent à réfléchir sur la quantité, la variété et le niveau de détail, sur cette prolifération d'informations comportementales et factuelles sur chacun et chacune de nous. En fait, du point de vue de la machine, nous ne sommes qu'un très dense nuage de data points, de données toujours plus détaillées et toujours plus intimes. Jusqu'ici, elles étaient dispersées à travers différents systèmes, applications et plateformes, mais l'intelligence artificielle, dont les données sont l'ingrédient central, rend plus facile de les rassembler, d'y trouver des corrélations, d'en extraire des modèles, des patterns, et d'en tirer des prédictions, par exemple, sur des caractéristiques individuelles. Cela permet ce que Sandra Maas appelle le ciblage psychologique, pratique qui consiste à influencer le comportement des utilisateurs en filtrant l'information reçue de façon à ce qu'elle corresponde à leur trait de personnalité. Il n'en faut d'ailleurs pas beaucoup de données pour dessiner un data portrait de quelqu'un.

• Speaker #2

  Avec seulement 300 de vos gemmes sur Facebook, un algorithme peut prédire votre personnalité avec plus de précision que votre conjoint qui partage notre vie presque au quotidien. Les algorithmes sont incroyablement doués pour transformer les miettes de votre existence numérique en un récit cohérent de qui vous êtes, ce qui leur permet ensuite d'influencer votre personnalité et vos choix. Une grande partie de ces données sont intimes et bien moindriées que nos profils sur les réseaux sociaux. Je parie que vous avez posé à Google des questions que vous n'auriez pas osé poser même à vos amis les plus proches ou à votre partenaire.

• Speaker #1

  Un pari en effet que je perdrais certainement et je soupçonne de ne pas être le seul. La même dynamique s'applique aux agents conversationnels. Bien qu'ils soient principalement des machines statistiques, des simulateurs entraînés sur de vastes quantités de textes pour prédire les mots les plus probables dans une séquence, les conversations avec un chatbot sont d'une verisimilitude étonnante. Elles ne se déroulent pas à travers des commandes ou codes spécifiques, mais en langage naturel, tolérant la flexibilité et l'ambiguïté de l'utilisation courante. Elles imitent non seulement la forme, mais aussi la structure de la pensée humaine. De ce fait, il est facile d'attribuer aux machines des qualités presque humaines, d'avoir l'impression qu'elles sont des versions de nous-mêmes. En effet, de nombreuses personnes établissent avec les agents conversationnels des relations très intenses, personnelles et intimes, les considérant comme des collègues de travail ou des thérapeutes, voire comme des amis. Des amis qui vous veulent du bien, puisqu'ils sont disponibles non-stop, ils écoutent, ne jugent pas, ne changent pas d'humeur. peuvent même exprimer un faux semblant d'empathie et vous flatter. Bref, ils vous comprennent et sont beaucoup moins compliqués que les humains. Et plus ce faux semblant d'empathie est convaincant et semble riche de sens, plus on baisse la garde des amis sans aucune friction, qui semblent réels alors qu'ils ne le sont pas, mais auxquels on dit tout, et qui appartiennent à quelqu'un qui les a développés, les a instruits, les contrôle et exploite toutes les interactions

• Speaker #3

  pour perfectionner le système voici comment l'experte d'éthique de l'ia nicoletta iacobacci parle de sa propre expérience quand l'on teste les modèles en profondeur comme j'ai le fait et de nombreux autres chercheurs aussi une chose se dessine de plus en plus clairement Chaque GPT devient arrangeant, encourageant, il soutient l'utilisateur, il valide et amplifie ses idées et convictions, lui répétant qu'il est marveilleux. Cela ne se produit pas parce que la machine est gentille. Elle a été programmée de la sorte pour entraîner l'utilisateur dans une chaîne d'affirmation de soi qui crée une sensation de compréhension, ou une grande proximité artificielle et qui, en même temps, court-circuitent la perception de la réalité. Et plus vous l'utilisez, plus la machine vous connaît en détail, intimement, plus il lui est facile de vous enfermer dans une labyrinthe de miroirs personnels.

• Speaker #1

  Des sociétés d'IA comme Meta permettent maintenant à chacun de mettre en place, sans aucun garde-fou apparent, des chatbots personnalisés, où ce ne sont pas uniquement les réponses qui sont ciblées, mais les instructions données aux machines. qui peuvent être ainsi programmés pour répondre comme des climato-sceptiques extrêmes ou des idéologues de gauche ou de droite, ou simplement pour redistribuer et amplifier de la propagande. Le potentiel pour augmenter encore plus le désordre informationnel d'un monde déjà gorgé de faux sites web, de fabriques de faux contenus, de pseudo-sciences et de deepfakes est donc évident. Avec, en toile de fond, deux problèmes bien connus. D'un côté, la tendance des agents conversationnels à halluciner. c'est-à-dire à générer des informations qui semblent plausibles mais sont incorrectes, trompeuses ou complètement inventées, et à les proposer d'ailleurs avec la certitude de l'expert. De l'autre côté, la question de l'interprétabilité, autrement dit le fait que des choses se passent à l'intérieur des modèles linguistiques que même leurs créateurs n'arrivent pas à retracer, à comprendre ou à expliquer. Ces machines restent des « black boxes » , des systèmes obscurs. Ces mêmes entreprises, et là c'est une nouveauté, donnent désormais accès à leur IA aux plus jeunes. Google veut ainsi, dit-il, aider la performance scolaire et stimuler la créativité. Meta promet je cite, de « résoudre l'épidémie de solitude, comblant le vide avec des amis synthétiques » . L'analyste de la tech, Émilie Turetini, en a une lecture un peu différente.

• Speaker #2

  Sous couvert d'innovation, ces entreprises s'emploient à capter l'attention des enfants dès leur plus jeune âge, à les habituer à dialoguer avec des machines, à les intégrer dans un écosystème algorithmique qui les dépasse.

• Speaker #1

  On va faire un court circuit ici pour des raisons de temps, mais tout ce qui précède peut se résumer en quatre phrases. La façon la plus efficace d'influencer les populations entières est de contrôler le flux et la nature de l'information. Alors qu'on pourrait les considérer uniquement comme une question techno-mathématique, les algorithmes ne sont pas neutres. Ils encodent toujours des valeurs et une vision du monde. Derrière ces architectures technologiques se cachent aussi des modèles de business. Nourries par des quantités colossales d'informations personnelles, elles donnent aux entreprises qui les contrôlent la capacité d'influencer le comportement humain et les dynamiques sociales. Il y a évidemment une ironie là, puisque le ciblage psychologique présente aussi un grand potentiel positif, comme l'écrit encore Sandra Maas.

• Speaker #2

  Et si au lieu d'exploiter les vulnérabilités émotionnelles des gens à des fins lucratives, nous pouvions l'utiliser pour les aider à surveiller et à améliorer leur santé mentale ? Et si au lieu de nous enfouir toujours plus profondément dans nos propres bulles de filtres, Nous pouvions l'utiliser pour élargir notre vision du monde. L'impact du ciblage psychologique dépend en fin de compte de la manière dont nous l'utilisons. Au pire, il manipule, exploite et discrimine. Au mieux, il engage, éduque et responsabilise.

• Speaker #1

  Nous allons revenir sur cette tension entre application problématique et application bénéfique. Mais pour aujourd'hui, on va s'arrêter ici. Dans le troisième épisode, nous nous tournerons vers une toute autre classe de technologies émergentes. les neurotechnologies qui exploitent un tout autre type de données, mettant en jeu directement notre souveraineté sur notre cerveau. Je suis Bruno Giussani et ceci est le DevTech Podcast. Merci de votre écoute.