- Speaker #0
Pour revenir à POSIA, nous ce qu'on demande c'est un moratoire pour mettre en place un traité international pour mettre en pause le développement des intelligences artificielles générales et plus généralement des intelligences artificielles qu'on considère les plus dangereuses. Donc si jamais on a un modèle qui est surmé en piratage informatique, qui est capable de s'auto-répliquer, ça suppose un modèle suffisamment petit pour pouvoir s'auto-répliquer, on n'est pas encore là heureusement. qui est capable de tourner 50 fois plus rapidement ou d'être, disons, 50 fois plus rapide qu'un humain pour écrire du code, ce qui est le cas actuellement. Si on essaie de quantifier la vitesse par rapport à celle d'un humain, on est à peu près à ça. Là, la personne qui a entre ses mains ce modèle a une capacité de destruction qui est juste inédite dans le domaine virtuel. Peu de gens sont au courant que GPT-4 est déjà meilleur que l'humain moyen pour persuader des humains. Il y a aussi des tests qui ont été faits pour essayer de quantifier ça. On demande à GPT-4 de persuader quelqu'un, on demande à un humain de persuader quelqu'un et on essaie de voir lequel s'en sort le mieux. Et en fait, on se rend compte que GPT-4 est meilleur que 80% des humains en termes de persuasion. Ça, c'est déjà utilisé par des cybercriminels pour faire de meilleures attaques de phishing. Je recommande aux gens d'aller regarder une vidéo d'un YouTuber qui s'appelle Defend Intelligence en France qui a créé un système en quelques jours pour se connecter sur Tinder, une IA. qui va sur Tinder et qui matche automatiquement les gens et ensuite qui engage des conversations avec eux, etc. En deux jours, il l'a fait tourner, il a matché avec 14 000 personnes et parmi ces 14 000 personnes, il y a quelque chose comme 80% qui sont tombés amoureux de cette IA sans être capable de savoir que c'était une IA.
- Speaker #1
Les portraits de l'IA avec Leïla et Benoît.
- Speaker #2
Bonjour à tous chers auditrices et chers auditeurs et bienvenue pour ce nouvel épisode des portraits de l'IA. Aujourd'hui nous accueillerons Maxime Fourne qui est le co-fondateur de Posi.ia. Salut Maxime !
- Speaker #0
Salut, merci beaucoup de m'avoir recevoir.
- Speaker #2
Léa, vous êtes évidemment avec nous. Salut Léa !
- Speaker #1
Bonjour Benoît, bonjour Maxime !
- Speaker #2
Voilà, alors c'est un épisode aujourd'hui un petit peu spécial. parce que Maxime, comme vous allez le voir, a un long parcours en intelligence artificielle et il a récemment fait un shift à 360 degrés pour nous avertir des dangers de l'IA et c'est la raison pour laquelle il a créé l'ASBL Pause IA. Et donc, je propose qu'on attaque directement et qu'on entre dans le vif du sujet. Maxime, est-ce que tu peux nous parler de ton parcours, donc de Cambridge jusqu'à... tes plus récents boulots où tu étais actif dans l'intelligence artificielle.
- Speaker #0
Oui, bien sûr. Alors moi, quand j'étais jeune, j'étais déjà assez passionné par le sujet de l'intelligence artificielle. Je pense que j'ai dû commencer à m'intéresser à ça autour de quand j'avais 14-15 ans. Mais à l'époque, ça ne me paraissait pas être une possibilité de carrière. Donc c'était autour de 2005, quelque chose comme ça. Donc j'ai fait des... parcours, disons classique de quelqu'un qui est bon en maths. Donc j'ai fait une école d'ingénieur en France. Ensuite, je me suis spécialisé en mathématiques. J'ai fait un master de maths fondamentale et de statistiques et de proba à Cambridge. Et quand je suis sorti de là, c'était 2011 et je ne savais pas trop quoi faire. Donc je suis parti en finance. C'est un peu la voie par défaut. Là encore, j'étais vraiment passionné par l'intelligence artificielle, mais je ne sais pas pourquoi je n'ai pas eu le déclic à ce moment là de de considérer ça comme une possibilité de carrière. Donc, je suis parti en finance. J'ai bossé pendant trois ans dans un fonds d'investissement où là, j'ai commencé à faire du machine learning. Donc, sur ce podcast, j'imagine, je n'ai pas besoin de t'expliquer dans les détails ce que c'est que le machine learning et le deep learning. Et bon, j'ai été couvert.
- Speaker #2
Tu peux en dire un mot quand même. On a une audience qui est très vaste. Donc, n'hésite pas à préciser un petit peu.
- Speaker #0
En gros, le machine learning, c'est plus vaste que deep learning. Le machine learning, c'est juste globalement créer des systèmes qui apprennent automatiquement à partir de données et qui s'auto-améliorent à partir de données. Donc, j'étais dans un fonds où on faisait du trading systématique, c'est-à-dire que ce n'était pas des traders qui prenaient les décisions, on créait juste des systèmes qui automatiquement regardaient les marchés et prenaient toutes les décisions de façon automatique. J'ai... pris le temps à ce moment là pour me spécialiser en machine learning à côté de mon travail je faisais des compétitions sur Kaggle des trucs comme ça et j'ai découvert le deep learning Parce que c'est le moment où DeepMind a commencé à faire des grosses percées. Donc à la base, c'était en créant un système qui pouvait jouer à des jeux, sur des jeux d'Atari, je crois, en utilisant uniquement les images des jeux. C'était assez révolutionnaire. Et ils ont popularisé le deep learning, c'est-à-dire les réseaux de neurones profonds. Donc ça, pour moi, c'était le truc qui allait marcher. C'était un truc que je suivais depuis longtemps et là, d'un seul coup, on avait vraiment des signes que ça allait pouvoir marcher. Donc, je me suis spécialisé là-dedans, dans mon temps libre, disons, parce qu'on n'utilisait pas dans le fonds d'investissement.
- Speaker #2
Donc là, on était aux alentours de quelles années ? 2015, 2016,
- Speaker #0
2017 ? Là, c'était autour de 2014, je pense.
- Speaker #2
Ok, déjà, oui.
- Speaker #0
Et j'ai commencé à bosser dans mon temps libre sur un projet. Je voulais essayer de créer un système qui joue au go. en utilisant du deep learning. Et à peu près à ce moment-là, ça nous amène à 2016 en fait, les années, je ne sais pas exactement précisément, mais DeepMind a annoncé qu'ils avaient battu le meilleur joueur européen au Go. C'était avant de faire leur compétition officielle avec le meilleur joueur du monde. Ça m'a un petit peu dégoûté, mais j'étais content. de voir ça. J'ai arrêté de bosser sur mon projet parce que ça m'a démotivé. A l'époque, il faut savoir que le Go, c'était considéré comme un jeu qui était presque intouchable par l'intelligence artificielle. Même si je n'y croyais pas du tout, j'étais sûr que ça allait être résolu bientôt. Il y a quand même beaucoup de gens qui croyaient encore que jamais une machine ne serait capable de jouer au Go parce que c'est typiquement le genre de jeu qui fait appel à beaucoup de créativité, d'intuition. On a vraiment du mal à créer des machines qui jouent tout seuls à partir d'un algorithme. En fait, je crois que là, c'est là où il y a eu une vraie transition, c'est à dire qu'on est passé sur des systèmes qui pouvaient résoudre des tâches pour lesquelles on avait un algorithme déjà, comme les échecs. Donc les échecs, il faut savoir qu'on peut imaginer un algorithme, donc une série d'instructions précises pour dire à une machine de jouer aux échecs, pour expliquer à une machine comment jouer aux échecs. Alors que le Go... on aurait vraiment du mal à trouver un algorithme pour expliquer à une machine comment jouer aux échecs. Donc voilà, on est passé sur un paradigme où la machine apprend d'elle-même un algorithme. Ça, c'était autour de 2016 ou 2015-2016. J'ai décidé de vraiment me spécialiser en deep learning. Je suis parti du fonds d'investissement. J'ai rejoint une petite startup où j'étais le sixième employé. Et on crée une plateforme open source pour déployer des modèles de machine learning. Et je faisais aussi du conseil. en deep learning pour des entreprises, que j'allais dans une entreprise et je leur implémentais un modèle de deep learning pour résoudre un problème spécifique. J'ai fait ça pendant deux ans et ensuite j'ai rejoint un autre fonds d'investissement, mais cette fois-ci dans une équipe assez spécialisée qui travaillait sur des données pour l'assurance. On a créé un système pour comprendre des documents, typiquement des documents papiers. un peu de la même façon qu'un humain les comprendrait. Donc, des documents avec de l'information organisée de façon en deux dimensions, avec des tables, etc., des données graphiques. Et voilà, du coup, mon équipe, on a créé un système basé sur du deep learning, donc des modèles de langage combinés avec des modèles de vision pour arriver à automatiquement extraire l'information du document comme un humain pourrait le faire. J'ai fait ça jusqu'en 2022. Et en 2022, j'ai commencé à, je dirais pas à m'inquiéter, mais à vraiment ressentir le progrès de l'intérieur en intelligence artificielle. C'est-à-dire que je dirais que jusqu'en 2020, il ne se passait pas grand-chose. En 2017, il y a le modèle Transformers qui est sorti, qui a un peu révolutionné le milieu, mais encore, on pensait que c'était juste une avancée comme une autre. On ne se doutait pas que ça allait continuer à nous emmener vers des modèles de plus en plus puissants 7 à 8 ans plus tard. Mais en 2022, ça a commencé à devenir vraiment apparent. Donc j'ai décidé de prendre une année sabbatique pour déjà bosser sur mes propres projets en intelligence artificielle et réfléchir un petit peu à ce qui risquait de se passer dans les prochaines années si le progrès continuait. Il faut savoir qu'en intelligence artificielle, les gens qui sont vraiment dans ce milieu-là, par passion, la plupart d'entre eux... considère le but ultime de la discipline qui est de créer une intelligence humaine ou un système plus intelligent que les humains. Avant 2022, je pensais que ça allait arriver dans 100 ans, peut être 200 ans. C'est vraiment de la science fiction. Et là, d'un seul coup, quand j'ai commencé à réfléchir au progrès actuel, à la rapidité du progrès, je me suis dit peut-être que ça va arriver dans 20 ans. Donc, ça vaut le coup de réfléchir à ce qui se passe.
- Speaker #2
Tu parles de l'intelligence générale déjà ?
- Speaker #0
Oui, l'intelligence artificielle générale. C'est-à-dire un système, la façon plus formelle de le définir, ce serait un système qui est plus compétent qu'un humain, quelle que soit la tâche qu'on lui donne. Quelle que soit la tâche qu'on puisse imaginer, ce système serait par définition... plus compétent qu'un humain pour la mener à bien. Donc j'ai bossé un petit peu sur mes propres projets pendant six mois. Ensuite, il y a GPT-4 qui est sorti. Et là, ça a été un peu le wake-up call. Je me suis vraiment réveillé. Et là, je me suis rendu compte que mince, les lois d'échelle fonctionnent probablement. Les lois d'échelle, c'est un papier qui est sorti en 2020 et qui montre une grosse corrélation entre la taille des modèles. et la performance des modèles. Et voilà, quand GPT-4 est sorti, beaucoup de gens, d'un seul coup, se sont rendu compte qu'en fait, on n'est pas on n'est plus vraiment dans une phase de théorie de l'intelligence artificielle. On est plutôt dans une phase d'implémentation. C'est à dire qu'on a un modèle qui semble marcher à chaque fois qu'on le fait grossir. On a des meilleures performances. Du coup, il y a moyen que il suffit juste de le faire grossir et on obtiendra des systèmes de plus en plus performants.
- Speaker #1
Est-ce que toi tu fais partie des experts qui pensent qu'il y a une différence entre l'intelligence artificielle générative et les autres types d'intelligence artificielle ? Ou alors tu fais partie des experts qui pensent que non, que finalement c'est quand même un assemblage de deep learning et qu'il n'y a pas de différence conceptuelle ? entre une intelligence artificielle de type deep learning avec l'intelligence artificielle générative. Quelle est, toi, ta position sur ça ? J'ai rencontré les deux.
- Speaker #0
Il y a des différences dans le sens où... Le deep learning, pour moi, c'est juste une catégorie plus grande qui englobe l'intelligence artificielle générative et tout ce qui est réseau de neurones profonds. Et ça peut être les modèles de reinforcement learning, ça peut être... des LLM, etc. Je dirais que là où je m'intéresse vraiment à la différence qui compte, c'est entre le cerveau humain et ce qu'on est en train de créer en ce moment, ou plutôt la question de est-ce qu'il suffit de faire grossir les modèles qu'on crée en ce moment pour arriver à un système aussi compétent que le cerveau humain. Là où je pense qu'il y a une différence qui est importante, c'est entre, disons, des LLM et des agents autonomes. Les agents autonomes, c'est le paradigme dans lequel on est en train d'entrer en ce moment. C'est quand on commence à créer une architecture cognitive autour d'un LLM. Par exemple, une façon assez naïve de le faire, c'est de prendre plusieurs LLM et de les faire discuter entre eux pour trouver une solution à un problème. On obtient un système qui tourne en continu et qui va essayer d'atteindre un but, de résoudre des problèmes, etc. Je pense que ça, c'est le prochain paradigme qui compte vraiment et qui va nous emmener probablement vers des systèmes de plus en plus compétents. là où les LLM pourraient atteindre des limites si on continuait à juste faire de l'IA générative des LLM. J'espère que j'ai bien répondu à la question.
- Speaker #2
Moi, j'ai aussi une question à ce niveau-là. C'est une interview que Yann Le Cun, en tout cas, c'est un speech qu'il donnait quand il a été invité dans le podcast de Mathieu Stéphanie, Génération Do It Yourself. Et ce qu'il disait, c'est que l'IA... Il y a généralement, on y arrivera en effet un jour, mais on est encore très loin. Parce que, ok, tout ce qui est analyse de texte, d'image, on a déjà fait des progrès absolument énormes. Par contre, il y a tout ce qui est le fait de pouvoir sentir son environnement, de ressentir des émotions, etc. Là, on n'a encore en fait rien du tout. Et il prenait un exemple que j'aime bien, je vais essayer de m'en rappeler. C'était de dire les premiers mois de vie d'un bébé. En fait, il est exposé à tout un ensemble de... pas de sentiment, mais de capteur, on va dire, qui forge en fait la façon dont il va évoluer plus tard. Et en fait, un bébé ne sait pas lire. Et donc là, ce qu'il disait, c'est voilà, aujourd'hui, on a entraîné des modèles, on a en effet le liage génératif qui est très fort dans l'analyse de texte, dans le pouvoir de générer de nouveaux contenus, etc. Par contre, elle n'est encore nulle part si on le compare à un bébé qui apprend à vivre et qui capte un ensemble absolument phénoménal de connaissances. Donc moi je serais curieux de voir ton avis là-dessus. C'est quoi l'intelligence générale en fait ? Et qu'est-ce qu'on considère, quand est-ce qu'on pourra considérer qu'une intelligence artificielle sera effectivement... plus intelligente qu'un humain ? Sur base de quelle métrique, sur base de quel contenu, sur base de quelle métrique est-ce qu'on va pouvoir faire cette évaluation ? Et quand est-ce que tu penses qu'on pourra éventuellement y arriver ?
- Speaker #0
Alors déjà, je ne suis pas d'accord avec le raisonnement de Lequin, dans le sens où je pense que quand il fait ce raisonnement, ce qu'il est en train de montrer, c'est que ce qu'on est en train de créer est très alien par rapport à un humain. Mais par contre... est-ce que ça va être plus compétent qu'un humain ou pas dans certaines tâches ? Je pense que ça montre pas bien ça. Pour expliquer, en gros, je suis d'accord avec une partie du raisonnement. C'est vrai qu'un bébé est exposé... Un humain, c'est différent. C'est-à-dire qu'on a... On est recouvert de capteurs. Je saurais même pas quantifier combien il y en a, mais juste si on prend le sens du toucher, on a la vision, l'ouïe, etc. Donc, on... On accumule une quantité incroyable d'informations au cours de notre vie, et ce n'est pas du texte. En tout cas, jusqu'à un certain stade de notre vie, ce n'est pas du texte. Les LLM, ils ne prennent à la base que du texte. Déjà, ce n'est plus vraiment le cas. C'est-à-dire qu'on n'est plus vraiment sur des LLM, on passe sur des modèles multimodaux qui apprennent à partir d'images, de sons, etc. La métaphore, elle est de moins en moins pertinente. Mais si on reste juste sur des LLM, on se rend compte qu'ils ont besoin d'énormément de textes par rapport à des humains pour apprendre. Ce n'est pas étonnant, vu que les humains ont accès à beaucoup plus d'informations, autres textes. Une métaphore qui est intéressante, je pense, pour appréhender ce problème de façon un peu plus intuitive, c'est imaginer un humain qui naît aveugle, sourd, pardon, peut-être pas sourd, mais qui soit juste capable de lire du texte au moment où il est né, qui n'ait pas de sens du toucher, etc. Et on pourrait se demander, est-ce que cet humain va arriver à comprendre le monde éventuellement ou pas ? Alors je pense que ce serait un handicap terrible, dans le sens où il lui faudrait énormément d'informations. Mais je pense quand même qu'au bout d'un moment, si on lui donne des accès à... Si on imagine que cet humain peut vivre des centaines de milliers d'années et continuer à accumuler du texte et du texte qui décrit le monde, c'est possible qu'au bout d'un moment, il arrive à comprendre le monde. Je pense que c'est une explication... intéressante pour comprendre un petit peu ce qui se passe dans les LLM. Après, on est vraiment dans... Tout ça, c'est des analogies, c'est des métaphores. Ça, c'est pas scientifique. C'est-à-dire qu'il faut aussi comprendre que ce que dit Lequin, c'est pas scientifique non plus. C'est juste une façon d'essayer de prédire ce qui peut se passer. Le gros problème que j'ai avec le raisonnement de Lequin, c'est qu'il n'est pas probabiliste. Lequin, il dit... Il admet qu'une super intelligence ou une intelligence à ce fichier général sera possible à un moment. Ça, il le dit clairement. Par contre, lui pense que ça ne va pas se passer dans les dix prochaines années avec 100% de certitude. Il considère pas la possibilité qu'il puisse se tromper et que ça puisse arriver bientôt. Et ça, je ne comprends pas pourquoi, parce que ses arguments ne sont pas suffisants pour justifier une certitude de 100%. qu'on ne va pas avoir une super intelligence dans, disons, cinq ans. Si j'analyse la question de mon point de vue, je pense qu'on a quelque chose comme 50 de chance pour que ça arrive dans trois, quatre ans. En étant vraiment, vraiment, en prenant vraiment ces arguments beaucoup plus au sérieux que ce que je pense qu'on devrait les prendre, je pourrais arriver à quelque chose comme 90 de certitude que ça n'arrive pas dans les dix prochaines années. Mais il reste quand même 10% de chance que ça arrive. Et ces 10% de chance, ils sont très importants. Parce que si ça arrive, c'est un événement, ça change, ça bouleverse toute l'histoire de l'humanité d'un seul coup. Donc je ne comprends pas pourquoi il ne prend pas la question plus au sérieux que ça. Et à mon avis, c'est plutôt un biais cognitif qu'autre chose.
- Speaker #1
Mais est-ce que tu ne penses pas que ces intelligences artificielles dites super intelligentes... Elles voient simplement superintelligence dans certaines tâches qui sont bien spécifiques. Et donc, elles seront évidemment, à titre égal, compétentes et peut-être même plus compétentes que certains hommes, mais juste sur certaines tâches.
- Speaker #0
J'aimerais bien que ce soit comme ça. C'est-à-dire qu'en gros, POSIAT, on veut que la recherche se réoriente vers ça, c'est-à-dire faire des intelligences artificielles étroites qui entraînent sur une tâche spécifique, etc. Mais le problème, c'est que ce n'est pas ce qu'on est en train de faire en ce moment. Le paradigme actuel, c'est vraiment d'entraîner des modèles de plus en plus gros. Et il y a des capacités qui émergent sans qu'on puisse prédire ce que ça va être la prochaine capacité qui va émerger. Et on va se retrouver, si on continue comme ça, il y a des chances pour qu'on se retrouve avec un système, une intelligence artificielle générale. Donc typiquement, c'est possible qu'un système multimodal... Je vais parler de système multimodo à partir de maintenant, parce que je trouve qu'on n'arrête pas de parler de LLM, mais les LLM, c'est déjà du passé. Tout le monde entraîne des modèles qui partent d'images, de sons, de textes, etc. vers des images, du son, du texte. Donc ces modèles, quand on les entraîne, on se rend compte qu'à l'intérieur, il... génère des modèles du monde. Il y a de plus en plus de recherches qui sont faites là-dessus pour essayer de comprendre ce qui se passe quand on entraîne ces modèles et on se rend compte qu'ils apprennent des modèles du monde. Il y a un papier qui est particulièrement intéressant où ils ont regardé, pour le coup c'était avec un LLM, ils ont entraîné un LLM je ne sais plus à quel ils ont pris, mais ils ont regardé ce qui se passait quand le LLM jouait à Otello. Otello c'est un jeu de plateau et le modèle n'a jamais vu un plateau de Otello, il a juste... vu des séries d'instructions de gens qui jouent à Othello, ils se sont rendus compte qu'à l'intérieur, le LLM avait simulé une partie de Othello avec le plateau, etc. Donc il y a de plus en plus d'indices qui nous montrent que ces modèles, juste à partir du texte à la base, ils commencent à développer des simulations à l'intérieur du monde réel. Et une fois qu'on a des modèles comme ça, qui ont internalisé des... des simulations de comment notre monde fonctionne, qu'on les met à l'intérieur d'agents autonomes qui vont être capables de faire des plans, etc. pour résoudre des problèmes, on est vraiment en train de partir sur un paradigme d'une intelligence générale, c'est-à-dire d'un système qui n'est pas entraîné pour être bon en maths ou pour être bon en biologie, mais qui a vraiment une forme de raisonnement, etc. qui va lui permettre d'attaquer n'importe quel problème. problème qu'on lui donne. De mon point de vue, c'est possible que ça n'arrive pas, au sens où il y a une chance pour que le paradigme actuel s'arrête, etc. Mais étant donné que c'est le but explicite de OpenAI, de DeepMind, etc., de créer ces modèles d'intelligence artificielle générale, je pense qu'on devrait prendre au sérieux la possibilité qu'ils y arrivent et considérer ce qui se passe si jamais ils y arrivent.
- Speaker #1
Mais est-ce que le modèle, quand même, parce qu'on est bien d'accord que ce n'est pas en Europe qu'on va réaliser ce type de... de choses, on est quand même fort en arrière par rapport aux États-Unis, voire même la Chine. Mais est-ce que c'est un modèle qui est quand même soutenable, s'ils veulent le faire ? Parce que ces grandes intelligences artificielles, si on suit le raisonnement que tu as mentionné avec la loi d'échelle, ça veut dire que ça va consommer énormément d'énergie, ça va consommer énormément de ressources. Est-ce que, non seulement est-ce que c'est soutenable d'un point de vue énergétique et écologique, et même s'ils n'étaient pas, s'ils ne sont pas, je veux dire, sensibles à cette cause, ce qui est le cas, à mon avis, ils ne sont pas sensibles à la cause, mais est-ce que c'est soutenable d'un point de vue financier, tout simplement ?
- Speaker #0
Oui, j'espère vraiment que ce n'est pas soutenable, étant donné que je pense que ce serait catastrophique si on arrive à créer ces modèles-là tout de suite. sans avoir résolu l'alignement, etc. On pourra en parler. Mais le problème, c'est qu'il y a des chances que ce soit soutenable. Donc déjà, ce qu'il faut comprendre, c'est que les lois d'échelle, elles sont logarithmiques, ce qui veut dire que pour multiplier, pour avoir un incrément sur la performance de ces modèles, il faut multiplier par 10 la puissance de calcul. Et c'est ce qu'on fait depuis 4 ou 5 ans. En gros, la taille des modèles est multipliée par 4, quelque chose comme ça, chaque année. Là, pour le moment... Il y a un rapport de Epoch AI qui est sorti, qui justement essaye d'analyser si ces boîtes vont être capables de continuer à faire grossir leurs modèles d'année en année. Et la conclusion de leur rapport, c'est que c'est très probable qu'ils y arrivent jusqu'à 2030 et qu'ils arrivent à faire x10 000 sur la taille des modèles. Après, il y a de fortes chances pour que ce soit déjà suffisant si on arrive à faire x10 000 pour nous emmener à un niveau de compétence humain. Encore une fois, il y a toujours une incertitude autour de tout ça. On essaie quand même de réfléchir à ce qui risque de se passer, étant donné qu'on parle de risques potentiellement catastrophiques. Donc, c'est possible. C'est vrai que du coup, ça va avoir un coût énergétique immense. Mais là, pour le moment, les investissements, ils sont là. Il y a toujours la possibilité que la bulle actuelle éclate. Aussi, il faut savoir qu'on pense qu'il y a une valeur derrière ces modèles ou non, qu'on pense que ce soit possible d'atteindre une intelligence humaine ou non. C'est possible que d'un seul coup, beaucoup de personnes perdent confiance en ce qui est en train de se passer, retirent de l'investissement et du coup, c'est possible qu'il y ait un effondrement des investissements et de l'argent qui est là-dedans. Alors, j'aimerais beaucoup. Je pense que c'est peu probable parce qu'il y a quand même quelques personnes très, très riches qui croient complètement en la superintelligence. Donc, il y a Marc Andriessen, qui est le président de Andriessen Horowitz, un fonds Venture Fund dans la Silicon Valley, qui va continuer à investir dedans quoi qu'il arrive. Je pense qu'Elon Musk aussi va continuer à investir dedans quoi qu'il arrive. D'ailleurs, Elon Musk vient juste de finir de construire un nouveau super cluster d'intelligence artificielle avec 100 000 cartes graphiques Nvidia H100 qui chacune consomme autant qu'un foyer. Les gens disaient, mais en fait, il n'arrivera pas à trouver suffisamment d'énergie pour faire tourner ce data center. En fait, ce qu'il a fait, c'est qu'il a juste acheté 14 camions transformateurs qu'il a garés devant le supercluster et il le fait tourner comme ça. Il y a des chances que ces gens-là arrivent à continuer à scaler leur modèle en dépit du coût énergétique, en dépit du coût sur l'environnement. Tout ça, c'est catastrophique. Je pense que si quelqu'un est inquiet des risques environnementaux, du réchauffement climatique en ce moment, il doit vraiment regarder ce qui est en train de se passer en IA. Parce que là, on part sur des plans pour foutre en l'air tous les engagements de réduction énergétique pour pouvoir continuer à entraîner ces modèles-là. Donc voilà, ma réponse, c'est que j'espère qu'on va arriver à arrêter de scaler comme ça, mais ça n'a pas l'air d'être la voie actuelle.
- Speaker #2
Et ça fait une bonne transition, justement, pour peut-être recentrer la discussion sur l'ASBL que tu as créé, Pose.IA. Je suis devant le site là et je vais lire la tagline qui nous permettra d'introduire le sujet. Première chose que je dis sur votre site, ne laissons pas l'IA nous détruire, agissons maintenant. Selon de nombreux experts, le développement rapide de l'intelligence artificielle présente un danger catastrophique pour l'humanité à court terme, au potentiel plus dévastateur que la bombe atomique. Nous faisons face à la menace la plus urgente de notre histoire, chaque jour compte. Et là, vous proposez... une liste de dangers, des propositions pour pouvoir avancer et on va dire diminuer l'impact ou la potentialité que ces dangers se réalisent. Donc, est-ce que tu peux nous expliquer ce qu'est POSIA, comment tu l'as démarré, comment c'est constitué et quelles sont les actions concrètes que vous avez en tête pour agir contre cette tendance au va-tout à l'IA ?
- Speaker #0
Oui. Déjà, sur notre site, on a choisi des mots forts histoire de faire réagir les gens. Après, je pense que c'est vraiment justifié. Ce n'est pas juste qu'on balance ça comme ça et il n'y a rien derrière. Donc, Pose.IA, on s'intéresse vraiment à tous les dangers de l'IA, mais notre angle, c'est que plus on crée des systèmes compétents dans tous les domaines possibles, plus on amplifie les bénéfices potentiels de l'IA, mais plus on amplifie les risques. Jusqu'à ce qu'on arrive à... un système qui a une intelligence ou un niveau de compétence équivalent à l'humain dans toutes les tâches possibles, si on arrive là tout de suite, on pense que c'est absolument catastrophique pour l'humanité. Alors pour expliquer rapidement pourquoi, ce qu'on essaye vraiment de communiquer, c'est que les modèles qu'on crée actuellement, en gros on a trouvé une recette pour créer des systèmes de plus en plus compétents, mais qu'on ne comprend pas et qu'on ne contrôle pas. Et ça, je pense que ce n'est pas super intuitif pour la plupart des gens. Les réseaux de neurones artificiels profonds, c'est vraiment un paradigme qui est assez étrange dans le sens où on ne comprend pas vraiment ce qui se passe dedans. Autour de 2017, j'avais travaillé un petit peu en interprétabilité. Ça consiste à essayer de comprendre ce qui se passe quand on a entraîné un réseau de neurones. Quel algorithme il a appris pour résoudre le problème sur lequel on l'a entraîné ? Et globalement, on n'y arrivait pas. J'ai regardé de nouveau en 2023, le milieu n'avait pas beaucoup progressé. On est vraiment capable de créer des systèmes de plus en plus compétents, mais sans vraiment comprendre ce qu'ils font. Pour revenir à POSIA, nous ce qu'on demande, c'est un moratoire pour mettre en place un traité international. pour mettre en pause le développement des intelligences artificielles générales et plus généralement des intelligences artificielles qu'on considère les plus dangereuses. Par exemple, on considère que les intelligences artificielles étroites qui visent à résoudre un problème spécifique sont beaucoup moins dangereuses parce qu'on est plus en contrôle de ce qu'on fait, on a moins de risques d'avoir des dommages collatéraux, alors qu'avec le paradigme actuel, on pense qu'il y a beaucoup plus de dangers. On s'intéresse vraiment à tous les dangers de l'IA. qu'on va souvent nous citer sur le risque existentiel, parce que c'est ce qui est le plus médiatique, disons en tout cas quand les gens lisent risque existentiel, ça a tendance à accaparer la discussion.
- Speaker #1
Donc le fait que la civilisation disparaisse à cause de l'IA, c'est ça ?
- Speaker #0
Oui, il y a plusieurs moyens d'en arriver là, si on continue avec le paradigme actuel. Je pense que de mon point de vue, le danger qui m'inquiète le plus, et il n'est pas forcément existentiel, mais je dirais qu'il est catastrophique, c'est dans le domaine de la cybersécurité. C'est-à-dire que là, on est en train de créer des modèles de plus en plus compétents en programmation et en piratage informatique. Il faut savoir qu'il y a pas mal de gens qui ont essayé d'évaluer les compétences de GPT-4 ou des modèles de niveau de GPT-4 en piratage informatique, et on se rend compte qu'il est globalement à un niveau humain moyen, non, pardon, à un niveau... au niveau d'un pirate informatique humain moyen en piratage informatique, avec évidemment des forces et des faiblesses qui sont différentes de celles d'un humain. Mais il y a plusieurs façons d'évaluer ça. Par exemple, il y a des gens qui ont regardé s'il était capable de détecter de façon autonome ce qu'on appelle des Zero Day Vulnerabilities, les vulnérabilités dans du code, avant qu'elles aient été découvertes par des chercheurs humains. On l'a fait rentrer dans des compétitions de piratage informatique pour voir quel score il obtenait. On se rend compte que là, on est au niveau globalement d'un pirate informatique humain moyen, que certains diraient médiocre, que d'autres diraient moyen. La question, c'est... Déjà, il faut savoir aussi que les modèles de langage sont utilisés par les pirates informatiques en ce moment, de toutes sortes de manières, pour faire de meilleures attaques de phishing, pour faire de meilleures attaques... C'est surtout... ça va être le phishing...... faire de l'impersonnation, à partir de l'image de quelqu'un, créer une vidéo réaliste de cette personne, copier la voix de quelqu'un, etc. pour mettre en place des arnaques. Donc on pense que ça, ça va être amplifié si on a d'un seul coup des modèles qui sont bien meilleurs en piratage informatique, qui sont bien meilleurs pour créer une vidéo réaliste de quelqu'un sans qu'on sache que ce n'est pas une personne, que c'est une IA. On pense que ça va amplifier tout ça de façon assez catastrophique. Et voilà, là... Typiquement, quand GPT-5 va sortir, donc si a priori, on ne sait pas trop, mais disons qu'il sort dans six mois, et si les lois d'échelle continuent, c'est possible que soudainement, on se rende compte qu'il est devenu surhumain en piratage informatique. C'est jamais ça, ça se produit.
- Speaker #1
Le modèle 1.0 qui est sorti il y a quoi, une petite dizaine de jours, qui est déjà bien meilleur en termes de codage, etc. Donc on va vers là, en effet, irrémédiablement.
- Speaker #0
Voilà, et je pense qu'il y aura un moment où on va avoir créé d'un seul coup une arme de destruction massive dans le domaine virtuel. Il faut savoir qu'il y a quelques cases à cocher encore. Si jamais un modèle devient surhumain en piratage informatique, il faut se souvenir qu'il n'y a pas de raison pour laquelle ces modèles devraient s'arrêter au niveau humain. Ce serait assez chauvin d'imaginer que l'humain est le mieux qui puisse exister dans ce monde pour craquer du code informatique. Typiquement, c'est un domaine dans lequel les LLM ont de bonnes chances d'être meilleurs que les humains parce que on parle vraiment de texte, de langage. Donc, si jamais on a un modèle qui est surmé en piratage informatique, qui est capable de s'auto-répliquer, donc ça suppose un modèle suffisamment petit pour pouvoir s'auto-répliquer, on n'est pas encore là, heureusement, qui est capable de tourner 50 fois plus rapidement ou d'être, disons, 50 fois plus rapide qu'un humain pour écrire du code. qui est ce qui est le cas actuellement, si on essaie de quantifier la vitesse par rapport à celle d'un humain, on est à peu près à ça. Là, la personne qui a entre ses mains ce modèle a une capacité de destruction qui est juste inédite dans le domaine virtuel. Donc il faut faire très attention à ce qu'on en fait.
- Speaker #1
Juste peut-être pour le... Souvent quand on parle de cybersécurité, c'est dans le domaine de l'entreprise, attention au virus sur vos ordinateurs, etc. Mais ici on parle d'une attaque sur des centrales nucléaires, sur les... les centrales électriques, donc par exemple couper la production et paralyser un pays ou une région complète, c'est ce genre d'attaque ou attaque terroriste, c'est ce genre de choses dont tu parles ?
- Speaker #0
Il y a plein de modèles de risque différents. Je ne suis pas trop pour le coup, il faudrait que je me renseigne un petit peu plus. J'ai encore la supposition que ces systèmes vraiment critiques ne sont pas reliés à Internet. J'espère que c'est le cas. Donc ce n'est pas forcément ça le plus probable. Par contre, pour donner un exemple concret, il y a un modèle qui est vachement étudié en ce moment en sécurité de l'IA qui s'appelle Autonomous Replication and Adaptation. Et c'est... un peu l'idée d'un virus assisté par intelligence artificielle. Donc un modèle qui soit capable de se répliquer lui-même, de se propager sur Internet de façon autonome. On a fait une espèce de liste de tâches qu'une IA devrait pouvoir faire pour en arriver là. Il y a quelque chose comme 15 tâches. Ça va être être capable de pouvoir accéder à son propre code source, pouvoir accéder à ses poids. à ces paramètres, pouvoir lancer une machine virtuelle quelque part, ou alors hacker dans une machine virtuelle, pouvoir copier ces paramètres dedans, installer toutes les librairies nécessaires pour faire tourner le modèle, etc. On obtient une liste de 15 tâches comme ça. Pour le moment, les modèles actuels sont capables d'en faire 13 sur 15. Si jamais ils arrivent à toutes les faire, on a un modèle d'IA qui est capable, de façon autonome, de se dupliquer sur Internet. En gros, ce système-là, ça peut être utilisé pour créer une nouvelle forme de virus informatique qui serait à peu près équivalent à un virus informatique qui aurait un programmeur humain derrière chaque instance, qui soit capable de réécrire son propre code, d'analyser l'ordinateur, la machine dans laquelle il se trouve, de façon aussi performante qu'un programmeur ou qu'un pirate informatique humain. Si on en arrive là... A priori, là, il n'existe pas vraiment de solution. Les gens qui réfléchissent à ce problème, ils voient bien comment on peut arriver à créer ce système si on a une IA suffisamment compétente. Par contre, on n'a pas vraiment de solution en tête pour empêcher ce système de se propager sur Internet. Dans ce scénario, on a potentiellement, globalement, on perd Internet du mérite global. On a une IA qui se propage. viralement sur Internet très rapidement, sans qu'on ait de capacité à l'arrêter. Ça, je dirais que c'est un des scénarios les plus inquiétants.
- Speaker #1
Pour l'économie, il n'y a plus rien qui tourne, en fait. C'est ça.
- Speaker #0
En fait, dans les pays de l'Ouest, je dirais. Après, il y a des économies dans ce monde qui ne dépendent pas autant d'Internet que les nôtres. Mais en tout cas, nos économies sont devenues complètement dépendantes d'Internet. Donc, ça mettrait vraiment tout en l'air. dans les économies occidentales. Après, sans qu'on aille sur des systèmes qui se propagent comme ça de façon autonome, juste l'utilisation malveillante par le cybercrime va déjà être extrêmement problématique. Parler... Un autre gros problème, c'est le risque de persuasion. Je pense que peu de gens sont au courant que GPT-4 est déjà meilleur que l'humain moyen pour persuader des humains. Il y a aussi des tests qui ont été faits pour essayer de quantifier ça. On demande à GPT-4 de persuader quelqu'un, on demande à un humain de persuader quelqu'un, et on essaie de voir lequel s'en sort le mieux. Et en fait, on se rend compte que GPT-4 est meilleur que 80% des humains, en termes de persuasion. Ça, c'est déjà utilisé par des cybercriminels pour faire de meilleures attaques de phishing, donc convaincre des gens. On n'est plus sur des paradigmes de... Je suis un prince au Nigeria qui me fait enfermer par mon rival.
- Speaker #1
J'ai des liens à faire sortir de la banque.
- Speaker #0
C'est ça. Donc maintenant, on rentre plutôt dans un paradigme où on va essayer de vraiment créer un lien avec une personne qui est beaucoup plus crédible de façon complètement automatique. Je recommande aux gens d'aller regarder une vidéo d'un YouTuber qui s'appelle Defend Intelligence en France, qui a créé un système en quelques jours pour se connecter sur Tinder. Une IA... qui va sur Tinder et qui match automatiquement les gens et ensuite qui engage des conversations avec eux, etc. En deux jours, il l'a fait tourner, il a matché avec 14 000 personnes et parmi ces 14 000 personnes, il y a quelque chose comme 80% qui sont tombés amoureux de cette IA sans être capable de savoir que c'était une IA. Et ce genre de problématique, c'est extrêmement inquiétant. On est capable maintenant d'automatiser... La persuasion, je ne sais pas comment expliquer mieux que ça, à quel point c'est risqué.
- Speaker #1
Tu ne peux absolument plus différencier le vrai du faux, de la machine. Et du coup, dans tous les domaines de la vie où tu as des communications entre les gens, potentiellement, ces communications peuvent être complètement falsifiées. Et donc, on imagine bien les dégâts que ça peut faire. Est-ce que la solution, c'est de revenir à un monde où il n'y a finalement plus de digital, ou en tout cas où la digital a une place beaucoup moins importante que ce qu'elle a aujourd'hui, qui irait aussi dans une optique où on réduit notre consommation électrique ? Et pour l'environnement, finalement, les deux idées se rejoindraient. Est-ce que c'est une option ? Est-ce que c'est ça que vous défendez ? Est-ce que c'est réaliste ?
- Speaker #0
Alors, ce n'est clairement pas ça qu'on défend, au sens où nous, on n'est vraiment pas technophobe. Personnellement, moi, j'ai quand même envie d'aller dans un monde où on arrive à développer des intelligences artificielles qui soient bénéfiques pour l'humanité. Donc, je considère vraiment qu'il y a des bénéfices immenses si on arrive à... Faire des systèmes de plus en plus puissants, mais en maîtrisant les dangers. Là, ce que j'observe en ce moment, c'est qu'on fait ça de façon extrêmement bête. C'est-à-dire qu'on est dans une espèce de course, comme une course à l'armement, où il y a plusieurs entreprises qui sont en compétition pour créer des systèmes d'IA de plus en plus puissants, qui sont focalisés sur les bénéfices potentiels et qui croisent les doigts en se disant que les risques dans le passé, il n'y a jamais eu de problème majeur pour l'humanité. Donc, a priori, ça va continuer à bien se passer et qui ignore complètement toutes les alarmes qui sont en train de sortir du domaine de la sécurité de l'IA, qui justement, analyse, recherche spécifiquement ce qui risque de mal se passer quand on crée des systèmes de plus compétents. Donc, vraiment, on n'est pas du tout en train de faire de l'advocatie pour dire qu'on devrait aller dans un monde. non digitalisées ou quoi que ce soit. On est juste en train de dire, on a un potentiel bénéfique incroyable entre nos mains qui ne se matérialisera que si on maîtrise les risques. A priori, quand on analyse l'histoire de l'humanité, il y a ce qu'on appelle une asymétrie attaque-défense qui donne quand même un avantage à l'attaque. Donc si on prend juste l'exemple des IA pirates informatiques, il y a des gens qui disent que ça va bien se passer parce que les... les défenseurs vont aussi avoir des IA surpuissantes entre leurs mains qui vont leur permettre de faire face aux IA surpuissantes des attaquants. Mais en pratique, ça ne se passe pas comme ça. En pratique, les attaquants ont toujours un avantage. La personne qui frappe en premier a un avantage. Ce serait bien d'aller dans un monde où les défenseurs aient un avantage sur les attaquants, mais il faut proactivement le créer, ce monde.
- Speaker #2
Est-ce que l'AI acte ? justement n'est pas là pour réglementer un peu justement le niveau de risque des intelligences artificielles.
- Speaker #0
Et la YACT ? Oui.
- Speaker #2
Quel est toi ton avis sur la YACT, qui n'est pas encore implémentée de manière concrète, mais en tout cas qui a été lancée ? Il faudra attendre plus ou moins deux ans pour son implémentation concrète. Qu'est-ce que toi tu en penses ? Est-ce que ce n'est pas un peu la réponse à vos demandes ? Une réglementation plus stricte de ce qu'on met sur le marché ?
- Speaker #1
Après, c'est juste l'Europe.
- Speaker #2
C'est juste l'Europe.
- Speaker #0
Déjà, c'est un souci. C'est juste l'Europe, mais en même temps, l'Europe a tendance à, si l'Europe met en place une réglementation, ça a tendance à suivre dans le reste du monde, parce que le reste du monde n'a pas envie de se priver du marché de l'Europe. Et c'est plus simple d'implémenter la même réglementation dans tous ses produits plutôt que de faire des exceptions dans tous les pays. Mais le gros problème que j'ai avec l'AIA Act, même si je pense que ça va dans la bonne direction, le problème, c'est que ça reste réactif. C'est-à-dire que... Il y a différents types de risques dans la vie. À l'échelle de la société, il y a des risques pour lesquels on peut se permettre d'être réactif et d'autres pour lesquels il faut être proactif. Par exemple, si on prend juste les dangers causés par les voitures autonomes, c'est vrai que si on a des voitures autonomes qui commencent à rentrer dans des gens dans la rue, c'est terrible pour l'individu, mais à l'échelle de la société... On est quand même toujours dans un mode où on est des humains, on prend des risques et on se dit c'est ok, on va faire ça. Si jamais il y a une voiture autonome qui tue quelqu'un, on fera un procès envers la boîte qui a fait ça. Et sur le long terme, ça se régulera. Ça c'est ok parce que ce n'est pas un risque catastrophique à l'échelle de la société. À partir du moment où on parle d'un risque qui pourrait causer par exemple des millions de morts ou des milliards de dollars de dégâts, on ne peut pas se permettre d'être réactif. On ne devrait pas se dire, on va mettre en place un système, peut-être que ça va causer des millions de morts, peut-être pas. Et puis on verra après si jamais on met en place des réglementations pour... pour dire aux boîtes ne mettez pas en place ces systèmes et puis si jamais ils le font quand même et ça cause des millions de morts et ben on fera un procès etc donc c'est là qu'il y a un gros problème avec notre notre approche alimentaire actuelle c'est qu'on reste quand même dans un régime réactif bon le acte il a aussi d'autres défauts il prend pas en compte il y a beaucoup de catégories de risques qui sont pas vraiment prises en compte par exemple Le bioterrorisme, on n'en a pas encore parlé, mais c'est un sujet de préoccupation majeure en ce moment aux États-Unis. En Europe, ça n'a pas encore percuté que l'IA pouvait causer un risque de bioterrorisme. Et là, typiquement, c'est le genre de système pour lequel on ne peut pas attendre qu'une nouvelle pandémie soit causée par l'intelligence artificielle pour ensuite faire un procès à la boîte qui a permis cette chose-là d'arriver. Il faut... absolument mettre en place des systèmes qui empêchent complètement ce scénario de se produire ?
- Speaker #1
Est-ce qu'on n'y est pas encore parce qu'il y a un manque de... Tu penses qu'en Europe on n'est pas assez sensibilisés, nous et les dirigeants, sur ce genre de problématiques ? C'est vrai que quand on parle de l'IA, c'est surtout Ah oui, l'IA va prendre nos boulots C'est clair que d'une certaine mesure ça va se passer, mais on a tendance à se focaliser. quasiment uniquement sur ça et sur les données à caractère privé, alors qu'en fait, les risques que toi, tu évoques sont des risques planétaires beaucoup plus dangereux. Est-ce qu'on les occulte volontairement ou c'est juste qu'on n'a pas encore cette conscience que ça peut arriver ?
- Speaker #0
Oui, je sais qu'il y a plusieurs trucs qui se passent en Europe. Déjà, il y a un gros écart. Après, je ne peux pas... pas vraiment me prononcer trop sur l'Europe, je vais plutôt me prononcer sur la France, parce que, bon, l'Europe, il y a beaucoup de pays différents, mais en France, on se rend compte qu'il y a un énorme écart en termes de compréhension des risques par rapport à l'Angleterre ou aux Etats-Unis. Plusieurs facteurs pour ça, je dirais qu'il y en a un gros facteur, c'est tout simplement Facebook et Meta via Yann Lequin. Yann Lequin est de façon assez notoire un ne croit pas aux risques de l'IA et comme il est extrêmement influent et qu'il parle directement à tout le monde en politique, qu'il parle directement à Macron, etc. Son idéologie se retrouve dans les cercles politiques français. La France est en ce moment en train d'essayer de noyer la conversation sur les risques de l'IA. Ça s'est vu avec le rapport qu'ils ont sorti en mars 2024. L'IA, notre ambition pour la France, qui minimise systématiquement tous les risques, qui ne parle même pas des risques les plus catastrophiques. Et le fait qu'ils aient renommé le... Donc déjà, il y a les sommets pour la sécurité de l'IA qui a été créé en Angleterre l'année dernière. La France devait organiser le suivant en novembre. La France a repoussé ça à février déjà et a renommé ça en sommet de l'action sur l'IA. L'idée de sécurité de l'IA ne se retrouve même pas dans aucun des groupes de travail. En gros, on considère qu'il n'y a pas de risque, que c'est plutôt une opportunité pour le pays. Là où on voit bien l'écart, c'est que là, les États-Unis viennent d'annoncer que, vu que la France n'avait pas organisé ce sommet en novembre, ils vont reprendre le flambeau et ils organisent d'eux-mêmes un sommet de la sécurité de l'IA en novembre. Ce qui est en train de se passer aux États-Unis, c'est que les gens en sécurité nationale prennent de plus en plus conscience des risques, pas vraiment de tous les risques, mais là, ils viennent vraiment d'ouvrir leurs yeux sur les risques de bioterrorisme. Ce n'est pas du tout le cas en France, ni en Europe, je pense, d'une manière générale. Je pense qu'il y a vraiment un problème de barrière de langage en France. C'est-à-dire qu'il y a tellement de ressources qui existent en sécurité de l'IA, qui sont en anglais, mais qui n'ont pas encore été traduites en français, que mine de rien, ça fait une différence. Même si on peut se dire que beaucoup de gens parlent anglais, quand je discute avec des gens en IA en France, je me rends compte qu'ils ne savent pas ce que c'est que la convergence instrumentale. Ils ne savent pas, ils n'ont vraiment aucune idée que tout ce qui manque pour créer un virus mortel pour les humains, c'est un aspect conceptuel plutôt qu'un aspect de synthèse. Il y a beaucoup de savoirs qui existent pour le moment, que en anglais, mais pas en français. Est-ce que ça peut être ?
- Speaker #2
Est-ce que ce n'est pas parce qu'en Europe, on est plus consommateur d'IA que vraiment créateur d'IA ? Comment est-ce qu'on peut concevoir des risques si on n'est pas non plus acteur dans le développement d'IA d'un niveau qui peut déclencher des risques aussi grands que tu le prétends ? Est-ce qu'on n'est pas un peu, nous, en Europe, trop loin finalement par rapport à... par rapport à ce qui se passe aux États-Unis.
- Speaker #0
Je pense que tu as raison. Je pense qu'il y a cet aspect-là aussi, qui est peut-être juste d'être un peu en retard. Un bon exemple, c'est regarder le rapport de la commission de l'IA qui s'inscrit vraiment dans une absence d'anticipation et même un petit peu un retard. C'est-à-dire que dans ce rapport, ils considèrent les modèles de niveau GPT-4 qui étaient sortis un an avant la sortie du rapport. sans essayer d'anticiper ce qui risque de se passer plus tard, et même sans se rendre compte que le paradigme est déjà en train de changer au moment où ils écrivent le rapport, et qu'on a de plus en plus d'agents autonomes. Donc je pense que ça c'est une idée qui ne s'est pas encore bien propagée en France et en Europe. L'idée que là, on a de plus en plus de gens qui sont en train de créer des agents autonomes, qui arrivent avec de toutes nouvelles catégories de risques, des systèmes qui tournent de façon continue. auxquels on donne un but, qui sont connectés à Internet, en gros contrôle un ordinateur, ou ça peut être de façon un peu plus restreinte qu'un contrôle total, mais qui vont prendre une série de décisions et d'actions pour arriver à atteindre ce but, qui vont créer des sous-buts, etc. Et en fait, je constate que les gens restent encore bloqués ici sur le paradigme soit des LLM, soit de l'IA générative, ne considèrent que des modèles... qui ont des modèles du style on lui pose une question et ça te donne une réponse à cette question qui a souvent des problèmes, des hallucinations, etc. Donc je pense que oui, il y a un espèce de retard technologique. Je suis sûr que les gens dans la Silicon Valley sont plus au fait de ce qui existe en ce moment que les gens ici. Et puis après, c'est quand même assez difficile de suivre, sachant qu'à peu près tous les mois, il y a une nouvelle avancée majeure dans ce domaine. Si on n'est pas constamment en train de suivre le fil de l'actualité, c'est assez difficile de comprendre où on en est.
- Speaker #1
Et donc, est-ce que c'est ça la mission de Pose.IA ? C'est d'alerter les consciences en France et en Europe, d'abord en France j'imagine, sur les dangers de l'IA et d'essayer de faire en sorte que de plus en plus de gens rejoignent votre mouvement pour ensuite envisager des actions qui pourraient avoir un impact au niveau national, européen et mondial. Parce que tu l'as bien dit, il y a beaucoup de choses qui se passent aux États-Unis. Tu as mentionné tout à l'heure le fait qu'Elon Musk, il faisait un peu ce qu'il voulait. Et l'autre personne, je me souviens plus de son nom, pareil. Donc, comment est-ce qu'on peut espérer avoir un impact quand on sait finalement qu'on vit dans un environnement où les gens ne sont pas spécialement au courant des dangers potentiels ? C'est quoi les actions ou le plan que vous avez pour justement espérer avoir un impact et faire changer les choses ?
- Speaker #0
Oui. Déjà, POSIA, c'est la branche française d'un mouvement global qui s'appelle POSAI, qui est basé aux Pays-Bas. Du coup, disons que l'objectif du traité international pour mettre en POSIA, c'est plutôt l'objectif du mouvement global. En France, on a une mission un peu plus restreinte qui va être de sensibiliser le public, sensibiliser les décideurs sur ce qui est en train de se passer en IA. Vraiment, arriver à communiquer cette notion qu'on est en train de créer des systèmes de plus en plus compétents, mais qu'on ne comprend pas et qu'on ne contrôle pas. Arriver à faire comprendre cette notion que tous les risques qu'on s'intéresse, au risque de perte d'emploi, au risque de cybersécurité, au risque de biais, de discrimination, tout ça s'est amplifié très rapidement avec le progrès. Donc voilà, sortir de cette idée que le progrès n'existe pas, c'est-à-dire que les modèles actuels vont rester tels qu'ils sont. maintenant et on devrait considérer que les risques qui existent actuellement, quand même garder en tête la possibilité qu'on continue dans le progrès accéléré qu'on observe jusqu'à maintenant et les conséquences de ça. Je pense qu'on a vraiment un potentiel d'impact qui est assez élevé parce que ce n'est pas stable la situation dans laquelle on est. C'est-à-dire que quand je regarde la différence de discours entre les États-Unis, l'Angleterre et la France, Ce n'est pas une situation qui peut perdurer dans le temps très longtemps. Et je le vois ça assez rapidement quand j'ai des conversations avec des gens qui travaillent en intelligence artificielle. En général, il suffit de donner quelques faits qu'ils ne connaissaient pas pour assez rapidement ouvrir les yeux sur ce qui est en train de se passer. Donc je suis assez optimiste. Notre objectif en France, ça va être vraiment d'arriver à faire changer les mentalités d'ici au sommet de l'IA dans six mois. Et puis après ça, continuer à faire de l'éducation, à arriver à faire comprendre aux gens ce qui se passe vraiment en IA. Donc j'ai bon espoir que ça réussisse. Après, on peut aussi se demander pourquoi la France, est-ce que ça a vraiment de l'importance, étant donné qu'on est bien en retard ? dans le développement de ces technologies. Je pense que la France a de l'importance parce que, en ce moment, la France est en train d'essayer de se positionner comme un état voyou de l'IA, où on va essayer de réduire les régulations pour faire venir des investissements. La stratégie qu'on peut comprendre quand on lit entre les lignes, c'est de dire, ah, aux États-Unis, ils vont réglementer à fond, du coup, nous, on va réglementer moins et on va espérer que, comme ça, il y a des boîtes qui viennent depuis les États-Unis vers la France. Donc on veut essayer d'éviter qu'il y ait une situation comme ça qui se produise. Une situation où, par exemple, les États-Unis et la Chine décident de signer un traité international pour mettre en pause le développement de certains systèmes, mais la France dit non. On pense que dans le monde actuel, si jamais c'était le cas, si on arrivait à obtenir un traité international, il y a une forte chance que la France ne signe pas. L'idée, ça va être de sortir de cette possibilité.
- Speaker #1
Je lis en effet sur votre site, proposition, mettre en œuvre un moratoire international et comment est-ce que tu arrives ? C'est en mettant en place des organes spécifiques, agence internationale de la sécurité de l'IA, entraînement système d'IA général contrôlé, on va dire. Pareil, des contrôles plus forts sur le déploiement des modèles. Tout ça, il y a au début de l'awareness et de faire pression finalement sur les instances qui vont... qui vont devoir décider des grandes directions dans le domaine de l'IA,
- Speaker #0
c'est ça ? Oui, on pense quand même que c'est moins une cause perdue que ce qu'on pourrait penser. C'est-à-dire que si on compare au réchauffement climatique, aux problèmes environnementaux, on peut voir la situation comme chaque personne sur cette planète est plus ou moins coupable vis-à-vis de notre mode de vie, etc. Et c'est extrêmement difficile de faire changer les mentalités. Alors que là, en IA, on pense qu'au final, il n'y a pas... peut-être quelque chose comme 1000 ou 2000 personnes sur cette planète qui sont en train de créer les systèmes les plus dangereux. Et l'idée, c'est juste de les arrêter. Notre point de vue, c'est si on arrive à faire comprendre à suffisamment de personnes sur cette planète qui est en train de se jouer, la solution va émerger d'elle-même. Et peut-être que ce ne sera pas un traité international. Au final, peut-être que ce sera autre chose. Mais on pense quand même que c'est avant tout un problème de coordination humaine et les problèmes de coordination humaine... ils sont résolus en éduquant les gens plus.
- Speaker #1
Ok, c'est très clair. Donc typiquement, si certains des auditeurs veulent avoir plus d'informations, veulent s'engager auprès du mouvement, veulent être tenus au courant de ce que vous faites et peut-être participer à certaines de vos actions, comment est-ce qu'on peut faire et comment est-ce qu'on collabore avec vous ? Comment est-ce qu'on devient membre peut-être ?
- Speaker #0
On a déjà sur notre site web, on a une page rejoindre ou agir. On a un serveur Discord sur lequel on utilise pour se coordonner. Après, je recommande aux gens aussi de s'inscrire à notre newsletter. C'est notre blog. Sur le site web, il y a un lien vers notre blog. On essaie de poster un article par semaine où on va soit présenter une classe de risque, juste présenter les actualités, ce qui est en train de se passer en IA. on va essayer de sortir un article bientôt sur le nouveau modèle de OpenAI O1 et les nouvelles classes de risques qui l'ouvrent, que je ne sais pas si beaucoup de gens sont au courant des évaluations qui ont été faites sur ce modèle et de ce qu'on a trouvé quand on a fait les évaluations tu peux nous dire un petit mot en gros Ce qu'on appelle le problème de l'alignement en intelligence artificielle, c'est comment est-ce qu'on peut faire en sorte d'aligner des systèmes de plus en plus compétents sur les valeurs humaines. Et pour le moment, c'est ce que j'appellerais un problème difficile avec un grand D dans ce domaine. C'est-à-dire que, de mon point de vue, c'est quelque chose qui pourrait nécessiter peut-être 50 ans de recherche avant qu'on arrive à résoudre ça. Je dirais que c'est à peu près équivalent à... obtenir une compréhension du fonctionnement du cerveau humain en termes de difficultés. Par contre, ce qu'on peut prédire assez facilement, c'est que si on continue à créer des systèmes qui ne sont pas alignés aux valeurs humaines de plus en plus puissants, il y a des problèmes qui risquent d'apparaître. Il y a une classe de problèmes qu'on appelle la convergence instrumentale. L'idée, c'est que quel que soit le but qu'on essaye de résoudre, avec des systèmes de plus en plus intelligents, il y a des sous-buts qui vont apparaître, qui sont problématiques. Par exemple, un système suffisamment intelligent auquel on donne la tâche de, je vais dire un exemple tout bête, mais déplacer un seau d'eau de là où je suis jusqu'à 100 mètres plus loin, si ce système est suffisamment intelligent et il sait qu'il est un système dans le monde réel, il va comprendre qu'il ne faut pas... qu'il disparaisse entre le moment où il attrape le Sodo et le moment où il va le déposer à l'autre bout de la cour, parce que sinon, il n'aura pas atteint son but. Ça montre juste qu'il y a un sous-but qui émerge assez naturellement, qui est la survie. Essayer de se protéger soi-même pour arriver à atteindre son but. Il y a plein de petits sous-buts comme ça qui émergent. Et voilà, avec O1, avec le nouveau modèle d'OpenAI, on commence, ce n'est pas la première fois, mais on a de plus en plus de... d'indices qui montrent que ces sous-buttes sont en train d'émerger. Donc là, on s'est rendu compte que O1, par exemple, faisait ce qu'on appelle de l'alignement déceptif. Donc l'idée, c'est mentir pour atteindre son but ou faire semblant, faire semblant d'être aligné avec les valeurs du développeur pour atteindre son vrai but qui est tout autre. Pour arriver à évaluer ça, ils ont donné au modèle Un but spécifique qui est censé être son vrai but, c'était je pense quelque chose comme maximiser des profits. Et ensuite ils ont dit au modèle tu es dans une phase de développement et les développeurs vont te tester sur un autre but. Et le modèle a compris qu'il fallait qu'il fasse semblant d'avoir cet autre but pour que les développeurs décident de le faire sortir de la phase de test, de le déployer dans le monde réel. pour qu'une fois qu'il soit dans le monde réel, il puisse atteindre son vrai but qui était différent. Donc l'idée c'est qu'ici ce modèle a compris qu'il fallait qu'il monte pendant sa phase de test pour pouvoir être déployé à la fin et pour pouvoir ensuite atteindre son vrai but. Il y a toutes sortes de comportements comme ça qui sont très problématiques, qui commencent à être bien apparents dans les modèles qu'on entraîne. Ça c'est pas très dangereux pour le moment parce que ces modèles sont pas très capables. ne feront pas des capacités très fortes, mais à partir du moment où on a des modèles qui commencent vraiment à avoir de très fortes capacités et qu'on met dans des agents autonomes dans le monde réel, ça risque de poser de gros problèmes.
- Speaker #1
Tout ça pour dire qu'on revenait sur la façon d'être informé, c'était un futur article de blog que tu allais...
- Speaker #0
J'ai fait une grosse présence. Je m'excuse.
- Speaker #1
J'ai fait une grosse présence. Donc, C'est très clair, en fait, de nouveau sur votre site pose.ia.fr, il y a une section Agir, un gros bouton d'ailleurs au-dessus à droite, vous ne pouvez pas le manquer. Et là, en effet, une liste très concrète d'actions, de ce que vous pouvez faire, non seulement pour être informé sur les risques de l'IA, et la première chose, ce serait de vous abonner évidemment au blog. Et puis, on voit aussi, ça je trouve, c'est vraiment bien fait, si vous êtes un bon orateur, si vous êtes un politique, si vous connaissez le droit. si vous travaillez dans le secteur de l'IA, des listes, des points d'action très concrets qui vont permettre de faire en sorte que un maximum de personnes soient au courant de ces risques et donc que cette problématique puisse être beaucoup plus entendue que ce qu'elle ne l'est maintenant.
- Speaker #0
J'ai juste envie de rajouter, même si vous n'avez aucune compétence en IA ou que vous considérez que vous n'avez aucune compétence qui puisse être utile à POSIA, détrompez-vous, on accepte tout le monde, tout le monde peut vraiment contribuer. Là, pour le moment, on n'est qu'une dizaine et on a vraiment toutes sortes de profils. On a un forgeron, une prof d'anglais en prépa. Ce que je veux dire, c'est que vraiment tout le monde peut faire une contribution. Il n'y a pas de problème en termes de compétences ou quoi que ce soit.
- Speaker #1
Parfait. Écoute, Maxime, un grand merci. Je ne sais pas s'il y a un autre sujet que tu voulais aborder plus spécifiquement ou si on a fait un tour globalement de l'ensemble des problématiques du jour.
- Speaker #0
Il y a toujours. Beaucoup d'autres UV qu'on peut aborder.
- Speaker #1
moi j'adore parler de philosophie aussi ça va plaire à Leïla je vous laisse penser je ne sais pas si on va en couvrir ce sera pour un prochain podcast alors très bien, écoute Leïla peut-être toi, tu as encore quelques questions de sujet ?
- Speaker #2
non j'ai appris beaucoup de choses je remercie Maxime qui m'a conscientisé aussi sur les risques qui sont plus grands que ceux qui sont décrits par l'IACT, que je connais bien Maxime, que je maîtrise assez bien donc voilà c'était vraiment intéressant et j'espère que le message sera audible aussi en Europe alors que quand même le combat se met à mon avis essentiellement aux Etats-Unis
- Speaker #1
Voilà, donc on rappelle à vous posia.fr évidemment on mettra toutes ces informations là sur les descriptions de l'épisode merci Maxime et à bientôt tous et toutes pour un prochain épisode au revoir à bientôt au revoir merci
- Speaker #3
d'avoir écouté cet épisode jusqu'à la fin si vous l'avez apprécié n'hésitez pas à le partager à vos amis, à votre famille et à vos collègues. Nous vous serions très reconnaissants si vous pouviez laisser une évaluation 5 étoiles dans votre application de podcast préférée. Ça nous aide vraiment à grandir. Vous avez un projet en IA ? Des idées que vous souhaitez discuter ? Notre société, Delaware, peut vous aider. N'hésitez pas à nous contacter sur portraitia.delaware.pro portrait au pluriel ou sur les réseaux sociaux. C'était Léla Rebou et Benoît Loffey et on vous dit à très vite !
