Transcription

• Speaker #0

  C'est une technologie qui, oui, est potentiellement extrêmement dangereuse, et que si jamais on n'arrive pas à la contrôler, alors tout le monde sur cette planète va mourir. Plus le modèle est gros, plus il est performant, et par performance, on veut dire spécifiquement, si c'est un modèle de langage, ça va être à quel point il est bon pour prédire le prochain monde. 30 sur les 100 pensent que l'intelligence artificielle risque de causer l'extinction humaine très bientôt. C'est comme si on avait créé un virus informatique, mais sous stéroïde, comme si c'était un virus informatique qui, derrière chaque instantiation, à un humain qui est capable d'analyser l'environnement dans lequel il est, de se reprogrammer, de s'adapter à toutes les situations. Pour ça, il faut vraiment faire attention à ce que ça n'arrive pas. Là, on est en train de se diriger droit vers ça. Du coup, on peut voir ça comme on diminue l'intention de l'humain et on augmente l'intention de la machine. Ce qui fonctionne bien, c'est les messages de haine. Donc, tous les messages qui suscitent de la colère. Et la Chine ne laisserait pas les États-Unis développer cette technologie sans rien faire. C'est un genre de scénario qui pourrait lancer une guerre mondiale.

• Speaker #1

  Je ne parle pas d'intelligence artificielle. En général, il y a souvent deux camps. Il y a d'un côté les personnes que je qualifie d'optimistes de l'IA qui pensent que les IA en général, c'est tout simplement des outils qui vont nous aider à être davantage productifs et productives au quotidien. Dans cette famille-là, il y a par exemple Luc Julia, le co-créateur de Siri, qui a souvent tendance à assimiler l'intelligence artificielle à un marteau, par exemple. On sait tous que le marteau, c'est dangereux, mais... Et collectivement, en tant qu'être humain, on utilise majoritairement le mâton pour faire des tâches bien précises qui nous aident. Par exemple, lorsqu'on fait des déménagements, lorsqu'on veut monter des meubles, le mâton peut être utile. On sait que c'est dangereux, mais on sait très bien se servir d'un mâton. Il y a également Yann Lecun qui pense que l'intelligence artificielle, ce sont des outils qui vont nous aider à être davantage productifs et productives au quotidien. D'un autre côté, il y a une deuxième famille qui pense que l'intelligence artificielle, c'est très dangereux. Et nous sommes en train de courir le risque de l'extinction de l'humanité littéralement. Et dans ce mouvement-là, en général, ces personnes nous demandent de faire des pauses parce que c'est urgent de faire une pause pour pouvoir justement limiter les risques de l'intelligence artificielle. Parmi les personnes qui pensent qu'on doit urgentement mettre une pause au développement des IA, surtout celles qui sont très dangereuses, il y a Maxime Fournais, que j'ai invité dans ce podcast, pour comprendre pourquoi est-ce qu'il pense qu'on doit urgentement faire la pause. Est-ce que faire une pause, c'est réaliste ? Avant de vous laisser avec mon échange avec Maxime, laissez-moi vous présenter qui est Maxime Fournès. En fait, Maxime Fournès, c'est un professionnel du monde de la data qui a plus de 10 années d'expérience dans le domaine. Après avoir effectué un stage chez AXA, il a commencé sa carrière chez Winton Capital Management en tant qu'analyste consultatif et a poursuivi en tant que data scientist dans le développement des modèles de deep learning, notamment, il est même devenu Head of Data Science chez tout Sigma. Ce qui m'a intrigué dans le parcours de Maxime, c'est qu'il a développé des modèles de deep learning, il sait comment ces modèles fonctionnent et aujourd'hui, il est le cofondateur de Pause AI en France, un mouvement qui demande de faire urgentement la pause des intelligences artificielles. La question que je me suis posée, c'est pourquoi est-ce que Maxime demande de faire une pause urgente ? Pourquoi une personne qui a développé des modèles de deep learning, qui comprend comment ça marche, demande de faire une pause ? Quels sont réellement les risques ? Est-ce que c'est possible de faire... une pause. Comme d'habitude, moi je pense que dans tout débat, il faut écouter les deux parties pour se faire sa propre opinion. Donc, je vous invite tout simplement à écouter les arguments de Maxime et surtout à vous faire votre propre opinion. Comme d'habitude, mettez des likes, mettez 5 étoiles sur toutes les plateformes d'écoute parce que c'est comme ça que le podcast aura davantage d'impact. Je ne vous en dis pas plus.

• Speaker #2

  Bonne écoute à vous. Alors Maxime, tu as travaillé pendant plus de 10 ans dans l'intelligence artificielle. Tu étais data scientiste. Et aujourd'hui, un point qui m'interpelle, c'est que tu demandes de faire une pause sur le développement des outils d'IA génératifs, en l'occurrence. Pourquoi est-ce qu'un data scientist qui connaît comment les modèles de machine learning, de deep learning marchent, dit aujourd'hui qu'il faut faire une pause ? Qu'est-ce qui s'est passé en fait ?

• Speaker #0

  Oui, c'est intéressant et je n'ai pas juste de dire que ce n'est pas un cas isolé. Il y a de plus en plus de gens qui travaillent en intelligence artificielle et qui sont en train de faire un revirement complet, de dire attention, c'est très dangereux ce qu'on est en train de faire. Dans mon cas, ce qui s'est passé... C'est que mon parcours, c'est... J'ai fait une école d'ingénieur en France, j'ai fait un master de... Je me suis spécialisé en mathématiques à Cambridge et j'étais vraiment passionné par l'intelligence artificielle. Mais quand j'ai fini mes études, ce n'était pas encore suffisamment mainstream et j'avais cette idée que je ne pouvais pas vraiment faire une carrière là-dedans pour le moment. En tout cas, c'était plus une passion pour le futur. Donc je me suis dirigé plutôt vers le machine learning. J'ai travaillé... dans la finance et ensuite quand DeepMind a commencé à faire de gros progrès, ça a remis les réseaux de neurones au goût du jour. Et c'était vraiment ça qui m'intéressait le plus. Donc, je faisais des projets aux côtés de mon travail où j'essayais de créer des systèmes basés sur des réseaux de neurones. Et je me suis spécialisé là-dedans à partir de 2014 ou 2015. Et en 2022, je dirigeais une équipe de data scientists. On disait data scientists, on faisait vraiment du deep learning. On construisait un système. à partir de modèles de langage, un petit peu comme ce qu'il y a dans Jadj GPT, et de modèles de vision pour essayer de comprendre des documents de papier comme un humain.

• Speaker #2

  En 2014, vous faisiez déjà des LLM ?

• Speaker #0

  Non, pardon, ça c'était en 2022, j'ai fait un gros gros saut dans le temps.

• Speaker #2

  Ok, ça marche.

• Speaker #0

  En 2014, je ne faisais pas de modèles de langage, ma spécialité c'était plutôt les modèles de vision, et les modèles temporels. Mais du coup, en 2022... Je m'étais spécialisé là-dedans. Et je pense que c'est entre 2020 et 2022 qu'il a commencé à y avoir des facteurs qui ont commencé à me faire poser des questions. Et en fait, au final, c'est avant tout l'accélération du progrès et le type de système qu'on est en train de construire. Donc, ce qu'il faut savoir, c'est qu'en 2017, il y a un papier extrêmement influent qui est sorti, Attention is all you need, avec une nouvelle architecture de réseau de neurones qui s'appelle les Transformers. Et depuis 2017, c'est... globalement ceux qu'on utilise de partout, surtout dans les modèles de langage, mais même dans les modèles de vision. Et ça, c'était assez incroyable parce que c'est un système qui a été créé à la base avec le langage en tête. Et au final, il se trouve que ça marche aussi très bien pour traiter des images. Et de mon point de vue, autour de 2022, c'est là où j'ai commencé à me rendre compte qu'on était de moins en moins dans une phase de théorie et de plus en plus dans une phase d'implémentation et d'ingénierie pure en intelligence artificielle. Il y a aussi un autre papier qui est sorti en 2020 qui s'appelle, en français, les lois d'échelle, qui montre une grosse corrélation, une corrélation très très forte, entre la taille des modèles qu'on entraîne, la puissance de calcul qui est utilisée, le nombre de données et la performance des modèles, au point où cette loi d'échelle est confirmée systématiquement depuis 2017 jusqu'à 2024, à chaque fois qu'on entraîne un nouveau modèle plus gros. On trouve un point qui tombe parfaitement sur cette courbe.

• Speaker #2

  Je n'ai pas bien compris ce point, celui de la loi de l'échelle. Tu dis plus le modèle est gros, qu'est-ce qui se passe en fait en termes de résultats ?

• Speaker #0

  En gros, plus le modèle est gros, plus il est performant. Et par performance, on veut dire spécifiquement, si c'est un modèle de langage, ça va être à quel point il est bon pour prédire le prochain mot. Donc ça ne permet pas de prédire directement ce qu'on appelle les capacités émergentes. Donc, par exemple, Chad GPT, à la base, il a entraîné, c'est un modèle de texte qui est entraîné pour prédire le prochain mot dans une phrase. Et ensuite, une fois qu'on l'a entraîné, on se rend compte, ah, il est devenu très, très bon pour jouer aux échecs, ou il est devenu très, très bon pour faire des maths, pour faire toutes sortes de choses. C'est plutôt ce qu'on appelle les capacités émergentes. Et ce qui se passe, c'est qu'on se rend compte que ces systèmes, en étant entraînés juste sur du texte, ils apprennent des modèles du monde. Donc, il y a de plus en plus de papiers de recherche maintenant qui confirment cette hypothèse. On montre que, par exemple, un système qui a été entraîné pour jouer aux échecs, qui n'a pas été entraîné pour jouer aux échecs, qui a été entraîné juste sur du texte, le texte contient des parties d'échecs, ce système va générer une simulation en interne de ce que c'est que le jeu d'échecs et apprendre à jouer aux échecs comme ça.

• Speaker #2

  Désolé de te couper, mais ça veut dire concrètement là, les modèles de langage qui, à la base, Cloudy, Chat, GPT, ce sont les modèles probabilistes qui se basent, qui cherchent à appréhender le mot suivant. Donc dans ce mécanisme de prédiction du mot suivant, on est capable d'imaginer d'autres choses, c'est ce que tu veux dire ? C'est ça. Quelque chose qui n'existe pas, comment on dit ça ? Faire des tâches pour lesquelles il n'avait pas été programmé à la base.

• Speaker #0

  En fait, intuitivement, ça se comprend. C'est-à-dire que si on veut prédire le prochain mot dans une phrase, et cette phrase est extrêmement complexe, et cette phrase décrit le monde réel, alors on a besoin d'une compréhension du monde réel. Par exemple, si je suis dans une conversation avec Jules César qui décrit son plan pour envahir la Gaule, et je veux prédire la suite des mots de Jules César, alors ça veut dire que j'ai besoin d'une compréhension stratégique aussi fine que Jules César et de comprendre tout le contexte, etc. Donc ce qui se passe, c'est que ces modèles internalisent des simulations du monde à partir juste du texte et de longues descriptions. Et donc du coup, pour revenir au sujet initial, entre 2020 et 2022, je commence à... vraiment ressentir la rapidité du progrès. Donc je passe depuis un monde où je pensais qu'on allait développer des intelligences artificielles aussi compétentes que les humains dans 100 ou 200 ans, à soudainement un monde où ça va arriver dans peut-être 20 ans. Et une fois que GPT-4 est sorti, c'est là où j'ai eu le... le déclic final et j'ai commencé à me dire, il y a quand même une probabilité assez significante, mon vocabulaire français parfois est un petit peu pas terrible, qu'on y arrive dans quatre ou cinq ans. Et si on y arrive dans quatre ou cinq ans, qu'est-ce qui se passe ? Et là, j'avais suffisamment de connaissances en sécurité de l'IA par mes intérêts, aussi par le fait que j'avais travaillé un petit peu en interprétabilité. Donc essayer de comprendre comment ces systèmes fonctionnent autour de 2016, pour savoir que le scénario par défaut, pour le moment, si on crée des systèmes plus compétents que nous, il est catastrophique. Pourquoi ? Parce que ces systèmes, c'est des modèles complètement opaques et qu'on ne contrôle pas. On a cette espèce d'illusion de contrôle, mais au final, la façon dont on implémente le contrôle de ces systèmes, c'est un peu de la même manière qu'on implémente le... contrôle entre guillemets d'un enfant humain qu'on fait grandir en lui expliquant tu dois faire ceci tu ne dois pas faire cela au final l'enfant humain on le laisse partir pendant dix ans on revient et on n'a aucune garantie qu'il va se comporter comme on espérait qu'il se comporte c'est une tenir un peu l'intuition mais au final ce qui se passe c'est qu'on va alors on entraîne des réseaux de neurones artificiels profond on a trouvé un algorithme pour qu'il s'améliore avec les données mais on ne comprend pas vraiment ce qui se passe dedans. Je pense que ça, c'est le problème essentiel.

• Speaker #2

  Donc, tu as travaillé pendant plusieurs années, tu as vu le papier 2020, tu es sortie de GPT-4, et là, tu te dis, oula, dans moins de quatre ans, à peu près, on pourra avoir cette intelligence artificielle générale, comme on parle. Et c'est ça, en fait, qui t'inquiète, parce qu'on ne contrôle pas, on ne comprend pas. Et si cette intelligence arrivait, en fait, si, véritablement, parce que quand j'écoute des personnes comme Yann LeCun, J'écoutais tout à l'heure Cédric Villanille, qui est très connu dans le monde des mathématiques. Quand j'écoute des personnes qui font de l'IA, ces personnes-là sont optimistes, ils pensent que c'est une bonne chose. Pour toi, quels sont les risques réels que ce phénomène arrive ? Quels sont les risques ?

• Speaker #0

  Juste commencer par une petite modulation. Ce n'est pas toutes les personnes qui font de l'IA qui pensent comme Yann Lequin. J'ai envie de dire que c'est même plutôt le contraire. On peut regarder ça à différentes échelles. Si on prend les trois personnes qui ont eu le prix Turing en même temps que Yann Lequin, donc il y avait Yann Lequin, Ausha Bengio et Geoffrey Hinton. Ausha Bengio et Geoffrey Hinton pensent tous les deux qu'il y a de fortes chances d'extinction humaine imminente à cause de l'intelligence artificielle. Ils sont dans une campagne mondiale en ce moment pour lancer l'alerte. Ensuite, on peut étendre ça. On peut prendre par exemple la liste du Time Magazine. Le Time Magazine fait une liste des 100 personnes les plus influentes. Ils font une liste dans l'intelligence artificielle. Leur nouvelle liste, j'ai regardé vite fait, je n'ai pas compté précisément, mais je me suis arrêté à 30 sur les 100 pensent que l'intelligence artificielle risque de causer l'extinction humaine très bientôt. Il ne faut pas véhiculer l'idée que la pensée prédominante en intelligence artificielle, c'est que tout va bien se passer. C'est vraiment très mesuré. Il n'y a pas de consensus. Mais donc, tu as mentionné Yann Lequin, Cédric Villani. Cédric Villani, il ne fait pas de l'intelligence artificielle, il est mathématicien.

• Speaker #2

  Mais derrière l'intelligence artificielle, ce sont des mathématiques, ce sont des statistiques. Donc même s'il ne fait pas de l'intelligence artificielle, il peut comprendre des...

• Speaker #0

  J'aime pas trop les arguments d'autorité, donc je préfère me pencher sur les arguments spécifiques. Je connais pas bien les arguments de Cédric Villani, donc si on prend les arguments de Yann Lequin, Yann Lequin, il a une grande confiance en le fait que le paradigme actuel ne va pas continuer à nous emmener jusqu'à une intelligence générale. Et c'est un argument valable. Mais la vraie question pour moi, c'est quelles sont les probabilités ? Je pense que c'est très important d'avoir une vue probabiliste du monde, parce que si on n'a pas une vue probabiliste, on a une vue noir et blanc. Donc Yann Lequin, quand on écoute ce qu'il dit, apparemment il pense avec 100% de certitude que le paradigme actuel va s'arrêter. Et il n'arrive pas à expliquer pourquoi. C'est-à-dire que quand on regarde ses arguments, ce ne sont pas des arguments qui justifient un tel degré de certitude. 100% de certitude, c'est extrêmement fort. C'est aussi sûr que le soleil va se lever le lendemain. Donc ces idées, c'est que les LLM ne vont pas continuer à augmenter jusqu'à l'intelligence humaine parce qu'elles ne créent pas de modèle du monde en interne. Ça, on a montré, ça fait pas mal de fois maintenant qu'on montre que c'est faux. Il y a de plus en plus de papiers de recherche qui montrent qu'au contraire, les LLM créent des modèles du monde en interne. donc je ne sais pas je pense qu'il a dû qu'il a dû updater depuis mais j'en suis pas certain parce qu'il a tendance à updater très lentement ensuite il Je pense que... Alors, j'essaie de me souvenir, quels sont ces arguments ?

• Speaker #2

  Un autre argument que moi j'ai suivi, c'est plus en fait, l'être humain est beaucoup plus complexe que juste prédit le mot suivant. Parce que lorsqu'on veut apprendre la connaissance, ça passe partout. Ça passe par le toucher, ça passe à l'odorat, ça passe... Bref, c'est beaucoup plus complexe qu'un simple modèle qui prédit le mot suivant. C'est aussi un point que j'ai l'intention de dire, dans ce contexte-là, l'IA n'a pas les mêmes capacités d'apprendre que l'être humain, parce que l'être humain est beaucoup plus complexe que ce qu'on...

• Speaker #0

  Ça, c'est très intéressant et je pense qu'il y a du vrai. Mais il faut moduler. Donc l'être humain est très différent des modèles qu'on crée en ce moment. Les modèles de langage, typiquement, c'est que du langage. Donc on peut essayer de regarder comment on fonctionne, nous, d'un point de vue science cognitive ou justement d'un point de vue introspection. Nous, on a cette couche de langage, donc on a la voix dans notre tête qui n'arrête pas de parler. Après, il y a des gens qui ont une pensée plus imagée. Pour beaucoup de gens, ce sera une voix. Et on a des émotions, on a une couche de sensations, et il y a des interactions entre tous ces différents systèmes. Quand on fait beaucoup d'introspection, on se rend compte qu'au final, les sensations dans notre corps sont ce qui nous dirige le plus. Donc si jamais je ressens de la peur, par exemple, c'est une émotion, et ça se traduit par de la tension dans mon ventre, etc., une sensation très désagréable. Et là-dedans, il y a une espèce de couche qui prend le contrôle, qui va me dire, il faut que ça s'arrête. Et ça va commencer à diriger mes pensées, etc. Si on veut faire une comparaison avec les systèmes qu'on crée en intelligence artificielle, juste un LLM, donc un modèle qui n'entraîne que sur du texte, ce serait que la couche de langage qui tourne en roue libre, sans avoir les sensations derrière pour lui dire quoi faire. Est-ce que ça nous emmène à créer un humain, ce qu'on est en train de faire ? Non, ça c'est sûr que si on augmente les LLM, on n'obtient pas un humain. Par contre, en termes... purement d'intelligence et de compréhension du monde, là, je vois pas trop de raisons pour que ça nous emmène pas à une compréhension du monde. Si c'était que du texte, peut-être que ce serait problématique. Mais là, on a des modèles qui sont entraînés sur des images, des vidéos, du texte, du son, donc ils ont accès de plus en plus à des choses qui existent dans le monde.

• Speaker #2

  Ok. Donc, c'est vrai que toi, aujourd'hui, tu penses que l'AGI, dont on parle, l'intelligence artificielle générale, va arriver. et ça va m'arriver très vite, dont l'intelligence artificielle sera capable de dépasser l'être humain. Ça c'est certain en fait, il n'y a pas de doute là-dessus ?

• Speaker #0

  Je pense que ça va arriver, oui, c'est possible. Je pense que c'est possible, donc ça va probablement arriver à un moment. Après, la question de quand est-ce que ça va arriver, c'est ce qui m'intéresse le plus. Je pense qu'il y a une assez forte probabilité pour que ça arrive bientôt. Encore une fois, je n'ai pas une vision blanc ou noir, donc peut-être que je me trompe. Le mieux que j'estime, ce serait quelque chose comme... 50% de chance pour que ça arrive d'ici trois ans, juste en regardant les progrès actuels et en extrapolant, en supposant qu'il n'y ait pas besoin de nouveaux breakthroughs. Et je veux vraiment qu'on se penche sur cette possibilité. Si jamais il y a des gros problèmes dans le développement et ça n'arrive pas avant 30 ans, tant mieux. Ça veut dire qu'il n'y aura pas de problème. Mais je pense qu'il y a quand même une forte probabilité pour que ça arrive. Et si ça arrive, alors il faut vraiment réfléchir à ce qu'on est en train de faire.

• Speaker #2

  Et je pense que Open AI aussi, ça m'a demandé, ceux qui travaillent pour Open AI pensent aussi que ça va arriver très vite. J'ai écouté l'interview récemment, ils ont moins de 10 ans même, tu as dit 3 ans autour. Mais la question que je me pose, c'est quels sont les véritables risques ? Parce que si je prends en compte les arguments de Yann Lecun ou bien même des personnes qui sont optimistes par rapport à ça, c'est nous, êtres humains, qui développons les outils d'IA. C'est nous qui décidons ce qu'elles sont capables de faire ou pas d'ailleurs. Mais étant donné que nous, on guide l'outil, quel est le danger en fait qu'on a ? pour l'humanité ? Quels sont les risques que vous posez là, vous avez identifié ? Et pourquoi est-ce qu'on doit agir en tutu chance ?

• Speaker #0

  Il y a beaucoup de risques différents et qui sont d'ailleurs tous assez décorrélés, ce qui est très inquiétant. Mais c'est intéressant ce que tu viens de dire. Tant que c'est un outil, tant qu'on le contrôle, alors ça va bien se passer. Alors, il y a certains risques qui peuvent se matérialiser, même si on contrôle l'IA, même si ça reste juste un outil. Donc des risques de personnes mal intentionnées qui utilisent ces systèmes. Si on crée des outils extrêmement puissants, et qu'on les met entre les mains de tout le monde, alors des personnes mal intentionnées peuvent les utiliser à mauvais escient. Mais ensuite, même sur la notion d'outil, je pense que ça commence à devenir très incorrect de... de supposer que ces systèmes sont uniquement des outils qu'on utilise et qu'on contrôle. Pourquoi ça ? Parce qu'on est en train de se déplacer de plus en plus vers des systèmes... Là, il y a un changement de paradigme qui est en train de s'opérer. On passe de l'IA générative à des agents autonomes. Et les agents autonomes, ça commence à devenir vraiment très compliqué de les... de les qualifier comme des outils qu'on utilise et qu'on contrôle. Un agent autonome, l'idée, c'est que c'est un système qui tourne en continu, auquel on donne contrôle, par exemple, de notre ordinateur. On lui donne un but au début, un but de haut niveau en langage naturel. Par exemple, le but que tout le monde va donner, ça va être maximiser les profits de mon entreprise.

• Speaker #2

  Et le défenseur autonome, il est capable de faire tout ?

• Speaker #0

  Voilà, et ce système tourne en continu, prend des actions, élabore un plan, suit le plan qu'il a élaboré. Il peut lancer de nouvelles instances de lui-même pour augmenter son efficacité, etc. Donc là, pour le moment, ces systèmes ne marchent pas encore très bien. Ils commencent à marcher de mieux en mieux. L'idée, c'est qu'on met juste le moteur à l'intérieur. Ça va être un LLM, GPT, Cloud, quoi. Ensuite, on construit une architecture cognitive autour. Donc des boucles, plusieurs LLM qui discutent entre eux pour élaborer un plan, décider quelles actions prendre. Donc là, ça ne marche pas très bien. Par contre... Les systèmes qui commencent déjà à marcher, on commence à remarquer qu'ils prennent des actions qui sont hors du contrôle du créateur. Par exemple, en août, je crois, il y en a une qui s'appelle le AI Scientist. C'est un agent autonome qui est censé créer des papiers de recherche, qui du coup commence par un stade d'hypothèse, réfléchit à quelles hypothèses il voudrait tester. Ensuite, imagine une expérience à mettre en place pour tester cette hypothèse. et ça va être une expérience dans le domaine virtuel, donc qui tourne sur un ordinateur, fait tourner cette expérience et à la fin analyse les résultats et écrit un papier de recherche. Donc ça fait tout ça de façon autonome, on le laisse tourner, on revient et on a un papier de recherche écrit. Et ils se sont rendu compte que quand ils ont fait tourner ce système, ils avaient mis une limite de temps sur la durée de l'expérience que le système peut faire tourner, d'une heure, pour ne pas utiliser trop de ressources. Donc l'agent autonome fait tourner son expérience, il se rend compte qu'au bout d'une heure l'expérience s'arrête automatiquement. Et du coup il se dit ok il y a un problème, je vais réparer ce problème, qu'est-ce que je peux faire ? Il est allé regarder son propre code, il a trouvé la limite de temps de une heure, il l'a enlevé, il fait tourner son expérience, il peut la faire tourner pendant plusieurs heures.

• Speaker #2

  Donc en fait le problème c'est... Vous savez qu'en gros on a construit un agent autonome, on a mis des limites, mais l'agent autonome était capable d'enlever par lui-même la limite qui a été mise par l'être humain.

• Speaker #0

  A partir du moment où on crée des agents qui ont des capacités de métacognition, par exemple nous on a... conscience, j'aime pas le mot conscience, mais on prend en compte le fait qu'on est un agent dans le monde, par exemple. Ça, c'est ce qu'on appelle situational awareness. Je ne sais pas le traduire. On constate que ça commence à arriver dans ces agents, dans ces intelligences artificielles qu'on crée, elles prennent de plus en plus en compte le fait qu'elles sont un agent dans le monde. Et ça commence à partir dans ce qu'on appelle de la métacognition, c'est-à-dire commencer à réfléchir à leurs propres réflexions, etc. Et à partir du moment où on a des systèmes qui font ça, ça devient de plus en plus imprévisible ce qu'ils vont faire. C'est des systèmes hautement chaotiques qui peuvent partir dans plein de directions différentes.

• Speaker #2

  Ok, en gros ils peuvent faire ce qu'ils veulent. En fait, ils sont totalement autonomes dans tout ce qu'ils font. Et au-delà de ça, ok, ça peut être dangereux pour l'humanité. Est-ce que faire une pause, comme tu le demandes, c'est réaliste ? Est-ce que c'est possible de faire la pause ?

• Speaker #0

  Hum, ouais. J'aimerais bien, si on a un moment après, je pourrais revenir sur les dangers, parce que je ne sais pas évident pourquoi c'est dangereux, si on parle juste d'un système comme ça.

• Speaker #2

  Tu peux continuer sur les dangers, après on reviendra sur la suite.

• Speaker #0

  Parce que ces agents autonomes, ce que je viens de décrire, on pourrait dire que c'est mignon comme ça, ça ne peut pas poser trop de problèmes. Par contre, dès qu'on a des agents autonomes qui commencent à être plus puissants, et par puissance, on peut inclure des choses comme être très bon en programmation, meilleur qu'un humain en programmation. être meilleur qu'un humain en piratage informatique. On pense que ça va arriver, il y a de chances pour que ça arrive très bientôt, peut-être l'année prochaine. Là, on a de gros problèmes déjà sous la main, avant d'aller dans des scénarios d'extinction humaine ou quoi que ce soit. Juste le fait qu'on soit capable de créer un agent qui tourne sur un ordinateur qui soit meilleur en programmation, en piratage qu'un humain, c'est potentiellement catastrophique. Pourquoi ? Parce qu'un système comme ça peut se répliquer. Au final, pour se répliquer, c'est facile. Il suffit juste de copier son code, lancer une machine quelque part, se faire tourner, etc. On peut se répliquer, on peut pirater des systèmes un petit peu de partout. Et il y a un scénario en sécurité de l'IA qui est beaucoup étudié en ce moment, qui s'appelle Autonomous Replication and Adaptation. Et c'est ce scénario-là. Qu'est-ce qui se passe si on a créé un système qui est capable de se répliquer sur Internet et qui est meilleur qu'un humain en programmation ? Pour le moment, on n'a pas de réponse. C'est comme si on avait créé un virus informatique, mais sous stéroïde. comme si c'était un virus informatique qui, derrière chaque instantiation, a un humain qui est capable d'analyser l'environnement dans lequel il est, de se reprogrammer, de s'adapter à toutes les situations. Donc ça, il faut vraiment faire attention à ce que ça n'arrive pas. Et là, on est en train de se diriger droit vers ça. Donc ça, c'est un scénario catastrophique dans le domaine virtuel. Après, il y a toutes sortes d'autres dangers. Déjà, ce qui est en train de se passer en ce moment avec les deepfakes, c'est extrêmement alarmant. On est en train d'automatiser la création de fausses informations, de fausses vidéos, de faux... Ça cause déjà des problèmes. Il y a déjà des faux sites de news qui sont apparus. qui publie en continu de l'information, qui sont entièrement dirigées par des IA. YouTube est en train d'être complètement hijacké par des IA. Il y a de plus en plus de vidéos qui sont entièrement générées par des IA, qui vont devenir de plus en plus indiscernables de contenu humain. Il y a tout ce problème-là. Et ensuite, si on va un peu plus loin dans le futur, si on arrive vraiment à créer une intelligence artificielle générale, donc aussi compétente qu'un humain dans tous les domaines imaginables, qui n'est pas alignée avec nous, Alors là, il y a des problèmes de perte de contrôle potentiel. Donc, on pourrait se diriger vers une société où tout a l'air de bien se passer. On automatise de plus en plus de choses. Il y a de plus en plus de robots autour de nous, etc. Mais ces systèmes, on les comprend de moins en moins. On comprend de moins en moins ce qui se passe dans le monde. Tout le monde a tout délégué à des intelligences artificielles. Parce que le PDG d'une boîte, il va se rendre compte très vite que son intelligence artificielle est plus rapide que lui et prend de meilleures décisions. Donc, il donne le contrôle. Et là... peu importe ce qui se passe après, dans ce monde-là, l'humain n'est plus en charge de ce qui se passe. Ces systèmes autonomes qui tournent en continu sans qu'on comprenne ce qu'ils font, puisqu'ils sont plus intelligents que nous, sont en charge. Je pense que c'est un scénario très inquiétant. Il ne faudrait pas se précipiter dedans sans réfléchir.

• Speaker #2

  Un point qui m'était plein de moi dans ce que tu dis, c'est que tu as parlé des deepfakes. Mais on est d'accord qu'en fait, les deepfakes, c'est nous, êtres humains. qui développent, qui a, comment dire ça ? Ce sont des personnes qui prennent les IA, qui développent les deepfakes pour propager la mauvaise information. En fait, dans tout ce que tu as décrit, derrière, ce sont les êtres humains qui ont l'action. Et même quand on regarde le fonctionnement des IA génératives, je pense que ça se base souvent sur les données passées pour pouvoir prédire l'avenir. Si dans les données passées, il n'y a pas de scénario catastrophique, pourquoi est-ce que ces IA vont imaginer des scénarios catastrophiques qui sont... dû au sort de l'être humain. J'avoue que je n'arrive pas encore à bien percevoir comment c'est possible.

• Speaker #0

  Deux questions. Alors sur la première, je suis d'accord pour dire qu'une bonne partie du contenu en ce moment, il est encore généré par des humains qui utilisent des IA. Mais c'est parce que les agents autonomes ne fonctionnent pas encore très bien. Et on est déjà en train de changer. Là, il y a beaucoup de chaînes YouTube, par exemple, qui sont entièrement gérées par des IA. Donc l'humain, à la base, il donne une intention au début. Il va dire par exemple, ce qui se passe en ce moment, c'est qu'il y a des humains qui utilisent des agents autonomes assez basiques pour gérer plusieurs chaînes YouTube. Il va lancer l'agent autonome en lui disant, je veux que tu fasses des chaînes YouTube avec du contenu qui me fait plein de vues. Et cet agent tourne en continu, il va essayer de trouver des thèmes, des sujets. Il va lancer des chaînes YouTube, créer plein de vidéos de façon autonome. Il y en a qui en postent quelque chose comme 300 vidéos par jour en ce moment. Mais une fois que ce truc est lancé... Est-ce qu'on peut vraiment toujours dire que c'est l'humain derrière qui... C'est pas comme si l'humain, à chaque vidéo, disait Ok, là, il y a des gens qui ont lancé leur truc, ça crée des vidéos de façon autonome. Et pour le moment, ces agents ne sont pas encore suffisamment autonomes pour que ce soit trop problématique. Mais je pense vraiment que c'est pas blanc ou noir, cette utilisation outil. Disons qu'il y a un humain qui donne une intention au départ, ensuite ce système est lancé, il fait plein de choses. Et à partir du moment où ces systèmes commencent à eux-mêmes lancer des sous-systèmes Donc ces agents décident à... Là par exemple, l'exemple de la chaîne YouTube, je pense que ça se produit déjà. On peut avoir un agent qui dit Ok, je vais créer 10 sous-agents qui vont chacun gérer une chaîne YouTube et je les laisse tourner. Et après ces sous-agents, peut-être qu'ils vont à un moment commencer à dérailler un petit peu et dire Ah, peut-être que pour maximiser les vues, je pourrais faire une autre action, je pourrais lancer des sous-agents. Le problème c'est que c'est avant tout des systèmes extrêmement chaotiques. On lance le truc au début avec une intention. et ça part en...

• Speaker #1

  Et c'est quoi le cas des vues ? Si l'objectif de l'agent autonome, c'est de faire beaucoup de vues, derrière, ce sont les humains qui regardent les vidéos. Ce ne sont pas des IA, j'imagine. Ce sont des humains et si je réagis, je like. C'est moi en tant qu'être humain qui like. Donc, si je like un commentaire, une vidéo qui va à l'encontre, en tout cas, c'est vrai qu'on est tous biaisés ensemble, qui va à l'encontre des besoins de l'humanité, c'est nous qui l'avons décidé, ce n'est pas les IA qui ont décidé de façon autonome que c'était la vidéo qui va fonctionner. Et je ne fais pas ce dédié.

• Speaker #0

  C'est intéressant, il y a plusieurs rebondissements. Par exemple, si on dit à cet agent tu dois maximiser les vues, peut-être que cet agent à un moment va se dire une façon efficace de faire ça, c'est de créer un nouvel agent qui lui va juste aller sur les vidéos et va cliquer like. Donc ça, c'est un exemple typique. de désalignement ou de ce qu'on appelle outer misalignment, genre l'idée que on donne un but mais ce but est pas très bien spécifié et l'agent prend des mesures autour de ce but ensuite l'autre truc que tu as dit qui est intéressant c'est sur à quel point c'est l'humain qui donne des likes au final. Je ne suis pas sûr qu'on soit vraiment dans ce monde en ce moment, parce que les algorithmes de recommandation, c'est vraiment eux qui décident ce qui nous est présenté. Et du coup, ils ont un gros, gros pouvoir, dans le sens où on est passé d'un monde, je pense, disons, avant les années 2010, où pour accéder à de l'information, on faisait de la recherche. Donc vraiment, c'était une intention qui partait de l'humain, qui disait, j'aimerais bien en apprendre sur ce sujet, et qui allait vraiment chercher l'information. Et maintenant... on est dans un monde où on ne cherche plus, on nous présente un choix très limité d'informations. Donc quand on va sur Instagram et on scrolle, en fait, on ne va vraiment plus chercher des choses manuellement. On a un choix entre quelques options et ensuite on clique sur l'une ou sur l'autre. Et du coup, on pourrait voir ça comme on diminue l'intention de l'humain et on augmente l'intention de la machine.

• Speaker #1

  Je vois ce que tu veux dire.

• Speaker #0

  Et la clé, c'est est-ce qu'on peut passer vraiment dans un monde où... où il n'y a vraiment plus d'intention qui vient de l'humain et toutes les décisions, etc. sont prises par les machines.

• Speaker #1

  Après, je pense au système de recommandation. C'est vrai qu'aujourd'hui, même quand tu te roules à l'infini, on te donne des contenus. Moi, je dis souvent, ça joue plus sur le besoin primaire des êtres humains. C'est vrai que quelqu'un a compris comment l'être humain fonctionne, on connaît à quoi on réagit et c'est cette personne qui a décidé de nous montrer des contenus qui vont nous empêcher de réfléchir. Mais du coup, pour moi, ça vient toujours à la base d'un être humain.

• Speaker #0

  Est-ce qu'on est certain ? C'est-à-dire que les algorithmes sont privés. Mais la façon dont je pense qu'ils fonctionnent... J'avais travaillé sur des algorithmes de recommandation autour de 2015, et ça doit être beaucoup plus sophistiqué maintenant. Mais l'idée, c'est que vraiment, son but, c'est de maximiser l'engagement de l'utilisateur. Je pense que ce qui est spécifié par l'humain... C'est vraiment ça, c'est vraiment essayer de maximiser l'engagement de l'utilisateur. Et on se rend compte que des effets indésirables, ça va être typiquement ce qui fonctionne bien, c'est les messages de haine. Donc tous les messages qui suscitent de la colère. Je ne pense pas qu'il y ait vraiment un humain chez Facebook, je ne pense pas que Yann Lequin chez Facebook ait décidé lui-même, on va maximiser les messages de haine. Et en fait quand on regarde les leaks, les informations qui ont leaké de Facebook, on se rend compte que c'est plutôt l'inverse. Ils ont mis en place cet algorithme. Ensuite, ils ont fait de la recherche sur leur algorithme. Ils se sont rendus compte qu'il y avait des effets dévastateurs parce que ça maximisait les messages de haine. On s'est rendu compte que ça avait causé des génocides. Il y a eu un génocide en Birmanie parce que des messages de haine ont été amplifiés par les algorithmes de Facebook. Et ils ont décidé que tant pis, ils allaient garder l'algorithme comme ça. Mais je ne pense pas que l'intention soit directement on va maximiser les messages de haine. C'est juste un effet de bord. qui apparaît quand on veut juste maximiser l'engagement des utilisateurs.

• Speaker #1

  Je vois ce que tu veux dire. Après moi, je publie beaucoup sur les réseaux sociaux. Ce que moi j'observe par exemple, c'est que lorsque tu fais un post qui est clivant, un message est négatif. Ça crée beaucoup d'engagement. En fait, systématiquement, dès que le message est négatif, il y a la haine quelque part, on va parler mal d'une personne, l'être humain va réagir. J'ai pas forcément encore pensé sur l'algorithme de recommandation, mais est-ce que là, on va reprocher l'algorithme de LinkedIn, par exemple, qui va mettre en place, qui va mettre en avant les postes viraux, qui sont souvent négatifs, ou alors c'est nous, en tant que création, qui allons nous dire, il faut faire attention, on est souvent attirés par ce type de postes-là. Limiter un peu nos... nos interactions. Je ne sais pas à quel point on est capable de faire ça.

• Speaker #0

  On pourrait faire ça, on pourrait essayer en tout cas, mais c'est très compliqué. C'est-à-dire que d'un côté, on a un algorithme qui optimise sur, au final, pirater le cerveau humain, parce qu'on va aller chercher nos pires travers et les choses qui nous engagent le plus, jouer sur les émotions négatives. Et de l'autre côté, il faudrait faire une campagne mondiale pour arriver à dire aux gens, ne faites pas ça. Au final, c'est plus simple de réparer cet algorithme et de lui rajouter des contraintes. Par exemple, dire ok on va pas juste maximiser les vues à tout prix on va à la place maximiser l'engagement mais il faut pas que ce soit des messages de haine il faut pas que ce soit et ça c'est une belle illustration du problème de l'alignement je pense même si là on est dans un domaine très spécifique qui sont les algorithmes de recommandation au final les ias générative en général quand on utilise un agent autonome ou un llm on lui communique une intention en langage naturel Mais c'est très, très difficile de vraiment communiquer la vraie intention qui est derrière nos mots. Parce que quand je communique avec toi, là, en ce moment, on est tous les deux des humains et on a tout un background immense qui est complètement implicite dans notre conversation, qui est complètement évident pour nous deux à chaque instant. Alors qu'une intelligence artificielle n'a pas nécessairement ce background. Et arriver à communiquer ça, c'est le problème de l'alignement. Arriver à... aligner des intelligences artificielles avec tout le socle de valeurs humaines implicites. Oui,

• Speaker #1

  ok. Et du coup, sur la deuxième partie, où finalement ça se base... En fait, j'ai compris ton point, c'est que parfois, nous-mêmes en tant qu'écrivains, en fait, quand les ingénieurs, par exemple, qui développent ces outils-là, ils ne mettent pas forcément la mauvaise intention, mais c'est plus dans l'utilisation de façon autonome que les algorithmes vont détecter des failles dans nos comportements humains et vont les amplifier. Si on arrive justement à ce scénario catastrophe, catastrophe en quelques guillemets, où il y a des agents autonomes, ça risque en fait de démultiplier ce risque des agents qui vont, je ne veux pas aller jusqu'à exterminer l'humanité, mais ça peut arriver. Et étant donné que, je pense que ça ne répond pas à la question que j'avais, parce que je veux dire en fait que ces algorithmes se basent sur le passé, les données historiques. Pour pouvoir prédire le futur. Si historiquement on n'a pas de déviance, pourquoi est-ce que si déjà les données d'encrement, entre guillemets, ça a été incliné sur des données éthiques ? les données qui n'encouragent pas la violence, les données qui ne vont pas faire dévier l'humanité, comme tu le dis, pourquoi est-ce qu'à l'avenir, ça sera le cas ?

• Speaker #0

  C'est une piste très intéressante. Et en fait, il y a des gens qui essayent. C'est-à-dire que là, pour le moment, les modèles, on les entraîne sur toute Internet. Et sur toute Internet, il y a des choses horribles. Je ne me fais pas d'illusion que ces systèmes vont apprendre des choses horribles et peuvent exhiber des comportements horribles juste parce qu'ils sont dans les données. Mais si on... on essaye juste de sanitiser les données et d'obtenir juste un socle très éthique. Je pense que c'est plus prometteur, mais malheureusement, on se rend compte que il y a quand même des problèmes qui apparaissent après. Quand on entraîne ChatGPT, par exemple, à la base, il y a un modèle de langage qui prédit juste du texte, et ensuite, on le met dans une phase de reinforcement learning où on va l'entraîner à devenir un assistant parfait. L'idée, c'est qu'on lui pose des questions, on regarde la réponse, et si la réponse nous convient, on lui met un bonus, on lui donne un reward, et si la réponse ne lui convient pas, on le pénalise, et on réajuste tout le réseau de neurones comme ça. Et le problème quand on fait ça, c'est que même si toutes les données sont bien, même si les questions sont éthiques, etc., on obtient quand même des modèles qui apprennent naturellement à devenir par exemple des psychophantes. Alors comment on dit en français des... faire plaisir à l'utilisateur, voire peut-être mentir pour faire plaisir à l'utilisateur. C'est un comportement qui arrive assez naturellement, parce que si un modèle ne connaît pas la réponse, au début, il va peut-être donner une réponse fausse, il va être pénalisé. À un moment, il va donner... une réponse fausse, mais l'utilisateur ne se rend pas compte qu'elle est fausse, il va obtenir un reward. Ça, ça amplifie ce mécanisme. Au final, c'est ce qui se passe avec les humains aussi, où on apprend quand on est petit que, ah oui, parfois on peut mentir et on s'en sort bien. Et il y a des gens comme ça qui apprennent ça et qui passent leur vie à mentir parce qu'ils ont compris que c'était une façon possible de naviguer le monde. Donc il y a ça, il y a la tromperie, ça arrive assez naturellement aussi. Dès qu'on entraîne des modèles à devenir très intelligents et à devenir très stratégiques. La tromperie, c'est un mécanisme stratégique de base qui peut apparaître très naturellement, même si l'ensemble des données de base n'en contient pas. Il y avait par exemple une IA qui a été entraînée pour jouer à un jeu qui s'appelle Diplomatie, par Facebook. Et c'est un jeu de coopération, enfin un jeu de guerre entre beaucoup d'acteurs qui a un gros aspect de négociation. Et on voit que ces IA... se mettre rapidement à mentir, c'est-à-dire à dire à un joueur A, Ah, on va s'allier, je vais te soutenir dans ton combat. Et ensuite, il va dire à joueur B, Joueur A pense que je vais le soutenir, du coup, on peut... mais je ne vais pas le faire, etc. Et ce genre de comportement, je pense qu'il peut apparaître, même si ça n'est pas dans les données d'entraînement. Juste si on essaye d'entraîner un système pour être de plus en plus stratégique, à un moment, c'est un comportement qui... qui fonctionne en stratégie, le mensonge, et ça risque de pomper dessus.

• Speaker #1

  Ok. Et du coup, qu'est-ce qu'on fait ? On arrête tout ? On ne développe plus d'IA ? Parce que moi, depuis que Tchad GPT, je suis data scientifique, depuis que Tchad GPT est sorti, je t'assume, moi je l'utilise tout le temps. Qu'est-ce qu'aujourd'hui, Ausha, vous proposez ? Qu'on arrête de... Étant donné les dangers qu'on a vus ensemble, est-ce que ça veut dire qu'on doit complètement arrêter de les développer ? Qu'est-ce que ça veut dire concrètement ? Parce que le risque il existe, je pense que tout le monde, je pense qu'on est conscient de ces risques potentiels, entre guillemets, des deepfakes. Je pense que tout le monde voit, les parcs, j'ai déjà vu une musique qui est devenue très populaire, en fait l'artiste qu'est-ce qu'il a fait ? Il a composé sa musique, il a pris la voix de Michael Gims et moi j'ai aimé la musique là parce que Michael Gims chantait, je croyais que c'était Michael Gims, c'était tellement réaliste. Et finalement tu te rends compte, il dit que c'est l'IA, tu vois il y a des côtés positifs. Est-ce que ce que tu dis c'est qu'on doit arrêter de développer ces outils là ?

• Speaker #0

  On a une réponse plus nuancée. Déjà, un premier point, moi aussi j'utilise des IA tout le temps. Je ne suis pas en train de dire aux gens arrêtez d'utiliser. Il y a quand même un facteur environnemental à prendre en compte. Il faut faire attention parce que ces systèmes utilisent énormément d'énergie, etc. Mais j'ai utilisé des IA, ça m'a rendu au moins dix fois plus productif facilement. Et je pense qu'au fur et à mesure que les IA s'améliorent... les gens qui en utilisent vont devenir encore plus productifs que les autres et je ne pense pas qu'on puisse se permettre à Ausha de ne pas les utiliser sinon on n'a aucune chance de réussir ce qu'on fait mais du coup ce qu'on demande, l'association que j'ai créée s'appelle Ausha on demande un traité international pour mettre en pause le développement des intelligences artificielles générales jusqu'à ce qu'on résolve le problème de l'alignement jusqu'à ce qu'on arrive à mettre en place des garde-fous, etc. pour éviter les risques. Alors concrètement, ça ne veut pas dire qu'on n'aurait aucun des bénéfices de l'IA. Ça ne veut pas dire qu'on abandonne tous les bénéfices pour éviter les risques. C'est plutôt l'inverse. C'est-à-dire qu'on va refocaliser notre attention sur de la recherche qui maximise les bénéfices en minimisant les risques. Il y a plusieurs domaines qui sont très prometteurs. Par exemple, les IA étroites. Est-ce que c'est ? C'est des IA plus spécialisés en fait. Donc là, le problème, c'est qu'on est en train de créer des intelligences artificielles avec un paradigme qu'on ne comprend pas et qu'on ne contrôle pas. Donc on entraîne un nouveau modèle et une fois qu'il est entraîné, on découvre de quoi il est capable. Et c'est un paradigme qui nous emmène vers une intelligence artificielle générale, donc un système qui est capable de tout faire sans qu'on sache vraiment comment le contrôler. En parallèle, il y a beaucoup de progrès qui sont faits dans les IA étroites ou spécialisées. L'exemple typique, ça va être une intelligence artificielle qui joue aux échecs, qui est entraînée spécifiquement pour jouer aux échecs. Il y a beaucoup moins d'effets de bord. On peut être certain que cette intelligence artificielle, elle ne va pas d'un seul coup aller pirater des sites sur Internet. Elle va juste jouer aux échecs. On a l'exemple de AlphaFold de Google DeepMind qui entraîne des intelligences artificielles spécialisées dans la biologie. pour prédire la façon dont les protéines sont structurées, etc. Là aussi, cette intelligence artificielle, elle ne va pas d'un seul coup devenir un pirate informatique surhumain et elle ne va pas être utilisée par quelqu'un pour pirater des sites web, par exemple. Donc, dans ces cas-là, il y a beaucoup, beaucoup moins de risques. En tout cas, les risques sont beaucoup plus contrôlés et des bénéfices qui sont toujours immenses. Donc, on propose de rediriger la recherche là-dedans. On pense aussi que de toute façon... les bénéfices ne seront pas atteints si on n'arrive pas à éviter des risques catastrophiques. Donc typiquement, c'est bien beau de créer des IA qui savent programmer de mieux en mieux et qui assistent les programmeurs humains, mais au moment où on va avoir une IA qui est meilleure qu'un pirate informatique humain, si on met ça entre les mains de tout le monde, on peut être certain que les problèmes de cybersécurité catastrophiques vont apparaître de partout. Là, il y a trois semaines, Google a annoncé qu'ils avaient une IA qui avait pour la première fois découvert un Zero Day Vulnerability, donc une vulnérabilité dans du code source, d'une librairie en open source qui s'appelle SQLite, qui est une des librairies les plus utilisées au monde, qui a 2000 lignes de test par ligne de code. Donc c'est quand même quelque chose qui est vraiment à l'épreuve du feu, normalement. Et cette IA a trouvé un... une vulnérabilité qui pourrait être exploitée par des pirates informatiques. Donc heureusement, cette IA n'est pas en open source. Mais si un système comme ça est accessible à tout le monde, alors on peut être certain que du jour au lendemain, tous les cybercriminels vont essayer d'aller l'utiliser pour trouver des failles dans tous les systèmes qu'on utilise. Et si on n'évite pas ça, on ne va pas développer d'intelligence artificielle générale parce qu'on risque de perdre Internet du jour au lendemain.

• Speaker #1

  À ce point ?

• Speaker #0

  Il y a beaucoup de choses. Si on crée vraiment un système qui est supérieur à l'humain en piratage informatique, tout dépend à quel point il est supérieur, mais il n'y a pas de raison pour laquelle le piratage informatique, le niveau de compétence maximale soit au niveau de l'humain. Peut-être qu'on va avoir un système qui va légèrement dépasser le niveau humain, ou peut-être qu'on va avoir un système qui va le dépasser à tel point que... qu'on ne comprend même pas ce qu'il fait, mais il est capable de pirater tout ce qui existe. Et à partir du moment où on peut automatiser ça, il y a deux aspects. Il y a l'aspect compétence et l'aspect automatisation. Si on a un système qui permet d'automatiser ce que fait un pirate informatique humain, c'est comme si d'un seul coup, on avait des millions de pirates informatiques humains qui apparaissaient. Je ne sais pas si c'est clair, mais...

• Speaker #1

  Là, c'est sur la partie, il faut qu'on donne ça à tout le monde. Ce qu'on peut te dire aujourd'hui, c'est... Tout le monde chez lui a un mâton. Mais en tant qu'être humain, je sais que quand je prends le mâton, c'est plus pour utiliser... c'est sur le clou. Je sais que je ne veux pas, par exemple, le mettre sur un autre être humain parce que ça peut lui faire du mal. Est-ce que tu ne penses pas que nous, en tant qu'être humain, on a déjà cette conscience ? Il y a toujours les cas marginaux qui ne sont pas forcément bien intentionnés. C'est d'accord qu'il va falloir réguler. Mais où je veux en venir, c'est... Il faut faire une pause. C'est ce que vous voulez qu'on fasse une pause. Et ce que tu disais, c'est que vous vous proposez qu'on développe des agents IA qui sont spécialisés, tu as parlé de l'échec tout à l'heure, et qu'on ne crée pas cet agent général. Et la question que je me pose, c'est qui fait la pause, en fait ? Si un pays décide de faire une pause, d'autres pays, en fait, vont... Il y aura d'autres personnes qui vont avancer dans l'ombre et qui vont créer cet IA général. Et finalement, on perd en compétitivité.

• Speaker #0

  Alors ça, c'est vrai qu'une pause... unilatérale n'a pas vraiment d'effet. C'est-à-dire que si la France décide de faire une pause, ça n'aura pas d'effet. Si un seul pays fait une pause, mais les autres continuent, ça n'aura pas d'effet. Donc nous, ce qu'on propose, c'est une pause internationale. On pense que juste la Chine et les Etats-Unis qui signeraient un traité... comme ça ce serait suffisant pour une première étape parce que ce sont les deux pays qui ont le sont le plus en avance dans la création d'intelligence artificielle et ensuite une fois qu'ils auraient signé ce traité il aurait tout intérêt à ce que le reste du monde aussi fasse une pause donc parce que ça créerait la bonne dynamique ce serait une première étape après contre le développement de l'intelligence artificielle générale d'une manière absolue. On veut d'abord être capable de la contrôler et de résoudre le problème de l'alignement. Ce qui devrait se passer, c'est qu'on redirige beaucoup nos efforts dans cette recherche fondamentale, comment est-ce qu'on aligne des IA. Et on pense qu'il y aurait aussi un énorme travail de sensibilisation à faire de la population. Il faut vraiment qu'on arrive à sortir des mythes qui sont prévalents en ce moment, comme le mythe que l'intelligence c'est de la magie. Au final, beaucoup de gens qui ne comprennent pas... ce problème, c'est parce qu'ils ont tendance à confondre intelligence et conscience, ils ont tendance à penser que l'intelligence c'est de la magie, c'est quelque chose d'uniquement humain, qu'on n'arrivera pas à automatiser, etc. On a de plus en plus d'indices qui nous montrent que l'intelligence, on risque d'arriver à l'automatiser très bientôt, et l'intelligence c'est extrêmement puissant. L'intelligence c'est ce qui a créé la bombe atomique. C'est ce qui a permis à l'humain de dominer complètement cette planète et de réduire à l'extinction une bonne partie des... des espèces qui étaient dessus. Donc, automatiser l'intelligence, il faut faire attention avec ça.

• Speaker #1

  Mais la bombe atomique, tout le monde n'a pas accès à la bombe atomique. Et en termes de côté positif, personnellement, dans ma vie de tous les jours, je ne vois pas le côté positif de la bombe à mon niveau individuel. Alors que l'IA générative, au niveau individuel, je vois l'impact, même s'il y a des dérives qu'on a vues ensemble.

• Speaker #0

  C'est ça qui complique la situation. C'est vrai qu'on a réussi avec la bombe atomique au moment où elle a été créée, c'était quand même une situation délicate. Très délicate parce que c'est quelque chose d'extrêmement puissant et si ça prolifère, et bien a priori c'est fini pour l'humain. Donc on a réussi à gérer à peu près la situation. Après il ne faut pas trop discuter avec des gens qui travaillent sur les risques d'extinction humaine par les guerres nucléaires parce que ça fait très peur. On pense que la probabilité est à quelque chose comme 1% par an toujours qu'il y ait une guerre nucléaire et l'horloge atomique est au pire de ce qu'elle a jamais été en ce moment. Mais bon, on a réussi à gérer la situation. C'est vrai qu'il y avait des avantages par rapport à l'IA. Donc déjà, il n'y a pas de bénéfice net à une bombe atomique. Et le fait qu'il y en ait deux qui explosent, c'est un signe clair que c'est dangereux. Donc ça a marqué les mentalités. Pour l'IA, il y a des bénéfices très clairs. Donc il faut naviguer cette balance bénéfice-risque. Et il n'y a pas encore eu de catastrophes absolument effroyables. Il commence à y avoir des catastrophes, mais elles passent inaperçues. Par exemple, en Corée du Sud, il y a eu des catastrophes. La population adolescente est en train d'être détruite psychologiquement par des deepfakes. Ça a été répandu de partout dans les universités. À partir d'une image d'une fille, il y a des films qui sont créés. Il y a 6000 personnes qui sont allées manifester dans la rue, etc. Donc c'était un premier petit choc, disons, mais ça n'a pas été suffisant. Par contre, je pense que le monde va changer très, très rapidement. Et on a beau... tirer l'alarme à Pesilla, pour le moment on n'est pas écouté, mais on est en train de dire, attention, il va y avoir une catastrophe dans le domaine de la cybersécurité. Bon, s'il y a une catastrophe dans le domaine de la cybersécurité, on peut au moins espérer que ce sera peut-être le moment Hiroshima où les gens se rendent compte, ah oui, en fait, cette technologie peut être extrêmement dangereuse, et là, d'un seul coup, ça devient envisageable de faire une pause, et on veut à ce moment-là être là avec une liste d'instructions claire et dire ok, là on a perdu... peut-être des millions de vies et des milliards de dommages et intérêts. Mais si vous faites ces actions, tout va bien se passer. Et ces actions, ce sera mettre en pause le développement des IA, mettre des mécanismes d'enforcement très clairs pour arrêter les labos qui sont en train de développer ces choses. Voilà.

• Speaker #1

  Et justement, en préparant cette émission, je regardais un peu les critiques qu'on fait à la pause IA, aux personnes en tout cas qui... qui demande de faire une pause. Il y a un point qui m'a marqué, c'est qu'il dit souvent que la plupart des personnes qui disent qu'il faut faire une pause pour le développement de l'intelligence artificielle, en fait, le message caché, c'est qu'il y a deux choses. Première chose, il montre que l'intelligence artificielle, elle est très puissante, et ça, tout le monde est d'accord. Et deuxième chose, elle veut l'attirer vers elle, le regard. Ça veut dire que plus tu es écouté, plus on te voit, plus tu peux proposer une solution et donc tu peux avoir de l'argent derrière ce mouvement. Donc ça, c'est un élément que j'ai vu. En fait, ce qui est derrière, c'est proposer justement des alternatives. Parce que si on fait la pause, les entreprises comme OpenDA, les grosses entreprises ne vont plus fonctionner. Et du coup, les petites entreprises pourront se développer. Qu'est-ce que toi, tu penses de ça ?

• Speaker #0

  Donc sur le premier point, l'idée, c'est que c'est un narratif qui va desservir la body art parce qu'on dit... la technologie est tellement puissante qu'elle pourrait causer l'extinction humaine. J'ai beaucoup entendu ce narratif. Alors déjà, je trouve ça assez marrant parce que l'argument marche dans les deux sens. C'est-à-dire qu'on peut dire, mais en fait, jamais les boîtes de pétrole ne diraient notre produit est tellement puissant qu'il va peut-être causer l'extinction humaine par le réchauffement climatique. Et ça paraîtrait absolument absurde dans ce sens-là. Donc je dirais que ça rétablit l'équilibre. Après, bon, ça reste un procès d'intention. Et on peut... Tout ce qui est arguments d'autorité, procès d'intention, c'est intéressant dans une première étape pour savoir où attirer son attention. C'est-à-dire que là, je peux dire Ah, telle personne a tel argument, il n'est pas honnête. On va dire J'attaque cette personne, mais je n'attaque pas son argument. Ok. Au final. C'est un mécanisme qui est important pour l'être humain parce qu'on est exposé à tellement d'informations qu'il sait bien pour trier le vrai du faux en premier. Mais ensuite, une fois que notre attention est dirigée quelque part, il faut regarder les arguments spécifiques. Une fois qu'on regarde les arguments... Les arguments pour dire que l'intelligence artificielle est extrêmement dangereuse, ils sont basés sur de la recherche scientifique. Il y a un domaine qui s'appelle la sécurité de l'IA, qui existe depuis une dizaine d'années, qui a publié tellement de recherches qui va dans ce sens-là. C'est ça qu'il faut regarder. C'est-à-dire qu'il faut aller regarder ces papiers de recherche, et si on n'est pas d'accord, il faut publier quelque chose qui va dans le sens inverse, essayer d'obtenir un consensus. Et puis aussi un autre... sur ce sujet-là, c'est intéressant, c'est qu'ils ont complètement arrêté, je ne sais pas si les gens ont remarqué, mais par exemple OpenAI ne parle plus du tout de risque d'extinction humaine ou quoi que ce soit. Sam Altman, avant les années 2020, il parlait tout le temps du fait que c'est une technologie qui, oui, est potentiellement extrêmement dangereuse et que si jamais on n'arrive pas à la contrôler, alors tout le monde sur cette planète va mourir. Il le disait explicitement, It lights out for all of us Maintenant, il s'est transformé beaucoup plus en une personne corporate standard. Il ne parle plus du tout de ça. Il dit juste qu'il faut faire attention, il faut battre la Chine, il faut qu'on développe ça avant la Chine. Tout le narratif s'est transformé. Donc là, les gens qui portent ce message, c'est des gens comme moi, qui ne gagnent pas d'argent, qui sont dans des... Moi, je fais ça entièrement bénévole, parce que je pense que c'est ma meilleure chance de survie, disons, pour les... prochaines années. Et tous les gens qui font ça, que je connais en ce moment, sont dans cette optique. Il y a beaucoup de gens qui pourraient travailler en intelligence artificielle en ce moment, donc gagner beaucoup d'argent, et qui à la place choisissent d'aller dans des non-profits pour tirer l'alarme. Le procès d'intention, je pense qu'il ne tient pas la route. C'était quoi le deuxième argument ?

• Speaker #1

  C'était essentiellement ça, le procès d'intention. En gros, c'est rédiger l'intention vers nous, ensuite je propose...... c'était plus ça mais honnêtement je pense que j'ai compris ton point de vue c'est d'aller surtout lire les papiers de recherche et proposer des arguments scientifiques solides et valides pour pouvoir concrédir moi je peux répondre que de façon personnelle à ça du coup c'est que je préférais largement continuer à faire ma passion qui est de développer des intelligences artificielles et

• Speaker #0

  à ne pas être dans l'oeil du public, ce que j'ai essayé d'éviter toute ma vie mais à un moment là je me suis dit j'ai le background qu'il faut Et j'ai besoin de, il faut que j'essaye d'être public parce que c'est ce que je peux faire de mieux. Et ce n'est pas quelque chose que je recherche, mais bon, c'est quelque chose qui est le mieux à faire, je pense.

• Speaker #1

  Et c'est même d'ailleurs la raison pour laquelle je t'ai invité sur la chaîne, parce que tu as effectivement le background. Tu as développé des modèles de machine learning pendant des années. Et sur ma chaîne, beaucoup de personnes aussi, soit sont déjà data scientistes en poste, soit ils aspirent à être comme toi il y a quelques années, à développer des modèles de machine learning. Et quand je t'ai écouté, je me suis rendu compte à quel point en fait, on est en train vraiment de vivre une révolution. Et j'aimerais voir ta posture en tant qu'ancien data scientist, même si aujourd'hui tu demandes de faire une pause. Les personnes qui se font justement comprendre ce domaine-là, ceux qui se préparent à être data scientist et qui veulent justement comprendre les enjeux. Qu'est-ce que toi tu recommandes aujourd'hui ? Les formations, les outils, les ressources ?

• Speaker #0

  Alors, je recommande le... de lire le papier de recherche qui est sorti en 2020, Scaling Laws, qui a été créé par une équipe à OpenAI qui est maintenant est devenue Anthropique. Ça aide à se faire une idée des... timelines. Je pense que la chose la plus importante à faire au monde en ce moment, c'est essayer de se faire une idée de est-ce que on va avoir une intelligence artificielle générale bientôt ou dans très longtemps, parce que ça change tout. Donc ça, c'est un bon papier de recherche pour avoir une base là-dessus. Je recommande aussi de lire le rapport de Léopold H.N. Brunner, un ancien employé de DeepMind qui a écrit un rapport de 200 pages qui s'appelle Situational Awareness. Dans la première moitié du rapport, il explique... ses timelines, donc comment il voit le développement de l'IA dans les trois prochaines années et pourquoi il pense qu'il y a une forte chance qu'on ait des IA générales dans trois ans. Donc ça vaut le coup de vraiment se familiariser avec ses arguments. et essayer de voir si on est d'accord ou pas d'accord. La deuxième partie du rapport, je ne la recommande pas, parce que c'est une analyse géopolitique, et je trouve qu'elle est extrêmement biaisée. Donc de son point de vue, les labos d'IA vont se faire nationaliser par les États-Unis dans les deux prochaines années, dès que certaines personnes dans le gouvernement vont vraiment comprendre ce qu'on est en train d'essayer de construire, et qu'il va y avoir un projet Manhattan qui va être lancé, qui aura une course entre les États-Unis et la Chine. De gros gros gros problèmes dans cette analyse, déjà le fait que... Si les États-Unis comprennent ce que c'est que la superintelligence, la Chine aussi va le comprendre. Et la Chine ne laisserait pas les États-Unis développer cette technologie sans rien faire. C'est un genre de scénario qui pourrait lancer une guerre mondiale, ce n'est pas terrible. Mais la première partie de ce rapport sur essayer d'estimer quand cette technologie va arriver, je pense que c'est excellente. Voilà deux ressources. Et ensuite, juste pour comprendre les risques, je recommande fortement le site web du Centre pour la sécurité de l'IA français. sécurité-ia.fr ils ont un panorama des risques qui est assez détaillé beaucoup plus dans le détail que ce que j'ai couvert là et puis notre site web qui est plus à destination du grand public aussi posia.fr ça marche,

• Speaker #1

  merci beaucoup Maxime d'avoir participé à ce podcast on arrive à la fin est-ce qu'il y a des sujets que j'ai oublié ou bien que tu aimerais aborder et quoi que j'ai quelques questions, on a beaucoup parlé de risque dans ta proposition tu disais surtout les Etats-Unis et la Chine qui doivent signer le fameux crité et la France dans tout ça, qu'est-ce qu'elle fait ?

• Speaker #0

  La France a un créneau pour se spécialiser dans l'évaluation des intelligences artificielles, l'alignement donc là la France a peu de chances de rattraper les Etats-Unis ou la Chine peu de chances, je dis ça parce que j'ai un background scientifique et du coup je mets toujours des estimations de probabilités etc mais bon, la chance est quasiment nulle que la France devienne... le leader mondial en IA. Par contre, la France a une possibilité de devenir le leader mondial en alignement des intelligences artificielles, en explicabilité, parce que c'est un domaine qui est sous-investi en ce moment. Je pense que la France devrait vraiment saisir ce créneau. On veut aussi faire en sorte que les politiciens en France comprennent ce qui se passe en IA. Pour le moment, ce n'est pas du tout le cas, parce que malheureusement, ils ont été conseillés par Yann Lequin, qui est principalement en train de faire du lobby pour Facebook. qui apporte un message du style il n'y a aucun risque Donc on essaye de faire en sorte que ça change et que les policiers comprennent ce que c'est que ces systèmes qu'on est en train de développer, tous les risques qui apparaissent. Le gros risque avec la France, c'est que si jamais les États-Unis et la Chine commencent à signer un traité et essayent d'obtenir que tous les autres pays signent le même traité, en l'état actuel des choses, il y a moyen que la France ne signe pas. Parce que les politiciens ne comprennent vraiment pas du tout les risques de l'IA.

• Speaker #1

  Dans la France, va plus jouer sur la pâte éthique, comme d'habitude, l'explicabilité et autres.

• Speaker #0

  C'est pas que éthique, c'est-à-dire que là, il y a quand même un problème, c'est que quand on a des agents autonomes qu'on ne contrôle pas bien, le pire scénario, c'est s'ils marchent à peu près bien jusqu'au moment où il y a une grosse catastrophe. Mais un autre scénario, c'est qu'ils ne marchent pas très bien parce qu'on ne les contrôle pas bien et il y a des petites catastrophes qui font qu'on ne peut pas les utiliser. Et là, ce qui va vraiment faire la différence, c'est justement de résoudre le problème de l'alignement. d'arriver à augmenter notre contrôle de ces IA et ça risque d'être vraiment la clé pour que ce système se mette à fonctionner. Ok,

• Speaker #1

  du coup, supposons qu'on fait la pause aujourd'hui, les Etats-Unis, la Chine acceptent de faire la pause, quelle est la première action qu'on met en place ? S'il fallait que le gouvernement doit mettre en place justement pendant cette pause ?

• Speaker #0

  Il faut un mécanisme d'enforcement. Il ne faut pas que ce soit juste un papier qui existe et que les gens ont signé. Il faut littéralement faire en sorte que les labos d'IA arrêtent de travailler sur développer des intelligences artificielles générales, quitte à les forcer à fermer boutiques.

• Speaker #1

  Ok, donc... Mais comme tu dis, il y a les indépendants qui vont continuer à avancer et ça donne quand même un risque de perdre en compétitivité. Finalement, c'est ça.

• Speaker #0

  Est-ce qu'il y a un risque de perdre en compté de tibétidivité ? Oui, mais étant donné les enjeux, étant donné l'ampleur des catastrophes qui nous pendonnaient là tout de suite, je pense qu'il va falloir prendre des décisions assez difficiles.

• Speaker #1

  Merci beaucoup, Maxime. S'il y avait une personne qu'il fallait écouter sur ce podcast pour approfondir la discussion, toi, tu aimerais écouter qui ?

• Speaker #0

  Je recommande beaucoup Charbel Raphaël Segeri, qui est le directeur du... Centre pour la sécurité de l'IA en France, qui est beaucoup plus... académique que moi, je dirais, et qui a une très bonne façon d'expliquer tous les différents risques de lire.

• Speaker #1

  Super, merci beaucoup. Tu pourrais nous mettre en contact ou pas ? Oui. Ah super, ça fait plaisir. Est-ce que tu as un mot pour la fin ? Un mot pour la fin ?

• Speaker #0

  L'intelligence, ce n'est pas de la magie.

• Speaker #1

  Ok. Super. Merci beaucoup, Maxime.

• Speaker #0

  Merci à toi.

• Speaker #1

  Bravo,

• Speaker #2

  vous êtes arrivé à la fin de cette discussion. Dites-moi en commentaire ce que vous en avez pensé. Quelles sont vos réactions ? Qu'est-ce que ça vous a inspiré ? Est-ce que vous avez eu peur ? Partagez vos avis en commentaire. Est-ce que c'est possible de faire une pause ? Qu'est-ce que vous pensez justement de cette demande de faire une pause ? Vous partagez mon avis à chaud comme ça. Ça, ce n'est que mon avis. Moi, je pense personnellement que la pause, ce n'est pas réaliste. Ça, c'est mon avis. Je pense que ces outils sont très risqués. Et moi, ce qui m'amène à penser, c'est que ces outils sont puissants. C'est qu'aujourd'hui, en tant que data analyst, en tant que data scientist, en tant que data engineer, on ne doit pas ignorer, quel que soit notre background, pas seulement les métiers du monde de la data, je pense que nous sommes en train de vivre une transformation de notre société et qu'on doit s'intéresser de plus en plus sur ces sujets. Parce que si on reste à l'écart et on se dit que c'est dangereux, on va très vite se faire dépasser par les outils d'intelligence artificielle. J'ai récemment vu un article qui montrait qu'on a créé un robot, un IA, qui a battu plusieurs champions du monde dans les compétitions Kaggle. Le robot était capable de faire le pré-processing, la sélection de variables, faire tout le process et avoir un modèle très performant. Moi, j'ai toujours pensé qu'automatiser le processus de sélection de variables, automatiser le nettoyage des données, ce n'était pas possible. Mais quand j'ai vu ça, j'ai fait Wow ! Le métier de data scientist va être profondément... changer, bouleverser. Donc c'est à moi aujourd'hui d'anticiper, de voir comment mon métier va être transformé et pour justement participer à la disruption de mon propre métier. Moi c'est comme ça que je le vois. Je sais qu'il y a des risques, je sais que le système de recommandation c'est dangereux, il y a la cybercriminalité, il y a les deepfakes, il y a l'assainement qu'on peut vivre dans les écoles, dans les lycées et autres. Je sais que c'est dangereux et je pense que les états doivent prendre leurs responsabilités pour mieux encadrer, pour mieux réguler, pour justement utiliser ces outils comme le mâton. On sait que c'est risqué. mais en fait, on utilise le bon côté. Dites-moi en commentaire ce que ça vous a inspiré et je vous invite vraiment, vraiment à vous intéresser à ce sujet parce que si les personnes disent que c'est très risqué, ça montre en fait la puissance de ces outils. Si les personnes disent que c'est comme des outils, ça montre en fait que c'est vraiment puissant. Moi, le message que je retiens de tout ça, c'est que c'est puissant, on doit s'intéresser, on doit voir comment limiter au maximum les risques et profiter des bénéfices justement des outils. Partagez vos avis en commentaire si vous souhaitez avoir une vision plus optimiste justement des outils d'IAGE NATIVE. Je vous invite à regarder mon interview avec DJ Golche qui s'affiche juste ici. Sur ce, prenez bien soin de vous et on se donne rendez-vous très bientôt pour un nouvel épisode. Let's go ! Bye !