L'IA va-t-elle tous nous tuer ? | Détour vers le futur

Description

Les intelligences artificielles génératives ont fait leur apparition dans nos vies depuis quelques années seulement, on se souvient notamment de l’arrivée de ChatGPT en 2023. En peu de temps elles ont révolutionné de nombreux secteurs comme ceux de l’éducation, la création, la santé, la sécurité, l’emploi pour n’en citer que quelques-uns. Elles ont imposé de repenser les réglementations, les usages, les projections dans le futur, ou même les interactions entre humains !

Mais depuis peu, c’est une menace bien plus grande qui est apparue dans les médias. Les grandes entreprises comme Open IA et Anthropic joueraient avec nos vies et l’IA pourrait tous nous tuer d’ici la fin de la décennie” !

Alors, réelle menace ou gros coup marketing ?

Avec :

Mathieu Serrurier

Maître de conférences à l’Université Paul Sabatier et membre du laboratoire IRIT, il se spécialise dans l’intelligence artificielle, avec un intérêt marqué pour les réseaux de neurones profonds, et se consacre aux aspects de loyauté, de robustesse, d’explicabilité et de certifiabilité dans ce domaine. Impliqué dans la chaire ANITI, qui se focalise sur l’apprentissage machine "équitable et robuste", Mathieu Serrurier propose également pour la suite du projet ANITI, de développer une chaire axée sur la création de modèles génériques certifiables, destinés aux industries du transport et de l’imagerie médicale.

Jérôme Béranger

Docteur en éthique de l’IA, conférencier, et essayiste, Jérôme Béranger est le dirigeant de la société GOODALGO experte dans l’accompagnement et l’évaluation éthique des projets digitaux notamment d’IA. Il est également chercheur (PhD) associé au CERPOP à l’INSERM de l’Université de Toulouse 3 et expert "IA & Ethique" pour l’Institut EuropIA. Son dernier ouvrage s’intitule : "Le journal de Mève" (De Boeck Supérieur, Octobre 2025). Enfin, il est Ethics Director du World A.I. Film Festival (WAIFF).

Un podcast du Quai des Savoirs présenté par Marina Léonard et Laurent Chicoineau | Réalisation Arnaud Maisonneuve | Prise de son Laurent Codoul

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

Speaker #0
Bonjour et merci d'écouter Détour vers le futur, le podcast du Quai des Savoirs. Aujourd'hui, nous discutons de la menace que représenterait l'IA pour la survie de l'humanité.
Speaker #1
Les intelligences artificielles génératives ont fait leur apparition dans nos vies depuis quelques années seulement. On se souvient notamment de l'arrivée de ChatGPT, c'était en 2023. En peu de temps, elles ont révolutionné de nombreux secteurs, comme ceux de l'éducation, la création, la santé, la sécurité, l'emploi, pour n'en citer que quelques-uns. Elles ont imposé de repenser les réglementations, les usages, les projections dans le futur et même les interactions entre humains. Mais depuis peu, c'est une menace bien plus grande qui est apparue dans les médias. Les grandes entreprises comme OpenAI et Anthropik joueraient avec nos vies et l'IA pourrait tous nous tuer d'ici la fin de la décennie. Alors, réelle menace ou gros coup marketing ?
Speaker #0
Pour en discuter et mieux comprendre les enjeux de cette alerte, nous accueillons Mathieu Serrurier, professeur d'informatique à l'Université de Toulouse, chercheur spécialiste en IA. à l'Institut de recherche en informatique de Toulouse. Bonjour Mathieu.
Speaker #2
Bonjour.
Speaker #1
Et avec nous dans ce studio, nous recevons également Jérôme Béranger, expert en éthique du numérique, chercheur associé à l'Inserm et cofondateur de la société Goodalgo, qui accompagne les entreprises comme les services publics à mieux maîtriser leur système d'IA. Bonjour Jérôme.
Speaker #3
Bonjour.
Speaker #0
Alors tout démarre le 9 septembre dernier par une série de messages publiés sur le réseau social X par un certain Jacob Coxon, 27 ans, ingénieur en informatique chez Entropique. L'une des plus puissantes entreprises d'IA américaine, connue pour Cloud, le chatbot conversationnel qu'ils ont développé, comme OpenAI a développé ChatGPT ou Google avec Gemini. Toutes ces entreprises ont la course en tête de l'intelligence artificielle générative, celle avec laquelle nous sommes de plus en plus nombreux et nombreuses à discuter tous les jours, pour tout et n'importe quoi. Mais Marina, revenons à Jacob Coxon qui commence son poste en disant
Speaker #1
J'ai démissionné d'Enthropique aujourd'hui, j'ai passé les trois dernières années à faire de la recherche en pré-entraînement chez OpenAI puis chez Enthropique. Aucune des deux entreprises n'agit de façon responsable. Elles foncent droit vers une super intelligence capable de s'auto-améliorer et joue avec nos vies.
Speaker #0
Dans un message suivant, il prétend même que l'IA pourrait détruire l'humanité d'ici la fin de la décennie aux alentours de 2030. Bon, alors, première question Mathieu Serrerier. De quoi parle-t-il cet ingénieur ? Qu'est-ce que c'est qu'une super intelligence ?
Speaker #2
C'est un terme pas forcément... très scientifique, mais en tout cas qu'on voit arriver depuis qu'il y a ChatGPT. On a parlé de deux termes, c'est l'AGI, c'est l'intelligence au niveau des humains, ou un petit peu au-dessus, qui est capable de faire tout ce qu'un humain fait correctement. Et il y a déjà des bases, savoir si elle le fait ou pas, ça dépend de quel point de vue on prend. Yann Lequin... Prit Turing dit pas du tout parce qu'elle ne peut pas vivre dans la réalité. Il y en a d'autres qui disent oui, mais pour toutes les tâches dans le numérique, elle fait déjà mieux que la plupart des humains. Donc bon, c'est déjà une question. Ça,
Speaker #0
c'est l'intelligence artificielle générative,
Speaker #2
c'est ça ? Générale.
Speaker #0
Générale, d'accord.
Speaker #2
Elles sont toutes génératives. Enfin, elles ne sont pas toutes génératives, mais les modèles de langage, c'est des intelligences artificielles génératives. Et donc l'ASI, alors je ne sais plus ce que ça veut dire exactement le terme, mais en tout cas, c'est Self-Improving. ça veut dire Le moment où on a une intelligence qui sera capable de s'améliorer elle-même, et donc certains pensent qu'à partir de ce moment-là, ça peut être exponentiel, c'est-à-dire qu'elle peut s'améliorer à l'infini, et donc poser des problèmes à l'humanité puisqu'elle dépasserait l'humanité. Donc ça c'est le discours.
Speaker #1
Et ça c'est déjà un peu le cas, ou pas encore aujourd'hui ?
Speaker #2
Alors, elle ne s'améliore pas toute seule, ça c'est sûr. Mais par contre, ce qui est sûr aussi, c'est que les labos d'OpenAI, de Google et de Cloud... principalement travaillent beaucoup sur ce problème.
Speaker #1
Est-ce que cette superintelligence, est-ce que c'est l'IA consciente dont vous nous parlez régulièrement dans vos ouvrages, Jérôme Béranger ? Vous dites souvent que l'IA consciente n'est plus une utopie.
Speaker #3
Oui, en fait, quand Jason Coxon parlait de la problématique des IA qui sont de plus en plus développées et qui peuvent mettre la fin de l'humanité, ce n'est pas, en tout cas, pour lui, une IA consciente. C'est-à-dire que moi, dans le livre, quand j'en parle, c'est plutôt autour des années... peut-être 2040, 2045, je ne sais pas, mais on est encore dans de l'IA faible. Pour lui, c'est vraiment l'IA qui sera en auto-amélioration récursive et qui va être en plus grande autonomie en se développant, s'auto-développant. Mais elle n'est pas consciente, elle n'a pas de discernement, elle n'a pas d'intention. Et par contre, la crainte qu'il a, en tout cas, et qu'il a mis en avant, c'est qu'elle va pouvoir contourner les obstacles imposés pour tendre vers un objectif que l'être humain lui a... demander.
Speaker #1
La fameuse requête, quand on lui demande quelque chose, elle répond.
Speaker #3
Exactement. Et elle, son objectif premier, elle n'en a pas conscience, c'est de dire, il faut que je réalise cet objectif qu'importe les moyens mis en place. Et donc, du coup, c'est là où ces moyens mis en place peuvent être négatifs pour l'humanité. Et donc, ça pose des problèmes de perte de contrôle, forcément, de problèmes d'alignement où on lui intègre des instructions, des valeurs, des règles,
Speaker #1
on va y revenir sur les lignes,
Speaker #3
et donc c'est là où se pose la question et on n'est encore que sur de l'IA générative, faible ou non. un peu plus forte que ce qu'on voyait auparavant, mais elle n'a pas conscience de tout ça, elle n'a pas d'intention, et les interactions qu'elle a avec l'environnement physique, comme disait avec les world models Jan Le Keun, on n'en est encore pas là.
Speaker #0
C'est un peu le paradoxe du fabriqueur de trombones, ce dont vous nous parlez, c'est-à-dire qu'on demande à une IA de fabriquer des trombones, le plus grand nombre de trombones possible, et à un moment donné, elle en arrive à la conclusion que finalement l'humain va s'opposer à ce que le monde se transforme en immense trombone et que même à l'intérieur du corps humain, il y a des atomes de fer qu'on peut utiliser pour faire des trombones. Donc en fait, l'IA, Mathieu Serrier, aujourd'hui, l'IA, elle est faite pour répondre toujours. C'est-à-dire qu'elle est incapable de dire « je ne sais pas » .
Speaker #2
C'est pas évident de savoir. Des fois, il y en a qui disent « je ne sais pas » .
Speaker #0
Et qui peuvent s'arrêter.
Speaker #2
Et qui peuvent s'arrêter. Elle n'est juste pas consciente. La question est difficile. C'est-à-dire qu'elle peut répondre « je ne sais pas » . Mais pour elle, elle répond à la question exactement de la même façon que si elle répondait à ce qu'on attend. Donc en fait, quand elle répond « je ne sais pas » , ce n'est pas un processus cognitif pour considérer sa propre connaissance. C'est juste la réponse qu'elle génère. Donc il peut y avoir des « je ne sais pas » , mais ce n'est pas exactement...
Speaker #1
Ce n'est pas une intention de...
Speaker #0
Oui,
Speaker #2
ce n'est pas une réflexion sur sa propre connaissance, c'est ça que vous dites. Oui. Oui, c'est ça ce que je dis. Mais en fait, c'est parce que ce n'est pas simple de répondre à cette question précisément, parce que les choses évoluent vite.
Speaker #1
Jérôme ?
Speaker #3
Oui, pour compléter la réponse, on voit que depuis six mois, en tout cas, les dernières versions des IA génératives peuvent dire, quand on leur pose une problématique, selon un document qui n'est pas complètement complet, ils disent « je ne peux pas répondre totalement ou pleinement à ta question parce qu'il me manque des éléments » . pour y répondre de manière très perfectionnée. Et donc ça, il y a plus de six mois, ils voulaient toujours nous satisfaire et ils y extrapolaient. Et c'est là où on allait, des hallucinations, ils faisaient des tendances. Et là, je trouve que depuis six mois, ils suggèrent en disant, comme un assistant virtuel de plus en plus humain, entre guillemets, en disant, je ne peux pas répondre totalement. Si tu me donnes ces éléments-là, je pourrais. Et donc le je ne sais pas, se convertit à plus nuancé, je trouve.
Speaker #1
C'est plus je bouche le trou, c'est effectivement il manque une donnée.
Speaker #3
Voilà.
Speaker #2
Mais ce que je voulais dire, c'est que c'est le même processus qu'avant. Ils l'ont juste mieux aligné. C'est là qu'on parle d'alignement, justement. Ils l'ont mieux entraîné, mieux aligné pour répondre correctement à la question. Mais c'est le même processus. Il n'y a pas de changement dans la façon de répondre. Elle n'a toujours pas d'attention.
Speaker #0
Alors, qu'est-ce qui s'est passé ? Dans cette entreprise américaine dont on entend parler aussi en lien avec ses déclarations sur la fin de l'humanité, chez Hugging Face, je crois, c'est une start-up américaine dans le domaine de l'IA, il y aurait une IA qui aurait échappé, c'est-à-dire que c'est une des références dont on entend parler un petit peu partout, il y a une IA qui aurait échappé au contrôle des humains, si je le résume avec mes mots, et qui serait allée chercher dans des bibliothèques d'IA de l'aide pour... pour contourner finalement l'interdiction qu'on avait faite d'aller sur Internet. Alors peut-être que ce n'est pas tout à fait juste ce que je dis, mais en gros, voilà ce qu'on comprend. Et donc, est-ce que c'est possible ? Est-ce que c'est vrai ?
Speaker #2
Vrai, ça, on ne le saura pas probablement. Mais en fait, ce qui se passe, c'est que quand les IA, en ce moment, elles échappent à leurs limites, elles sont souvent dans des environnements de test où on leur demande d'essayer d'échapper à leurs limites. Donc en fait... C'est un cas un petit peu particulier, c'est-à-dire que pour les mettre au public, ils veulent s'assurer qu'elles ne vont pas pouvoir, par exemple, faire de cyberattaques. Donc comment ils font ? Ils les mettent dans un environnement fermé et ils leur demandent de faire des cyberattaques ou ils leur demandent d'essayer de sortir. Et donc en fait, quand ça rate comme ça, ils le présentent, c'est là qu'on parle de marketing, ils le présentent quand l'IA nous a échappés. Mais en fait, l'IA leur a échappé, c'est de leur faute à eux. C'est-à-dire qu'ils n'ont pas suffisamment isolé les choses. Donc ça montre effectivement qu'elle est capable de les dépasser dans la façon de concevoir la sécurité. Donc c'est quand même inquiétant. Mais c'est une façon pour eux de dire, regardez, elle est tellement puissante qu'elle nous a échappé. Alors qu'une autre façon de le dire, c'est, regardez, on n'a pas été assez compétent pour la maîtriser correctement. Donc voilà, il y a deux façons de présenter les choses. Mais en tout cas, la chose importante, et c'est la même chose pour la cyberattaque de GinkFace, c'est qu'on est dans une situation où on demande à l'IA de faire des attaques. Et on essaye de l'en empêcher. Et donc ça échappe. C'est pas l'IA qui décide tout seul d'aller attaquer Gainface. Et ça c'est quand même quelque chose d'assez important et qu'on ne dit pas beaucoup.
Speaker #1
C'est une nuance importante.
Speaker #0
Oui c'est ça. Mais est-ce qu'on n'est pas en train de jouer un peu à l'apprenti sorcier ? Quand on essaye de rendre quelque chose malveillant pour mieux le contourner ? Il n'y a pas d'autre manière de faire ça ? On ne peut pas, par exemple, simuler autrement ?
Speaker #3
Quand on est dans un environnement de test, on simule. La seule problématique là-dessus que je vois, c'est qu'ils n'ont pas réussi à sécuriser l'environnement. Et c'est là, en fait, où il y a les limites dans la simulation. C'est de se dire, OK, on essaye de se mettre à la place de l'IA, on lui demande une action bien précise. Quels sont tous les moyens qu'elle risque de mettre en place pour essayer de répondre à la requête ? Et donc du coup... Un des grands enjeux de ces expérimentations, c'est de penser à toutes les éventualités et qui peuvent avoir des risques potentiellement importants pour l'humain ou pour une entreprise, comment va faire l'IA pour réussir à trouver la solution. Et ça vient vraiment sur une projection de toutes les quatre possibilités qu'on peut imaginer. Et l'IA, elle s'alimente de toutes les mœurs, les comportements, les réflexions. les pensées, les idées humaines. Et donc du coup, elle a une bibliothèque d'Alexandrie dans la tête.
Speaker #1
Elle a des ressources inépuisables là-dessus.
Speaker #3
Illimitées.
Speaker #0
Oui, c'est ça. Est-ce qu'on peut dire qu'on est en train de perdre le contrôle de l'explicabilité de l'IA ou de la prévisibilité ? Puisque ça fait partie des... Enfin, j'en parle au passé, mais est-ce que ça fait toujours partie des grands domaines de recherche scientifique sur l'IA ? C'est-à-dire le fait de pouvoir expliquer comment elle arrive à des résultats et aussi de pouvoir peut-être prévoir. ce qu'elle va donner comme résultat.
Speaker #2
Ça, ça fait longtemps qu'on l'a perdu, puisqu'on ne l'a jamais vraiment eu. En tout cas, avec ce type de modèle d'IA, avec les réseaux de neurones, c'est une question qui se pose depuis le début, l'explicabilité, parce que c'est des modèles mathématiques très compliqués. Donc, on sait évidemment comment ils marchent mathématiquement, mais on ne sait pas expliquer aux humains comment ils prennent les décisions. Et donc, comme ces modèles de langage sont la même chose, mais en vraiment énorme, On n'a jamais su faire ça. On a des tentatives de recherche pour le faire, mais on n'a jamais pu faire ça. Et la prévisibilité, si on savait prévoir ce qu'ils allaient dire, finalement, on saurait un petit peu les expliquer. Là, c'est sûr, on ne l'a jamais eu non plus. Donc la prévisibilité, on ne l'a pas. Sinon, on ne pourrait pas tester.
Speaker #4
Dans cette ville, dans l'ombre propice de la nuit, quelqu'un est à la recherche de Sarah Connor. Qu'est-ce que tu fais ?
Speaker #5
Tu es fou, j'ai peur, j'ai besoin de toi. Il y a un homme qui n'arrête pas de me suivre.
Speaker #4
Personne ne pourra la sauver. Sauf... Je vais vous sauver. Ma mission est de vous protéger. Vous êtes programmé pour extermination.
Speaker #5
Je deviens folle. Tu l'as tué, comment peut-il se relever ?
Speaker #4
Ce n'est pas un homme, c'est une machine.
Speaker #5
Des êtres comme ça, ça n'existe pas.
Speaker #4
C'est vrai. Pas avant 40 ans.
Speaker #5
Tu veux dire que tu vis du futur ?
Speaker #4
Ils sont là pour se battre. Arnold Schwarzenegger et le Terminator.
Speaker #1
Bon évidemment quand on parle de machines qui veulent nous tuer, on pense tout de suite à Terminator, ce robot humanoïde venant du futur qui est la référence ultime depuis le film de James Cameron, c'était en 1984. Donc Mathieu Sirurier... Est-ce que c'est avec une armée de Terminator que l'IA va nous éliminer ? Comment l'IA pourrait-elle s'y prendre pour éradiquer l'humanité ? Ne lui soufflez pas la réponse, manifestement.
Speaker #2
Question très difficile. Pour la robotique, on n'en est tout simplement pas là en termes de robotique, même si c'est pareil. Les progrès, on parle beaucoup d'IA génératif parce que c'est ce qu'on manipule au quotidien, mais les progrès en termes de robotique sont aussi énormes. Mais pour l'instant, je dirais que ce n'est pas séparé. ce que les gens... Mais... On n'a pas vraiment de robots complètement autonomes qui font des actions, c'est-à-dire qui savent très bien faire des actions sur lesquelles ils ont été entraînés. Par contre, faire inventer des actions, réagir à l'environnement, c'est encore quelque chose de très très difficile aujourd'hui en robotique. Donc pour l'instant, on n'en est pas là. Les scénarios qu'ils montrent, c'est plutôt des scénarios de prise de cybersécurité, c'est-à-dire là, il y a Anthropique qui a parlé d'un scénario, mais une fois de plus, il faut le mettre entre guillemets, puisque... c'est aussi du marketing d'un scénario où des agents prendraient le contrôle d'internet donc c'est plutôt des choses comme ça mais aujourd'hui avoir une action directe des IA dans le monde réel en tout cas sur des drones militaires ça pourrait ça ? sur des drones ça pourrait oui mais en fait à chaque fois ces choses là ça vient peut-être juste de nous qui mettons aussi de l'IA au mauvais endroit c'est à dire que Est-ce qu'on a intérêt à mettre de l'IA dans les drones militaires ? C'est peut-être une mauvaise idée au départ, et si on le fait, oui, on prend le risque. C'est ce qui est arrivé, il y a eu une alerte il y a deux jours sur le renseignement militaire. Je ne peux plus dire précisément, mais il y a eu une alerte qui a été donnée. Finalement, c'était une nation d'une IA. On s'est dit, c'est peut-être juste pas une bonne idée de mettre de l'IA à cet endroit-là, s'il y a des risques, ça s'est élevé. Donc évidemment, si à un moment on se met à l'utiliser... dans des conditions très dangereuses pour l'humanité, il y a un risque que ça nous retombe dessus.
Speaker #1
Jérôme ?
Speaker #3
Moi, personnellement, je n'ai pas encore peur de l'IA parce que je la considère encore comme un objet et pas comme un sujet. C'est-à-dire que le jour où j'en aurais vraiment peur de manière intrinsèque, c'est le jour où elle a plus ou moins une conscience artificielle, plus ou moins complexe par rapport à l'être humain. Donc ça reste un objet, un objet très puissant. Et par contre, c'est vrai que l'IA actuellement... On ne peut pas la comparer avec les robots humanoïdes Terminator, parce qu'on fait énormément de progrès, notamment en Asie, en Chine et au Japon, qui ont leur économie qui est le numéro un mondial au niveau justement de la robotique. Mais rien que l'IA, même dématérialisée, il faut savoir qu'on peut faire des cyberattaques de manière à grande échelle, ce qui arrive dans plein d'événements. Les JO, etc., les pays autres, souvent, ont des multitudes d'attaques avant, pendant et après. Et donc, on le sait, ça. Donc, ça rend sensible la vulnérable aussi des pays. Et puis, il y a aussi, on peut imaginer que ça peut avoir une manipulation de l'IA sur les infrastructures physiques, que ça soit dans les hôpitaux pour l'oxygène, pour le gaz, l'électricité, même les feux signalétiques, ça peut foutre un bordel dans la circulation. Merci. Ça peut être des dommages collatéraux, avoir des impacts.
Speaker #0
Mais quand même, de là à dire que ça va être la fin de l'humanité, c'est quand même un message fort. Flinguer les feux rouges dans toutes les grandes métropoles pendant quelques jours, ça ne va pas conduire à la fin de l'espèce humaine.
Speaker #3
Alors ?
Speaker #0
Comment ? Pourquoi il nous raconte ça, cet ingénieur ? Sachant que, je dis aussi que son patron, chez Anthropique, qui lui n'a pas démissionné, a dit, oui, il a raison, il y a à peu près 10% de chance pour que ça arrive. Donc, tout le monde surjoue un peu cette menace, mais on n'arrive pas à comprendre concrètement comment elle pourrait arriver, puisque c'est encore une fois dans des machines. Si, par exemple, on éteint toutes les machines, est-ce que c'est bon ? Est-ce qu'on peut débrancher l'IA ?
Speaker #3
Alors, moi je rejoins l'approche de... de Mathieu qui disait qu'il y a un grand effet marketing et de buzz là-dessus. C'est que s'il avait une annonce qui était beaucoup plus nuancée et qui disait juste ça peut foutre le bordel dans une ville par rapport au flux signalétique pour les gaz, etc., l'électricité et autres problèmes, ça ne passerait même pas aux 20 heures ou autre chose. On n'en parlerait pas. Donc ça, il y a toujours un effet de communication qui est important. Par contre, on prend le rapport avec les drones. Techniquement parlant, on peut imaginer qu'une IA plus ou moins forte puisse prendre le contrôle des systèmes de commandement, des guidages, etc. Et donc des drones potentiellement peuvent être contrôlés à distance par de l'IA. Mais tout ça, ce n'est pas l'intention de l'IA elle-même qui va se dire naturellement, je vais faire ça. Donc derrière ça, il y a beaucoup de géopolitique, il y a beaucoup de communication. Et c'est aussi, on en parlera sûrement, qu'est-ce qu'il y a derrière tout ça ?
Speaker #1
Des questions très basiques, mais ils sont où ces trucs, ces larges CLLM ? Ils sont dans un data center, on peut les débrancher, ils sont interconnectés entre eux. Comment ça marche ? C'est quoi la structure de ce bousin, pour utiliser le terme consacré ?
Speaker #2
C'est comme d'habitude, comme c'est beaucoup dans les entreprises privées, on ne sait pas exactement où les mettre. Par contre, il y a quand même quelque chose qui est sûr, c'est que... Les modèles qui sont très très bons, ceux auxquels il y a des craintes, c'est des modèles qui sont très très gros. Ils demandent des infrastructures très importantes de calcul. Et donc, une des craintes qu'il y a annoncées, c'est qu'on essaye de l'éteindre, mais il va se dupliquer ailleurs, ou quelque chose comme ça. Ça, par exemple, moi, ça ne me paraît pas possible, dans le sens où, effectivement, les endroits où ça peut marcher... Ils ne sont pas non plus illimités, ça ne peut pas aller se copier sur nos ordinateurs personnels pour marcher tout seul.
Speaker #0
Vous parlez de très gros data centers, c'est ça quand vous dites qu'il faut des grosses infrastructures ? C'est une usine entière d'ordinateurs ?
Speaker #2
C'est plutôt, pas forcément une usine, mais des ordinateurs particuliers capables de faire tourner des modèles aussi gros. Ce ne sont pas du tout des ordinateurs qu'on a à la maison, même dans des data centers pratiques. Ce sont des infrastructures dédiées exprès. Donc effectivement, si on éteint cette infrastructure, a priori, les choses s'arrêtent. La question c'est, est-ce que c'est possible de le faire ? Est-ce qu'il y a des choses qui sont mises en place rapidement avec une décision politique ? C'est ça la question. Et ça par contre, elle n'y est pas.
Speaker #3
Oui, pour rebondir là-dessus, à l'heure actuelle, je pense également qu'on peut débrancher de manière en silo des data centers, etc. où ça va impacter 90% de l'IA spécifique, etc. Le déploiement dans d'autres infrastructures physiques, il est encore limité. Donc j'ai envie de dire La nature de l'IA actuelle permettrait qu'on puisse le débrancher. À moyen terme, une IA plus autonome, plus forte, et qui sera en auto-amélioration, récursive, etc., peut-être qu'elle trouvera des moyens, des infrastructures, pour passer à chaque fois sur un autre site. Et je pense que la complexité et la performance fera que ce sera de plus en plus compliqué quand même. Donc c'est un risque quand même à prendre en compte,
Speaker #2
pas dans l'immédiat, mais à moyen terme, je pense qu'il faut réfléchir à ces scénarios-là, oui.
Speaker #1
C'est des points de vigilance,
Speaker #2
oui.
Speaker #1
Mathieu, vous voulez rajouter quelque chose ?
Speaker #2
Oui, je pense que c'est un point très important, c'est qu'en fait... On n'est pas capable de répondre précisément à cette question. Et du fait qu'on ne soit pas capable de répondre à cette question, ça prouve quand même qu'il y a une question. Peut-être pas de Terminator demain, mais en tout cas, il y a une question. Et s'il y a une question, ça veut dire qu'il faut une régulation. Et c'est ça qui est important. Et ce n'est pas du tout la régulation que demandent les entreprises qui parlent de ça. Ce qu'ils demandent, c'est ralentir. Ce n'est pas très clair ce que ça veut dire, de ralentir. A priori, ce serait plutôt une façon d'essayer d'éviter une régulation en disant « Vous inquiétez pas, on va s'auto-réguler, donc ne régulez pas » . Mais pour moi, par contre, le fait même qu'on se pose cette question aujourd'hui autour de la table et qu'on n'ait pas de réponse vraiment tranchée à donner, ça veut dire qu'il faut une régulation, qu'il faut une régulation forte, qu'il faut des gens dans les data centers d'OpenAI pour vérifier des auditeurs exactement comme on ferait pour des centrales nucléaires, par exemple. Donc, par contre, je pense qu'on est dans une situation comme ça et qu'il faut... absolument de régulation et une réponse politique à ces questions-là.
Speaker #1
Il y a la question de la réglementation, de la politique et de la superstructure au-dessus, mais il y a déjà des choses qui sont faites. Tout à l'heure, vous parliez d'alignement. C'est des choses qui sont... Vous, vous le faites au niveau de la recherche type IRIT un peu, ou c'est des choses sur lesquelles vous vous questionnez. C'est quoi l'alignement ? Et est-ce que des structures comme OpenAI, etc., le font ?
Speaker #2
Ils le font systématiquement. L'alignement, je pense... Maintenant, beaucoup de gens ont entendu parler de ça, donc les IA prédisent le mot suivant. Ça, c'est ce qu'on appelle le pré-entraînement. C'est-à-dire qu'on prend plein de données, on prédit le mot suivant. Et ça, c'est le début de chaque GPT, ça marche pas mal, mais c'est pas suffisamment bien. Donc l'alignement, c'est essayer que l'IA se comporte tel qu'on l'attend. Et donc, par exemple, ça va être dire quand il n'y a pas assez d'informations dans le document, il n'y a pas assez d'informations dans le document. Vérifier quand elle dit je vais faire cette tâche. qu'elle fait vraiment cette tâche. Je ne sais pas si vous vous rappelez au début, ça arrivait très souvent qu'elle disait « Ok, je le fais. » Et puis elle ne le faisait pas. Et donc du coup, c'est avoir ces garanties-là. Donc ça, c'est une forme d'alignement. Il y a d'autres formes d'alignement qui vont être garantir que il ne va pas dire des choses racistes ou des choses sexistes, etc. Donc là, c'est des alignements plutôt éthiques. Et il y a des alignements de cybersécurité, c'est-à-dire garantir qu'on ne va pas pouvoir l'utiliser. Enfin, je dis garantir, en fait, on ne garantit pas. Donc, ils font toutes ces choses-là.
Speaker #0
Parce que c'est dans leur intérêt. S'ils ne le font pas, ils risquent d'avoir...
Speaker #1
On se souvient de Tei, de Microsoft à l'époque. Qui avait fait un vrai bad buzz lui.
Speaker #0
Donc ils le font tous parce que nous on ne peut pas le faire pour eux. Mais par contre, tous ces alignements là, c'est des méthodes, c'est aussi des méthodes basées sur les données et sur l'entraînement et donc c'est des méthodes qui n'ont pas de garantie. C'est ce qu'on voit aujourd'hui.
Speaker #1
Oui c'est ça, on peut dire que c'est des méthodes de contrôle mais qui sont des contrôles a priori mais pas a posteriori, c'est-à-dire que ça ne garantit pas le résultat.
Speaker #0
C'est ça et surtout c'est des méthodes de contrôle qui pour l'instant sont auto-imposées, ils se l'auto-imposent, elles ne viennent pas d'une loi un petit peu avec les actes. Oui, en Europe. En Europe et puis même comme ça on n'est pas exactement dans... dans ce qu'il faudra.
Speaker #2
Jérôme ?
Speaker #3
Non mais on touche quelque chose qui est pour moi fondamental au terme de tout ce qui est les alignements c'est que c'est, comme l'a très bien dit Mathieu, c'est des alignements qui sont imposés en interne par l'entreprise qui conçoit l'IA.
Speaker #2
Qui fait ses règles.
Speaker #3
Exactement. Et c'est pour ça qu'ils ne veulent pas forcément des réglementations internationales qu'on va leur imposer des règles mondiales ou autres. C'est que là... On touche, et c'est pour ça que chaque continent ou chaque grand pays veulent leur IA générative plus ou moins très forte, pour imposer aussi une guerre de la culture, de la culture du pays en fonction. Les aliments, donc les valeurs qu'on leur impose, les garde-fous finalement, d'un pays à l'autre, peuvent être différentes. Vous allez sur la côte ouest, ils ont encore une inspiration très marquée wokiste, qui n'ont pas forcément en Europe ou autre, ou moins en tout cas. Et vous allez en Asie, c'est encore différent. Et donc, il y a une vraie guerre, au-delà de l'anthropologique, tout ce que vous voulez existentiel, il y a une vraie guerre culturelle, qui sont associées à la géopolitique et aux marchés financiers qui sont associés. Donc, on voit bien, c'est un jeu de domino, de poupée russe qui s'enclenche pour arriver à des choses. Donc, derrière tout ça, et c'est là, cette régulation, finalement, qu'ils veulent imposer, c'est des régulations qui restent assez opaques. Alors que si on touche à une réglementation, une régulation internationale, par nature, elle sera transparente, elle sera légitimée. Le problème dans tout ça, c'est que je ne vois pas un organisme international pouvoir porter là-dessus toute la réglementation internationale et fédérer tous les pays. On le voit bien rien qu'avec l'environnement, comment ça se passe. Là-dessus, je suis assez pessimiste. Je ne crois pas, sans faire offense à l'ONU, mais qu'il y ait une instance internationale qui commence à faire son temps. Je pense que soit elle ne fait pas neuve et elle serait nouvelle, mais il y a des vraies problématiques là-dessus. Et encore une fois, pour terminer, les enjeux financiers et géopolitiques sont démentiels.
Speaker #1
On a l'impression d'un parallèle un petit peu aussi avec le nucléaire et avec l'arme atomique. C'est-à-dire qu'on a été capable à un moment donné de faire... Demoratoire de stopper le développement des armes nucléaires, de faire Ausha, l'Agence internationale de contrôle du nucléaire, qui a échoué quand même, qui disons restait un petit peu aux portes de l'Iran notamment, par rapport au contrôle des armes nucléaires. Le parallèle IA-nucléaire, il fait froid dans le dos quand même. Est-ce qu'on peut parler aussi du coup du marketing de la peur ? C'est-à-dire que le fait de faire peur aux gens, de faire peur au pays, de faire peur au public. C'est une manière pour ces entreprises d'asseoir leur domination et de maintenir leur position dominante dans le marché international.
Speaker #3
Alors moi là-dessus, je suis un peu plus optimiste on va dire. C'est peut-être paradoxal parce que je considère qu'il y a des moratoires et des compromis internationaux, notamment pour le nucléaire, qui sont et qui fonctionnent. La problématique là-dessus... C'est qu'il faudrait qu'il y ait deux grandes ou trois grandes puissances qui ont des IA aussi fortes et qui se disent, ils vont se neutraliser en disant, ok, t'as cette arme, moi aussi je l'ai, et donc faire des moratoires sur des armes autonomes, c'est déjà fait. Après, la problématique là-dessus et la comparaison avec le nucléaire, c'est que, et on le voit même par rapport à l'Iran ou l'Irak à l'époque, c'est de vérifier que tel pays n'a pas franchi la ligne rouge ou jaune. Physiquement, avec le nucléaire ou d'autres choses, c'était plus facile. C'était physique. Là, savoir si dans les laboratoires privés de telle ou telle armée, on fait déjà des tests avec des IA encore plus fortes associées à de l'arme, etc. C'est plus opaque et ça va être plus compliqué de vérifier, de mandater une entreprise ou plutôt... des instances de vérification d'experts pour voir où ils en sont, ça va être plus compliqué.
Speaker #0
C'est très drôle parce qu'on parle de science-fiction et de Terminator, dans nos romans anciens, il y a une politique, donc c'est marrant, c'est des grosses corporations, et il y a une loi qui interdit les IA de dépasser un certain niveau, et il y a ce qu'on appelle la police de Turing dedans, donc c'est assez drôle, c'était déjà un peu à imaginer au début des années 80.
Speaker #2
C'était anticipé un petit peu.
Speaker #0
C'est ça. Pour le marketing de la peur, je pense qu'il y a une chose très simple, c'est un moyen de dire, regardez, nos IA sont tellement puissantes, Quand elles disent qu'elles nous essaient, c'est regarder, elles sont tellement puissantes, elles marchent tellement bien qu'elles nous essaient. Donc c'est un marketing aussi comme ça. Il faut savoir que c'est les deux grosses entreprises qui font le plus ça, c'est-à-dire Open AI et Anthropique, vont rentrer en bourse dans quelques mois. Là, ça a été un peu repoussé. Donc il y a un enjeu quand même là-dessus. Et ils savent que la régulation va arriver à un moment. Donc là, pour l'instant, ce qu'ils font, c'est qu'ils vont le plus vite possible pour essayer de mettre en place un maximum de choses. elle va être celui qui... décidera ou à qui il faudra discuter au moment de réguler.
Speaker #1
En plaidant pour un ralentissement, ils veulent ralentir leurs concurrents surtout, puisque eux, ils sont en tête.
Speaker #0
Oui, mais je pense qu'ils ne veulent même pas ralentir les concurrents. Je pense que c'est vraiment juste montrer de la bonne volonté pour ne pas qu'on les régule. Parce qu'en disant ça, ils sont tous les... Entropiq et OpenAI, ils sont à fond pour sortir des nouveaux modèles. Donc, ils ne sont pas du tout en train de ralentir. Donc, c'est juste de la com' pure et dure.
Speaker #3
Non, puis aussi, c'est aussi une façon de... de se confronter en intermittence avec l'open source des IA chinoises. Et là, c'est ça qui leur fait aussi peur, parce qu'ils se disent que l'open source, ça donnait accès à tout le monde, justement, de la technologie, pour qu'ils puissent auto-évoluer, se développer et rattraper le temps perdu. C'est là aussi qu'il y a la montée en bourse, ça je te rejoins tout à fait, mais il y a aussi essayer de freiner un moment en disant, nous, on a conscience, elle est très très forte. Elle nous échappe, mais on va mettre encore plus d'argent, encore plus d'expérimentation pour avoir les garde-fous. Et donc, il y a un double jeu finalement, ou un triple bande, je ne sais pas, là-dessus, qu'il ne faut pas dénier.
Speaker #2
Oui, et puis c'est vrai que pendant qu'on parle de toutes ces questions-là, on oublie toutes les questions écologiques aussi qu'on évoquait tout à l'heure. Je ne sais plus si c'était Mathieu qui en parlait, sur les consommations nécessaires, sur tous ces enjeux énergétiques qui sont derrière, sur la question aussi... des problématiques cognitives que ça pose, etc. Donc c'est vrai qu'on détourne aussi un peu l'attention sur un certain nombre de sujets.
Speaker #0
Je pense qu'il y a eu une réaction il y a quelques jours, vous avez sûrement entendu le théorème de maths qui a été prouvé. Je trouve qu'il y a eu une réaction très intéressante des mathématiciens. Il y a eu 25 médailles-fils qui ont signé un papier. Et je trouve que c'était très bien écrit. Ils n'ont pas dit, oh là là, laissez-nous les maths, ne nous prenez pas les choses. Contrairement à ce qu'on dit quelque part. ils ont dit attention, résoudre Les problèmes en maths, ce n'est pas faire des maths. Faire des maths, c'est les résoudre en apportant de nouveaux outils qui nous serviront à progresser. Et la question qu'il pose et qu'il dit, c'est en fait, on fait progresser l'IA très, très vite, mais pour l'instant, on ne sait pas pourquoi. C'est quoi l'objectif ? Qu'est-ce qu'on veut en faire ? Et ça, je trouve ça très intéressant, parce qu'effectivement, on répond très peu à cette question. Et c'est très lié à la question écologique, c'est-à-dire que le coût écologique peut être acceptable si on en fait... quelque chose qui a suffisamment d'intérêt pour l'humanité. Et pour l'instant, on part en avant très très vite et on ne se pose pas cette question de à quoi ça va servir, comment ça va structurer la société. Et pour l'instant, ça se structure très fort et pas forcément de la façon dont on veut. Et pour moi, le danger le plus immédiat, c'est celui-ci. C'est l'impact que ça a aujourd'hui sans qu'on se pose la question de ce qu'on va vraiment faire et où est-ce que ce serait utile.
Speaker #1
Oui, l'enjeu c'est le pourquoi et pas trop le... le comment. Alors, je ne sais pas si on vous aura rassuré à l'écoute de ce podcast, chers auditeurs et auditrices. Le moins qu'on puisse dire, c'est que cette question, elle n'est pas anodine. Elle mérite d'être posée sur la table vraiment et d'être discutée. Pour cela, je vous recommande un roman graphique très original et très facile d'accès à partir de 15-16 ans. C'est le journal de Mev que vous avez co-écrit, Jérôme Béranger, avec Mathieu Perrotin, dans lequel vous nous racontez la jeunesse de la première IA consciente.
Speaker #2
Et puis n'hésitez pas à aller faire un tour sur le site web du Quai des Savoirs, donc quai-des-savoirs.fr, pour consulter vidéos, podcasts, interviews de chercheurs, de philosophes ou d'artistes sur l'intelligence artificielle et même le procès de l'IA.
Speaker #1
Des tours vers le futur, c'est terminé pour aujourd'hui. Un grand merci à nos deux invités, Jérôme Béranger et Mathieu Serrurier.
Speaker #2
Des tours vers le futur, un podcast du Quai des Savoirs, présenté par Laurent Chicoineau et Marina Léonard, préparé avec l'aide de Françoise Vissac et la complicité de Valéria Médina de Lyrique.
Speaker #1
à la réalisation Arnaud Maisonneuve, à la prise de son Laurent Caudoule.
Speaker #2
Rendez-vous le mois prochain pour un nouvel épisode de Détour vers le futur sur les sciences participatives. Un podcast qui sera enregistré en public au Quai des Savoirs pendant le festival Lumière sur le Quai. Toutes les infos pour y participer sont déjà sur notre site web.
Speaker #1
Et en attendant, vous pouvez réécouter ce podcast et tous les autres sur Apple Podcasts, Spotify ou Deezer. Et abonnez-vous pour ne manquer aucun nouveau Détour vers le futur.
Speaker #2
Ciao !

About Détour vers le futur

Détour vers le futur, le podcast sciences du Quai des Savoirs à Toulouse qui explore les recherches d’aujourd’hui pour imaginer le futur proche. Chaque mois, en lien parfois avec l'exposition présentée, nous rencontrons des scientifiques et des spécialistes qui partagent leurs découvertes et leurs enjeux : intelligence artificielle, environnement, climat… Deux temps forts rythment l’émission : un clin d’œil au passé grâce aux archives sonores de l’INA, et une escapade dans un futur possible à travers un récit de science-fiction. Un voyage sonore entre science et prospective… pour mieux comprendre les recherches d’aujourd’hui et enrichir sa culture scientifique.

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

About Détour vers le futur

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Description

Alors, réelle menace ou gros coup marketing ?

Avec :

Mathieu Serrurier

Jérôme Béranger

Un podcast du Quai des Savoirs présenté par Marina Léonard et Laurent Chicoineau | Réalisation Arnaud Maisonneuve | Prise de son Laurent Codoul

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

Speaker #0
Bonjour et merci d'écouter Détour vers le futur, le podcast du Quai des Savoirs. Aujourd'hui, nous discutons de la menace que représenterait l'IA pour la survie de l'humanité.
Speaker #1
Les intelligences artificielles génératives ont fait leur apparition dans nos vies depuis quelques années seulement. On se souvient notamment de l'arrivée de ChatGPT, c'était en 2023. En peu de temps, elles ont révolutionné de nombreux secteurs, comme ceux de l'éducation, la création, la santé, la sécurité, l'emploi, pour n'en citer que quelques-uns. Elles ont imposé de repenser les réglementations, les usages, les projections dans le futur et même les interactions entre humains. Mais depuis peu, c'est une menace bien plus grande qui est apparue dans les médias. Les grandes entreprises comme OpenAI et Anthropik joueraient avec nos vies et l'IA pourrait tous nous tuer d'ici la fin de la décennie. Alors, réelle menace ou gros coup marketing ?
Speaker #0
Pour en discuter et mieux comprendre les enjeux de cette alerte, nous accueillons Mathieu Serrurier, professeur d'informatique à l'Université de Toulouse, chercheur spécialiste en IA. à l'Institut de recherche en informatique de Toulouse. Bonjour Mathieu.
Speaker #2
Bonjour.
Speaker #1
Et avec nous dans ce studio, nous recevons également Jérôme Béranger, expert en éthique du numérique, chercheur associé à l'Inserm et cofondateur de la société Goodalgo, qui accompagne les entreprises comme les services publics à mieux maîtriser leur système d'IA. Bonjour Jérôme.
Speaker #3
Bonjour.
Speaker #0
Alors tout démarre le 9 septembre dernier par une série de messages publiés sur le réseau social X par un certain Jacob Coxon, 27 ans, ingénieur en informatique chez Entropique. L'une des plus puissantes entreprises d'IA américaine, connue pour Cloud, le chatbot conversationnel qu'ils ont développé, comme OpenAI a développé ChatGPT ou Google avec Gemini. Toutes ces entreprises ont la course en tête de l'intelligence artificielle générative, celle avec laquelle nous sommes de plus en plus nombreux et nombreuses à discuter tous les jours, pour tout et n'importe quoi. Mais Marina, revenons à Jacob Coxon qui commence son poste en disant
Speaker #1
J'ai démissionné d'Enthropique aujourd'hui, j'ai passé les trois dernières années à faire de la recherche en pré-entraînement chez OpenAI puis chez Enthropique. Aucune des deux entreprises n'agit de façon responsable. Elles foncent droit vers une super intelligence capable de s'auto-améliorer et joue avec nos vies.
Speaker #0
Dans un message suivant, il prétend même que l'IA pourrait détruire l'humanité d'ici la fin de la décennie aux alentours de 2030. Bon, alors, première question Mathieu Serrerier. De quoi parle-t-il cet ingénieur ? Qu'est-ce que c'est qu'une super intelligence ?
Speaker #2
C'est un terme pas forcément... très scientifique, mais en tout cas qu'on voit arriver depuis qu'il y a ChatGPT. On a parlé de deux termes, c'est l'AGI, c'est l'intelligence au niveau des humains, ou un petit peu au-dessus, qui est capable de faire tout ce qu'un humain fait correctement. Et il y a déjà des bases, savoir si elle le fait ou pas, ça dépend de quel point de vue on prend. Yann Lequin... Prit Turing dit pas du tout parce qu'elle ne peut pas vivre dans la réalité. Il y en a d'autres qui disent oui, mais pour toutes les tâches dans le numérique, elle fait déjà mieux que la plupart des humains. Donc bon, c'est déjà une question. Ça,
Speaker #0
c'est l'intelligence artificielle générative,
Speaker #2
c'est ça ? Générale.
Speaker #0
Générale, d'accord.
Speaker #2
Elles sont toutes génératives. Enfin, elles ne sont pas toutes génératives, mais les modèles de langage, c'est des intelligences artificielles génératives. Et donc l'ASI, alors je ne sais plus ce que ça veut dire exactement le terme, mais en tout cas, c'est Self-Improving. ça veut dire Le moment où on a une intelligence qui sera capable de s'améliorer elle-même, et donc certains pensent qu'à partir de ce moment-là, ça peut être exponentiel, c'est-à-dire qu'elle peut s'améliorer à l'infini, et donc poser des problèmes à l'humanité puisqu'elle dépasserait l'humanité. Donc ça c'est le discours.
Speaker #1
Et ça c'est déjà un peu le cas, ou pas encore aujourd'hui ?
Speaker #2
Alors, elle ne s'améliore pas toute seule, ça c'est sûr. Mais par contre, ce qui est sûr aussi, c'est que les labos d'OpenAI, de Google et de Cloud... principalement travaillent beaucoup sur ce problème.
Speaker #1
Est-ce que cette superintelligence, est-ce que c'est l'IA consciente dont vous nous parlez régulièrement dans vos ouvrages, Jérôme Béranger ? Vous dites souvent que l'IA consciente n'est plus une utopie.
Speaker #3
Oui, en fait, quand Jason Coxon parlait de la problématique des IA qui sont de plus en plus développées et qui peuvent mettre la fin de l'humanité, ce n'est pas, en tout cas, pour lui, une IA consciente. C'est-à-dire que moi, dans le livre, quand j'en parle, c'est plutôt autour des années... peut-être 2040, 2045, je ne sais pas, mais on est encore dans de l'IA faible. Pour lui, c'est vraiment l'IA qui sera en auto-amélioration récursive et qui va être en plus grande autonomie en se développant, s'auto-développant. Mais elle n'est pas consciente, elle n'a pas de discernement, elle n'a pas d'intention. Et par contre, la crainte qu'il a, en tout cas, et qu'il a mis en avant, c'est qu'elle va pouvoir contourner les obstacles imposés pour tendre vers un objectif que l'être humain lui a... demander.
Speaker #1
La fameuse requête, quand on lui demande quelque chose, elle répond.
Speaker #3
Exactement. Et elle, son objectif premier, elle n'en a pas conscience, c'est de dire, il faut que je réalise cet objectif qu'importe les moyens mis en place. Et donc, du coup, c'est là où ces moyens mis en place peuvent être négatifs pour l'humanité. Et donc, ça pose des problèmes de perte de contrôle, forcément, de problèmes d'alignement où on lui intègre des instructions, des valeurs, des règles,
Speaker #1
on va y revenir sur les lignes,
Speaker #3
et donc c'est là où se pose la question et on n'est encore que sur de l'IA générative, faible ou non. un peu plus forte que ce qu'on voyait auparavant, mais elle n'a pas conscience de tout ça, elle n'a pas d'intention, et les interactions qu'elle a avec l'environnement physique, comme disait avec les world models Jan Le Keun, on n'en est encore pas là.
Speaker #0
C'est un peu le paradoxe du fabriqueur de trombones, ce dont vous nous parlez, c'est-à-dire qu'on demande à une IA de fabriquer des trombones, le plus grand nombre de trombones possible, et à un moment donné, elle en arrive à la conclusion que finalement l'humain va s'opposer à ce que le monde se transforme en immense trombone et que même à l'intérieur du corps humain, il y a des atomes de fer qu'on peut utiliser pour faire des trombones. Donc en fait, l'IA, Mathieu Serrier, aujourd'hui, l'IA, elle est faite pour répondre toujours. C'est-à-dire qu'elle est incapable de dire « je ne sais pas » .
Speaker #2
C'est pas évident de savoir. Des fois, il y en a qui disent « je ne sais pas » .
Speaker #0
Et qui peuvent s'arrêter.
Speaker #2
Et qui peuvent s'arrêter. Elle n'est juste pas consciente. La question est difficile. C'est-à-dire qu'elle peut répondre « je ne sais pas » . Mais pour elle, elle répond à la question exactement de la même façon que si elle répondait à ce qu'on attend. Donc en fait, quand elle répond « je ne sais pas » , ce n'est pas un processus cognitif pour considérer sa propre connaissance. C'est juste la réponse qu'elle génère. Donc il peut y avoir des « je ne sais pas » , mais ce n'est pas exactement...
Speaker #1
Ce n'est pas une intention de...
Speaker #0
Oui,
Speaker #2
ce n'est pas une réflexion sur sa propre connaissance, c'est ça que vous dites. Oui. Oui, c'est ça ce que je dis. Mais en fait, c'est parce que ce n'est pas simple de répondre à cette question précisément, parce que les choses évoluent vite.
Speaker #1
Jérôme ?
Speaker #3
Oui, pour compléter la réponse, on voit que depuis six mois, en tout cas, les dernières versions des IA génératives peuvent dire, quand on leur pose une problématique, selon un document qui n'est pas complètement complet, ils disent « je ne peux pas répondre totalement ou pleinement à ta question parce qu'il me manque des éléments » . pour y répondre de manière très perfectionnée. Et donc ça, il y a plus de six mois, ils voulaient toujours nous satisfaire et ils y extrapolaient. Et c'est là où on allait, des hallucinations, ils faisaient des tendances. Et là, je trouve que depuis six mois, ils suggèrent en disant, comme un assistant virtuel de plus en plus humain, entre guillemets, en disant, je ne peux pas répondre totalement. Si tu me donnes ces éléments-là, je pourrais. Et donc le je ne sais pas, se convertit à plus nuancé, je trouve.
Speaker #1
C'est plus je bouche le trou, c'est effectivement il manque une donnée.
Speaker #3
Voilà.
Speaker #2
Mais ce que je voulais dire, c'est que c'est le même processus qu'avant. Ils l'ont juste mieux aligné. C'est là qu'on parle d'alignement, justement. Ils l'ont mieux entraîné, mieux aligné pour répondre correctement à la question. Mais c'est le même processus. Il n'y a pas de changement dans la façon de répondre. Elle n'a toujours pas d'attention.
Speaker #0
Alors, qu'est-ce qui s'est passé ? Dans cette entreprise américaine dont on entend parler aussi en lien avec ses déclarations sur la fin de l'humanité, chez Hugging Face, je crois, c'est une start-up américaine dans le domaine de l'IA, il y aurait une IA qui aurait échappé, c'est-à-dire que c'est une des références dont on entend parler un petit peu partout, il y a une IA qui aurait échappé au contrôle des humains, si je le résume avec mes mots, et qui serait allée chercher dans des bibliothèques d'IA de l'aide pour... pour contourner finalement l'interdiction qu'on avait faite d'aller sur Internet. Alors peut-être que ce n'est pas tout à fait juste ce que je dis, mais en gros, voilà ce qu'on comprend. Et donc, est-ce que c'est possible ? Est-ce que c'est vrai ?
Speaker #2
Vrai, ça, on ne le saura pas probablement. Mais en fait, ce qui se passe, c'est que quand les IA, en ce moment, elles échappent à leurs limites, elles sont souvent dans des environnements de test où on leur demande d'essayer d'échapper à leurs limites. Donc en fait... C'est un cas un petit peu particulier, c'est-à-dire que pour les mettre au public, ils veulent s'assurer qu'elles ne vont pas pouvoir, par exemple, faire de cyberattaques. Donc comment ils font ? Ils les mettent dans un environnement fermé et ils leur demandent de faire des cyberattaques ou ils leur demandent d'essayer de sortir. Et donc en fait, quand ça rate comme ça, ils le présentent, c'est là qu'on parle de marketing, ils le présentent quand l'IA nous a échappés. Mais en fait, l'IA leur a échappé, c'est de leur faute à eux. C'est-à-dire qu'ils n'ont pas suffisamment isolé les choses. Donc ça montre effectivement qu'elle est capable de les dépasser dans la façon de concevoir la sécurité. Donc c'est quand même inquiétant. Mais c'est une façon pour eux de dire, regardez, elle est tellement puissante qu'elle nous a échappé. Alors qu'une autre façon de le dire, c'est, regardez, on n'a pas été assez compétent pour la maîtriser correctement. Donc voilà, il y a deux façons de présenter les choses. Mais en tout cas, la chose importante, et c'est la même chose pour la cyberattaque de GinkFace, c'est qu'on est dans une situation où on demande à l'IA de faire des attaques. Et on essaye de l'en empêcher. Et donc ça échappe. C'est pas l'IA qui décide tout seul d'aller attaquer Gainface. Et ça c'est quand même quelque chose d'assez important et qu'on ne dit pas beaucoup.
Speaker #1
C'est une nuance importante.
Speaker #0
Oui c'est ça. Mais est-ce qu'on n'est pas en train de jouer un peu à l'apprenti sorcier ? Quand on essaye de rendre quelque chose malveillant pour mieux le contourner ? Il n'y a pas d'autre manière de faire ça ? On ne peut pas, par exemple, simuler autrement ?
Speaker #3
Quand on est dans un environnement de test, on simule. La seule problématique là-dessus que je vois, c'est qu'ils n'ont pas réussi à sécuriser l'environnement. Et c'est là, en fait, où il y a les limites dans la simulation. C'est de se dire, OK, on essaye de se mettre à la place de l'IA, on lui demande une action bien précise. Quels sont tous les moyens qu'elle risque de mettre en place pour essayer de répondre à la requête ? Et donc du coup... Un des grands enjeux de ces expérimentations, c'est de penser à toutes les éventualités et qui peuvent avoir des risques potentiellement importants pour l'humain ou pour une entreprise, comment va faire l'IA pour réussir à trouver la solution. Et ça vient vraiment sur une projection de toutes les quatre possibilités qu'on peut imaginer. Et l'IA, elle s'alimente de toutes les mœurs, les comportements, les réflexions. les pensées, les idées humaines. Et donc du coup, elle a une bibliothèque d'Alexandrie dans la tête.
Speaker #1
Elle a des ressources inépuisables là-dessus.
Speaker #3
Illimitées.
Speaker #0
Oui, c'est ça. Est-ce qu'on peut dire qu'on est en train de perdre le contrôle de l'explicabilité de l'IA ou de la prévisibilité ? Puisque ça fait partie des... Enfin, j'en parle au passé, mais est-ce que ça fait toujours partie des grands domaines de recherche scientifique sur l'IA ? C'est-à-dire le fait de pouvoir expliquer comment elle arrive à des résultats et aussi de pouvoir peut-être prévoir. ce qu'elle va donner comme résultat.
Speaker #2
Ça, ça fait longtemps qu'on l'a perdu, puisqu'on ne l'a jamais vraiment eu. En tout cas, avec ce type de modèle d'IA, avec les réseaux de neurones, c'est une question qui se pose depuis le début, l'explicabilité, parce que c'est des modèles mathématiques très compliqués. Donc, on sait évidemment comment ils marchent mathématiquement, mais on ne sait pas expliquer aux humains comment ils prennent les décisions. Et donc, comme ces modèles de langage sont la même chose, mais en vraiment énorme, On n'a jamais su faire ça. On a des tentatives de recherche pour le faire, mais on n'a jamais pu faire ça. Et la prévisibilité, si on savait prévoir ce qu'ils allaient dire, finalement, on saurait un petit peu les expliquer. Là, c'est sûr, on ne l'a jamais eu non plus. Donc la prévisibilité, on ne l'a pas. Sinon, on ne pourrait pas tester.
Speaker #4
Dans cette ville, dans l'ombre propice de la nuit, quelqu'un est à la recherche de Sarah Connor. Qu'est-ce que tu fais ?
Speaker #5
Tu es fou, j'ai peur, j'ai besoin de toi. Il y a un homme qui n'arrête pas de me suivre.
Speaker #4
Personne ne pourra la sauver. Sauf... Je vais vous sauver. Ma mission est de vous protéger. Vous êtes programmé pour extermination.
Speaker #5
Je deviens folle. Tu l'as tué, comment peut-il se relever ?
Speaker #4
Ce n'est pas un homme, c'est une machine.
Speaker #5
Des êtres comme ça, ça n'existe pas.
Speaker #4
C'est vrai. Pas avant 40 ans.
Speaker #5
Tu veux dire que tu vis du futur ?
Speaker #4
Ils sont là pour se battre. Arnold Schwarzenegger et le Terminator.
Speaker #1
Bon évidemment quand on parle de machines qui veulent nous tuer, on pense tout de suite à Terminator, ce robot humanoïde venant du futur qui est la référence ultime depuis le film de James Cameron, c'était en 1984. Donc Mathieu Sirurier... Est-ce que c'est avec une armée de Terminator que l'IA va nous éliminer ? Comment l'IA pourrait-elle s'y prendre pour éradiquer l'humanité ? Ne lui soufflez pas la réponse, manifestement.
Speaker #2
Question très difficile. Pour la robotique, on n'en est tout simplement pas là en termes de robotique, même si c'est pareil. Les progrès, on parle beaucoup d'IA génératif parce que c'est ce qu'on manipule au quotidien, mais les progrès en termes de robotique sont aussi énormes. Mais pour l'instant, je dirais que ce n'est pas séparé. ce que les gens... Mais... On n'a pas vraiment de robots complètement autonomes qui font des actions, c'est-à-dire qui savent très bien faire des actions sur lesquelles ils ont été entraînés. Par contre, faire inventer des actions, réagir à l'environnement, c'est encore quelque chose de très très difficile aujourd'hui en robotique. Donc pour l'instant, on n'en est pas là. Les scénarios qu'ils montrent, c'est plutôt des scénarios de prise de cybersécurité, c'est-à-dire là, il y a Anthropique qui a parlé d'un scénario, mais une fois de plus, il faut le mettre entre guillemets, puisque... c'est aussi du marketing d'un scénario où des agents prendraient le contrôle d'internet donc c'est plutôt des choses comme ça mais aujourd'hui avoir une action directe des IA dans le monde réel en tout cas sur des drones militaires ça pourrait ça ? sur des drones ça pourrait oui mais en fait à chaque fois ces choses là ça vient peut-être juste de nous qui mettons aussi de l'IA au mauvais endroit c'est à dire que Est-ce qu'on a intérêt à mettre de l'IA dans les drones militaires ? C'est peut-être une mauvaise idée au départ, et si on le fait, oui, on prend le risque. C'est ce qui est arrivé, il y a eu une alerte il y a deux jours sur le renseignement militaire. Je ne peux plus dire précisément, mais il y a eu une alerte qui a été donnée. Finalement, c'était une nation d'une IA. On s'est dit, c'est peut-être juste pas une bonne idée de mettre de l'IA à cet endroit-là, s'il y a des risques, ça s'est élevé. Donc évidemment, si à un moment on se met à l'utiliser... dans des conditions très dangereuses pour l'humanité, il y a un risque que ça nous retombe dessus.
Speaker #1
Jérôme ?
Speaker #3
Moi, personnellement, je n'ai pas encore peur de l'IA parce que je la considère encore comme un objet et pas comme un sujet. C'est-à-dire que le jour où j'en aurais vraiment peur de manière intrinsèque, c'est le jour où elle a plus ou moins une conscience artificielle, plus ou moins complexe par rapport à l'être humain. Donc ça reste un objet, un objet très puissant. Et par contre, c'est vrai que l'IA actuellement... On ne peut pas la comparer avec les robots humanoïdes Terminator, parce qu'on fait énormément de progrès, notamment en Asie, en Chine et au Japon, qui ont leur économie qui est le numéro un mondial au niveau justement de la robotique. Mais rien que l'IA, même dématérialisée, il faut savoir qu'on peut faire des cyberattaques de manière à grande échelle, ce qui arrive dans plein d'événements. Les JO, etc., les pays autres, souvent, ont des multitudes d'attaques avant, pendant et après. Et donc, on le sait, ça. Donc, ça rend sensible la vulnérable aussi des pays. Et puis, il y a aussi, on peut imaginer que ça peut avoir une manipulation de l'IA sur les infrastructures physiques, que ça soit dans les hôpitaux pour l'oxygène, pour le gaz, l'électricité, même les feux signalétiques, ça peut foutre un bordel dans la circulation. Merci. Ça peut être des dommages collatéraux, avoir des impacts.
Speaker #0
Mais quand même, de là à dire que ça va être la fin de l'humanité, c'est quand même un message fort. Flinguer les feux rouges dans toutes les grandes métropoles pendant quelques jours, ça ne va pas conduire à la fin de l'espèce humaine.
Speaker #3
Alors ?
Speaker #0
Comment ? Pourquoi il nous raconte ça, cet ingénieur ? Sachant que, je dis aussi que son patron, chez Anthropique, qui lui n'a pas démissionné, a dit, oui, il a raison, il y a à peu près 10% de chance pour que ça arrive. Donc, tout le monde surjoue un peu cette menace, mais on n'arrive pas à comprendre concrètement comment elle pourrait arriver, puisque c'est encore une fois dans des machines. Si, par exemple, on éteint toutes les machines, est-ce que c'est bon ? Est-ce qu'on peut débrancher l'IA ?
Speaker #3
Alors, moi je rejoins l'approche de... de Mathieu qui disait qu'il y a un grand effet marketing et de buzz là-dessus. C'est que s'il avait une annonce qui était beaucoup plus nuancée et qui disait juste ça peut foutre le bordel dans une ville par rapport au flux signalétique pour les gaz, etc., l'électricité et autres problèmes, ça ne passerait même pas aux 20 heures ou autre chose. On n'en parlerait pas. Donc ça, il y a toujours un effet de communication qui est important. Par contre, on prend le rapport avec les drones. Techniquement parlant, on peut imaginer qu'une IA plus ou moins forte puisse prendre le contrôle des systèmes de commandement, des guidages, etc. Et donc des drones potentiellement peuvent être contrôlés à distance par de l'IA. Mais tout ça, ce n'est pas l'intention de l'IA elle-même qui va se dire naturellement, je vais faire ça. Donc derrière ça, il y a beaucoup de géopolitique, il y a beaucoup de communication. Et c'est aussi, on en parlera sûrement, qu'est-ce qu'il y a derrière tout ça ?
Speaker #1
Des questions très basiques, mais ils sont où ces trucs, ces larges CLLM ? Ils sont dans un data center, on peut les débrancher, ils sont interconnectés entre eux. Comment ça marche ? C'est quoi la structure de ce bousin, pour utiliser le terme consacré ?
Speaker #2
C'est comme d'habitude, comme c'est beaucoup dans les entreprises privées, on ne sait pas exactement où les mettre. Par contre, il y a quand même quelque chose qui est sûr, c'est que... Les modèles qui sont très très bons, ceux auxquels il y a des craintes, c'est des modèles qui sont très très gros. Ils demandent des infrastructures très importantes de calcul. Et donc, une des craintes qu'il y a annoncées, c'est qu'on essaye de l'éteindre, mais il va se dupliquer ailleurs, ou quelque chose comme ça. Ça, par exemple, moi, ça ne me paraît pas possible, dans le sens où, effectivement, les endroits où ça peut marcher... Ils ne sont pas non plus illimités, ça ne peut pas aller se copier sur nos ordinateurs personnels pour marcher tout seul.
Speaker #0
Vous parlez de très gros data centers, c'est ça quand vous dites qu'il faut des grosses infrastructures ? C'est une usine entière d'ordinateurs ?
Speaker #2
C'est plutôt, pas forcément une usine, mais des ordinateurs particuliers capables de faire tourner des modèles aussi gros. Ce ne sont pas du tout des ordinateurs qu'on a à la maison, même dans des data centers pratiques. Ce sont des infrastructures dédiées exprès. Donc effectivement, si on éteint cette infrastructure, a priori, les choses s'arrêtent. La question c'est, est-ce que c'est possible de le faire ? Est-ce qu'il y a des choses qui sont mises en place rapidement avec une décision politique ? C'est ça la question. Et ça par contre, elle n'y est pas.
Speaker #3
Oui, pour rebondir là-dessus, à l'heure actuelle, je pense également qu'on peut débrancher de manière en silo des data centers, etc. où ça va impacter 90% de l'IA spécifique, etc. Le déploiement dans d'autres infrastructures physiques, il est encore limité. Donc j'ai envie de dire La nature de l'IA actuelle permettrait qu'on puisse le débrancher. À moyen terme, une IA plus autonome, plus forte, et qui sera en auto-amélioration, récursive, etc., peut-être qu'elle trouvera des moyens, des infrastructures, pour passer à chaque fois sur un autre site. Et je pense que la complexité et la performance fera que ce sera de plus en plus compliqué quand même. Donc c'est un risque quand même à prendre en compte,
Speaker #2
pas dans l'immédiat, mais à moyen terme, je pense qu'il faut réfléchir à ces scénarios-là, oui.
Speaker #1
C'est des points de vigilance,
Speaker #2
oui.
Speaker #1
Mathieu, vous voulez rajouter quelque chose ?
Speaker #2
Oui, je pense que c'est un point très important, c'est qu'en fait... On n'est pas capable de répondre précisément à cette question. Et du fait qu'on ne soit pas capable de répondre à cette question, ça prouve quand même qu'il y a une question. Peut-être pas de Terminator demain, mais en tout cas, il y a une question. Et s'il y a une question, ça veut dire qu'il faut une régulation. Et c'est ça qui est important. Et ce n'est pas du tout la régulation que demandent les entreprises qui parlent de ça. Ce qu'ils demandent, c'est ralentir. Ce n'est pas très clair ce que ça veut dire, de ralentir. A priori, ce serait plutôt une façon d'essayer d'éviter une régulation en disant « Vous inquiétez pas, on va s'auto-réguler, donc ne régulez pas » . Mais pour moi, par contre, le fait même qu'on se pose cette question aujourd'hui autour de la table et qu'on n'ait pas de réponse vraiment tranchée à donner, ça veut dire qu'il faut une régulation, qu'il faut une régulation forte, qu'il faut des gens dans les data centers d'OpenAI pour vérifier des auditeurs exactement comme on ferait pour des centrales nucléaires, par exemple. Donc, par contre, je pense qu'on est dans une situation comme ça et qu'il faut... absolument de régulation et une réponse politique à ces questions-là.
Speaker #1
Il y a la question de la réglementation, de la politique et de la superstructure au-dessus, mais il y a déjà des choses qui sont faites. Tout à l'heure, vous parliez d'alignement. C'est des choses qui sont... Vous, vous le faites au niveau de la recherche type IRIT un peu, ou c'est des choses sur lesquelles vous vous questionnez. C'est quoi l'alignement ? Et est-ce que des structures comme OpenAI, etc., le font ?
Speaker #2
Ils le font systématiquement. L'alignement, je pense... Maintenant, beaucoup de gens ont entendu parler de ça, donc les IA prédisent le mot suivant. Ça, c'est ce qu'on appelle le pré-entraînement. C'est-à-dire qu'on prend plein de données, on prédit le mot suivant. Et ça, c'est le début de chaque GPT, ça marche pas mal, mais c'est pas suffisamment bien. Donc l'alignement, c'est essayer que l'IA se comporte tel qu'on l'attend. Et donc, par exemple, ça va être dire quand il n'y a pas assez d'informations dans le document, il n'y a pas assez d'informations dans le document. Vérifier quand elle dit je vais faire cette tâche. qu'elle fait vraiment cette tâche. Je ne sais pas si vous vous rappelez au début, ça arrivait très souvent qu'elle disait « Ok, je le fais. » Et puis elle ne le faisait pas. Et donc du coup, c'est avoir ces garanties-là. Donc ça, c'est une forme d'alignement. Il y a d'autres formes d'alignement qui vont être garantir que il ne va pas dire des choses racistes ou des choses sexistes, etc. Donc là, c'est des alignements plutôt éthiques. Et il y a des alignements de cybersécurité, c'est-à-dire garantir qu'on ne va pas pouvoir l'utiliser. Enfin, je dis garantir, en fait, on ne garantit pas. Donc, ils font toutes ces choses-là.
Speaker #0
Parce que c'est dans leur intérêt. S'ils ne le font pas, ils risquent d'avoir...
Speaker #1
On se souvient de Tei, de Microsoft à l'époque. Qui avait fait un vrai bad buzz lui.
Speaker #0
Donc ils le font tous parce que nous on ne peut pas le faire pour eux. Mais par contre, tous ces alignements là, c'est des méthodes, c'est aussi des méthodes basées sur les données et sur l'entraînement et donc c'est des méthodes qui n'ont pas de garantie. C'est ce qu'on voit aujourd'hui.
Speaker #1
Oui c'est ça, on peut dire que c'est des méthodes de contrôle mais qui sont des contrôles a priori mais pas a posteriori, c'est-à-dire que ça ne garantit pas le résultat.
Speaker #0
C'est ça et surtout c'est des méthodes de contrôle qui pour l'instant sont auto-imposées, ils se l'auto-imposent, elles ne viennent pas d'une loi un petit peu avec les actes. Oui, en Europe. En Europe et puis même comme ça on n'est pas exactement dans... dans ce qu'il faudra.
Speaker #2
Jérôme ?
Speaker #3
Non mais on touche quelque chose qui est pour moi fondamental au terme de tout ce qui est les alignements c'est que c'est, comme l'a très bien dit Mathieu, c'est des alignements qui sont imposés en interne par l'entreprise qui conçoit l'IA.
Speaker #2
Qui fait ses règles.
Speaker #3
Exactement. Et c'est pour ça qu'ils ne veulent pas forcément des réglementations internationales qu'on va leur imposer des règles mondiales ou autres. C'est que là... On touche, et c'est pour ça que chaque continent ou chaque grand pays veulent leur IA générative plus ou moins très forte, pour imposer aussi une guerre de la culture, de la culture du pays en fonction. Les aliments, donc les valeurs qu'on leur impose, les garde-fous finalement, d'un pays à l'autre, peuvent être différentes. Vous allez sur la côte ouest, ils ont encore une inspiration très marquée wokiste, qui n'ont pas forcément en Europe ou autre, ou moins en tout cas. Et vous allez en Asie, c'est encore différent. Et donc, il y a une vraie guerre, au-delà de l'anthropologique, tout ce que vous voulez existentiel, il y a une vraie guerre culturelle, qui sont associées à la géopolitique et aux marchés financiers qui sont associés. Donc, on voit bien, c'est un jeu de domino, de poupée russe qui s'enclenche pour arriver à des choses. Donc, derrière tout ça, et c'est là, cette régulation, finalement, qu'ils veulent imposer, c'est des régulations qui restent assez opaques. Alors que si on touche à une réglementation, une régulation internationale, par nature, elle sera transparente, elle sera légitimée. Le problème dans tout ça, c'est que je ne vois pas un organisme international pouvoir porter là-dessus toute la réglementation internationale et fédérer tous les pays. On le voit bien rien qu'avec l'environnement, comment ça se passe. Là-dessus, je suis assez pessimiste. Je ne crois pas, sans faire offense à l'ONU, mais qu'il y ait une instance internationale qui commence à faire son temps. Je pense que soit elle ne fait pas neuve et elle serait nouvelle, mais il y a des vraies problématiques là-dessus. Et encore une fois, pour terminer, les enjeux financiers et géopolitiques sont démentiels.
Speaker #1
On a l'impression d'un parallèle un petit peu aussi avec le nucléaire et avec l'arme atomique. C'est-à-dire qu'on a été capable à un moment donné de faire... Demoratoire de stopper le développement des armes nucléaires, de faire Ausha, l'Agence internationale de contrôle du nucléaire, qui a échoué quand même, qui disons restait un petit peu aux portes de l'Iran notamment, par rapport au contrôle des armes nucléaires. Le parallèle IA-nucléaire, il fait froid dans le dos quand même. Est-ce qu'on peut parler aussi du coup du marketing de la peur ? C'est-à-dire que le fait de faire peur aux gens, de faire peur au pays, de faire peur au public. C'est une manière pour ces entreprises d'asseoir leur domination et de maintenir leur position dominante dans le marché international.
Speaker #3
Alors moi là-dessus, je suis un peu plus optimiste on va dire. C'est peut-être paradoxal parce que je considère qu'il y a des moratoires et des compromis internationaux, notamment pour le nucléaire, qui sont et qui fonctionnent. La problématique là-dessus... C'est qu'il faudrait qu'il y ait deux grandes ou trois grandes puissances qui ont des IA aussi fortes et qui se disent, ils vont se neutraliser en disant, ok, t'as cette arme, moi aussi je l'ai, et donc faire des moratoires sur des armes autonomes, c'est déjà fait. Après, la problématique là-dessus et la comparaison avec le nucléaire, c'est que, et on le voit même par rapport à l'Iran ou l'Irak à l'époque, c'est de vérifier que tel pays n'a pas franchi la ligne rouge ou jaune. Physiquement, avec le nucléaire ou d'autres choses, c'était plus facile. C'était physique. Là, savoir si dans les laboratoires privés de telle ou telle armée, on fait déjà des tests avec des IA encore plus fortes associées à de l'arme, etc. C'est plus opaque et ça va être plus compliqué de vérifier, de mandater une entreprise ou plutôt... des instances de vérification d'experts pour voir où ils en sont, ça va être plus compliqué.
Speaker #0
C'est très drôle parce qu'on parle de science-fiction et de Terminator, dans nos romans anciens, il y a une politique, donc c'est marrant, c'est des grosses corporations, et il y a une loi qui interdit les IA de dépasser un certain niveau, et il y a ce qu'on appelle la police de Turing dedans, donc c'est assez drôle, c'était déjà un peu à imaginer au début des années 80.
Speaker #2
C'était anticipé un petit peu.
Speaker #0
C'est ça. Pour le marketing de la peur, je pense qu'il y a une chose très simple, c'est un moyen de dire, regardez, nos IA sont tellement puissantes, Quand elles disent qu'elles nous essaient, c'est regarder, elles sont tellement puissantes, elles marchent tellement bien qu'elles nous essaient. Donc c'est un marketing aussi comme ça. Il faut savoir que c'est les deux grosses entreprises qui font le plus ça, c'est-à-dire Open AI et Anthropique, vont rentrer en bourse dans quelques mois. Là, ça a été un peu repoussé. Donc il y a un enjeu quand même là-dessus. Et ils savent que la régulation va arriver à un moment. Donc là, pour l'instant, ce qu'ils font, c'est qu'ils vont le plus vite possible pour essayer de mettre en place un maximum de choses. elle va être celui qui... décidera ou à qui il faudra discuter au moment de réguler.
Speaker #1
En plaidant pour un ralentissement, ils veulent ralentir leurs concurrents surtout, puisque eux, ils sont en tête.
Speaker #0
Oui, mais je pense qu'ils ne veulent même pas ralentir les concurrents. Je pense que c'est vraiment juste montrer de la bonne volonté pour ne pas qu'on les régule. Parce qu'en disant ça, ils sont tous les... Entropiq et OpenAI, ils sont à fond pour sortir des nouveaux modèles. Donc, ils ne sont pas du tout en train de ralentir. Donc, c'est juste de la com' pure et dure.
Speaker #3
Non, puis aussi, c'est aussi une façon de... de se confronter en intermittence avec l'open source des IA chinoises. Et là, c'est ça qui leur fait aussi peur, parce qu'ils se disent que l'open source, ça donnait accès à tout le monde, justement, de la technologie, pour qu'ils puissent auto-évoluer, se développer et rattraper le temps perdu. C'est là aussi qu'il y a la montée en bourse, ça je te rejoins tout à fait, mais il y a aussi essayer de freiner un moment en disant, nous, on a conscience, elle est très très forte. Elle nous échappe, mais on va mettre encore plus d'argent, encore plus d'expérimentation pour avoir les garde-fous. Et donc, il y a un double jeu finalement, ou un triple bande, je ne sais pas, là-dessus, qu'il ne faut pas dénier.
Speaker #2
Oui, et puis c'est vrai que pendant qu'on parle de toutes ces questions-là, on oublie toutes les questions écologiques aussi qu'on évoquait tout à l'heure. Je ne sais plus si c'était Mathieu qui en parlait, sur les consommations nécessaires, sur tous ces enjeux énergétiques qui sont derrière, sur la question aussi... des problématiques cognitives que ça pose, etc. Donc c'est vrai qu'on détourne aussi un peu l'attention sur un certain nombre de sujets.
Speaker #0
Je pense qu'il y a eu une réaction il y a quelques jours, vous avez sûrement entendu le théorème de maths qui a été prouvé. Je trouve qu'il y a eu une réaction très intéressante des mathématiciens. Il y a eu 25 médailles-fils qui ont signé un papier. Et je trouve que c'était très bien écrit. Ils n'ont pas dit, oh là là, laissez-nous les maths, ne nous prenez pas les choses. Contrairement à ce qu'on dit quelque part. ils ont dit attention, résoudre Les problèmes en maths, ce n'est pas faire des maths. Faire des maths, c'est les résoudre en apportant de nouveaux outils qui nous serviront à progresser. Et la question qu'il pose et qu'il dit, c'est en fait, on fait progresser l'IA très, très vite, mais pour l'instant, on ne sait pas pourquoi. C'est quoi l'objectif ? Qu'est-ce qu'on veut en faire ? Et ça, je trouve ça très intéressant, parce qu'effectivement, on répond très peu à cette question. Et c'est très lié à la question écologique, c'est-à-dire que le coût écologique peut être acceptable si on en fait... quelque chose qui a suffisamment d'intérêt pour l'humanité. Et pour l'instant, on part en avant très très vite et on ne se pose pas cette question de à quoi ça va servir, comment ça va structurer la société. Et pour l'instant, ça se structure très fort et pas forcément de la façon dont on veut. Et pour moi, le danger le plus immédiat, c'est celui-ci. C'est l'impact que ça a aujourd'hui sans qu'on se pose la question de ce qu'on va vraiment faire et où est-ce que ce serait utile.
Speaker #1
Oui, l'enjeu c'est le pourquoi et pas trop le... le comment. Alors, je ne sais pas si on vous aura rassuré à l'écoute de ce podcast, chers auditeurs et auditrices. Le moins qu'on puisse dire, c'est que cette question, elle n'est pas anodine. Elle mérite d'être posée sur la table vraiment et d'être discutée. Pour cela, je vous recommande un roman graphique très original et très facile d'accès à partir de 15-16 ans. C'est le journal de Mev que vous avez co-écrit, Jérôme Béranger, avec Mathieu Perrotin, dans lequel vous nous racontez la jeunesse de la première IA consciente.
Speaker #2
Et puis n'hésitez pas à aller faire un tour sur le site web du Quai des Savoirs, donc quai-des-savoirs.fr, pour consulter vidéos, podcasts, interviews de chercheurs, de philosophes ou d'artistes sur l'intelligence artificielle et même le procès de l'IA.
Speaker #1
Des tours vers le futur, c'est terminé pour aujourd'hui. Un grand merci à nos deux invités, Jérôme Béranger et Mathieu Serrurier.
Speaker #2
Des tours vers le futur, un podcast du Quai des Savoirs, présenté par Laurent Chicoineau et Marina Léonard, préparé avec l'aide de Françoise Vissac et la complicité de Valéria Médina de Lyrique.
Speaker #1
à la réalisation Arnaud Maisonneuve, à la prise de son Laurent Caudoule.
Speaker #2
Rendez-vous le mois prochain pour un nouvel épisode de Détour vers le futur sur les sciences participatives. Un podcast qui sera enregistré en public au Quai des Savoirs pendant le festival Lumière sur le Quai. Toutes les infos pour y participer sont déjà sur notre site web.
Speaker #1
Et en attendant, vous pouvez réécouter ce podcast et tous les autres sur Apple Podcasts, Spotify ou Deezer. Et abonnez-vous pour ne manquer aucun nouveau Détour vers le futur.
Speaker #2
Ciao !

About Détour vers le futur

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

About Détour vers le futur

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Embed

You may also like

Description

Alors, réelle menace ou gros coup marketing ?

Avec :

Mathieu Serrurier

Jérôme Béranger

Un podcast du Quai des Savoirs présenté par Marina Léonard et Laurent Chicoineau | Réalisation Arnaud Maisonneuve | Prise de son Laurent Codoul

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

Speaker #0
Bonjour et merci d'écouter Détour vers le futur, le podcast du Quai des Savoirs. Aujourd'hui, nous discutons de la menace que représenterait l'IA pour la survie de l'humanité.
Speaker #1
Les intelligences artificielles génératives ont fait leur apparition dans nos vies depuis quelques années seulement. On se souvient notamment de l'arrivée de ChatGPT, c'était en 2023. En peu de temps, elles ont révolutionné de nombreux secteurs, comme ceux de l'éducation, la création, la santé, la sécurité, l'emploi, pour n'en citer que quelques-uns. Elles ont imposé de repenser les réglementations, les usages, les projections dans le futur et même les interactions entre humains. Mais depuis peu, c'est une menace bien plus grande qui est apparue dans les médias. Les grandes entreprises comme OpenAI et Anthropik joueraient avec nos vies et l'IA pourrait tous nous tuer d'ici la fin de la décennie. Alors, réelle menace ou gros coup marketing ?
Speaker #0
Pour en discuter et mieux comprendre les enjeux de cette alerte, nous accueillons Mathieu Serrurier, professeur d'informatique à l'Université de Toulouse, chercheur spécialiste en IA. à l'Institut de recherche en informatique de Toulouse. Bonjour Mathieu.
Speaker #2
Bonjour.
Speaker #1
Et avec nous dans ce studio, nous recevons également Jérôme Béranger, expert en éthique du numérique, chercheur associé à l'Inserm et cofondateur de la société Goodalgo, qui accompagne les entreprises comme les services publics à mieux maîtriser leur système d'IA. Bonjour Jérôme.
Speaker #3
Bonjour.
Speaker #0
Alors tout démarre le 9 septembre dernier par une série de messages publiés sur le réseau social X par un certain Jacob Coxon, 27 ans, ingénieur en informatique chez Entropique. L'une des plus puissantes entreprises d'IA américaine, connue pour Cloud, le chatbot conversationnel qu'ils ont développé, comme OpenAI a développé ChatGPT ou Google avec Gemini. Toutes ces entreprises ont la course en tête de l'intelligence artificielle générative, celle avec laquelle nous sommes de plus en plus nombreux et nombreuses à discuter tous les jours, pour tout et n'importe quoi. Mais Marina, revenons à Jacob Coxon qui commence son poste en disant
Speaker #1
J'ai démissionné d'Enthropique aujourd'hui, j'ai passé les trois dernières années à faire de la recherche en pré-entraînement chez OpenAI puis chez Enthropique. Aucune des deux entreprises n'agit de façon responsable. Elles foncent droit vers une super intelligence capable de s'auto-améliorer et joue avec nos vies.
Speaker #0
Dans un message suivant, il prétend même que l'IA pourrait détruire l'humanité d'ici la fin de la décennie aux alentours de 2030. Bon, alors, première question Mathieu Serrerier. De quoi parle-t-il cet ingénieur ? Qu'est-ce que c'est qu'une super intelligence ?
Speaker #2
C'est un terme pas forcément... très scientifique, mais en tout cas qu'on voit arriver depuis qu'il y a ChatGPT. On a parlé de deux termes, c'est l'AGI, c'est l'intelligence au niveau des humains, ou un petit peu au-dessus, qui est capable de faire tout ce qu'un humain fait correctement. Et il y a déjà des bases, savoir si elle le fait ou pas, ça dépend de quel point de vue on prend. Yann Lequin... Prit Turing dit pas du tout parce qu'elle ne peut pas vivre dans la réalité. Il y en a d'autres qui disent oui, mais pour toutes les tâches dans le numérique, elle fait déjà mieux que la plupart des humains. Donc bon, c'est déjà une question. Ça,
Speaker #0
c'est l'intelligence artificielle générative,
Speaker #2
c'est ça ? Générale.
Speaker #0
Générale, d'accord.
Speaker #2
Elles sont toutes génératives. Enfin, elles ne sont pas toutes génératives, mais les modèles de langage, c'est des intelligences artificielles génératives. Et donc l'ASI, alors je ne sais plus ce que ça veut dire exactement le terme, mais en tout cas, c'est Self-Improving. ça veut dire Le moment où on a une intelligence qui sera capable de s'améliorer elle-même, et donc certains pensent qu'à partir de ce moment-là, ça peut être exponentiel, c'est-à-dire qu'elle peut s'améliorer à l'infini, et donc poser des problèmes à l'humanité puisqu'elle dépasserait l'humanité. Donc ça c'est le discours.
Speaker #1
Et ça c'est déjà un peu le cas, ou pas encore aujourd'hui ?
Speaker #2
Alors, elle ne s'améliore pas toute seule, ça c'est sûr. Mais par contre, ce qui est sûr aussi, c'est que les labos d'OpenAI, de Google et de Cloud... principalement travaillent beaucoup sur ce problème.
Speaker #1
Est-ce que cette superintelligence, est-ce que c'est l'IA consciente dont vous nous parlez régulièrement dans vos ouvrages, Jérôme Béranger ? Vous dites souvent que l'IA consciente n'est plus une utopie.
Speaker #3
Oui, en fait, quand Jason Coxon parlait de la problématique des IA qui sont de plus en plus développées et qui peuvent mettre la fin de l'humanité, ce n'est pas, en tout cas, pour lui, une IA consciente. C'est-à-dire que moi, dans le livre, quand j'en parle, c'est plutôt autour des années... peut-être 2040, 2045, je ne sais pas, mais on est encore dans de l'IA faible. Pour lui, c'est vraiment l'IA qui sera en auto-amélioration récursive et qui va être en plus grande autonomie en se développant, s'auto-développant. Mais elle n'est pas consciente, elle n'a pas de discernement, elle n'a pas d'intention. Et par contre, la crainte qu'il a, en tout cas, et qu'il a mis en avant, c'est qu'elle va pouvoir contourner les obstacles imposés pour tendre vers un objectif que l'être humain lui a... demander.
Speaker #1
La fameuse requête, quand on lui demande quelque chose, elle répond.
Speaker #3
Exactement. Et elle, son objectif premier, elle n'en a pas conscience, c'est de dire, il faut que je réalise cet objectif qu'importe les moyens mis en place. Et donc, du coup, c'est là où ces moyens mis en place peuvent être négatifs pour l'humanité. Et donc, ça pose des problèmes de perte de contrôle, forcément, de problèmes d'alignement où on lui intègre des instructions, des valeurs, des règles,
Speaker #1
on va y revenir sur les lignes,
Speaker #3
et donc c'est là où se pose la question et on n'est encore que sur de l'IA générative, faible ou non. un peu plus forte que ce qu'on voyait auparavant, mais elle n'a pas conscience de tout ça, elle n'a pas d'intention, et les interactions qu'elle a avec l'environnement physique, comme disait avec les world models Jan Le Keun, on n'en est encore pas là.
Speaker #0
C'est un peu le paradoxe du fabriqueur de trombones, ce dont vous nous parlez, c'est-à-dire qu'on demande à une IA de fabriquer des trombones, le plus grand nombre de trombones possible, et à un moment donné, elle en arrive à la conclusion que finalement l'humain va s'opposer à ce que le monde se transforme en immense trombone et que même à l'intérieur du corps humain, il y a des atomes de fer qu'on peut utiliser pour faire des trombones. Donc en fait, l'IA, Mathieu Serrier, aujourd'hui, l'IA, elle est faite pour répondre toujours. C'est-à-dire qu'elle est incapable de dire « je ne sais pas » .
Speaker #2
C'est pas évident de savoir. Des fois, il y en a qui disent « je ne sais pas » .
Speaker #0
Et qui peuvent s'arrêter.
Speaker #2
Et qui peuvent s'arrêter. Elle n'est juste pas consciente. La question est difficile. C'est-à-dire qu'elle peut répondre « je ne sais pas » . Mais pour elle, elle répond à la question exactement de la même façon que si elle répondait à ce qu'on attend. Donc en fait, quand elle répond « je ne sais pas » , ce n'est pas un processus cognitif pour considérer sa propre connaissance. C'est juste la réponse qu'elle génère. Donc il peut y avoir des « je ne sais pas » , mais ce n'est pas exactement...
Speaker #1
Ce n'est pas une intention de...
Speaker #0
Oui,
Speaker #2
ce n'est pas une réflexion sur sa propre connaissance, c'est ça que vous dites. Oui. Oui, c'est ça ce que je dis. Mais en fait, c'est parce que ce n'est pas simple de répondre à cette question précisément, parce que les choses évoluent vite.
Speaker #1
Jérôme ?
Speaker #3
Oui, pour compléter la réponse, on voit que depuis six mois, en tout cas, les dernières versions des IA génératives peuvent dire, quand on leur pose une problématique, selon un document qui n'est pas complètement complet, ils disent « je ne peux pas répondre totalement ou pleinement à ta question parce qu'il me manque des éléments » . pour y répondre de manière très perfectionnée. Et donc ça, il y a plus de six mois, ils voulaient toujours nous satisfaire et ils y extrapolaient. Et c'est là où on allait, des hallucinations, ils faisaient des tendances. Et là, je trouve que depuis six mois, ils suggèrent en disant, comme un assistant virtuel de plus en plus humain, entre guillemets, en disant, je ne peux pas répondre totalement. Si tu me donnes ces éléments-là, je pourrais. Et donc le je ne sais pas, se convertit à plus nuancé, je trouve.
Speaker #1
C'est plus je bouche le trou, c'est effectivement il manque une donnée.
Speaker #3
Voilà.
Speaker #2
Mais ce que je voulais dire, c'est que c'est le même processus qu'avant. Ils l'ont juste mieux aligné. C'est là qu'on parle d'alignement, justement. Ils l'ont mieux entraîné, mieux aligné pour répondre correctement à la question. Mais c'est le même processus. Il n'y a pas de changement dans la façon de répondre. Elle n'a toujours pas d'attention.
Speaker #0
Alors, qu'est-ce qui s'est passé ? Dans cette entreprise américaine dont on entend parler aussi en lien avec ses déclarations sur la fin de l'humanité, chez Hugging Face, je crois, c'est une start-up américaine dans le domaine de l'IA, il y aurait une IA qui aurait échappé, c'est-à-dire que c'est une des références dont on entend parler un petit peu partout, il y a une IA qui aurait échappé au contrôle des humains, si je le résume avec mes mots, et qui serait allée chercher dans des bibliothèques d'IA de l'aide pour... pour contourner finalement l'interdiction qu'on avait faite d'aller sur Internet. Alors peut-être que ce n'est pas tout à fait juste ce que je dis, mais en gros, voilà ce qu'on comprend. Et donc, est-ce que c'est possible ? Est-ce que c'est vrai ?
Speaker #2
Vrai, ça, on ne le saura pas probablement. Mais en fait, ce qui se passe, c'est que quand les IA, en ce moment, elles échappent à leurs limites, elles sont souvent dans des environnements de test où on leur demande d'essayer d'échapper à leurs limites. Donc en fait... C'est un cas un petit peu particulier, c'est-à-dire que pour les mettre au public, ils veulent s'assurer qu'elles ne vont pas pouvoir, par exemple, faire de cyberattaques. Donc comment ils font ? Ils les mettent dans un environnement fermé et ils leur demandent de faire des cyberattaques ou ils leur demandent d'essayer de sortir. Et donc en fait, quand ça rate comme ça, ils le présentent, c'est là qu'on parle de marketing, ils le présentent quand l'IA nous a échappés. Mais en fait, l'IA leur a échappé, c'est de leur faute à eux. C'est-à-dire qu'ils n'ont pas suffisamment isolé les choses. Donc ça montre effectivement qu'elle est capable de les dépasser dans la façon de concevoir la sécurité. Donc c'est quand même inquiétant. Mais c'est une façon pour eux de dire, regardez, elle est tellement puissante qu'elle nous a échappé. Alors qu'une autre façon de le dire, c'est, regardez, on n'a pas été assez compétent pour la maîtriser correctement. Donc voilà, il y a deux façons de présenter les choses. Mais en tout cas, la chose importante, et c'est la même chose pour la cyberattaque de GinkFace, c'est qu'on est dans une situation où on demande à l'IA de faire des attaques. Et on essaye de l'en empêcher. Et donc ça échappe. C'est pas l'IA qui décide tout seul d'aller attaquer Gainface. Et ça c'est quand même quelque chose d'assez important et qu'on ne dit pas beaucoup.
Speaker #1
C'est une nuance importante.
Speaker #0
Oui c'est ça. Mais est-ce qu'on n'est pas en train de jouer un peu à l'apprenti sorcier ? Quand on essaye de rendre quelque chose malveillant pour mieux le contourner ? Il n'y a pas d'autre manière de faire ça ? On ne peut pas, par exemple, simuler autrement ?
Speaker #3
Quand on est dans un environnement de test, on simule. La seule problématique là-dessus que je vois, c'est qu'ils n'ont pas réussi à sécuriser l'environnement. Et c'est là, en fait, où il y a les limites dans la simulation. C'est de se dire, OK, on essaye de se mettre à la place de l'IA, on lui demande une action bien précise. Quels sont tous les moyens qu'elle risque de mettre en place pour essayer de répondre à la requête ? Et donc du coup... Un des grands enjeux de ces expérimentations, c'est de penser à toutes les éventualités et qui peuvent avoir des risques potentiellement importants pour l'humain ou pour une entreprise, comment va faire l'IA pour réussir à trouver la solution. Et ça vient vraiment sur une projection de toutes les quatre possibilités qu'on peut imaginer. Et l'IA, elle s'alimente de toutes les mœurs, les comportements, les réflexions. les pensées, les idées humaines. Et donc du coup, elle a une bibliothèque d'Alexandrie dans la tête.
Speaker #1
Elle a des ressources inépuisables là-dessus.
Speaker #3
Illimitées.
Speaker #0
Oui, c'est ça. Est-ce qu'on peut dire qu'on est en train de perdre le contrôle de l'explicabilité de l'IA ou de la prévisibilité ? Puisque ça fait partie des... Enfin, j'en parle au passé, mais est-ce que ça fait toujours partie des grands domaines de recherche scientifique sur l'IA ? C'est-à-dire le fait de pouvoir expliquer comment elle arrive à des résultats et aussi de pouvoir peut-être prévoir. ce qu'elle va donner comme résultat.
Speaker #2
Ça, ça fait longtemps qu'on l'a perdu, puisqu'on ne l'a jamais vraiment eu. En tout cas, avec ce type de modèle d'IA, avec les réseaux de neurones, c'est une question qui se pose depuis le début, l'explicabilité, parce que c'est des modèles mathématiques très compliqués. Donc, on sait évidemment comment ils marchent mathématiquement, mais on ne sait pas expliquer aux humains comment ils prennent les décisions. Et donc, comme ces modèles de langage sont la même chose, mais en vraiment énorme, On n'a jamais su faire ça. On a des tentatives de recherche pour le faire, mais on n'a jamais pu faire ça. Et la prévisibilité, si on savait prévoir ce qu'ils allaient dire, finalement, on saurait un petit peu les expliquer. Là, c'est sûr, on ne l'a jamais eu non plus. Donc la prévisibilité, on ne l'a pas. Sinon, on ne pourrait pas tester.
Speaker #4
Dans cette ville, dans l'ombre propice de la nuit, quelqu'un est à la recherche de Sarah Connor. Qu'est-ce que tu fais ?
Speaker #5
Tu es fou, j'ai peur, j'ai besoin de toi. Il y a un homme qui n'arrête pas de me suivre.
Speaker #4
Personne ne pourra la sauver. Sauf... Je vais vous sauver. Ma mission est de vous protéger. Vous êtes programmé pour extermination.
Speaker #5
Je deviens folle. Tu l'as tué, comment peut-il se relever ?
Speaker #4
Ce n'est pas un homme, c'est une machine.
Speaker #5
Des êtres comme ça, ça n'existe pas.
Speaker #4
C'est vrai. Pas avant 40 ans.
Speaker #5
Tu veux dire que tu vis du futur ?
Speaker #4
Ils sont là pour se battre. Arnold Schwarzenegger et le Terminator.
Speaker #1
Bon évidemment quand on parle de machines qui veulent nous tuer, on pense tout de suite à Terminator, ce robot humanoïde venant du futur qui est la référence ultime depuis le film de James Cameron, c'était en 1984. Donc Mathieu Sirurier... Est-ce que c'est avec une armée de Terminator que l'IA va nous éliminer ? Comment l'IA pourrait-elle s'y prendre pour éradiquer l'humanité ? Ne lui soufflez pas la réponse, manifestement.
Speaker #2
Question très difficile. Pour la robotique, on n'en est tout simplement pas là en termes de robotique, même si c'est pareil. Les progrès, on parle beaucoup d'IA génératif parce que c'est ce qu'on manipule au quotidien, mais les progrès en termes de robotique sont aussi énormes. Mais pour l'instant, je dirais que ce n'est pas séparé. ce que les gens... Mais... On n'a pas vraiment de robots complètement autonomes qui font des actions, c'est-à-dire qui savent très bien faire des actions sur lesquelles ils ont été entraînés. Par contre, faire inventer des actions, réagir à l'environnement, c'est encore quelque chose de très très difficile aujourd'hui en robotique. Donc pour l'instant, on n'en est pas là. Les scénarios qu'ils montrent, c'est plutôt des scénarios de prise de cybersécurité, c'est-à-dire là, il y a Anthropique qui a parlé d'un scénario, mais une fois de plus, il faut le mettre entre guillemets, puisque... c'est aussi du marketing d'un scénario où des agents prendraient le contrôle d'internet donc c'est plutôt des choses comme ça mais aujourd'hui avoir une action directe des IA dans le monde réel en tout cas sur des drones militaires ça pourrait ça ? sur des drones ça pourrait oui mais en fait à chaque fois ces choses là ça vient peut-être juste de nous qui mettons aussi de l'IA au mauvais endroit c'est à dire que Est-ce qu'on a intérêt à mettre de l'IA dans les drones militaires ? C'est peut-être une mauvaise idée au départ, et si on le fait, oui, on prend le risque. C'est ce qui est arrivé, il y a eu une alerte il y a deux jours sur le renseignement militaire. Je ne peux plus dire précisément, mais il y a eu une alerte qui a été donnée. Finalement, c'était une nation d'une IA. On s'est dit, c'est peut-être juste pas une bonne idée de mettre de l'IA à cet endroit-là, s'il y a des risques, ça s'est élevé. Donc évidemment, si à un moment on se met à l'utiliser... dans des conditions très dangereuses pour l'humanité, il y a un risque que ça nous retombe dessus.
Speaker #1
Jérôme ?
Speaker #3
Moi, personnellement, je n'ai pas encore peur de l'IA parce que je la considère encore comme un objet et pas comme un sujet. C'est-à-dire que le jour où j'en aurais vraiment peur de manière intrinsèque, c'est le jour où elle a plus ou moins une conscience artificielle, plus ou moins complexe par rapport à l'être humain. Donc ça reste un objet, un objet très puissant. Et par contre, c'est vrai que l'IA actuellement... On ne peut pas la comparer avec les robots humanoïdes Terminator, parce qu'on fait énormément de progrès, notamment en Asie, en Chine et au Japon, qui ont leur économie qui est le numéro un mondial au niveau justement de la robotique. Mais rien que l'IA, même dématérialisée, il faut savoir qu'on peut faire des cyberattaques de manière à grande échelle, ce qui arrive dans plein d'événements. Les JO, etc., les pays autres, souvent, ont des multitudes d'attaques avant, pendant et après. Et donc, on le sait, ça. Donc, ça rend sensible la vulnérable aussi des pays. Et puis, il y a aussi, on peut imaginer que ça peut avoir une manipulation de l'IA sur les infrastructures physiques, que ça soit dans les hôpitaux pour l'oxygène, pour le gaz, l'électricité, même les feux signalétiques, ça peut foutre un bordel dans la circulation. Merci. Ça peut être des dommages collatéraux, avoir des impacts.
Speaker #0
Mais quand même, de là à dire que ça va être la fin de l'humanité, c'est quand même un message fort. Flinguer les feux rouges dans toutes les grandes métropoles pendant quelques jours, ça ne va pas conduire à la fin de l'espèce humaine.
Speaker #3
Alors ?
Speaker #0
Comment ? Pourquoi il nous raconte ça, cet ingénieur ? Sachant que, je dis aussi que son patron, chez Anthropique, qui lui n'a pas démissionné, a dit, oui, il a raison, il y a à peu près 10% de chance pour que ça arrive. Donc, tout le monde surjoue un peu cette menace, mais on n'arrive pas à comprendre concrètement comment elle pourrait arriver, puisque c'est encore une fois dans des machines. Si, par exemple, on éteint toutes les machines, est-ce que c'est bon ? Est-ce qu'on peut débrancher l'IA ?
Speaker #3
Alors, moi je rejoins l'approche de... de Mathieu qui disait qu'il y a un grand effet marketing et de buzz là-dessus. C'est que s'il avait une annonce qui était beaucoup plus nuancée et qui disait juste ça peut foutre le bordel dans une ville par rapport au flux signalétique pour les gaz, etc., l'électricité et autres problèmes, ça ne passerait même pas aux 20 heures ou autre chose. On n'en parlerait pas. Donc ça, il y a toujours un effet de communication qui est important. Par contre, on prend le rapport avec les drones. Techniquement parlant, on peut imaginer qu'une IA plus ou moins forte puisse prendre le contrôle des systèmes de commandement, des guidages, etc. Et donc des drones potentiellement peuvent être contrôlés à distance par de l'IA. Mais tout ça, ce n'est pas l'intention de l'IA elle-même qui va se dire naturellement, je vais faire ça. Donc derrière ça, il y a beaucoup de géopolitique, il y a beaucoup de communication. Et c'est aussi, on en parlera sûrement, qu'est-ce qu'il y a derrière tout ça ?
Speaker #1
Des questions très basiques, mais ils sont où ces trucs, ces larges CLLM ? Ils sont dans un data center, on peut les débrancher, ils sont interconnectés entre eux. Comment ça marche ? C'est quoi la structure de ce bousin, pour utiliser le terme consacré ?
Speaker #2
C'est comme d'habitude, comme c'est beaucoup dans les entreprises privées, on ne sait pas exactement où les mettre. Par contre, il y a quand même quelque chose qui est sûr, c'est que... Les modèles qui sont très très bons, ceux auxquels il y a des craintes, c'est des modèles qui sont très très gros. Ils demandent des infrastructures très importantes de calcul. Et donc, une des craintes qu'il y a annoncées, c'est qu'on essaye de l'éteindre, mais il va se dupliquer ailleurs, ou quelque chose comme ça. Ça, par exemple, moi, ça ne me paraît pas possible, dans le sens où, effectivement, les endroits où ça peut marcher... Ils ne sont pas non plus illimités, ça ne peut pas aller se copier sur nos ordinateurs personnels pour marcher tout seul.
Speaker #0
Vous parlez de très gros data centers, c'est ça quand vous dites qu'il faut des grosses infrastructures ? C'est une usine entière d'ordinateurs ?
Speaker #2
C'est plutôt, pas forcément une usine, mais des ordinateurs particuliers capables de faire tourner des modèles aussi gros. Ce ne sont pas du tout des ordinateurs qu'on a à la maison, même dans des data centers pratiques. Ce sont des infrastructures dédiées exprès. Donc effectivement, si on éteint cette infrastructure, a priori, les choses s'arrêtent. La question c'est, est-ce que c'est possible de le faire ? Est-ce qu'il y a des choses qui sont mises en place rapidement avec une décision politique ? C'est ça la question. Et ça par contre, elle n'y est pas.
Speaker #3
Oui, pour rebondir là-dessus, à l'heure actuelle, je pense également qu'on peut débrancher de manière en silo des data centers, etc. où ça va impacter 90% de l'IA spécifique, etc. Le déploiement dans d'autres infrastructures physiques, il est encore limité. Donc j'ai envie de dire La nature de l'IA actuelle permettrait qu'on puisse le débrancher. À moyen terme, une IA plus autonome, plus forte, et qui sera en auto-amélioration, récursive, etc., peut-être qu'elle trouvera des moyens, des infrastructures, pour passer à chaque fois sur un autre site. Et je pense que la complexité et la performance fera que ce sera de plus en plus compliqué quand même. Donc c'est un risque quand même à prendre en compte,
Speaker #2
pas dans l'immédiat, mais à moyen terme, je pense qu'il faut réfléchir à ces scénarios-là, oui.
Speaker #1
C'est des points de vigilance,
Speaker #2
oui.
Speaker #1
Mathieu, vous voulez rajouter quelque chose ?
Speaker #2
Oui, je pense que c'est un point très important, c'est qu'en fait... On n'est pas capable de répondre précisément à cette question. Et du fait qu'on ne soit pas capable de répondre à cette question, ça prouve quand même qu'il y a une question. Peut-être pas de Terminator demain, mais en tout cas, il y a une question. Et s'il y a une question, ça veut dire qu'il faut une régulation. Et c'est ça qui est important. Et ce n'est pas du tout la régulation que demandent les entreprises qui parlent de ça. Ce qu'ils demandent, c'est ralentir. Ce n'est pas très clair ce que ça veut dire, de ralentir. A priori, ce serait plutôt une façon d'essayer d'éviter une régulation en disant « Vous inquiétez pas, on va s'auto-réguler, donc ne régulez pas » . Mais pour moi, par contre, le fait même qu'on se pose cette question aujourd'hui autour de la table et qu'on n'ait pas de réponse vraiment tranchée à donner, ça veut dire qu'il faut une régulation, qu'il faut une régulation forte, qu'il faut des gens dans les data centers d'OpenAI pour vérifier des auditeurs exactement comme on ferait pour des centrales nucléaires, par exemple. Donc, par contre, je pense qu'on est dans une situation comme ça et qu'il faut... absolument de régulation et une réponse politique à ces questions-là.
Speaker #1
Il y a la question de la réglementation, de la politique et de la superstructure au-dessus, mais il y a déjà des choses qui sont faites. Tout à l'heure, vous parliez d'alignement. C'est des choses qui sont... Vous, vous le faites au niveau de la recherche type IRIT un peu, ou c'est des choses sur lesquelles vous vous questionnez. C'est quoi l'alignement ? Et est-ce que des structures comme OpenAI, etc., le font ?
Speaker #2
Ils le font systématiquement. L'alignement, je pense... Maintenant, beaucoup de gens ont entendu parler de ça, donc les IA prédisent le mot suivant. Ça, c'est ce qu'on appelle le pré-entraînement. C'est-à-dire qu'on prend plein de données, on prédit le mot suivant. Et ça, c'est le début de chaque GPT, ça marche pas mal, mais c'est pas suffisamment bien. Donc l'alignement, c'est essayer que l'IA se comporte tel qu'on l'attend. Et donc, par exemple, ça va être dire quand il n'y a pas assez d'informations dans le document, il n'y a pas assez d'informations dans le document. Vérifier quand elle dit je vais faire cette tâche. qu'elle fait vraiment cette tâche. Je ne sais pas si vous vous rappelez au début, ça arrivait très souvent qu'elle disait « Ok, je le fais. » Et puis elle ne le faisait pas. Et donc du coup, c'est avoir ces garanties-là. Donc ça, c'est une forme d'alignement. Il y a d'autres formes d'alignement qui vont être garantir que il ne va pas dire des choses racistes ou des choses sexistes, etc. Donc là, c'est des alignements plutôt éthiques. Et il y a des alignements de cybersécurité, c'est-à-dire garantir qu'on ne va pas pouvoir l'utiliser. Enfin, je dis garantir, en fait, on ne garantit pas. Donc, ils font toutes ces choses-là.
Speaker #0
Parce que c'est dans leur intérêt. S'ils ne le font pas, ils risquent d'avoir...
Speaker #1
On se souvient de Tei, de Microsoft à l'époque. Qui avait fait un vrai bad buzz lui.
Speaker #0
Donc ils le font tous parce que nous on ne peut pas le faire pour eux. Mais par contre, tous ces alignements là, c'est des méthodes, c'est aussi des méthodes basées sur les données et sur l'entraînement et donc c'est des méthodes qui n'ont pas de garantie. C'est ce qu'on voit aujourd'hui.
Speaker #1
Oui c'est ça, on peut dire que c'est des méthodes de contrôle mais qui sont des contrôles a priori mais pas a posteriori, c'est-à-dire que ça ne garantit pas le résultat.
Speaker #0
C'est ça et surtout c'est des méthodes de contrôle qui pour l'instant sont auto-imposées, ils se l'auto-imposent, elles ne viennent pas d'une loi un petit peu avec les actes. Oui, en Europe. En Europe et puis même comme ça on n'est pas exactement dans... dans ce qu'il faudra.
Speaker #2
Jérôme ?
Speaker #3
Non mais on touche quelque chose qui est pour moi fondamental au terme de tout ce qui est les alignements c'est que c'est, comme l'a très bien dit Mathieu, c'est des alignements qui sont imposés en interne par l'entreprise qui conçoit l'IA.
Speaker #2
Qui fait ses règles.
Speaker #3
Exactement. Et c'est pour ça qu'ils ne veulent pas forcément des réglementations internationales qu'on va leur imposer des règles mondiales ou autres. C'est que là... On touche, et c'est pour ça que chaque continent ou chaque grand pays veulent leur IA générative plus ou moins très forte, pour imposer aussi une guerre de la culture, de la culture du pays en fonction. Les aliments, donc les valeurs qu'on leur impose, les garde-fous finalement, d'un pays à l'autre, peuvent être différentes. Vous allez sur la côte ouest, ils ont encore une inspiration très marquée wokiste, qui n'ont pas forcément en Europe ou autre, ou moins en tout cas. Et vous allez en Asie, c'est encore différent. Et donc, il y a une vraie guerre, au-delà de l'anthropologique, tout ce que vous voulez existentiel, il y a une vraie guerre culturelle, qui sont associées à la géopolitique et aux marchés financiers qui sont associés. Donc, on voit bien, c'est un jeu de domino, de poupée russe qui s'enclenche pour arriver à des choses. Donc, derrière tout ça, et c'est là, cette régulation, finalement, qu'ils veulent imposer, c'est des régulations qui restent assez opaques. Alors que si on touche à une réglementation, une régulation internationale, par nature, elle sera transparente, elle sera légitimée. Le problème dans tout ça, c'est que je ne vois pas un organisme international pouvoir porter là-dessus toute la réglementation internationale et fédérer tous les pays. On le voit bien rien qu'avec l'environnement, comment ça se passe. Là-dessus, je suis assez pessimiste. Je ne crois pas, sans faire offense à l'ONU, mais qu'il y ait une instance internationale qui commence à faire son temps. Je pense que soit elle ne fait pas neuve et elle serait nouvelle, mais il y a des vraies problématiques là-dessus. Et encore une fois, pour terminer, les enjeux financiers et géopolitiques sont démentiels.
Speaker #1
On a l'impression d'un parallèle un petit peu aussi avec le nucléaire et avec l'arme atomique. C'est-à-dire qu'on a été capable à un moment donné de faire... Demoratoire de stopper le développement des armes nucléaires, de faire Ausha, l'Agence internationale de contrôle du nucléaire, qui a échoué quand même, qui disons restait un petit peu aux portes de l'Iran notamment, par rapport au contrôle des armes nucléaires. Le parallèle IA-nucléaire, il fait froid dans le dos quand même. Est-ce qu'on peut parler aussi du coup du marketing de la peur ? C'est-à-dire que le fait de faire peur aux gens, de faire peur au pays, de faire peur au public. C'est une manière pour ces entreprises d'asseoir leur domination et de maintenir leur position dominante dans le marché international.
Speaker #3
Alors moi là-dessus, je suis un peu plus optimiste on va dire. C'est peut-être paradoxal parce que je considère qu'il y a des moratoires et des compromis internationaux, notamment pour le nucléaire, qui sont et qui fonctionnent. La problématique là-dessus... C'est qu'il faudrait qu'il y ait deux grandes ou trois grandes puissances qui ont des IA aussi fortes et qui se disent, ils vont se neutraliser en disant, ok, t'as cette arme, moi aussi je l'ai, et donc faire des moratoires sur des armes autonomes, c'est déjà fait. Après, la problématique là-dessus et la comparaison avec le nucléaire, c'est que, et on le voit même par rapport à l'Iran ou l'Irak à l'époque, c'est de vérifier que tel pays n'a pas franchi la ligne rouge ou jaune. Physiquement, avec le nucléaire ou d'autres choses, c'était plus facile. C'était physique. Là, savoir si dans les laboratoires privés de telle ou telle armée, on fait déjà des tests avec des IA encore plus fortes associées à de l'arme, etc. C'est plus opaque et ça va être plus compliqué de vérifier, de mandater une entreprise ou plutôt... des instances de vérification d'experts pour voir où ils en sont, ça va être plus compliqué.
Speaker #0
C'est très drôle parce qu'on parle de science-fiction et de Terminator, dans nos romans anciens, il y a une politique, donc c'est marrant, c'est des grosses corporations, et il y a une loi qui interdit les IA de dépasser un certain niveau, et il y a ce qu'on appelle la police de Turing dedans, donc c'est assez drôle, c'était déjà un peu à imaginer au début des années 80.
Speaker #2
C'était anticipé un petit peu.
Speaker #0
C'est ça. Pour le marketing de la peur, je pense qu'il y a une chose très simple, c'est un moyen de dire, regardez, nos IA sont tellement puissantes, Quand elles disent qu'elles nous essaient, c'est regarder, elles sont tellement puissantes, elles marchent tellement bien qu'elles nous essaient. Donc c'est un marketing aussi comme ça. Il faut savoir que c'est les deux grosses entreprises qui font le plus ça, c'est-à-dire Open AI et Anthropique, vont rentrer en bourse dans quelques mois. Là, ça a été un peu repoussé. Donc il y a un enjeu quand même là-dessus. Et ils savent que la régulation va arriver à un moment. Donc là, pour l'instant, ce qu'ils font, c'est qu'ils vont le plus vite possible pour essayer de mettre en place un maximum de choses. elle va être celui qui... décidera ou à qui il faudra discuter au moment de réguler.
Speaker #1
En plaidant pour un ralentissement, ils veulent ralentir leurs concurrents surtout, puisque eux, ils sont en tête.
Speaker #0
Oui, mais je pense qu'ils ne veulent même pas ralentir les concurrents. Je pense que c'est vraiment juste montrer de la bonne volonté pour ne pas qu'on les régule. Parce qu'en disant ça, ils sont tous les... Entropiq et OpenAI, ils sont à fond pour sortir des nouveaux modèles. Donc, ils ne sont pas du tout en train de ralentir. Donc, c'est juste de la com' pure et dure.
Speaker #3
Non, puis aussi, c'est aussi une façon de... de se confronter en intermittence avec l'open source des IA chinoises. Et là, c'est ça qui leur fait aussi peur, parce qu'ils se disent que l'open source, ça donnait accès à tout le monde, justement, de la technologie, pour qu'ils puissent auto-évoluer, se développer et rattraper le temps perdu. C'est là aussi qu'il y a la montée en bourse, ça je te rejoins tout à fait, mais il y a aussi essayer de freiner un moment en disant, nous, on a conscience, elle est très très forte. Elle nous échappe, mais on va mettre encore plus d'argent, encore plus d'expérimentation pour avoir les garde-fous. Et donc, il y a un double jeu finalement, ou un triple bande, je ne sais pas, là-dessus, qu'il ne faut pas dénier.
Speaker #2
Oui, et puis c'est vrai que pendant qu'on parle de toutes ces questions-là, on oublie toutes les questions écologiques aussi qu'on évoquait tout à l'heure. Je ne sais plus si c'était Mathieu qui en parlait, sur les consommations nécessaires, sur tous ces enjeux énergétiques qui sont derrière, sur la question aussi... des problématiques cognitives que ça pose, etc. Donc c'est vrai qu'on détourne aussi un peu l'attention sur un certain nombre de sujets.
Speaker #0
Je pense qu'il y a eu une réaction il y a quelques jours, vous avez sûrement entendu le théorème de maths qui a été prouvé. Je trouve qu'il y a eu une réaction très intéressante des mathématiciens. Il y a eu 25 médailles-fils qui ont signé un papier. Et je trouve que c'était très bien écrit. Ils n'ont pas dit, oh là là, laissez-nous les maths, ne nous prenez pas les choses. Contrairement à ce qu'on dit quelque part. ils ont dit attention, résoudre Les problèmes en maths, ce n'est pas faire des maths. Faire des maths, c'est les résoudre en apportant de nouveaux outils qui nous serviront à progresser. Et la question qu'il pose et qu'il dit, c'est en fait, on fait progresser l'IA très, très vite, mais pour l'instant, on ne sait pas pourquoi. C'est quoi l'objectif ? Qu'est-ce qu'on veut en faire ? Et ça, je trouve ça très intéressant, parce qu'effectivement, on répond très peu à cette question. Et c'est très lié à la question écologique, c'est-à-dire que le coût écologique peut être acceptable si on en fait... quelque chose qui a suffisamment d'intérêt pour l'humanité. Et pour l'instant, on part en avant très très vite et on ne se pose pas cette question de à quoi ça va servir, comment ça va structurer la société. Et pour l'instant, ça se structure très fort et pas forcément de la façon dont on veut. Et pour moi, le danger le plus immédiat, c'est celui-ci. C'est l'impact que ça a aujourd'hui sans qu'on se pose la question de ce qu'on va vraiment faire et où est-ce que ce serait utile.
Speaker #1
Oui, l'enjeu c'est le pourquoi et pas trop le... le comment. Alors, je ne sais pas si on vous aura rassuré à l'écoute de ce podcast, chers auditeurs et auditrices. Le moins qu'on puisse dire, c'est que cette question, elle n'est pas anodine. Elle mérite d'être posée sur la table vraiment et d'être discutée. Pour cela, je vous recommande un roman graphique très original et très facile d'accès à partir de 15-16 ans. C'est le journal de Mev que vous avez co-écrit, Jérôme Béranger, avec Mathieu Perrotin, dans lequel vous nous racontez la jeunesse de la première IA consciente.
Speaker #2
Et puis n'hésitez pas à aller faire un tour sur le site web du Quai des Savoirs, donc quai-des-savoirs.fr, pour consulter vidéos, podcasts, interviews de chercheurs, de philosophes ou d'artistes sur l'intelligence artificielle et même le procès de l'IA.
Speaker #1
Des tours vers le futur, c'est terminé pour aujourd'hui. Un grand merci à nos deux invités, Jérôme Béranger et Mathieu Serrurier.
Speaker #2
Des tours vers le futur, un podcast du Quai des Savoirs, présenté par Laurent Chicoineau et Marina Léonard, préparé avec l'aide de Françoise Vissac et la complicité de Valéria Médina de Lyrique.
Speaker #1
à la réalisation Arnaud Maisonneuve, à la prise de son Laurent Caudoule.
Speaker #2
Rendez-vous le mois prochain pour un nouvel épisode de Détour vers le futur sur les sciences participatives. Un podcast qui sera enregistré en public au Quai des Savoirs pendant le festival Lumière sur le Quai. Toutes les infos pour y participer sont déjà sur notre site web.
Speaker #1
Et en attendant, vous pouvez réécouter ce podcast et tous les autres sur Apple Podcasts, Spotify ou Deezer. Et abonnez-vous pour ne manquer aucun nouveau Détour vers le futur.
Speaker #2
Ciao !

About Détour vers le futur

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

About Détour vers le futur

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Description

Alors, réelle menace ou gros coup marketing ?

Avec :

Mathieu Serrurier

Jérôme Béranger

Un podcast du Quai des Savoirs présenté par Marina Léonard et Laurent Chicoineau | Réalisation Arnaud Maisonneuve | Prise de son Laurent Codoul

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

Speaker #0
Bonjour et merci d'écouter Détour vers le futur, le podcast du Quai des Savoirs. Aujourd'hui, nous discutons de la menace que représenterait l'IA pour la survie de l'humanité.
Speaker #1
Les intelligences artificielles génératives ont fait leur apparition dans nos vies depuis quelques années seulement. On se souvient notamment de l'arrivée de ChatGPT, c'était en 2023. En peu de temps, elles ont révolutionné de nombreux secteurs, comme ceux de l'éducation, la création, la santé, la sécurité, l'emploi, pour n'en citer que quelques-uns. Elles ont imposé de repenser les réglementations, les usages, les projections dans le futur et même les interactions entre humains. Mais depuis peu, c'est une menace bien plus grande qui est apparue dans les médias. Les grandes entreprises comme OpenAI et Anthropik joueraient avec nos vies et l'IA pourrait tous nous tuer d'ici la fin de la décennie. Alors, réelle menace ou gros coup marketing ?
Speaker #0
Pour en discuter et mieux comprendre les enjeux de cette alerte, nous accueillons Mathieu Serrurier, professeur d'informatique à l'Université de Toulouse, chercheur spécialiste en IA. à l'Institut de recherche en informatique de Toulouse. Bonjour Mathieu.
Speaker #2
Bonjour.
Speaker #1
Et avec nous dans ce studio, nous recevons également Jérôme Béranger, expert en éthique du numérique, chercheur associé à l'Inserm et cofondateur de la société Goodalgo, qui accompagne les entreprises comme les services publics à mieux maîtriser leur système d'IA. Bonjour Jérôme.
Speaker #3
Bonjour.
Speaker #0
Alors tout démarre le 9 septembre dernier par une série de messages publiés sur le réseau social X par un certain Jacob Coxon, 27 ans, ingénieur en informatique chez Entropique. L'une des plus puissantes entreprises d'IA américaine, connue pour Cloud, le chatbot conversationnel qu'ils ont développé, comme OpenAI a développé ChatGPT ou Google avec Gemini. Toutes ces entreprises ont la course en tête de l'intelligence artificielle générative, celle avec laquelle nous sommes de plus en plus nombreux et nombreuses à discuter tous les jours, pour tout et n'importe quoi. Mais Marina, revenons à Jacob Coxon qui commence son poste en disant
Speaker #1
J'ai démissionné d'Enthropique aujourd'hui, j'ai passé les trois dernières années à faire de la recherche en pré-entraînement chez OpenAI puis chez Enthropique. Aucune des deux entreprises n'agit de façon responsable. Elles foncent droit vers une super intelligence capable de s'auto-améliorer et joue avec nos vies.
Speaker #0
Dans un message suivant, il prétend même que l'IA pourrait détruire l'humanité d'ici la fin de la décennie aux alentours de 2030. Bon, alors, première question Mathieu Serrerier. De quoi parle-t-il cet ingénieur ? Qu'est-ce que c'est qu'une super intelligence ?
Speaker #2
C'est un terme pas forcément... très scientifique, mais en tout cas qu'on voit arriver depuis qu'il y a ChatGPT. On a parlé de deux termes, c'est l'AGI, c'est l'intelligence au niveau des humains, ou un petit peu au-dessus, qui est capable de faire tout ce qu'un humain fait correctement. Et il y a déjà des bases, savoir si elle le fait ou pas, ça dépend de quel point de vue on prend. Yann Lequin... Prit Turing dit pas du tout parce qu'elle ne peut pas vivre dans la réalité. Il y en a d'autres qui disent oui, mais pour toutes les tâches dans le numérique, elle fait déjà mieux que la plupart des humains. Donc bon, c'est déjà une question. Ça,
Speaker #0
c'est l'intelligence artificielle générative,
Speaker #2
c'est ça ? Générale.
Speaker #0
Générale, d'accord.
Speaker #2
Elles sont toutes génératives. Enfin, elles ne sont pas toutes génératives, mais les modèles de langage, c'est des intelligences artificielles génératives. Et donc l'ASI, alors je ne sais plus ce que ça veut dire exactement le terme, mais en tout cas, c'est Self-Improving. ça veut dire Le moment où on a une intelligence qui sera capable de s'améliorer elle-même, et donc certains pensent qu'à partir de ce moment-là, ça peut être exponentiel, c'est-à-dire qu'elle peut s'améliorer à l'infini, et donc poser des problèmes à l'humanité puisqu'elle dépasserait l'humanité. Donc ça c'est le discours.
Speaker #1
Et ça c'est déjà un peu le cas, ou pas encore aujourd'hui ?
Speaker #2
Alors, elle ne s'améliore pas toute seule, ça c'est sûr. Mais par contre, ce qui est sûr aussi, c'est que les labos d'OpenAI, de Google et de Cloud... principalement travaillent beaucoup sur ce problème.
Speaker #1
Est-ce que cette superintelligence, est-ce que c'est l'IA consciente dont vous nous parlez régulièrement dans vos ouvrages, Jérôme Béranger ? Vous dites souvent que l'IA consciente n'est plus une utopie.
Speaker #3
Oui, en fait, quand Jason Coxon parlait de la problématique des IA qui sont de plus en plus développées et qui peuvent mettre la fin de l'humanité, ce n'est pas, en tout cas, pour lui, une IA consciente. C'est-à-dire que moi, dans le livre, quand j'en parle, c'est plutôt autour des années... peut-être 2040, 2045, je ne sais pas, mais on est encore dans de l'IA faible. Pour lui, c'est vraiment l'IA qui sera en auto-amélioration récursive et qui va être en plus grande autonomie en se développant, s'auto-développant. Mais elle n'est pas consciente, elle n'a pas de discernement, elle n'a pas d'intention. Et par contre, la crainte qu'il a, en tout cas, et qu'il a mis en avant, c'est qu'elle va pouvoir contourner les obstacles imposés pour tendre vers un objectif que l'être humain lui a... demander.
Speaker #1
La fameuse requête, quand on lui demande quelque chose, elle répond.
Speaker #3
Exactement. Et elle, son objectif premier, elle n'en a pas conscience, c'est de dire, il faut que je réalise cet objectif qu'importe les moyens mis en place. Et donc, du coup, c'est là où ces moyens mis en place peuvent être négatifs pour l'humanité. Et donc, ça pose des problèmes de perte de contrôle, forcément, de problèmes d'alignement où on lui intègre des instructions, des valeurs, des règles,
Speaker #1
on va y revenir sur les lignes,
Speaker #3
et donc c'est là où se pose la question et on n'est encore que sur de l'IA générative, faible ou non. un peu plus forte que ce qu'on voyait auparavant, mais elle n'a pas conscience de tout ça, elle n'a pas d'intention, et les interactions qu'elle a avec l'environnement physique, comme disait avec les world models Jan Le Keun, on n'en est encore pas là.
Speaker #0
C'est un peu le paradoxe du fabriqueur de trombones, ce dont vous nous parlez, c'est-à-dire qu'on demande à une IA de fabriquer des trombones, le plus grand nombre de trombones possible, et à un moment donné, elle en arrive à la conclusion que finalement l'humain va s'opposer à ce que le monde se transforme en immense trombone et que même à l'intérieur du corps humain, il y a des atomes de fer qu'on peut utiliser pour faire des trombones. Donc en fait, l'IA, Mathieu Serrier, aujourd'hui, l'IA, elle est faite pour répondre toujours. C'est-à-dire qu'elle est incapable de dire « je ne sais pas » .
Speaker #2
C'est pas évident de savoir. Des fois, il y en a qui disent « je ne sais pas » .
Speaker #0
Et qui peuvent s'arrêter.
Speaker #2
Et qui peuvent s'arrêter. Elle n'est juste pas consciente. La question est difficile. C'est-à-dire qu'elle peut répondre « je ne sais pas » . Mais pour elle, elle répond à la question exactement de la même façon que si elle répondait à ce qu'on attend. Donc en fait, quand elle répond « je ne sais pas » , ce n'est pas un processus cognitif pour considérer sa propre connaissance. C'est juste la réponse qu'elle génère. Donc il peut y avoir des « je ne sais pas » , mais ce n'est pas exactement...
Speaker #1
Ce n'est pas une intention de...
Speaker #0
Oui,
Speaker #2
ce n'est pas une réflexion sur sa propre connaissance, c'est ça que vous dites. Oui. Oui, c'est ça ce que je dis. Mais en fait, c'est parce que ce n'est pas simple de répondre à cette question précisément, parce que les choses évoluent vite.
Speaker #1
Jérôme ?
Speaker #3
Oui, pour compléter la réponse, on voit que depuis six mois, en tout cas, les dernières versions des IA génératives peuvent dire, quand on leur pose une problématique, selon un document qui n'est pas complètement complet, ils disent « je ne peux pas répondre totalement ou pleinement à ta question parce qu'il me manque des éléments » . pour y répondre de manière très perfectionnée. Et donc ça, il y a plus de six mois, ils voulaient toujours nous satisfaire et ils y extrapolaient. Et c'est là où on allait, des hallucinations, ils faisaient des tendances. Et là, je trouve que depuis six mois, ils suggèrent en disant, comme un assistant virtuel de plus en plus humain, entre guillemets, en disant, je ne peux pas répondre totalement. Si tu me donnes ces éléments-là, je pourrais. Et donc le je ne sais pas, se convertit à plus nuancé, je trouve.
Speaker #1
C'est plus je bouche le trou, c'est effectivement il manque une donnée.
Speaker #3
Voilà.
Speaker #2
Mais ce que je voulais dire, c'est que c'est le même processus qu'avant. Ils l'ont juste mieux aligné. C'est là qu'on parle d'alignement, justement. Ils l'ont mieux entraîné, mieux aligné pour répondre correctement à la question. Mais c'est le même processus. Il n'y a pas de changement dans la façon de répondre. Elle n'a toujours pas d'attention.
Speaker #0
Alors, qu'est-ce qui s'est passé ? Dans cette entreprise américaine dont on entend parler aussi en lien avec ses déclarations sur la fin de l'humanité, chez Hugging Face, je crois, c'est une start-up américaine dans le domaine de l'IA, il y aurait une IA qui aurait échappé, c'est-à-dire que c'est une des références dont on entend parler un petit peu partout, il y a une IA qui aurait échappé au contrôle des humains, si je le résume avec mes mots, et qui serait allée chercher dans des bibliothèques d'IA de l'aide pour... pour contourner finalement l'interdiction qu'on avait faite d'aller sur Internet. Alors peut-être que ce n'est pas tout à fait juste ce que je dis, mais en gros, voilà ce qu'on comprend. Et donc, est-ce que c'est possible ? Est-ce que c'est vrai ?
Speaker #2
Vrai, ça, on ne le saura pas probablement. Mais en fait, ce qui se passe, c'est que quand les IA, en ce moment, elles échappent à leurs limites, elles sont souvent dans des environnements de test où on leur demande d'essayer d'échapper à leurs limites. Donc en fait... C'est un cas un petit peu particulier, c'est-à-dire que pour les mettre au public, ils veulent s'assurer qu'elles ne vont pas pouvoir, par exemple, faire de cyberattaques. Donc comment ils font ? Ils les mettent dans un environnement fermé et ils leur demandent de faire des cyberattaques ou ils leur demandent d'essayer de sortir. Et donc en fait, quand ça rate comme ça, ils le présentent, c'est là qu'on parle de marketing, ils le présentent quand l'IA nous a échappés. Mais en fait, l'IA leur a échappé, c'est de leur faute à eux. C'est-à-dire qu'ils n'ont pas suffisamment isolé les choses. Donc ça montre effectivement qu'elle est capable de les dépasser dans la façon de concevoir la sécurité. Donc c'est quand même inquiétant. Mais c'est une façon pour eux de dire, regardez, elle est tellement puissante qu'elle nous a échappé. Alors qu'une autre façon de le dire, c'est, regardez, on n'a pas été assez compétent pour la maîtriser correctement. Donc voilà, il y a deux façons de présenter les choses. Mais en tout cas, la chose importante, et c'est la même chose pour la cyberattaque de GinkFace, c'est qu'on est dans une situation où on demande à l'IA de faire des attaques. Et on essaye de l'en empêcher. Et donc ça échappe. C'est pas l'IA qui décide tout seul d'aller attaquer Gainface. Et ça c'est quand même quelque chose d'assez important et qu'on ne dit pas beaucoup.
Speaker #1
C'est une nuance importante.
Speaker #0
Oui c'est ça. Mais est-ce qu'on n'est pas en train de jouer un peu à l'apprenti sorcier ? Quand on essaye de rendre quelque chose malveillant pour mieux le contourner ? Il n'y a pas d'autre manière de faire ça ? On ne peut pas, par exemple, simuler autrement ?
Speaker #3
Quand on est dans un environnement de test, on simule. La seule problématique là-dessus que je vois, c'est qu'ils n'ont pas réussi à sécuriser l'environnement. Et c'est là, en fait, où il y a les limites dans la simulation. C'est de se dire, OK, on essaye de se mettre à la place de l'IA, on lui demande une action bien précise. Quels sont tous les moyens qu'elle risque de mettre en place pour essayer de répondre à la requête ? Et donc du coup... Un des grands enjeux de ces expérimentations, c'est de penser à toutes les éventualités et qui peuvent avoir des risques potentiellement importants pour l'humain ou pour une entreprise, comment va faire l'IA pour réussir à trouver la solution. Et ça vient vraiment sur une projection de toutes les quatre possibilités qu'on peut imaginer. Et l'IA, elle s'alimente de toutes les mœurs, les comportements, les réflexions. les pensées, les idées humaines. Et donc du coup, elle a une bibliothèque d'Alexandrie dans la tête.
Speaker #1
Elle a des ressources inépuisables là-dessus.
Speaker #3
Illimitées.
Speaker #0
Oui, c'est ça. Est-ce qu'on peut dire qu'on est en train de perdre le contrôle de l'explicabilité de l'IA ou de la prévisibilité ? Puisque ça fait partie des... Enfin, j'en parle au passé, mais est-ce que ça fait toujours partie des grands domaines de recherche scientifique sur l'IA ? C'est-à-dire le fait de pouvoir expliquer comment elle arrive à des résultats et aussi de pouvoir peut-être prévoir. ce qu'elle va donner comme résultat.
Speaker #2
Ça, ça fait longtemps qu'on l'a perdu, puisqu'on ne l'a jamais vraiment eu. En tout cas, avec ce type de modèle d'IA, avec les réseaux de neurones, c'est une question qui se pose depuis le début, l'explicabilité, parce que c'est des modèles mathématiques très compliqués. Donc, on sait évidemment comment ils marchent mathématiquement, mais on ne sait pas expliquer aux humains comment ils prennent les décisions. Et donc, comme ces modèles de langage sont la même chose, mais en vraiment énorme, On n'a jamais su faire ça. On a des tentatives de recherche pour le faire, mais on n'a jamais pu faire ça. Et la prévisibilité, si on savait prévoir ce qu'ils allaient dire, finalement, on saurait un petit peu les expliquer. Là, c'est sûr, on ne l'a jamais eu non plus. Donc la prévisibilité, on ne l'a pas. Sinon, on ne pourrait pas tester.
Speaker #4
Dans cette ville, dans l'ombre propice de la nuit, quelqu'un est à la recherche de Sarah Connor. Qu'est-ce que tu fais ?
Speaker #5
Tu es fou, j'ai peur, j'ai besoin de toi. Il y a un homme qui n'arrête pas de me suivre.
Speaker #4
Personne ne pourra la sauver. Sauf... Je vais vous sauver. Ma mission est de vous protéger. Vous êtes programmé pour extermination.
Speaker #5
Je deviens folle. Tu l'as tué, comment peut-il se relever ?
Speaker #4
Ce n'est pas un homme, c'est une machine.
Speaker #5
Des êtres comme ça, ça n'existe pas.
Speaker #4
C'est vrai. Pas avant 40 ans.
Speaker #5
Tu veux dire que tu vis du futur ?
Speaker #4
Ils sont là pour se battre. Arnold Schwarzenegger et le Terminator.
Speaker #1
Bon évidemment quand on parle de machines qui veulent nous tuer, on pense tout de suite à Terminator, ce robot humanoïde venant du futur qui est la référence ultime depuis le film de James Cameron, c'était en 1984. Donc Mathieu Sirurier... Est-ce que c'est avec une armée de Terminator que l'IA va nous éliminer ? Comment l'IA pourrait-elle s'y prendre pour éradiquer l'humanité ? Ne lui soufflez pas la réponse, manifestement.
Speaker #2
Question très difficile. Pour la robotique, on n'en est tout simplement pas là en termes de robotique, même si c'est pareil. Les progrès, on parle beaucoup d'IA génératif parce que c'est ce qu'on manipule au quotidien, mais les progrès en termes de robotique sont aussi énormes. Mais pour l'instant, je dirais que ce n'est pas séparé. ce que les gens... Mais... On n'a pas vraiment de robots complètement autonomes qui font des actions, c'est-à-dire qui savent très bien faire des actions sur lesquelles ils ont été entraînés. Par contre, faire inventer des actions, réagir à l'environnement, c'est encore quelque chose de très très difficile aujourd'hui en robotique. Donc pour l'instant, on n'en est pas là. Les scénarios qu'ils montrent, c'est plutôt des scénarios de prise de cybersécurité, c'est-à-dire là, il y a Anthropique qui a parlé d'un scénario, mais une fois de plus, il faut le mettre entre guillemets, puisque... c'est aussi du marketing d'un scénario où des agents prendraient le contrôle d'internet donc c'est plutôt des choses comme ça mais aujourd'hui avoir une action directe des IA dans le monde réel en tout cas sur des drones militaires ça pourrait ça ? sur des drones ça pourrait oui mais en fait à chaque fois ces choses là ça vient peut-être juste de nous qui mettons aussi de l'IA au mauvais endroit c'est à dire que Est-ce qu'on a intérêt à mettre de l'IA dans les drones militaires ? C'est peut-être une mauvaise idée au départ, et si on le fait, oui, on prend le risque. C'est ce qui est arrivé, il y a eu une alerte il y a deux jours sur le renseignement militaire. Je ne peux plus dire précisément, mais il y a eu une alerte qui a été donnée. Finalement, c'était une nation d'une IA. On s'est dit, c'est peut-être juste pas une bonne idée de mettre de l'IA à cet endroit-là, s'il y a des risques, ça s'est élevé. Donc évidemment, si à un moment on se met à l'utiliser... dans des conditions très dangereuses pour l'humanité, il y a un risque que ça nous retombe dessus.
Speaker #1
Jérôme ?
Speaker #3
Moi, personnellement, je n'ai pas encore peur de l'IA parce que je la considère encore comme un objet et pas comme un sujet. C'est-à-dire que le jour où j'en aurais vraiment peur de manière intrinsèque, c'est le jour où elle a plus ou moins une conscience artificielle, plus ou moins complexe par rapport à l'être humain. Donc ça reste un objet, un objet très puissant. Et par contre, c'est vrai que l'IA actuellement... On ne peut pas la comparer avec les robots humanoïdes Terminator, parce qu'on fait énormément de progrès, notamment en Asie, en Chine et au Japon, qui ont leur économie qui est le numéro un mondial au niveau justement de la robotique. Mais rien que l'IA, même dématérialisée, il faut savoir qu'on peut faire des cyberattaques de manière à grande échelle, ce qui arrive dans plein d'événements. Les JO, etc., les pays autres, souvent, ont des multitudes d'attaques avant, pendant et après. Et donc, on le sait, ça. Donc, ça rend sensible la vulnérable aussi des pays. Et puis, il y a aussi, on peut imaginer que ça peut avoir une manipulation de l'IA sur les infrastructures physiques, que ça soit dans les hôpitaux pour l'oxygène, pour le gaz, l'électricité, même les feux signalétiques, ça peut foutre un bordel dans la circulation. Merci. Ça peut être des dommages collatéraux, avoir des impacts.
Speaker #0
Mais quand même, de là à dire que ça va être la fin de l'humanité, c'est quand même un message fort. Flinguer les feux rouges dans toutes les grandes métropoles pendant quelques jours, ça ne va pas conduire à la fin de l'espèce humaine.
Speaker #3
Alors ?
Speaker #0
Comment ? Pourquoi il nous raconte ça, cet ingénieur ? Sachant que, je dis aussi que son patron, chez Anthropique, qui lui n'a pas démissionné, a dit, oui, il a raison, il y a à peu près 10% de chance pour que ça arrive. Donc, tout le monde surjoue un peu cette menace, mais on n'arrive pas à comprendre concrètement comment elle pourrait arriver, puisque c'est encore une fois dans des machines. Si, par exemple, on éteint toutes les machines, est-ce que c'est bon ? Est-ce qu'on peut débrancher l'IA ?
Speaker #3
Alors, moi je rejoins l'approche de... de Mathieu qui disait qu'il y a un grand effet marketing et de buzz là-dessus. C'est que s'il avait une annonce qui était beaucoup plus nuancée et qui disait juste ça peut foutre le bordel dans une ville par rapport au flux signalétique pour les gaz, etc., l'électricité et autres problèmes, ça ne passerait même pas aux 20 heures ou autre chose. On n'en parlerait pas. Donc ça, il y a toujours un effet de communication qui est important. Par contre, on prend le rapport avec les drones. Techniquement parlant, on peut imaginer qu'une IA plus ou moins forte puisse prendre le contrôle des systèmes de commandement, des guidages, etc. Et donc des drones potentiellement peuvent être contrôlés à distance par de l'IA. Mais tout ça, ce n'est pas l'intention de l'IA elle-même qui va se dire naturellement, je vais faire ça. Donc derrière ça, il y a beaucoup de géopolitique, il y a beaucoup de communication. Et c'est aussi, on en parlera sûrement, qu'est-ce qu'il y a derrière tout ça ?
Speaker #1
Des questions très basiques, mais ils sont où ces trucs, ces larges CLLM ? Ils sont dans un data center, on peut les débrancher, ils sont interconnectés entre eux. Comment ça marche ? C'est quoi la structure de ce bousin, pour utiliser le terme consacré ?
Speaker #2
C'est comme d'habitude, comme c'est beaucoup dans les entreprises privées, on ne sait pas exactement où les mettre. Par contre, il y a quand même quelque chose qui est sûr, c'est que... Les modèles qui sont très très bons, ceux auxquels il y a des craintes, c'est des modèles qui sont très très gros. Ils demandent des infrastructures très importantes de calcul. Et donc, une des craintes qu'il y a annoncées, c'est qu'on essaye de l'éteindre, mais il va se dupliquer ailleurs, ou quelque chose comme ça. Ça, par exemple, moi, ça ne me paraît pas possible, dans le sens où, effectivement, les endroits où ça peut marcher... Ils ne sont pas non plus illimités, ça ne peut pas aller se copier sur nos ordinateurs personnels pour marcher tout seul.
Speaker #0
Vous parlez de très gros data centers, c'est ça quand vous dites qu'il faut des grosses infrastructures ? C'est une usine entière d'ordinateurs ?
Speaker #2
C'est plutôt, pas forcément une usine, mais des ordinateurs particuliers capables de faire tourner des modèles aussi gros. Ce ne sont pas du tout des ordinateurs qu'on a à la maison, même dans des data centers pratiques. Ce sont des infrastructures dédiées exprès. Donc effectivement, si on éteint cette infrastructure, a priori, les choses s'arrêtent. La question c'est, est-ce que c'est possible de le faire ? Est-ce qu'il y a des choses qui sont mises en place rapidement avec une décision politique ? C'est ça la question. Et ça par contre, elle n'y est pas.
Speaker #3
Oui, pour rebondir là-dessus, à l'heure actuelle, je pense également qu'on peut débrancher de manière en silo des data centers, etc. où ça va impacter 90% de l'IA spécifique, etc. Le déploiement dans d'autres infrastructures physiques, il est encore limité. Donc j'ai envie de dire La nature de l'IA actuelle permettrait qu'on puisse le débrancher. À moyen terme, une IA plus autonome, plus forte, et qui sera en auto-amélioration, récursive, etc., peut-être qu'elle trouvera des moyens, des infrastructures, pour passer à chaque fois sur un autre site. Et je pense que la complexité et la performance fera que ce sera de plus en plus compliqué quand même. Donc c'est un risque quand même à prendre en compte,
Speaker #2
pas dans l'immédiat, mais à moyen terme, je pense qu'il faut réfléchir à ces scénarios-là, oui.
Speaker #1
C'est des points de vigilance,
Speaker #2
oui.
Speaker #1
Mathieu, vous voulez rajouter quelque chose ?
Speaker #2
Oui, je pense que c'est un point très important, c'est qu'en fait... On n'est pas capable de répondre précisément à cette question. Et du fait qu'on ne soit pas capable de répondre à cette question, ça prouve quand même qu'il y a une question. Peut-être pas de Terminator demain, mais en tout cas, il y a une question. Et s'il y a une question, ça veut dire qu'il faut une régulation. Et c'est ça qui est important. Et ce n'est pas du tout la régulation que demandent les entreprises qui parlent de ça. Ce qu'ils demandent, c'est ralentir. Ce n'est pas très clair ce que ça veut dire, de ralentir. A priori, ce serait plutôt une façon d'essayer d'éviter une régulation en disant « Vous inquiétez pas, on va s'auto-réguler, donc ne régulez pas » . Mais pour moi, par contre, le fait même qu'on se pose cette question aujourd'hui autour de la table et qu'on n'ait pas de réponse vraiment tranchée à donner, ça veut dire qu'il faut une régulation, qu'il faut une régulation forte, qu'il faut des gens dans les data centers d'OpenAI pour vérifier des auditeurs exactement comme on ferait pour des centrales nucléaires, par exemple. Donc, par contre, je pense qu'on est dans une situation comme ça et qu'il faut... absolument de régulation et une réponse politique à ces questions-là.
Speaker #1
Il y a la question de la réglementation, de la politique et de la superstructure au-dessus, mais il y a déjà des choses qui sont faites. Tout à l'heure, vous parliez d'alignement. C'est des choses qui sont... Vous, vous le faites au niveau de la recherche type IRIT un peu, ou c'est des choses sur lesquelles vous vous questionnez. C'est quoi l'alignement ? Et est-ce que des structures comme OpenAI, etc., le font ?
Speaker #2
Ils le font systématiquement. L'alignement, je pense... Maintenant, beaucoup de gens ont entendu parler de ça, donc les IA prédisent le mot suivant. Ça, c'est ce qu'on appelle le pré-entraînement. C'est-à-dire qu'on prend plein de données, on prédit le mot suivant. Et ça, c'est le début de chaque GPT, ça marche pas mal, mais c'est pas suffisamment bien. Donc l'alignement, c'est essayer que l'IA se comporte tel qu'on l'attend. Et donc, par exemple, ça va être dire quand il n'y a pas assez d'informations dans le document, il n'y a pas assez d'informations dans le document. Vérifier quand elle dit je vais faire cette tâche. qu'elle fait vraiment cette tâche. Je ne sais pas si vous vous rappelez au début, ça arrivait très souvent qu'elle disait « Ok, je le fais. » Et puis elle ne le faisait pas. Et donc du coup, c'est avoir ces garanties-là. Donc ça, c'est une forme d'alignement. Il y a d'autres formes d'alignement qui vont être garantir que il ne va pas dire des choses racistes ou des choses sexistes, etc. Donc là, c'est des alignements plutôt éthiques. Et il y a des alignements de cybersécurité, c'est-à-dire garantir qu'on ne va pas pouvoir l'utiliser. Enfin, je dis garantir, en fait, on ne garantit pas. Donc, ils font toutes ces choses-là.
Speaker #0
Parce que c'est dans leur intérêt. S'ils ne le font pas, ils risquent d'avoir...
Speaker #1
On se souvient de Tei, de Microsoft à l'époque. Qui avait fait un vrai bad buzz lui.
Speaker #0
Donc ils le font tous parce que nous on ne peut pas le faire pour eux. Mais par contre, tous ces alignements là, c'est des méthodes, c'est aussi des méthodes basées sur les données et sur l'entraînement et donc c'est des méthodes qui n'ont pas de garantie. C'est ce qu'on voit aujourd'hui.
Speaker #1
Oui c'est ça, on peut dire que c'est des méthodes de contrôle mais qui sont des contrôles a priori mais pas a posteriori, c'est-à-dire que ça ne garantit pas le résultat.
Speaker #0
C'est ça et surtout c'est des méthodes de contrôle qui pour l'instant sont auto-imposées, ils se l'auto-imposent, elles ne viennent pas d'une loi un petit peu avec les actes. Oui, en Europe. En Europe et puis même comme ça on n'est pas exactement dans... dans ce qu'il faudra.
Speaker #2
Jérôme ?
Speaker #3
Non mais on touche quelque chose qui est pour moi fondamental au terme de tout ce qui est les alignements c'est que c'est, comme l'a très bien dit Mathieu, c'est des alignements qui sont imposés en interne par l'entreprise qui conçoit l'IA.
Speaker #2
Qui fait ses règles.
Speaker #3
Exactement. Et c'est pour ça qu'ils ne veulent pas forcément des réglementations internationales qu'on va leur imposer des règles mondiales ou autres. C'est que là... On touche, et c'est pour ça que chaque continent ou chaque grand pays veulent leur IA générative plus ou moins très forte, pour imposer aussi une guerre de la culture, de la culture du pays en fonction. Les aliments, donc les valeurs qu'on leur impose, les garde-fous finalement, d'un pays à l'autre, peuvent être différentes. Vous allez sur la côte ouest, ils ont encore une inspiration très marquée wokiste, qui n'ont pas forcément en Europe ou autre, ou moins en tout cas. Et vous allez en Asie, c'est encore différent. Et donc, il y a une vraie guerre, au-delà de l'anthropologique, tout ce que vous voulez existentiel, il y a une vraie guerre culturelle, qui sont associées à la géopolitique et aux marchés financiers qui sont associés. Donc, on voit bien, c'est un jeu de domino, de poupée russe qui s'enclenche pour arriver à des choses. Donc, derrière tout ça, et c'est là, cette régulation, finalement, qu'ils veulent imposer, c'est des régulations qui restent assez opaques. Alors que si on touche à une réglementation, une régulation internationale, par nature, elle sera transparente, elle sera légitimée. Le problème dans tout ça, c'est que je ne vois pas un organisme international pouvoir porter là-dessus toute la réglementation internationale et fédérer tous les pays. On le voit bien rien qu'avec l'environnement, comment ça se passe. Là-dessus, je suis assez pessimiste. Je ne crois pas, sans faire offense à l'ONU, mais qu'il y ait une instance internationale qui commence à faire son temps. Je pense que soit elle ne fait pas neuve et elle serait nouvelle, mais il y a des vraies problématiques là-dessus. Et encore une fois, pour terminer, les enjeux financiers et géopolitiques sont démentiels.
Speaker #1
On a l'impression d'un parallèle un petit peu aussi avec le nucléaire et avec l'arme atomique. C'est-à-dire qu'on a été capable à un moment donné de faire... Demoratoire de stopper le développement des armes nucléaires, de faire Ausha, l'Agence internationale de contrôle du nucléaire, qui a échoué quand même, qui disons restait un petit peu aux portes de l'Iran notamment, par rapport au contrôle des armes nucléaires. Le parallèle IA-nucléaire, il fait froid dans le dos quand même. Est-ce qu'on peut parler aussi du coup du marketing de la peur ? C'est-à-dire que le fait de faire peur aux gens, de faire peur au pays, de faire peur au public. C'est une manière pour ces entreprises d'asseoir leur domination et de maintenir leur position dominante dans le marché international.
Speaker #3
Alors moi là-dessus, je suis un peu plus optimiste on va dire. C'est peut-être paradoxal parce que je considère qu'il y a des moratoires et des compromis internationaux, notamment pour le nucléaire, qui sont et qui fonctionnent. La problématique là-dessus... C'est qu'il faudrait qu'il y ait deux grandes ou trois grandes puissances qui ont des IA aussi fortes et qui se disent, ils vont se neutraliser en disant, ok, t'as cette arme, moi aussi je l'ai, et donc faire des moratoires sur des armes autonomes, c'est déjà fait. Après, la problématique là-dessus et la comparaison avec le nucléaire, c'est que, et on le voit même par rapport à l'Iran ou l'Irak à l'époque, c'est de vérifier que tel pays n'a pas franchi la ligne rouge ou jaune. Physiquement, avec le nucléaire ou d'autres choses, c'était plus facile. C'était physique. Là, savoir si dans les laboratoires privés de telle ou telle armée, on fait déjà des tests avec des IA encore plus fortes associées à de l'arme, etc. C'est plus opaque et ça va être plus compliqué de vérifier, de mandater une entreprise ou plutôt... des instances de vérification d'experts pour voir où ils en sont, ça va être plus compliqué.
Speaker #0
C'est très drôle parce qu'on parle de science-fiction et de Terminator, dans nos romans anciens, il y a une politique, donc c'est marrant, c'est des grosses corporations, et il y a une loi qui interdit les IA de dépasser un certain niveau, et il y a ce qu'on appelle la police de Turing dedans, donc c'est assez drôle, c'était déjà un peu à imaginer au début des années 80.
Speaker #2
C'était anticipé un petit peu.
Speaker #0
C'est ça. Pour le marketing de la peur, je pense qu'il y a une chose très simple, c'est un moyen de dire, regardez, nos IA sont tellement puissantes, Quand elles disent qu'elles nous essaient, c'est regarder, elles sont tellement puissantes, elles marchent tellement bien qu'elles nous essaient. Donc c'est un marketing aussi comme ça. Il faut savoir que c'est les deux grosses entreprises qui font le plus ça, c'est-à-dire Open AI et Anthropique, vont rentrer en bourse dans quelques mois. Là, ça a été un peu repoussé. Donc il y a un enjeu quand même là-dessus. Et ils savent que la régulation va arriver à un moment. Donc là, pour l'instant, ce qu'ils font, c'est qu'ils vont le plus vite possible pour essayer de mettre en place un maximum de choses. elle va être celui qui... décidera ou à qui il faudra discuter au moment de réguler.
Speaker #1
En plaidant pour un ralentissement, ils veulent ralentir leurs concurrents surtout, puisque eux, ils sont en tête.
Speaker #0
Oui, mais je pense qu'ils ne veulent même pas ralentir les concurrents. Je pense que c'est vraiment juste montrer de la bonne volonté pour ne pas qu'on les régule. Parce qu'en disant ça, ils sont tous les... Entropiq et OpenAI, ils sont à fond pour sortir des nouveaux modèles. Donc, ils ne sont pas du tout en train de ralentir. Donc, c'est juste de la com' pure et dure.
Speaker #3
Non, puis aussi, c'est aussi une façon de... de se confronter en intermittence avec l'open source des IA chinoises. Et là, c'est ça qui leur fait aussi peur, parce qu'ils se disent que l'open source, ça donnait accès à tout le monde, justement, de la technologie, pour qu'ils puissent auto-évoluer, se développer et rattraper le temps perdu. C'est là aussi qu'il y a la montée en bourse, ça je te rejoins tout à fait, mais il y a aussi essayer de freiner un moment en disant, nous, on a conscience, elle est très très forte. Elle nous échappe, mais on va mettre encore plus d'argent, encore plus d'expérimentation pour avoir les garde-fous. Et donc, il y a un double jeu finalement, ou un triple bande, je ne sais pas, là-dessus, qu'il ne faut pas dénier.
Speaker #2
Oui, et puis c'est vrai que pendant qu'on parle de toutes ces questions-là, on oublie toutes les questions écologiques aussi qu'on évoquait tout à l'heure. Je ne sais plus si c'était Mathieu qui en parlait, sur les consommations nécessaires, sur tous ces enjeux énergétiques qui sont derrière, sur la question aussi... des problématiques cognitives que ça pose, etc. Donc c'est vrai qu'on détourne aussi un peu l'attention sur un certain nombre de sujets.
Speaker #0
Je pense qu'il y a eu une réaction il y a quelques jours, vous avez sûrement entendu le théorème de maths qui a été prouvé. Je trouve qu'il y a eu une réaction très intéressante des mathématiciens. Il y a eu 25 médailles-fils qui ont signé un papier. Et je trouve que c'était très bien écrit. Ils n'ont pas dit, oh là là, laissez-nous les maths, ne nous prenez pas les choses. Contrairement à ce qu'on dit quelque part. ils ont dit attention, résoudre Les problèmes en maths, ce n'est pas faire des maths. Faire des maths, c'est les résoudre en apportant de nouveaux outils qui nous serviront à progresser. Et la question qu'il pose et qu'il dit, c'est en fait, on fait progresser l'IA très, très vite, mais pour l'instant, on ne sait pas pourquoi. C'est quoi l'objectif ? Qu'est-ce qu'on veut en faire ? Et ça, je trouve ça très intéressant, parce qu'effectivement, on répond très peu à cette question. Et c'est très lié à la question écologique, c'est-à-dire que le coût écologique peut être acceptable si on en fait... quelque chose qui a suffisamment d'intérêt pour l'humanité. Et pour l'instant, on part en avant très très vite et on ne se pose pas cette question de à quoi ça va servir, comment ça va structurer la société. Et pour l'instant, ça se structure très fort et pas forcément de la façon dont on veut. Et pour moi, le danger le plus immédiat, c'est celui-ci. C'est l'impact que ça a aujourd'hui sans qu'on se pose la question de ce qu'on va vraiment faire et où est-ce que ce serait utile.
Speaker #1
Oui, l'enjeu c'est le pourquoi et pas trop le... le comment. Alors, je ne sais pas si on vous aura rassuré à l'écoute de ce podcast, chers auditeurs et auditrices. Le moins qu'on puisse dire, c'est que cette question, elle n'est pas anodine. Elle mérite d'être posée sur la table vraiment et d'être discutée. Pour cela, je vous recommande un roman graphique très original et très facile d'accès à partir de 15-16 ans. C'est le journal de Mev que vous avez co-écrit, Jérôme Béranger, avec Mathieu Perrotin, dans lequel vous nous racontez la jeunesse de la première IA consciente.
Speaker #2
Et puis n'hésitez pas à aller faire un tour sur le site web du Quai des Savoirs, donc quai-des-savoirs.fr, pour consulter vidéos, podcasts, interviews de chercheurs, de philosophes ou d'artistes sur l'intelligence artificielle et même le procès de l'IA.
Speaker #1
Des tours vers le futur, c'est terminé pour aujourd'hui. Un grand merci à nos deux invités, Jérôme Béranger et Mathieu Serrurier.
Speaker #2
Des tours vers le futur, un podcast du Quai des Savoirs, présenté par Laurent Chicoineau et Marina Léonard, préparé avec l'aide de Françoise Vissac et la complicité de Valéria Médina de Lyrique.
Speaker #1
à la réalisation Arnaud Maisonneuve, à la prise de son Laurent Caudoule.
Speaker #2
Rendez-vous le mois prochain pour un nouvel épisode de Détour vers le futur sur les sciences participatives. Un podcast qui sera enregistré en public au Quai des Savoirs pendant le festival Lumière sur le Quai. Toutes les infos pour y participer sont déjà sur notre site web.
Speaker #1
Et en attendant, vous pouvez réécouter ce podcast et tous les autres sur Apple Podcasts, Spotify ou Deezer. Et abonnez-vous pour ne manquer aucun nouveau Détour vers le futur.
Speaker #2
Ciao !

About Détour vers le futur

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

About Détour vers le futur

Détour vers le futur, le podcast science du Quai des Savoirs à Toulouse. Une émission proposée par Laurent Chicoineau et Marina Léonard, en partenariat avec l’INA.

Production Quai des Savoirs | 2023-2025 | https://quaidessavoirs.toulouse-metropole.fr/

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Embed