Transcription

• Speaker #0

  Enquête d'accord, l'art de communiquer et d'être en lien. L'intelligence artificielle en santé est une révolution. Elle porte autant d'espoir que d'inquiétude. Nous pressentons tous que la vitesse de progression de l'intelligence artificielle en santé est galopante. Et nous avons besoin de comprendre ce qui est à l'œuvre juridiquement et éthiquement pour réguler et protéger nos données de santé. Marie Gény nous explique pas à pas comment se mettent en place les garde-fous de ces nouveaux systèmes. Excellente écoute ! Bonjour Marie !

• Speaker #1

  Eh bien bonjour !

• Speaker #0

  Tellement merci d'être venue jusqu'à Paris.

• Speaker #1

  Merci de me recevoir, c'est un plaisir, vraiment enchantée.

• Speaker #0

  Le plaisir est partagé. Alors de quoi on va parler aujourd'hui ? On va vite comprendre, parce que je vais te présenter. Tu es Marie Génie, tu es juriste, c'est ta profession. Et donc tu es doctorante au DRESS, c'est un laboratoire, je vais prendre mes notes, droit, religion, entreprise, société ?

• Speaker #1

  Tout à fait.

• Speaker #0

  C'est ça, à Strasbourg.

• Speaker #1

  C'est ça.

• Speaker #0

  Donc, tu travailles, tu es spécialiste dans la gouvernance des données de santé et des systèmes d'intelligence artificielle. Exact. Rien que ça. Donc, tu t'occupes de tout ce qui concerne la réglementation et la juridiction, l'encadrement juridique de tous les systèmes d'intelligence artificielle. Un sujet qui est important d'actualité à chaud. Tellement merci de venir nous éclairer sur ce sujet dans lequel, on peut dire, on patauge un petit peu. On ne sait pas où on en est. Beaucoup d'informations, beaucoup de médias parlent du sujet. Et nous avons tous besoin, citoyens comme personnels de santé, d'avoir une vue des enjeux, de la réglementation, de ce qui se fait déjà et ce qui est organisé dans l'avenir pour accompagner ces progressions galopantes. de technologie, qui nous donne un peu le vertige et on ne sait pas si on arrive à suivre, s'il y a des choses qui s'organisent. Grâce à toi Marie, on va pouvoir comprendre comment s'articule, comment se réglemente l'intelligence artificielle et le numérique en santé. Merci pour ça.

• Speaker #1

  Merci beaucoup. Je vais essayer de me mesurer à l'ampleur de la tâche, mais oui. ensemble, on va essayer d'articuler tout ça et de comprendre un peu mieux comment le droit vient réguler un phénomène qui est déjà existant et puis c'est souvent de cette façon que le droit fonctionne un peu a posteriori, parfois en amont, parfois avant mais en général c'est souvent après que l'effet soit survenu Alors oui,

• Speaker #0

  tu dis que ça existait déjà, c'est-à-dire que la réglementation elle n'apparaît pas, elle ne date pas d'hier, elle existe Merci. d'avant les systèmes d'intelligence artificielle en santé. Et elle est venue accompagner ce développement qui a été extrêmement important ces derniers temps. Est-ce que tu peux m'expliquer quel est l'historique et de ces technologies et la réglementation qui les accompagne ?

• Speaker #1

  Bien sûr. Au niveau de la réglementation des technologies en tant que telles, si on prend vraiment les systèmes d'IA, C'est vrai que les premiers éléments, ils sont à l'international. Ils sont au niveau des organisations internationales liées aux Nations Unies qui vont poser des premières règles en disant, voilà, on a des systèmes, on ne sait pas exactement encore ce qu'ils font. Et on est déjà dans les années 1970-80, on commence déjà à voir ces systèmes qui sont employés. Et au niveau européen, au niveau français, on a les premières réglementations sur les techniques réellement. qui vont apparaître avec les règlements sur les dispositifs. Si on prend le système d'IA en santé, dispositifs médicaux qui vont un peu intégrer, on commence à se rendre compte qu'il y a les logiciels. Donc il y a ce type de réglementation qui vont venir s'occuper, gérer le fonctionnement des systèmes, gérer l'utilisation de ces systèmes et qui vont apparaître dans les années 2010, puis 2018, on a un peu des dates clés sur lesquelles je pourrais revenir. Et en fait, ce qu'il y a d'intéressant dans ces systèmes-là, c'est qu'ils sont très liés à l'utilisation des données. Et il y a une phrase qui est un peu percutante, c'est l'idée qu'on n'a pas d'intelligence artificielle sans données, et en réalité, on peut l'étendre, on n'a pas de numérique sans données, sans ces informations numéraires qui vont être traduites par les ordinateurs, par les machines. Et par contre, la réglementation des données, que ce soit, si on reprend un peu cette idée européen-france, ou international, européen, France, la réglementation des données, elle est très ancienne. Au niveau européen, on va avoir des choses très concrètes de règlements qui apparaissent dès 2016, vraiment, c'est ça, c'est le règlement sur la protection, donc règlement général sur la protection des données, qui vient encadrer tout ça. Et en France, on avait déjà, dès 1970, dès 1978, la loi informatique et liberté qui venait réguler. ces données et les usages des données.

• Speaker #0

  Alors, avant d'aller dans le détail de tout ça, Marie, est-ce que d'abord tu peux m'expliquer, toi, ton travail actuellement, en quoi il consiste ? Qu'est-ce que c'est cette thèse sur laquelle tu travailles ?

• Speaker #1

  Alors, la thèse, elle pose la question de cet encadrement des données de santé. Donc, c'est plus spécifique. On va aller voir spécifiquement les données de santé et comment... l'intelligence artificielle, ou plutôt les systèmes d'intelligence artificielle, ils viennent mettre en lumière peut-être des questionnements, des problèmes, des choses assez critiques dans l'usage et le déploiement de ces systèmes. Et donc la thèse, elle est sur l'encadrement, elle est sur la question comment le juridique vient prendre en main, est-ce que c'est suffisant, est-ce qu'on arrive aussi à articuler, c'est un peu ce que tu disais tout à l'heure avec cette question d'articulation, on est un peu paumé, il y a énormément de réglementations, C'est vrai que... En tant que juriste, on a tendance à les citer assez rapidement, mais on va essayer de faire le point sur tout ça. Donc la thèse vient questionner ça.

• Speaker #0

  Je comprends que ce travail t'a obligé de connaître les systèmes d'intelligence artificielle, de comprendre leur historique et de comprendre aussi quelles sont les promesses que proposent ces systèmes d'intelligence artificielle dans le cadre de la santé et leur corollaire qui, à chaque fois qu'il y a une promesse ou un avantage, il y a obligatoirement un risque qui l'accompagne. Donc du coup, maintenant, l'intelligence artificielle en santé, c'est un sujet que tu commences à vraiment maîtriser ?

• Speaker #1

  Eh bien, alors, plus on avance dans la connaissance, plus on se rend compte qu'en général, on ne connaît pas tant que ça et qu'il y a toujours des nouvelles portes à ouvrir et tant mieux, je suis en recherche pour ça. Et puis, voilà, ça correspond aussi à ce qui m'intéresse. Mais c'est un sujet qui est vaste et qui va toucher à tout. les différents pans de la société. On va se poser des questions par rapport à l'environnement, on va se poser des questions par rapport justement à la protection de nos données, donc tout ce qui va être au niveau du personnel, de la donnée personnelle, mais aussi des questions, on y reviendra plus tard, par rapport à la souveraineté, comment est-ce qu'on arrive à faire société avec toutes ces questions. Et si on revient vraiment à la protection aussi de l'humain, protection de nos données, elle est sur différents pans. à la fois sur la protection, notre protection à nous de nous donner, mais aussi sur la protection de notre lien, de la façon de faire cette société. Et ça, il y a aussi de l'encadrement. En tout cas, on essaye de tendre vers une IA ou en tout cas des systèmes d'IA qui seraient des IA de confiance. C'est un terme qui revient beaucoup dans les réglementations européennes et on les applique en France. Donc ça, c'est des choses qui sont connues. On sait que ça existe, on sait qu'on en a besoin. mais qui sont difficiles à mettre en place parce qu'il y a énormément d'agendas, et pas que les agendas français ou européens, il y a aussi ceux américains, ceux des puissances aussi asiatiques, donc en Chine, il y a aussi les agendas bien évidemment des autres puissances dans le monde qui se rencontrent et qui sont des véritables enjeux avec énormément de risques aussi.

• Speaker #0

  Alors pour pouvoir embarquer nos auditeurs avec nous, Est-ce qu'on peut faire un petit rappel de la... place de l'intelligence artificielle en santé, les types d'intelligence artificielle et ce qu'on attend de cette technologie au service de la médecine, notamment cette médecine des 4 ou des 5P dont tu parles souvent.

• Speaker #1

  Oui, alors l'intelligence artificielle en santé aujourd'hui, on va la retrouver à différents aspects, différents usages en réalité. On va avoir cette médecine 5P. la médecine qui serait personnalisée, plus prédictive, la médecine qui va essayer d'utiliser les données pour pouvoir soigner mieux. C'est vraiment ça l'objectif. Et donc ce qu'on va avoir aujourd'hui comme usage, on le voit en radiologie, on a déjà des systèmes d'IA qui sont intégrés. C'est plutôt aux Etats-Unis, on a aussi des exemples un petit peu dans d'autres Etats. Mais en France, on va avoir des premiers retours, des premiers questionnements. mais on n'a pas encore d'usage précis et concret spécifiquement. Au niveau de la radiologie, on va avoir l'usage des systèmes pour pouvoir identifier plus facilement des tumeurs. Au niveau des programmes, si on est dans les structures hospitalières, on va avoir de l'usage de systèmes pour optimiser peut-être la prise en charge. On va aussi avoir des usages dans la médecine de ville ou d'autres usages où on va avoir des systèmes qui vont être spécifiquement conçus pour prendre en compte, donc rédiger des comptes rendus médicaux tout en respectant, quand c'est au sein de l'Union européenne, la protection des données. On va aussi avoir des formes de systèmes d'intelligence artificielle un peu plus robotiques, intégrées dans des robots.

• Speaker #0

  Des robots chirurgicaux.

• Speaker #1

  Exactement, les robots chirurgicaux, puisqu'avant ils fonctionnaient avec de l'automatisation de traitement où vraiment le robot, on lui donnait un ordre, une chose à effectuer. Et là, on commence à avoir un peu de prédiction, donc ils vont un peu plus loin dans les mouvements, plus loin dans l'étape d'après. Et ça, c'est fait avec des systèmes d'intelligence artificielle. Et on va voir. tous ces différents usages. Les objets connectés aussi. Les objets connectés, tout à fait. Et les objets connectés, ça peut être des objets du quotidien. La montre connectée qui va aller regarder, tiens, la prévision qui serait intéressante par rapport... Les capteurs de glycémie. Exactement, les capteurs de glycémie, les boucles fermées. Aussi, également, qui vont utiliser de l'intelligence artificielle pour prévoir, prédire. Voilà,

• Speaker #0

  donc participative, prédictive. Qu'est-ce qu'il y a d'autre ? Personnaliser. Personnaliser. Préventive. Préventive et celle qui a fait ses preuves.

• Speaker #1

  C'est ça.

• Speaker #0

  C'est-à-dire la recherche médicale.

• Speaker #1

  C'est ça, exactement. Et donc, dans la recherche médicale, alors ça c'est vrai que là on était plus dans l'aspect soins, l'aspect que nous on appelle vraiment cet usage primaire, c'est le terme vraiment retenu en droit. Et dans l'usage secondaire, parce qu'on revient un peu à ces données et puis à comment on va les réemployer, on a la recherche évidemment. Et la recherche, c'est optimisation. Là, on a une utilisation qui est vraiment importante, concrète et qui a déjà fait ses preuves au niveau de l'errance pour les maladies rares. Et les temps, en tout cas, d'errance ont été considérablement raccourcis. Donc, on va utiliser des systèmes d'IA pour pouvoir plus facilement détecter, plus facilement faire des liens entre des molécules et pouvoir aller encore plus loin dans la recherche. Et puis il y a... tous les autres types, bien évidemment, de recherche qui vont pouvoir s'appuyer sur ces systèmes d'intelligence artificielle.

• Speaker #0

  Donc, en somme, ces systèmes d'intelligence artificielle vont révolutionner l'accès aux soins, le soin, le diagnostic, la thérapeutique. Il y a beaucoup d'avantages et de promesses attendues. Certaines sont déjà à l'œuvre. Donc, c'est super important de les connaître. Mais elles posent des problèmes de réglementation et d'éthique. auxquelles il va falloir qu'il faut connaître et qu'il faut accompagner pour que ça se passe dans le meilleur des mondes. Parce qu'accompagner cette progression est une façon aussi de contrer, on va dire, une logique et une idéologie qui peuvent être à l'opposé de nos valeurs, certaines fois et des applications médicales qui peuvent... être détournés de leur usage premier. Donc, tout ça, toute cette médecine-là, passe, comme tu dis, par la donnée médicale et la donnée en santé.

• Speaker #1

  C'est ça.

• Speaker #0

  Et cette donnée en santé est là une définition juridique et en droit.

• Speaker #1

  Oui, tout à fait. Alors vraiment, là, je reprends la note pour que ce soit bien clair et précis pour le coup. La donnée de santé, aujourd'hui, il y a une définition européenne. Donc au sein des 27 États membres de l'Union européenne, c'est la donnée personnelle qui est relative à la santé physique ou morale, passé, présente, futur, d'une personne physique. Donc ça, c'est vraiment l'idée et qui va révéler, ça aussi une partie importante de la définition, qui va révéler des informations sur l'état de santé de cette personne. Et cette définition, elle est très large. Pourquoi ? Parce qu'elle permet de prendre en compte un nombre assez important de types de données. Là, on va penser au compte rendu médical. On n'a pas vraiment de doute, on est sur de la donnée médicale, mais on n'y pense pas toujours. Il y a aussi les données médico-administratives, donc tout ce qui va être carte vitale, les questions de remboursement également. Ça fait partie aussi de ces données qui donnent des informations. Les assurances, les mutuelles. Exactement, les assurances, les mutuelles. On a eu aussi les problématiques avec les tiers payeurs. Ça, on pourra revenir, mais sur les questions d'attaque de ces systèmes qui vont aussi pouvoir donner des informations. Et puis, on a aussi toutes les données. Donc, on parlait de montres connectées. Aujourd'hui, il y a un peu un terme, données de vie réelle, puisque c'est en temps réel, on a ces informations. On a aussi d'autres types de données, les données ici de la recherche, on en parlait. Et puis, les données aussi qui vont être liées aux statistiques, les données de santé publique. Ce sont aussi des données scientifiques, des données des informations. Les données scientifiques, c'est ça qu'on peut avoir également. Et donc, cette définition, elle est intéressante parce qu'elle est large, parce qu'elle permet de protéger et donc de prendre en compte un nombre important de situations. Mais on n'a pas aujourd'hui, si on prend que la France, puisque au niveau des politiques de santé, ça se passe au niveau des pays, au niveau des États. C'est vrai qu'en France, on n'a pas une définition qui est retenue. On va avoir plusieurs éléments dans le Code de la santé publique. dans les codes de déontologie médicaux des professionnels de santé, donc des médecins, mais également d'autres professionnels. Et en fait, on se pose parfois la question, tiens, est-ce qu'on va réellement réussir à bien protéger toutes les données, puisqu'est-ce qu'on doit accorder la même valeur ou protection à une donnée qui est un compte-rendu médical qu'à une donnée qui va peut-être donner moins d'informations, apporter moins d'informations ? Donc ça, c'est un peu des questions en cours qui sont des enjeux de définition, et c'est juridique. En tout cas, ça se passe au niveau du juridique.

• Speaker #0

  Ok. Alors, qu'est-ce qu'elles deviennent, toutes ces données ?

• Speaker #1

  Alors, toutes ces données, c'est vraiment l'idée qu'on va voir un médecin, on va en ligne aussi, on peut contribuer en ligne. Eh bien, elles vont être utilisées de différentes façons. Soit pour le sang, on en parlait ensemble. Et si c'est intégré dans des systèmes d'intelligence artificielle, on va retrouver cette médecine des 5P avec la prédiction, ces éléments. Mais elles peuvent aussi être réutilisées. Et c'est là aussi que se posent les questions, les différentes questions un peu de... de risque. Donc les grands enjeux qu'on peut retrouver au niveau des données, c'est les enjeux au niveau de la collecte, quand on va donner son consentement, quand on va nous solliciter. Alors au niveau des structures hospitalières aujourd'hui, pour avoir eu plusieurs échanges de différents types, c'est très cadré, c'est vraiment cadré, on a des protocoles, on a des éléments.

• Speaker #0

  Marie, excuse-moi, avant de parler du risque, est-ce que tu peux nous dire qu'est-ce que ça devient et qu'est-ce qu'on essaye d'en faire ? comment on essaye de les organiser est-ce qu'on essaye de mettre toutes ces données-là de les mettre au même endroit par exemple le dossier médical c'est comme ça que ça s'appelle ?

• Speaker #1

  Oui c'est ça, il y a le dossier,

• Speaker #0

  alors c'était le dossier médical partagé aujourd'hui c'est devenu mon espace santé c'est ça donc on essaye de faire en sorte que ça se collecte c'est pas encore complètement réel mais c'est l'objectif et après on regroupe toutes ces données-là on essaye de les mettre au même endroit il y a des... structures qui sont organisées en France et en Europe pour ça ? Oui,

• Speaker #1

  c'est ça, tout à fait. Il y a le Health Data Hub, donc le HDH, qui, aujourd'hui, regroupe un ensemble de données. Ce n'est pas le seul. On a les Systèmes Nationaux des Données de Santé, le SNDS, pour le petit nom. On l'appelle comme ça. Et en fait, qui va regrouper les données hospitalières, d'autres types de données aussi. Et en fait, tout ça, c'est vraiment cette idée de, on va avoir le plus de données possible et on va essayer de mieux soigner. Ça, c'est l'idée de base. Maintenant, on va utiliser ces données pour pouvoir créer d'autres systèmes d'intelligence artificielle ou pour pouvoir créer, quand on repart un peu dans cette idée de recherche, pour pouvoir créer des nouveaux médicaments, pouvoir proposer des nouvelles choses. Et l'enjeu, il est là aussi. Est-ce que nous, en tant que personnes, personnes physiques, qui donnons ces données ou qui avons contribué à former ces ensembles de données, est-ce qu'on est d'accord ? Est-ce que c'est ce qu'on souhaite ? Il y a aussi ces questions-là qui peuvent se poser.

• Speaker #0

  Mais il faut qu'on soit informé, si l'avantage est réel, si ça va contribuer à l'amélioration de la médecine, au fait, il faut qu'on soit aussi conscient de ça.

• Speaker #1

  Oui, c'est ça. Et l'information, elle est importante à plusieurs égards. Elle est importante que ce soit au niveau de la collecte. On va avoir une information, puisqu'on parle de consentement éclairé. Et le consentement éclairé en médecine, c'est un consentement qui est éclairé par l'information. Merci. Et donc, il faut avoir l'information. Après, la difficulté, ce sont les réalités du terrain. C'est-à-dire que quand on va parler avec les professionnels de santé, quand on va parler, on se rend compte que c'est très difficile de pouvoir donner une information personnalisée à chacun. Et donc, par rapport à ça, le droit dit, si vous donnez des documents écrits, les personnes ont la possibilité d'avoir ces informations, elles sont considérées comme informées. Ce sont aussi des choses qu'on peut questionner dans notre projet de société, et surtout par rapport à tous ces systèmes d'IA où on a pris l'habitude, avec le numérique, de ne pas toujours aller lire, de cocher sans regarder. Et pourtant, on donne notre consentement quand on le fait. Donc ça, c'est aussi des choses qu'on peut questionner, la façon dont on va accepter, consentir, et puis surtout dans le système qui évolue et notre écosystème juridique qui va de plus en plus vers le partage. Aujourd'hui, il y a un règlement européen qui s'appelle le règlement européen sur l'espace européen des données de santé, le EEDS ou le EHDS, selon qu'on parle en français ou en anglais. Ce règlement-là, il vise une application en 2027, 2028, 2029, voilà, jusque 2030, on est dans ces données-là. On vise le partage, le partage au sein de la France, mais le partage entre États européens et donc entre professionnels de santé. Donc on se dirige aussi vers ces questionnements-là.

• Speaker #0

  D'accord.

• Speaker #1

  Donc la loi qui parle des consentements et de l'information, c'est toujours la loi RGPD. Tu vas nous expliquer après d'où elle s'en historique et en quoi elle s'applique actuellement. C'est bien de ça qu'on parle.

• Speaker #0

  Oui, alors à la fois le RGPD, c'est là la difficulté dans ce domaine, c'est qu'il y a énormément de lois et de règlements qui vont venir s'entrecouper. Et on parle du RGPD, oui, bien sûr, par rapport aux données, mais pas que. Il y a aussi les lois françaises, donc la loi informatique et liberté. Et puis, tous les éléments qui ont un trait à la santé, donc le code de la santé publique et les autres réglementations françaises, en tout cas, lois françaises qui existent dans ce domaine. Et puis, quand on est dans la recherche, ce sont encore d'autres textes bien spécifiques.

• Speaker #1

  Alors, je t'ai interrompu, tu commençais à parler des risques de la collecte et de chaque... chaque niveau de l'utilisation de la santé. Est-ce que tu peux nous dire le risque à chaque étape ?

• Speaker #0

  Oui, alors on va prendre trois étapes. C'est un peu ce cycle de vie de la donnée. Qu'est-ce qui se passe ? Et si on prend la donnée de santé particulièrement, alors une première étape, ce serait l'étape où je parle de collecte, on peut parler de recueil également des données. Et puis, comme on disait, il y avait aussi la possibilité de contribuer. Donc, les premiers risques qu'on va identifier, ce sont les risques de... droit à l'information qui ne serait pas respectée, ces questions de consentement, on va les retrouver ici quand on est spécifiquement sur la donnée. Ensuite, quand on va être sur l'hébergement des données, donc c'est un peu ce moment où on parlait du Health Data Hub qui récupère, qui va essayer de grouper les données du Système National des Données de Santé, le SNDS, eh bien alors on va avoir des risques qui sont des risques liés aux attaques, aux attaques en ligne, il y en a de plus en plus. Tout à l'heure, je mentionnais les tiers payeurs, ça s'est produit en 2024, on a eu depuis d'autres attaques de grande envergure en France qui se sont produites. Et donc, on va avoir ces risques-là que nos données fuitent, que nos données de santé fuitent, ces données qui ont un caractère sensible particulier parce qu'elles nous touchent d'une façon particulière. Eh bien, on va avoir ces risques-là. On peut aussi avoir des risques de perte de ces données quand on a l'hébergement. Et puis après, un autre aspect important dans ce cycle de vie, ça va être l'aspect de la réutilisation. qui réutilisent, à quelle fin, à qui sont transmises nos données, puisqu'il y a également la question des tiers intéressés. Et qui seraient ces tiers intéressés ? Ça peut être les assurances, ça peut être des sociétés privées qui vont être très intéressées par nos données de santé, puisqu'elles vont pouvoir créer peut-être des modèles pour nous faire peut-être acheter, peut-être consommer différemment et en santé. Et donc ça, c'est assez important également. C'est un risque.

• Speaker #1

  Marie, je comprends que pour tout ce qui est hébergement, c'est super important qu'on puisse y réfléchir parce que c'est une mémoire collective, parce que ça présente un avantage dont il faut profiter. La problématique, c'est qu'il y a un risque, comme tu dis, le risque de piratage, de violation des données. Tu me dis qu'on ne sait pas qui c'est qui va les utiliser. Est-ce qu'actuellement, ce n'est pas encadré ? C'est-à-dire, oui, je comprends pour le piratage, mais en dehors du piratage, on sait qui va utiliser ces données-là ? Qui a le droit de les utiliser ? Qui a accès au Health Data Hub, par exemple ?

• Speaker #0

  Oui, alors actuellement, le Health Data Hub, il y a vraiment un procédé qui est encadré, donc c'est très encadré. Et l'idée, c'est des personnes physiques ou des personnes morales des sociétés vont pouvoir faire des demandes pour avoir accès à ces données. dans un processus qui va être aussi validé par l'ACNIL. C'est vrai qu'on n'en a pas parlé, la Commission nationale sur les libertés, donc Informations et Libertés, et qui va être garant en tout cas de la protection de ces données. Donc il y a ces différents éléments qui entrent en jeu pour nous protéger. Il y a des institutions, des organes. Donc en France, c'est vraiment très cadré de ce côté-là. Maintenant, et c'est ce dont on parlait tout à l'heure avec ces objets connectés, il y a différentes formes. En fait, aujourd'hui, de mémoire collective, il y en a à différents endroits, et elles ne sont pas toutes. protégés de la même façon. Et c'est vrai que parfois, on consent à donner et en tout cas à transmettre nos données à des instances qui ne sont pas, qui ne vont pas pouvoir protéger de la même façon nos données que c'est le cas en France et au sein de l'Union européenne.

• Speaker #1

  C'est-à-dire, en France, de toute façon, si on donne ces données de santé, on sait que c'est encadré. Mais si on le fait, par exemple, à l'étranger, on n'est pas assuré d'avoir la même réglementation.

• Speaker #0

  Tout à fait.

• Speaker #1

  Donc là, on pense, par exemple, à toutes ces sociétés Merci. où des Français et des Européens ont envoyé aux États-Unis, par exemple, leurs tests salivaires et leurs tests génétiques.

• Speaker #0

  Oui, c'est ça, vraiment les tests génétiques. Après, en plus, en France, il y a une interdiction qui encadre cela et qui ne permet pas. Mais tous ceux et toutes celles qui l'ont fait, c'est vrai que ces données-là, ces données de santé, elles sont très intéressantes, très précieuses. C'est un peu la nouvelle mine d'or qu'on vient chercher, creuser, puisque ça donne beaucoup d'informations. eh bien... elles sont aujourd'hui en quelque sorte perdues ou en tout cas utilisées à plusieurs fins, sans qu'il n'y ait des possibilités d'avoir un regard de la même façon qu'il y a la possibilité d'avoir un regard.

• Speaker #1

  Elles appartiennent à qui ? Celles qui sont parties aux Etats-Unis par exemple ?

• Speaker #0

  Alors la difficulté c'est qu'aujourd'hui on n'a pas, en tout cas en France, sur les données de marchandisation des données, on n'a pas de propriété en tant que telle. On est propriétaire de la donnée parce qu'elle nous appartient, parce qu'elle vient de nous. Mais il n'y a pas de propriété au sens juridique du terme. Donc là, les données qui sont parties aux États-Unis, elles appartiennent aux sociétés. pour les tests génétiques.

• Speaker #1

  Elles vont faire ce qu'elles veulent.

• Speaker #0

  Tout à fait. Et c'est la difficulté aussi aujourd'hui avec les hébergements. Les hébergements de données, aujourd'hui, même si la France souhaite, et puis l'Union européenne, protéger ces endroits, ces hébergements, ces lieux d'hébergement, on se rend compte que, oui, dans la théorie, le droit dit qu'il faut protéger, il faut encadrer, mais dans la pratique, les puces, les processeurs, les supports techniques Les clouds appartiennent à des sociétés qui ne sont pas européennes et qui n'ont pas les mêmes protections. Donc souvent américaines, mais pas qu'eux. Et donc à partir de ce moment-là, il y a une question aussi qui se pose. Tiens, si les supports technologiques, techniques qui vont en permettre, donc les clouds pour être un peu plus concret, ne sont pas des clouds français-européens, eh bien comment on va pouvoir réellement faire appliquer ce droit européen qui nous protège et droit français aussi ?

• Speaker #1

  Donc, tu veux dire que les clouds sont en partie américains et qu'ils sont régis par des réglementations et des lois américaines ? Oui,

• Speaker #0

  tout à fait. Donc,

• Speaker #1

  si ils décident de prendre leurs données et partir avec, ils ont le droit ?

• Speaker #0

  Oui, tout à fait. Et puis, ils ont une réglementation qui est connue sous le nom de Cloud Act, qui peut leur permettre de faire cela. Et on a un peu des choses, quand on va voir les politiques de confidentialité, on retrouve des petites informations. En tout cas, le juriste... va aller regarder le lageriste, va pouvoir regarder ça et se dire, oui, là, très possiblement, on va rapatrier des données qui sont sur le sol européen, qui sont sur le sol français. Et ça, si on prend le cloud act, les États-Unis peuvent le faire.

• Speaker #1

  D'accord. Donc, ça veut dire, est-ce que les États européens s'organisent pour leur souveraineté ? Et est-ce qu'en tant que citoyen, on peut faire en sorte de choisir, par exemple, des applications médicales qui... sont hébergés ou qui ont des hébergements français ? C'est possible ?

• Speaker #0

  Alors, pour la première réponse, c'est vraiment l'idée, oui, les États européens s'organisent, ils ont en tête que c'est réellement une priorité, et donc pour ça, il faut construire, il faut créer des puces françaises, il faut créer des hébergements qui seraient français pour la France, bien sûr, et puis au niveau européen. Et par rapport à cette conscience, par rapport à cela, c'est vrai que nous aussi, en tant que personnes, en tant que... Merci. Donc en tant qu'humain, en tant que citoyen, on peut se poser ces questions-là et si on a la possibilité, essayer de s'orienter le plus possible vers des structures qui sont françaises ou européennes. Et la difficulté à l'heure actuelle, c'est qu'on n'a pas réellement ce choix-là. C'est-à-dire qu'on peut commencer à le faire avec les systèmes, aller vers des systèmes français, mais pour les questions d'hébergement, les questions de technique, on n'a pas encore à ce jour. Et je parle du contrôle, en tout cas, selon ma connaissance, on n'a pas encore à ce jour. vraiment d'hébergement qui nous permettrait de faire ça. Après, à nuancer, parce que là, on parle à l'État collectif au niveau européen, mais au sein des structures, dans les hôpitaux. Pour mon cas, à Strasbourg, on va avoir des structures qui sont fermées, des circuits fermés où on va regrouper les données. Il y a des projets à Nice, à Paris, à Grenoble. Voilà, on a des projets de circuits, de protection des données, de créer aussi des systèmes d'IA. à partir de ces données-là, qui sont réellement encadrées, protégées par le RGPD, par les lois françaises également, et qui vont respecter en tout cas toutes les notions pour protéger au maximum nos données.

• Speaker #1

  D'accord. Alors, la personne qui ne veut pas que ces données soient transmises, qu'est-ce qu'elle fait concrètement ?

• Speaker #0

  Aujourd'hui, c'est très compliqué de refuser complètement le numérique. On peut le faire, on peut toujours faire ce choix, mais c'est un choix de l'exclusion, puisqu'on tend à penser de plus en plus, en tout cas les politiques publiques tendent de plus en plus à tout faire en ligne, tout faire numériquement. Donc comment refuser ? C'est une bonne question, c'est difficile honnêtement.

• Speaker #1

  En fait, on doit soi-même faire la démarche pour demander à ce que nos données ne soient pas... Parce que sinon, par défaut, c'est utilisé.

• Speaker #0

  Par défaut, nos données sont utilisées et on a un peu cette politique de opt-out, opt-in. Opt-out, c'est l'idée que... C'est à vous de faire cette démarche, de dire « je ne souhaite pas, sinon par défaut elles sont utilisées » . À l'inverse du opt-in, on vient… que vous sollicitez pour le consentement. Et là, à l'heure actuelle, si on prend MonEspaceSanté, c'est ce fonctionnement. Il y a un MonEspaceSanté qui est créé pour chaque citoyen français, mais c'est à chaque citoyen français de faire la démarche, de dire, voilà, je souhaite me retirer. En ayant conscience, ou pas, et en ayant connaissance peut-être un peu mieux maintenant, que MonEspaceSanté permet aussi de faire le lien entre les différents professionnels de santé qu'on allait voir, donc peut-être avoir une médecine plus personnalisée, plus prédictive, plus préventive, parce qu'on aurait tout au même endroit. Et c'est ça, en fait, le bénéfice. Mais comme tout bénéfice, il y a des risques, c'est la ballande qu'on retrouve en santé.

• Speaker #1

  C'est à nous aussi de sensibiliser aux bénéfices attendus de toutes ces données et d'expliquer l'enjeu corollaire. Et alors, je me demandais, quand on meurt, qu'est-ce qui se passe de nos données ? Au fait, ces données, c'est éternellement à disposition des organismes pour les utiliser ? où est-ce qu'on peut... est-ce qu'on a un droit de regard après notre mort ? Est-ce qu'on peut décider de ce qu'elles deviennent ? Et par ailleurs, je pensais à des gens qui voudraient donner leurs données de santé dans le but justement de promouvoir la recherche et de promouvoir la santé. Dans l'un et l'autre, est-ce que tu peux me dire, est-ce que la réglementation a réfléchi à ces quatre questions ? Oui,

• Speaker #0

  et depuis longtemps. Alors, je vais prendre la question par le bout. mais... Par rapport à une fois qu'on meurt, on a déjà dans les lois informatiques libertés de 1978, modifiées en 2018 après le fameux RGPD, c'est vrai qu'on a déjà réfléchi à ces questions. Comment est-ce que ces données vont être transmises ? Comment vont-elles pouvoir durer ? Et si on va spécifiquement par rapport à la recherche, il y a des protocoles. Et puis on peut donner son accord, on peut donner des directives anticipées également concernant nos données, concernant les choix qu'on veut faire, et puis en discuter en famille, faire savoir un peu ce qu'on veut faire. Donc, c'est une possibilité. Et par rapport à la protection, à l'heure actuelle, par rapport au système, c'est vrai que les données, comme on n'est toujours pas dans cette marchandisation de la donnée, toujours pas dans cette idée, et puis, à mon avis, tant mieux, comme on n'est toujours pas dans cette notion de propriété de la donnée, c'est vrai que la donnée, elle disparaît avec la personne. En général, ça, c'était... avant le numérique, où on va avoir des données qui perdurent. Et donc, il faut s'assurer d'avoir informé, transmis les directives pour pouvoir demander l'effacement de ces données, puisque ce n'est pas automatique, en tout cas sur les différentes plateformes à l'heure actuelle.

• Speaker #1

  Parce que dans l'idéologie transhumaniste, l'idée qui est proposée, c'est de faire perdurer ces données numériques. pour créer carrément un avatar ou un jumeau numérique et faire vivre éternellement les personnes par leurs données.

• Speaker #0

  Oui, c'est ça. C'est vraiment cette idée de vaincre la mort. C'est vraiment cette quête humaine d'aller toujours plus loin depuis la découverte du feu, peut-être. Et donc, oui, ça, c'est l'idée. Maintenant, en pratique et la façon dont ça se fait, On commence déjà et sur certaines applications, on peut déjà avoir des directives. On reçoit un message pour nous dire que voulez-vous faire de vos données après, comment les transmettre, à qui les transmettre. Oui, c'est vrai,

• Speaker #1

  il y a Apple qui fait ça.

• Speaker #0

  Oui, tout à fait, Apple fait ça, propose déjà de faire ça. On va y venir forcément, puisqu'aujourd'hui, on a ces données qui sont en ligne. Avant, la donnée s'éteignait avec la personne. Aujourd'hui, ces données sont en ligne. Il faut pouvoir les effacer. On a un droit avec le RGPD, droit à l'effacement. droit aussi à l'oubli. Ça, ce sont des choses pour les citoyens européens qui sont mises en place et qu'il faut pouvoir mettre en œuvre et mettre en pratique.

• Speaker #1

  D'accord, donc ça, ça répond à la loi civile en ce qui concerne ce qui reste de quelqu'un qui est mort. Toutes les données médicales, au fait, c'est transmis à la famille comme on transmettrait par exemple des biens immobiliers.

• Speaker #0

  Alors pour l'instant, oui, ça ressemblerait plutôt à ce type de fonctionnement, parce que la problématique RGPD, c'est que les droits, c'est du vivant de la personne.

• Speaker #1

  Ah oui, c'est ça.

• Speaker #0

  Donc c'est vrai que le droit à l'oubli, le droit à l'effacement, c'est du vivant, donc c'est pour ça, c'est directif, c'est chômeur. À combien de temps ça s'arrête quoi ? Voilà, exactement, ça s'arrête. Et donc pour la suite, oui, on est sur, pour l'instant, de la transmission, un peu comme ce qu'on disait avec ce qu'Apple propose, mais il y a des réflexions qui sont en cours. sur ces sujets, et notamment, on en parlait tout à l'heure, mais je ne l'ai peut-être pas réévoqué, notamment au niveau des états généraux de la bioéthique. En France, ça c'est une particularité française, d'avoir vraiment des états généraux où on va se poser des questions de bioéthique en association avec l'histoire. Oui, bien sûr.

• Speaker #1

  Et du coup, je voulais qu'on fasse un petit récapitulatif et un rappel de l'historique de la loi sur la protection des données, date bien du numérique avant même l'arrivée des intelligences artificielles. Donc, ça commence par la loi Informatique et Liberté, qui date déjà de bien longtemps,

• Speaker #0

  de 1978. C'est ça, du 6 janvier 1978. Ah là là, soyons précis. Oui, c'est juriste. Juriste, juriste. Donc oui, la loi Informatique et Liberté, qui depuis a été modifiée pour répondre aux exigences des règlements européens, puisque... Tous les règlements européens en France, ils sont d'application directe. Donc, il y a des éléments qui sont donnés, des exigences, et on va pouvoir les appliquer directement. Et là, par rapport à ces lois, on a tout un ensemble qui va se créer. On a aussi une loi française pour la République numérique de 2016 qui vient modifier et mettre à jour énormément de systèmes. Et cette idée, c'est vraiment une idée de comment protéger et comment permettre aux citoyens français, on reste en France, d'avoir... une meilleure compréhension et une meilleure protection de leurs données. C'est vraiment ça et c'est en ça que la loi est ancienne. Et elle répondait déjà à des problématiques qu'on retrouve aujourd'hui, qui sont mises en lumière très clairement par les systèmes d'IA, même si tout ne pouvait pas être anticipé déjà en 1978.

• Speaker #1

  Et après, il y a des réflexions européennes. C'est ça.

• Speaker #0

  Et après, il y a les réflexions européennes. Donc, en 2016, le fameux RGPD, qui est vraiment la structure, la colonne vertébrale, de la protection des données.

• Speaker #1

  C'est l'abréviation de quoi ?

• Speaker #0

  Le RGPD, pardon, c'est le règlement général de la protection des données qui entre en vigueur en 2018. Mais c'est vraiment cette colonne vertébrale qui est la plus, en tout cas, connue ou su.

• Speaker #1

  Tu peux me dire les grands axes de l'ERGPD ?

• Speaker #0

  Le RGPD vient protéger les personnes en leur donnant des droits. Le droit de dire, je veux consentir. à l'utilisation de mes données. On parlait du droit à l'oubli, droit de l'effacement. Ce sont des droits qui sont inscrits dans le RGPD. Et puis aussi, tout ce qui va concerner les personnes qui vont traiter les données. Donc, tous les responsables de traitement. Et un médecin, un professionnel de santé qui reçoit en ville des patients, il devient responsable du traitement des données. Et s'il fait appel, on peut reprendre un peu un système d'IA. S'il fait appel à un système d'IA sur lequel il va entrer, elle va entrer des données, eh bien en fait, on est dans... Vraiment cette notion de sous-traitance des données qui va poser d'autres questions par la suite. Mais voilà, donc tous ces responsables-là, ils ont une responsabilité qui vient entrer en jeu et qui est encadrée par cette réglementation européenne.

• Speaker #1

  Alors tu as parlé de la CNIL, est-ce que tu peux me parler de cette commission ? Donc il y a les lois, mais il y a aussi des commissions qui s'occupent de la réflexion et peut-être l'élaboration des lois ?

• Speaker #0

  Tout à fait, alors on a des autorités de protection, dont la CNIL, donc la Commission nationale de l'informatique. et des libertés. Et c'est réellement la régulatrice des données personnelles, de nos données. Et la CNIL, elle a un rôle important puisqu'elle vient sanctionner. Elle vient sanctionner les sociétés françaises, elle vient sanctionner les groupements qui vont avoir des actions qui sont contraires et à la loi informatique, mais aussi au RGPD. Et on a de nombreux exemples où la CNIL vient dire non, ici, il n'y a pas eu de respect des droits, il n'y a pas eu de respect... du consentement, où il n'y a pas eu du respect. Quand vous avez utilisé, traité ces données, vous n'avez pas respecté la loi. Et donc, ces autorités sont importantes. Aujourd'hui, il y a d'autres autorités qui viennent aussi entrer en jeu avec les systèmes d'IA, qui vont traiter des données.

• Speaker #1

  Tu vas nous en parler.

• Speaker #0

  Et c'est vrai qu'il y a tout un hypostéthème avec différents acteurs. Et c'est en cela qu'on va parler aussi de gouvernance. Donc, c'est ce titre de thèse, mais ce sujet surtout de gouvernance. c'est que c'est une gouvernance à plusieurs étapes, à plusieurs niveaux, et à différents moments du cycle de vie de ces données de santé et aux différents moments des usages par les systèmes d'intelligence artificielle.

• Speaker #1

  Donc la CNIL, c'est quand même l'autorité à laquelle on peut écrire quand on a un sujet d'information, de consentement, tous les thèmes dont tu as parlé. Donc si on doit s'adresser à quelqu'un, c'est à cette autorité-là qu'est la CNIL.

• Speaker #0

  À l'heure actuelle, oui, parce que la CNIL, vraiment... Quand on a des questions liées à l'accès, l'accès à nos données, on n'arrive pas forcément à accéder à nos données de santé ou d'autres données personnelles. On va pouvoir s'adresser à la CNIL. Les questions de transparence, tiens, on a un doute par rapport à un système, un manque d'information, on parlait d'information, de consentement éclairé, on va pouvoir s'adresser. Aussi, on n'en a pas parlé, mais le droit à l'opposition, on peut s'opposer. Oui,

• Speaker #1

  c'est ça.

• Speaker #0

  On l'a mentionné quelque part en parlant de ce opt-out, mais c'est ça aussi l'opposition et puis la rectification qui est importante, parce qu'il y a des erreurs. on est des humains, il y a des erreurs qui sont faites au moment où on entre nos données sur quelques réseaux médiums que ce soit. Et donc, on va avoir la possibilité de demander la rectification quand ce n'est pas fait directement par la plateforme. Et souvent, ça peut passer aussi par cette autorité-là.

• Speaker #1

  Donc ça, c'est la réglementation. Mais il y a toute la réflexion autour de... la régulation de tous ces systèmes de santé. Et ça, c'est de l'éthique, c'est de la philosophie. Où s'articulent l'éthique et le juridique ? Est-ce que l'un dépend de l'autre ou est-ce que ça interagit ? Et puis, est-ce que l'éthique, c'est quelque chose qui peut donner un avis et qui peut venir appuyer la juridiction ?

• Speaker #0

  Oui, tout à fait. vraiment pour moi les Les deux sont liés et sont absolument indissociables. J'ai envie de dire indissociables, mais je me suis un peu retenue. Pourquoi ? Parce qu'en réalité, on va souvent les dissocier. Alors souvent, on dissocie. Pourquoi ? Parce que quand on parle d'éthique, ça fait un peu moins rigoureux, un peu moins obligatoire. Voilà, c'est ça, c'est plutôt cette force obligatoire. On ne va pas avoir une idée de, tiens, l'éthique vient forcer. Alors que si, on a en France des lois de bioéthique, qui sont ancrées dans nos juridictions, qui sont mises en force. C'est-à-dire qu'on va pouvoir aller devant les juridictions si elles ne sont pas respectées. Donc c'est possible, on a cette force obligatoire. Mais souvent, l'éthique est utilisée en opposition. À la porte des valeurs. C'est ça, on va plutôt être... Quels sont les valeurs ? C'est vrai que j'aurais pu commencer par définir l'éthique. Qu'est-ce que l'éthique ? Alors, il n'y a pas une définition. Une éthique, elle est propre à une société, propre à une personne aussi. Mais si on réfléchit depuis tout à l'heure en collectif, en société, Il y a une définition, c'est cette idée de cette vie bonne pour les uns, par les autres, par des institutions.

• Speaker #1

  Paul Ricoeur.

• Speaker #0

  Oui, tout à fait, Paul Ricoeur. Et donc, cette définition-là, elle dit, voilà, il faut trouver un ensemble de valeurs qui nous convient, qui semblent justes, cette notion de justice aussi. Et c'est vrai que l'éthique, elle va être mise en opposition. Mais c'est fondamental, l'un nourrit l'autre, le droit vient réguler des comportements. L'éthique, elle vient aussi poser des questions, chercher à peut-être... de poser des avis, des recommandations, comme tu le disais, mais ces recommandations, elles peuvent aussi avoir une influence. Donc, le droit, l'éthique s'influencent l'un et l'autre et ils sont, oui, allez, finalement indissociables. On peut le dire.

• Speaker #1

  Mais il y a une loi dans l'éthique ?

• Speaker #0

  Oui, alors, il y a plusieurs lois dans l'éthique. On a notamment récemment, plus récemment, les lois de 2021 qui vont vraiment avoir un import. par rapport à notre thématique des systèmes.

• Speaker #1

  La loi relative à la bioéthique.

• Speaker #0

  La loi relative à la bioéthique, qui, elle, va avoir un impact par rapport au système d'IA en santé, puisqu'on prend en compte vraiment cette obligation d'information des professionnels de santé qui vont utiliser des systèmes d'IA.

• Speaker #1

  Voilà.

• Speaker #0

  Et c'est vrai que cette information, elle est reconnue en tant que telle. Alors après, ça va évoluer. Bien sûr, il y a d'autres normes qui vont entrer. en vigueur, mais on a déjà ces premiers grands principes.

• Speaker #1

  C'est-à-dire qu'un professionnel utilise l'IA dans son diagnostic ou dans ses décisions thérapeutiques, il a l'obligation, selon la loi de la bioéthique, relative à la bioéthique, il a l'obligation de l'information du patient qu'on est passé par un système d'IA dans la décision, dans le diagnostic.

• Speaker #0

  Oui, c'est ça. Et c'est en ce sens-là que l'éthique, elle est... importante, même si ça peut paraître difficile, c'est que ça propose un ensemble de valeurs, un ensemble de valeurs vers quoi on va chercher à attendre. Alors oui, dans l'idée, ça c'est la théorie, maintenant en pratique, quand on se rend compte que c'est difficile, parce qu'il y a le temps, il y a toutes ces questions de comment est-ce qu'on va informer chaque personne à différents niveaux, tout le monde n'a pas le même degré de compréhension de ce qu'est l'intelligence artificielle, de ce qu'ont de son ces systèmes, qu'est-ce qu'on va pouvoir indiquer, il y a aussi bien évidemment la réflexion personnelle, c'est-à-dire qu'on a aussi cette notion de confiance dans les professionnels qu'on va rencontrer et ça fait aussi partie de leur choix à eux, choix déontologique, choix éthique dans leur usage et la façon dont ils utilisent puisqu'on va pas dire à chaque fois qu'on utilise un moteur de recherche voilà j'ai utilisé ce moteur de recherche alors ça dépend de l'usage qu'on fait des systèmes d'IA, il y a des systèmes d'IA qu'on va pouvoir utiliser comme des moteurs de recherche et ils vont nous donner des informations. Et ça, bien sûr, on va y revenir ensemble. Cette différence entre l'aide à la décision, l'apport, vraiment l'influence de la décision médicale. Mais en réalité, c'est vrai que le professionnel, il a cette obligation et d'information et de prise en compte aussi les finalités. À quelle fin on va traiter des données ? Puis à quelle fin, si on va plus loin, on va utiliser ces systèmes d'intelligence en santé ? On en parlait aussi de sécurité, d'accès. Ce sont des éléments qui sont intégrés dans les lois de bioéthique et qui font aussi écho à différentes recommandations de nos comités consultatifs nationaux d'éthique.

• Speaker #1

  Ah voilà, il y a des comités.

• Speaker #0

  Tout à fait, il y a des comités qui sont importants. Il y a éthique numérique, éthique. Et ces comités rendent des avis, des recommandations qui ont façonné notre droit. Et c'est pour ça qu'ils sont indissociables, le droit et l'éthique. c'est que le droit, bien évidemment, va aller regarder, c'est inspiré, va aller regarder différentes recommandations pour pouvoir justement créer des lois qui seront les plus justes possibles, qui seront les plus en prise avec le réel possible, même si ce n'est pas l'office de la loi, c'est ce qu'on dit, ça s'est portalisé, c'est vraiment cette idée que la loi, en fait, elle vient réguler un comportement, mais de façon la plus générale possible, donc elle ne peut pas être aussi précise qu'un guide. qu'un avis sur une question donnée. Donc, on ne peut pas avoir des choses qui sont aussi précises. Et c'est pour ça qu'on va prendre en compte le général. Mais de plus en plus, on va avoir de la spécificité avec des guides, avec d'autres éléments qui sont aussi importants et qui ont leur rôle. Ou alors avec des chartes, chartes éthiques. Il y en a de plus en plus dans différentes structures, que ce soit hospitalières, mais aussi au niveau des mairies. Il y a des chartes sociales, ou des chartes sur l'IA plutôt, qui vont être édictées.

• Speaker #1

  Oui, ça tu le diras. peut-être sur quand tu expliqueras l'encadrement juridique spécifique d'un système d'intelligence artificielle tu en parles parce que tu dis que dans l'idéal pour que ce soit bien précis et que ce soit individualisé c'est que l'éthique doit accompagner les projets pour qu'elle donne un avis qui est sur le cas d'usage et que ce soit vraiment adapté à la situation où il est concerné Oui. Ça, ça rend les choses plus incarnées, plus vraies. Ce que je voulais juste dire, c'est qu'une loi est sanctionnable, parce que comme l'éthique paraît quelque chose de moins appuyée, moins réglementaire que les lois dans le droit, c'est quand même une loi, elle est sanctionnable, et donc on est tenu par la réglementation de ces comités consultatifs. Et ce que je voulais dire aussi, c'est que l'une des garanties la plus importante, c'est cette articulation sur la garantie humaine et la supervision humaine. On n'en a peut-être pas parlé suffisamment, mais tous ces systèmes d'IA, certaines...

• Speaker #0

  pose la question de la place du professionnel de santé dans le diagnostic, dans la thérapeutique. Et cette loi vient dire qu'il est important de maintenir cette garantie et cette supervision humaine malgré l'importance et l'avantage que vont procurer ces systèmes d'intelligence artificielle. Je donne un exemple. c'est pas parce que Un système d'intelligence artificielle est capable de voir plus de lésions, par exemple de détecter plus de lésions en imagerie qu'un radiologue. La supervision reste néanmoins complètement garantie par l'humain et sous la responsabilité de l'humain.

• Speaker #1

  Oui, tout à fait. Aujourd'hui, en termes de responsabilité en France, on a des normes, on a plusieurs règles. On a des règles qui sont inscrites dans le code civil, dans le code pénal. dans les différents codes, code administratif, pour les structures hospitalières administratives, publiques. Et en fait, ce qui va se passer, c'est vraiment cette idée qu'à l'heure actuelle, le système d'IA, il est sous la responsabilité du professionnel de santé. Ça, c'est à l'heure actuelle. Sauf qu'on se rend compte de plus en plus, avec les apports de la sociologie, avec les apports de la philosophie, et puis aussi des mathématiques, où on se rend compte qu'on ne peut pas réellement réduire la décision médicale à un ensemble de choix qui seraient mathématisables. eh bien, on se dit... il y a quand même une influence qu'il faut prendre en compte. Ça, ce sont des avis des comités européens qui réfléchissent aussi à la protection des données, différents types de structures, même aussi les think tanks qui vont réfléchir à tout ça. Et en fait, par rapport à cette influence, il y a la question de la façon dont on va amener l'information. C'est-à-dire, est-ce que c'est un système d'IA qui va faire une recommandation ou est-ce que c'est un système d'IA qui va donner une information ? Et selon l'un ou l'autre, On va essayer à l'heure actuelle, et c'est ce qui se passe au niveau européen, puisqu'on n'a pas de règlement européen sur la responsabilité de ces professionnels. La seule chose qu'on a, c'était une directive qui était depuis retirée. Il y avait une directive sur les produits, les systèmes d'IA et la responsabilité, mais ça n'a pas été mené à bout. Et donc, les réglementations qu'on a, ce sont des réglementations plus anciennes sur les produits défectueux, sur la façon d'utiliser. Mais sur la responsabilité, il n'y a pas encore quelque chose de construit de façon harmonisée. Et donc, ce sont des questions qui sont très actuelles. Et on va se dire, voilà, s'il y a de l'influence, alors peut-être qu'il y a aussi de la responsabilité à aller chercher au niveau du constructeur, de la personne qui a déployé le système d'IA.

• Speaker #0

  Est-ce que tu penses, par exemple, aux robots chirurgicaux quand tu dis ça ?

• Speaker #1

  Oui, je peux penser aux robots chirurgicaux, même si les robots chirurgicaux, ça va être encadré par des réglementations comme les règlements. sur les dispositifs médicaux. À partir du moment où on a un dispositif qui va être reconnu comme un dispositif médical, il y a une réglementation européenne pour le dispositif, pour le système. Mais je pense plutôt alors peut-être aux nouveaux systèmes d'IA qui sont en train d'être créés et qui vont peut-être plus être de l'ordre de l'intelligence artificielle générative, donc le Ausha médical, ce serait un peu ça le Ausha médical du futur. Est-ce que si on nous amène l'information en nous disant voilà, je suis professionnel de santé Oui. Il y a 78% de chances que cela se produise où il y a tant et tant de liaisons. Est-ce que la façon dont ça va être amené, le professionnel de santé, il a les clés nécessaires, donc la formation nécessaire pour pouvoir dire que ça reste une information ou est-ce qu'il va être influencé parce qu'on le sait, il y a des biais d'ancrage. La première chose qu'on va voir, ça va être la chose qu'on va retenir. Il y a des biais différents qui font qu'en tant qu'humain, on est sujet à ça.

• Speaker #0

  Oui, il y a les biais de l'humain, mais il y a aussi les biais de la machine.

• Speaker #1

  Exactement, il y a tous les biais de la machine, les biais de conception, les biais de représentativité. Si on a entraîné le système que sur un type de données, donc on revient aux données, mais si on l'a entraîné que sur un type de données et pas les autres, le système n'est pas en capacité de donner d'autres réponses, de transmettre autre chose. Et là, forcément, on a des systèmes qui sont mal conçus, qui peuvent être tout à fait mal conçus. Et ça, on en est conscient aussi, en tout cas. dans les réglementations, dans cette IA de confiance et dans la supervision humaine. Et c'est pour ça que le règlement sur l'IA, il insiste sur le fait qu'il faut. On a besoin de cet humain, on a besoin de cette garantie humaine. Et là où je te rejoins, c'est sur la pratique. Il y a eu pas mal d'études, je n'ai plus exactement les noms, qui sont sorties, des articles, où on a montré que dans l'alliance médecin plus IA générative, donc pour l'instant c'est l'HLJPT, Dipsyc, Le Chab pour Mistral en France, eh bien, c'est vraiment l'alliance des deux. Ce n'est pas l'IA toute seule. qui a un taux de détection à 80%. Ce n'est pas le médecin tout seul qui a peut-être un taux à 79%. Parfois, on croit que les taux sont beaucoup plus importants, mais pas toujours. Ça dépend, tumeur bénigne, tumeur maligne. Il y a des choses différentes. On a pu voir différents articles, études qui sont sortis. Mais c'est vraiment l'alliance des deux qui fonctionne le mieux par rapport à la détection. Et ça, ça va dans le sens de cette supervision humaine, de garder l'humain au centre, de garder l'humain qui a la main sur le système d'intelligence artificielle.

• Speaker #0

  Le jugement médical, l'adaptabilité.

• Speaker #1

  Tout à fait.

• Speaker #0

  Alors, et si maintenant, on décrivait l'encadrement juridique des systèmes d'intelligence artificielle, parce que c'est ça que nous connaissons le moins, parce que c'est tout récent, comment s'est organisée, par exemple, l'Europe pour encadrer tous ces systèmes d'intelligence artificielle dans le domaine de la santé et dans le domaine médical ?

• Speaker #1

  Donc au niveau de l'Union européenne, c'est vraiment le règlement sur l'IA. Donc le règlement sur l'IA, RIA, souvent on va entendre AI Act. Voilà, c'est ça. Mais bon, en France, règlement sur l'IA, RIA.

• Speaker #0

  C'est juste pour qu'on sache que c'est la même chose. Exactement. IA Act.

• Speaker #1

  IA Act ou règlement sur l'IA. Et en fait, IA Act, c'est un peu une façon de dire loi sur l'IA. On peut aussi entendre ça. À l'heure actuelle, c'est un règlement. Donc on peut parler de règlement. RIA. RIA. Voilà. Et donc, le RIA, c'est cette idée. C'est une idée pyramidale avec une pyramide des risques, donc une approche par les risques. Et on va vraiment dire, voilà, il y a des systèmes d'IA, système d'intelligence artificielle en santé qui vont être des systèmes à haut risque. Voilà, si on va directement dans le concret. Et il y a d'autres systèmes qui vont avoir différents usages. Et là, ils vont peut-être être à plus faible risque. Et il y a des systèmes qui sont tout à fait interdits. ce va être les systèmes, quand on va être dans la reconnaissance faciale, mais pour de la notation. Donc, la notation de comportement, ça, c'est interdit au sein de l'Union européenne.

• Speaker #0

  Ça existe dans d'autres pays, il faut le dire.

• Speaker #1

  Exactement, ça existe dans d'autres pays, tout à fait. Mais au sein de l'Union européenne, demain, on veut sortir un système de ce type, c'est interdit. Ce ne sera pas commercialisable, ce ne sera pas commercialisé. Et donc, au sein de l'Union européenne, en France notamment, c'est le cas. Et cette réglementation, elle va s'appliquer, elle est en train de s'appliquer, elle est déjà entrée en vigueur. Donc, ça veut dire, aujourd'hui, on peut l'appliquer. L'article 4 du règlement, il dit vraiment... l'information, la formation des professionnels, c'est déjà entré en vigueur. Donc techniquement, on doit former nos professionnels de santé, nos autres professionnels à ce système d'IA. On est en train de voir ensemble que ce n'est pas tout à fait ça.

• Speaker #0

  Ça prend, ça prend.

• Speaker #1

  Mais ça prend, ça prend, c'est en cours et c'est nécessaire puisque former, c'est donner des clés et c'est important. Donc voilà, ça, c'est cette réglementation. Et elle dit, les points principaux, c'est encadrer cette IA, ces IA, puisqu'il y a différents types, s'assurer qu'il y ait une garantie humaine, une supervision humaine. Et aussi, c'est une réglementation quand même technique qui vise à garder la technique et aussi à innover au sein de l'Union européenne. Donc c'est vrai que c'est aussi une réglementation. Il y a un agenda derrière la Commission européenne de l'Union européenne qui veut dire qu'on veut quand même favoriser la technique, favoriser l'innovation. Donc, ce n'est pas une réglementation qui vise de la même façon la protection autant des citoyens. Puisque l'objectif de cette réglementation, c'est aussi de favoriser l'innovation.

• Speaker #0

  Donne-moi des exemples concrets, par exemple, le haut de la pyramide et le bas de la pyramide. Oui,

• Speaker #1

  bien sûr. Alors là, je vais reprendre. En haut de la pyramide, dans les actes prohibis qui sont interdits, on a la manipulation, c'est considéré comme interdit. Le score social, tout ce qui va être la notation, c'est considéré comme interdit. Alors la reconnaissance des émotions. À l'heure actuelle, c'est aussi considéré comme interdit.

• Speaker #0

  C'est-à-dire tous les IA, les systèmes d'IA qui sont dans la santé mentale, par exemple, et qui vont essayer de reconnaître les émotions.

• Speaker #1

  Je pense que c'est forcément à nuancer, puisque ça ne peut pas être tous. Il va y avoir certains où on va être dans un cadre précis, peut-être le cadre individualisé pour la personne. Et là, ça va être autorisé. Mais à l'échelle, en tout cas globale, à l'échelle du collectif, si c'est une IA qui est censée détecter les émotions dans la rue, dans l'espace public, c'est interdit. Donc c'est vraiment à cette échelle-là. Par contre, au niveau des systèmes à haut risque, on a vraiment les systèmes médicaux, et notamment ceux qui sont reconnus par les différentes classes, du règlement sur les dispositifs médicaux. Donc il y a énormément de liens entre tous ces textes, et c'est pour ça que c'est difficile à articuler, parce qu'ils sont liés, parfois on a l'impression que certains viennent effacer d'autres choses, alors que ces ancêtres complémentaires, mais il y a énormément de textes, et puis on a des IA un peu moins... en tout cas à risque moins élevé, qui sont les IA, par exemple, pour détecter les spams. Ça, ça va être considéré comme une IA avec un risque minimal, risque minime. Et donc, il n'y a pas les mêmes protections qui sont à ce moment-là. Et là, il faut que vous ayez un code de conduite au sein de votre société. Il faut que vous ayez un code de conduite qui édicte un peu des normes à suivre.

• Speaker #0

  D'accord. Tu avais donné un exemple d'une application Google qui était appliquée à la médecine.

• Speaker #1

  Oui.

• Speaker #0

  Parce qu'il y en a plusieurs. Oui. Qui est censée être un chat GPT ou une IA générative médicale. Mais on ne sait pas, ça c'est le cas d'usage initial, mais après on ne sait pas vers où ça va.

• Speaker #1

  Exactement. Et puis l'exemple que j'ai donné, c'était Amy, c'est Automated Medical Inquiry Engine. Et donc Amy, cette amie qui était pour le professionnel de santé, le médecin. Et c'était censé lui permettre de gagner du temps. Donc toujours ces mêmes idées, gagner du temps dans ses recherches, dans la collecte d'informations. Réduction de la charge de travail des professionnels, du professionnel. aussi, pourquoi pas, déployer ces types d'outils dans les régions qui seraient moins desservies. Donc ça, c'était l'objectif. Mais en réalité, on se rend compte qu'avec ces outils, il y a aussi des erreurs de diagnostic qui peuvent être faites, avec à nouveau les différents biais concepteurs et biais humains qui peuvent se croiser, et puis toutes les questions de fuite des données. Et cet outil-là, à l'heure actuelle, il n'est pas encore accessible au sein de l'Union européenne, donc c'est plus États-Unis-Canada, mais de la même façon, on a aujourd'hui Le chat GPT médical, le chat GPT santé, qui est accessible aux Etats-Unis et pas encore au sein de l'Union européenne, qui est sorti. Et alors, à la différence de Amy, qui était plutôt avisée des professionnels de santé, le chat GPT santé, il est pour tout le monde. Et donc, le chat GPT santé, là, le risque qui est associé, c'est les risques qui sont liés à l'autodiagnostic. Exactement, l'autodiagnostic. Et puis, toutes les complications qui peuvent être associées. Et on revient aussi à cette notion de, tiens, comment ça va être présenté ? Si c'est présenté avec toutes les garanties nécessaires de dire « Allez voir votre professionnel de santé, oui, c'est peut-être cela, d'accord, mais si ce n'est pas inscrit de cette façon et que c'est « Non, vous n'avez pas besoin d'aller voir le médecin » , là, il faut qu'il y ait une responsabilité qui soit associée.

• Speaker #0

  D'accord. Donc, imaginons par exemple, ça, c'est une application qui vient de l'étranger.

• Speaker #1

  Tout à fait.

• Speaker #0

  Si elle arrive en France, est-ce qu'il y aura une loi qui va… Est-ce qu'elle doit répondre à des lois françaises ?

• Speaker #1

  Alors, à partir du moment où le citoyen européen va utiliser… une application et qu'il y a un impact pour le citoyen européen directement, on a les règlements et c'est pour ça, européens, donc le RGPD qui va s'appliquer, qui va pouvoir le protéger jusqu'à une certaine mesure. Parce que la réglementation, c'est-à-dire que tout ce qui est en ligne ne peut pas être contrôlé exactement de la même façon, les accès ne peuvent pas être contrôlés de la même façon. Maintenant, si c'est uniquement un système, un dispositif qui vient, alors oui, pour être commercialisé en Europe, il faut répondre. aux réglementations européennes.

• Speaker #0

  Ça n'empêche pas les usagers de contourner... Exactement. Oui,

• Speaker #1

  de la même façon que pour les tests génétiques, on en parlait. On peut avoir très facilement accès pour envoyer ces données génétiques en ligne, alors que c'est interdit en France, alors que c'est déconseillé. C'est réellement interdit par les lois, mais il y a énormément de choses où on va vous dire faites attention, ça reste quand même quelque chose d'important, puisque ça peut vous toucher, vous, mais aussi toucher des membres de votre famille. Il y a eu pas mal d'affaires où on s'est rendu compte... que ça touchait aussi les proches.

• Speaker #0

  D'accord. Donc, au fait, on régule, on fait des lois, et après, on n'est pas sûr que ce soit efficace ?

• Speaker #1

  Alors, oui. En réalité, c'est vrai qu'on n'est pas sûr. Alors, on peut difficilement être sûr à chaque fois. Par contre, si on a des systèmes d'intelligence artificielle qui sont conçus en Europe ou conçus ailleurs, mais qui vont être commercialisés en Europe, qui vont être à usage et à destination des Européens et qui sont faits dans le... le respect de ces réglementations, alors on est déjà un peu plus sûr, on a déjà un peu plus cette certitude qu'il y a une prise en compte. Maintenant, oui, non, le risque zéro, malheureusement, il n'existe pas. Et puis, la régulation, elle tend aussi à ça, à essayer de protéger au maximum.

• Speaker #0

  Oui, donc ça consolide encore. plus l'idée que ça doit passer par une éducation et une sensibilisation du grand public. En société, on doit vraiment pouvoir mesurer l'importance d'une discussion, d'une réflexion de société sur ces sujets-là.

• Speaker #1

  Au niveau de l'éducation, que ce soit à l'école, c'est vrai que c'est important, ou des différents impacts que peuvent avoir ces systèmes d'IA, puisque que... C'est vrai qu'il y a aussi l'impact environnemental qui est une question de société qui est importante, qui devrait nous rassembler aussi, puisque aujourd'hui, on a énormément de serveurs qui sont construits, on a des entrepôts à Marseille. En France, sur nos territoires, ça va avoir des impacts forcément sur l'environnement. Et toutes ces questions-là, par rapport au système d'IA, nous, forcément, on est en santé, ce qui est quand même un enjeu principal avec notre population qui est vieillissante. sur le continent européen aussi, donc la France mais pas que, ce sont des enjeux de société et la formation, l'information est primordiale pour pouvoir décider ensemble, pour pouvoir choisir ensemble, avoir nos codes aussi de conduite, puisque ça va passer et par des réglementations, mais aussi par la pratique, par l'éthique. On en revient à cette idée-là d'information qui est primordiale.

• Speaker #0

  Je crois que tu as tout dit Marie. Je te remercie infiniment pour ton éclairage. J'y vois un petit peu mieux dans ce qui encadre l'intelligence artificielle. Le progrès est vraiment galopant. On essaye d'aller au mieux avec notre réflexion pour comprendre ce qui se joue dans tous ces systèmes d'intelligence artificielle. On pressent tous qu'il y a un changement. de paradigme. La face et le visage de la santé et de la médecine de demain est en train de se changer, de se modifier. Et il est important de mettre ces sujets de régulation et de réglementation au cœur de la discussion du grand public et que ça puisse vraiment hum accéder à tout le monde, qu'on puisse vraiment accéder à tout le monde et que ce soit un sujet qui soit accessible et que ce soit pas un jargon difficile à comprendre ou que ce soit uniquement confiné à quelques-uns.

• Speaker #1

  Oui, c'est ça et vraiment, j'ai cette idée qu'il y a énormément de choses qui vont être réglées, qui vont être apportées par ces systèmes d'intelligence artificielle, par l'intelligence artificielle mais il y a aussi énormément de choses qui sont entre nos mains, les femmes, les hommes ont la capacité aussi à se questionner et à utiliser ce moment comme un moment un peu tremplin pour se questionner vers notre projet de société, en tout cas, ce vers quoi on veut tendre. Et ça, on peut le faire aussi sans ir. Donc voilà, je pense qu'il faut aussi avoir ça en tête. Et je suis ravie de pouvoir discuter, d'échanger avec toi sur ces questions. C'est moi qui te remercie. C'est vraiment très important.

• Speaker #0

  Merci, merci de mettre les mains au cœur. de l'intelligence artificielle. Merci Marie.

• Speaker #1

  Merci à toi.

• Speaker #0

  Mes chers amis, j'espère que cet épisode vous a éclairé sur l'organisation du cadre juridique et éthique autour des nouvelles technologies en santé. Vous pouvez soutenir le podcast pour avoir plus de contenu éclairant en notant, en partageant les épisodes sur les plateformes d'écoute et Instagram. A très bientôt !