Transcription

• Speaker #0

  Et si les plus grands défis des entreprises de demain n'étaient pas technologiques, mais juridiques ? On le sait, la technologie avance vite, parfois plus vite que le droit. Le numérique n'est plus seulement un terrain d'innovation technologique, il génère en permanence de nouvelles problématiques juridiques, toujours plus nombreuses et complexes, que les juristes doivent suivre et décrypter au quotidien. Qui est responsable lorsqu'une intelligence artificielle se trompe ? Comment assurer une juste rémunération des auteurs d'une œuvre lorsque l'IA s'entraîne sur des millions de contenus, parfois sans autorisation ? À partir de quel moment une mécanique de jeu devient-elle une technique de manipulation ? Et comment construire un monde numérique véritablement accessible à tous ? Je suis Angeline Doudoux, journaliste chez Lefebvre Dalloz, et je vous propose de partir à la rencontre de celles et ceux qui décryptent ces mutations et accompagne les entreprises face à ces enjeux d'ampleur. Bienvenue dans Business et innovation technologique, le droit des affaires à l'ère du numérique. Aujourd'hui, je suis en compagnie de Laurène Zaggia, counsel, et de Juliette Gomes, collaboratrice chez Osborne Clark. Bonjour mesdames.

• Speaker #1

  Bonjour Angeline. Bonjour Angeline.

• Speaker #0

  Alors le 5 mai dernier, la CNIL a publié une étude sur l'impact des usages de l'IA conversationnel sur la santé mentale des jeunes européens. Dans cette étude, on apprend notamment que près d'un jeune français sur deux, 48%, utilise une IA pour parler de sujets intimes ou personnels. La question que je me pose, c'est est-ce qu'on ne serait pas déjà entré dans une médecine assistée par l'IA sans vraiment s'en rendre compte ? Lorraine, peut-être ?

• Speaker #2

  Tout à fait. Alors ici, on sort complètement d'un usage professionnel. À la base, c'est pour ça que l'IA avait été créée. Et on voit que ces jeunes considèrent l'IA comme un psychologue. Alors que pourtant, sur ces sujets, l'humain est absolument clé. Quand on n'est pas bien, on a en principe besoin de parler à un humain.

• Speaker #0

  Donc c'est vraiment un premier problème qu'on voit avec cet usage-là. Revenons rapidement au cadre réglementaire applicable lorsqu'une entreprise du secteur de la santé souhaite déployer une solution d'IA. Où en est-on actuellement ? Pour faire écho à l'enquête qu'on vient d'évoquer, est-ce que le droit est aujourd'hui en retard sur les usages, Juliette ?

• Speaker #1

  Alors non, le cadre réglementaire a beaucoup évolué ces dernières années. pour saisir justement ces nouveaux usages au gré de leur apparition. On est aujourd'hui face à un empilement de textes, ce qu'on appelle une sorte de millefeuille ou de patchwork normatif. La première brique, c'est le RGPD. Ça reste vraiment la réglementation clé, puisqu'elle vient définir les règles de collecte et de traitement des données de santé. On a également des textes plus sectoriels, on y reviendra, par exemple la réglementation sur les dispositifs médicaux. Enfin, Une couche normative plus récente, ça va être le règlement sur l'IA qui entre progressivement en application. Et les systèmes d'IA en santé sont particulièrement visés puisqu'ils sont classés comme systèmes à haut risque. Et donc, des exigences renforcées s'appliquent à ceux qui les mettent sur le marché dans l'Union européenne. Enfin, en France, on a également les recommandations de la CNIL, l'autorité de protection des données. C'est du soft law, mais en cas de contrôle, l'autorité va vraiment... contrôler les entités par rapport aux recommandations qu'elle a faites. Donc il faut également suivre ce genre de publication. Par exemple, dernièrement, la CNIL a publié des fiches sur le développement et l'évaluation des systèmes d'IA pour qu'ils soient en conformité avec la réglementation. Elle a également ouvert une consultation publique en coopération avec la Haute Autorité de Santé et un projet de guide de l'IA en contexte de soins. Pour résumer, on est dans un environnement réglementaire en pleine construction où les textes s'accumulent. et où les acteurs doivent faire ce qu'on appelle la conformité multicouche.

• Speaker #0

  Est-ce qu'il est possible d'utiliser des données de santé existantes pour entraîner une IA ? Et quels sont les obstacles à une telle utilisation,

• Speaker #2

  Laurène ? Alors, en théorie, c'est complètement possible d'utiliser une base de données historique préexistante. Nous, on a beaucoup de clients qui viennent au cabinet et qui vont nous demander ce qu'ils peuvent faire avec ces bases de données qu'ils ont rassemblées, collectées au fil des années. Mais ce n'est pas facile parce qu'il y a des obstacles, il y en a principalement trois. Le premier, ça va être la limitation des finalités. En fait, on ne peut utiliser les données que pour les finalités indiquées initialement au moment de la collecte. Donc l'entraînement d'une IA, c'est une nouvelle finalité, c'est ce qu'on appelle une utilisation secondaire des données. Donc si je comprends bien, un patient qui a suivi un traitement ou a fait partie d'une étude il y a dix ans par exemple, Eh bien ça veut dire qu'on ne peut pas aujourd'hui entraîner une IA avec ces données. C'est tout à fait ça. En fait, il faut qu'on se pose la question, qu'est-ce qu'on a dit au patient au moment de la collecte ? Si c'était il y a 10 ans, je ne suis pas sûre qu'on lui ait dit que ces données serviraient à entraîner de l'IA. Donc ça impose de redemander le consentement du patient ou alors d'effectuer un test de compatibilité. Et qu'est-ce qu'un test de compatibilité ? C'est un test qui va analyser la finalité antérieure avec la nouvelle finalité. Et en fait, il faut trouver un lien assez solide entre ces deux finalités. Par exemple, si la finalité initiale, c'était la recherche scientifique, le développement d'une IA pour commercialiser une application de diagnostic, c'est assez éloigné et ça risque de ne pas correspondre. Ensuite, je vous ai parlé des obstacles. On a évoqué le premier. Il y a un deuxième obstacle, mais celui-là, il est assez classique. C'est trouver une base légale en vertu de l'article 6 du RGPD. Donc, il faut trouver une base légale pour le développement et l'entraînement de l'IA. On a, par exemple, le contrat, on a le consentement, on a l'intérêt légitime. L'intérêt légitime, il fait beaucoup débat, mais je pense que ce qu'il faut avoir à l'esprit, que c'est l'intérêt. supérieure du patient qui doit primer. Donc les autorités de contrôle, elles doivent être peut-être, à mon sens, un peu plus flexibles sur l'utilisation de la base légale intérêt légitime dans le domaine de la santé. Troisième obstacle, parce qu'on est dans la santé, c'est l'article 9. En principe, la collecte des données de santé est interdite. Il faut trouver une exception. Il y en a plusieurs. Il y a par exemple le consentement. Il y a l'intérêt public dans le domaine de la santé et il y a la recherche scientifique. Et quelles sont les alternatives possibles lorsque le consentement est impossible à recueillir ? On peut penser à l'anonymisation, par exemple, comme pour les décisions de justice ? Tout à fait. Dans le secteur de la santé, en revanche, ça peut être un peu difficile. Même si on supprime le nom et le prénom du patient, c'est des données qui sont tellement uniques. qu'on peut quand même retrouver le patient. Et je pense dans le secteur des maladies rares, voire des maladies ultra rares, où il y a une dizaine de patients en France, forcément, on sait qui sont ces patients. Oui, effectivement. Donc, enlever le nom d'un patient ne suffit pas forcément. C'est exactement ça. Et d'ailleurs, sur ce sujet, on peut parler, je pense, de la décision de la CJUE du 4 septembre 2025. Alors, ce n'est pas un cas, ce n'est pas une décision dans le domaine de la santé. Mais c'est le conseil de résolution d'une banque espagnole qui avait transmis à Deloitte, son auditeur, des commentaires d'actionnaires et de créanciers, où ils avaient simplement pseudonymisé, c'est-à-dire enlevé le nom et le prénom. Et la Cour, donc, dans l'arrêt, a rappelé que la pseudonymisation n'équivaut pas à une anonymisation. Tant que l'émetteur conserve la clé ou des moyens raisonnables de réidentification, il va toujours traiter des données personnelles. Mais le destinataire, donc Deloitte ici, s'il ne dispose d'aucun moyen raisonnable de remonter à l'identité des personnes, là les données ne sont plus personnelles. Donc après c'est une décision qui n'est pas dans le secteur de la santé, mais qui fait quand même une différenciation assez intéressante entre la notion de pseudonymisation et d'anonymisation. On a une autre solution aussi, c'est les données synthétiques. C'est des données qui sont créées artificiellement à partir de données réelles. Et comme en fait elles ne se rapportent à aucune personne, le RGPD ne s'applique pas. Donc c'est une bonne solution.

• Speaker #0

  Passons maintenant côté éditeur de logiciels avec vous Juliette. C'est quoi un dispositif médical IA qu'on appelle SAMD ? Et quelles sont les obligations spécifiques de ces éditeurs de logiciels ?

• Speaker #1

  Alors le SAMD c'est le Software as a Medical Device en anglais. On peut parler plus couramment de logiciels IA en santé par exemple. La définition vient du règlement européen sur les dispositifs médicaux. Il définit ce type de logiciel comme celui qui est destiné à être utilisé à des fins médicales, de façon autonome sans être forcément intégré à un dispositif médical physique ou matériel. En pratique, ça recouvre des réalités très concrètes. Par exemple, un algorithme qui va détecter un cancer sur des images de radiologie ou encore un outil d'aide au diagnostic qui va aider à analyser des symptômes et proposer des hypothèses cliniques. ou encore un logiciel qui analyse les données d'un ECG, un électrocardiogramme, pour détecter des arrhythmies. Tout ça, ce sont des logiciels dits en santé. La conséquence de cette qualification, c'est que les éditeurs de logiciels vont avoir un set d'obligations à respecter, notamment d'obtenir le marquage CE avant toute mise sur le marché européen, mais aussi de maintenir une documentation technique particulière en termes de sécurité, management de la qualité, évaluation clinique, etc.

• Speaker #0

  Et en pratique, à partir de quand un logiciel bascule dans la catégorie dispositif médical ?

• Speaker #1

  Alors le critère clé, c'est la destination médicale. Il faut se poser la question, est-ce que ce logiciel est destiné au diagnostic, à la prévention, au contrôle d'une maladie ou à son traitement ? Un simple logiciel de gestion des dossiers, par exemple, ce ne sera pas un logiciel d'IA en santé. Il faut que ce soit un algorithme ou un logiciel qui recommande un diagnostic, par exemple, ou un traitement. La conséquence, c'est que le logiciel d'IA en santé... Il sera souvent qualifié de IA à haut risque et donc on devra à la fois respecter le règlement sur l'IA mais aussi toutes les règles sur les dispositifs médicaux. On a donc une double réglementation et des doubles obligations. Le règlement sur l'IA prévoit quand même une clause de cohérence, c'est-à-dire que si votre logiciel respecte les dispositions de la réglementation en matière de dispositifs médicaux, alors il y a certains aspects communs, par exemple la documentation technique, les obligations de transparence. par rapport au règlement IA et donc le logiciel pourra bénéficier d'une présomption partielle de conformité au règlement sur l'IA. Donc en pratique, on a une gouvernance et une documentation à double entrée. Il faut à la fois respecter toutes les règles en santé, mais aussi toutes les règles sur l'IA.

• Speaker #0

  Alors par exemple, est-ce qu'un chatbot médical qui suggère des hypothèses diagnostiques, on est déjà dans le dispositif médical ou pas du tout ?

• Speaker #1

  Alors là, il faut regarder la destination qui est revendiquée par le fabricant. Par exemple, dans la notice d'utilisation, le marketing, etc. Si ça oriente le diagnostic, oui, c'est un logiciel de lien en santé. En revanche, si on est sur une IA plus généraliste, par exemple ChatGPT, qui peut donner des orientations et aussi parler de connaissances en médecine générale, là, non, puisque c'est une IA généraliste et que le fabricant ne l'a pas créée pour cela. En revanche, si un éditeur... intègre ensuite ChatGPT dans une application pour créer un chatbot de suggestions diagnostiques, là oui, l'éditeur deviendra fabricant au sens de la réglementation.

• Speaker #0

  Passons maintenant au côté responsabilité. En cas d'erreur ou de dommage causé par une IA en santé, Lorraine, qu'est-ce que vous pouvez nous dire à ce sujet ?

• Speaker #2

  Alors, c'est une question très complexe parce qu'on a plusieurs acteurs. Je vous propose de partir d'un exemple. Imaginons un hôpital qui déploie un logiciel d'IA, d'aide au diagnostic en radiologie, conçu pour détecter des nodules pulmonaires sur des scanners thoraciques. Donc exemple qui peut arriver honnêtement, et je pense qu'il y a des projets dans ce sens actuellement. Donc il y a trois acteurs. Il y a le médecin, l'établissement de soins, et le fournisseur-éditeur. Donc le médecin. Il reste garant de l'acte médical. L'IA, c'est un outil d'aide à la décision, ce n'est pas un décideur autonome. Donc il y a toujours cette obligation de supervision humaine. Le médecin, il ne peut pas se retrancher derrière l'algorithme. Si le médecin radiologue reçoit le résultat de l'IA, qui indique aucun nodule détecté, s'il valide ce résultat sans même regarder lui les images, les radios, il y a quand même un problème. Il ne peut pas suivre aveuglément la recommandation de l'IA sans exercer son jugement clinique. Ensuite, passons à l'établissement de soins. Donc l'établissement de soins, c'est celui qui met le logiciel entre les mains de ses médecins, de ses radiologues. S'il n'a pas vérifié la conformité du logiciel, s'il n'a pas formé ses équipes, qu'il ne leur a pas dit aux médecins, vous devez garder votre esprit critique. Sa responsabilité, à mon sens, peut aussi être engagée. Et d'ailleurs, du point de vue du RGPD, il faut quand même rappeler que l'établissement de soins, il est responsable de traitement, parce que c'est lui qui décide. quel est le meilleur traitement pour un patient. Enfin, troisième acteur, le fournisseur, l'éditeur de la solution logicielle. C'est lui qui a développé l'algorithme et qui l'a mis sur le marché. Si l'algorithme présente un défaut, par exemple, il a été entraîné sur un jeu de données uniquement composé d'hommes, et donc il ne détecte pas les nodules chez les femmes. C'est certain que la responsabilité peut être engagée au titre du droit des produits défectueux et de la nouvelle directive. Le RIA, donc le Règlement Intelligence Artificielle, impose aussi des exigences de conformité, notamment dans le domaine de la santé parce que c'est des IA à haut risque, donc la surveillance après la mise sur le marché d'une solution IA. Et je voudrais quand même rappeler que la directive sur les produits défectueux dans sa version de 2024, qui va rentrer en vigueur donc en décembre 2026, vise... explicitement les logiciels et les systèmes d'IA dans son champ d'application, ce qui n'était pas le cas avant.

• Speaker #0

  Et en pratique, est-ce qu'on est encore dans une logique de responsabilité humaine classique ou est-ce que l'IA oblige à repenser les schémas de responsabilité ?

• Speaker #2

  Je ne sais pas si on va repenser les schémas de responsabilité, mais en tout cas c'est rendu extrêmement complexe. Parce que comme on l'a expliqué, il va falloir partager la responsabilité entre ces trois acteurs. Donc nous les conseils qu'on donne et ce qu'on voit au cabinet, ce qu'on conseille à nos clients, c'est l'importance de la contractualisation. Dans un contrat, c'est absolument clé de répartir les rôles, les responsabilités, prévoir une clause d'assurance, des niveaux... de services et de garanties. Et c'est vrai que c'est compliqué de négocier avec un éditeur de solutions IA comme Oracle, Microsoft, OpenAI. Mais pourtant, c'est vraiment la partie qu'il ne faut pas lâcher. J'ai envie de dire, il faut vraiment clarifier les rôles et les responsabilités associées. Et il y a aussi un autre enjeu, c'est celui de la traçabilité des décisions de l'IA. Qui a décidé quoi ? Sur la base de quel algorithme, avec quelles données, il faut qu'on puisse voir à quel moment est intervenu le médecin, ou alors si c'était simplement finalement une erreur de l'algorithme. C'est absolument clé de tracer les décisions de l'IA. Et quelle bonne pratique on peut mettre en place justement pour déployer l'IA en santé de manière responsable et conforme ? Avant tout projet d'IA en santé, à mon sens, il y a quatre fondements à avoir à l'esprit. Le premier, ça va être la gouvernance. On connaît depuis 2018 le fameux DPO, délégué à la protection des données. Maintenant, il faut clairement désigner un responsable IA dans l'entreprise qui aura une vision 360 sur tous les projets IA dès leur conception. Et comme pour le RGPD et le principe de privacy by design, il faut aussi penser IA dès qu'on lance un projet. Il faut penser au règlement IA dès le lancement. On peut aussi, on le voit aussi dans le domaine de la santé, mettre en place un comité éthique qui aura vraiment à cœur les intérêts du patient et qui supervisera les projets, ses clés dans le domaine de la santé. Et puis finalement, il va falloir documenter, c'est-à-dire faire une analyse d'impact imposée par le RGPD, mais aussi une documentation sur l'IA. Quel algorithme on utilise ? Quelle est la version ? Quelles sont les données d'entrée ? Quel est l'éditeur ? Est-ce qu'il y a un LLM ? Voilà, il faut documenter. Ensuite, le deuxième pilier, c'est l'information et le droit des patients. Il faut absolument les informer de l'usage de l'IA à travers des politiques de confidentialité, des informations patients, notamment dans les essais et les études cliniques, pour les informer de ces nouveaux traitements qui sont réalisés en lien avec l'IA. Après, faut pas oublier que... les personnes concernées, donc les patients, gardent un contrôle sur leurs données. Donc on n'a toujours pas eu le cas actuellement, mais on réfléchit à ces futures problématiques. Un patient qui s'oppose à la collecte de ces données utilisées par l'IA, une fois que l'IA est entraînée avec les données du patient, comment on fait ? On ne peut pas revenir en arrière. Donc c'est sûr que ça va donner lieu à des problématiques extrêmement intéressantes. Le troisième pilier, c'est la qualité des données d'entraînement. On ne peut pas entraîner et développer une IA sur des bases de données qu'on aurait trouvées sur Internet. Ce n'est pas possible. Il faut vraiment que la qualité des bases de données soit au cœur du projet. Donc ça peut être des bases de données de la société collectées à travers des essais cliniques, des études, ça peut être les bases de données du HDH, mais il faut que les données soient de qualité, sinon les résultats n'iront pas. Enfin, Le dernier pilier, c'est la supervision humaine. D'un point de vue éthique, il faut maintenir une supervision humaine sur les décisions prises par l'IA et encore plus dans le domaine de la santé parce que le RIA les qualifie de systèmes à haut risque. Donc en fait, c'est une obligation légale. Il va falloir aussi former les équipes médicales à utiliser l'IA en gardant leur libre arbitre et leur esprit critique.

• Speaker #0

  Pour conclure notre entretien sur ce sujet, vous qui êtes sur le terrain de toutes les problématiques que l'on vient d'aborder, est-ce que selon vous on se dirige vers une explosion des contrôles et contentieux liés à l'IA en santé dans les prochaines années ?

• Speaker #1

  Alors oui, probablement. Pour l'instant, on n'a pas encore de contentieux massifs sur l'IA en France. En revanche, on a déjà des décisions aux Etats-Unis, notamment sur tous les sujets de propriété intellectuelle, constitution des bases de données et réutilisation des données, avec par exemple les affaires du New York Times. mais aussi d'autres affaires sur la question du secret professionnel des avocats, donc le attorney privilege. C'est sûr que ça va arriver, on aura des contrôles et du contentieux, à la fois sur la responsabilité, comme en a parlé Laurène, mais aussi des contrôles de conformité réglementaire, de respect des obligations issues du RIA, du règlement sur l'IA. Pour l'instant, les dispositions du règlement ne sont pas toutes entrées en application, donc on a encore un sursis de quelques mois, voire quelques années, mais ça devrait arriver très rapidement.

• Speaker #0

  Merci beaucoup à toutes les deux pour cet éclairage très concret sur les enjeux juridiques liés à l'intelligence artificielle et aux données de santé. Merci Angeline, à bientôt. Merci Angeline, à bientôt. Merci à tous de nous avoir écoutés et à très bientôt pour un nouvel épisode.