Transcription

• Gerard Peccoux

  Bonjour à toutes et à tous, je suis Gerard Peccoux, cofondateur de Callimedia, une entreprise pionnière dans le digital learning, qui fait désormais partie de Bealink, un acteur majeur de l'innovation en formation professionnelle. Je vous souhaite la bienvenue sur Never Stop Learning, le podcast qui vous emmène au cœur des révolutions de l'apprentissage. Chaque épisode explore les contributions des spécialistes en andragogie, psychologie cognitive, neurosciences Merci. et technologies de pointe qui façonnent l'avenir de la formation. Never Stop Learning, c'est votre rendez-vous avec les leaders et les idées qui transforment l'apprentissage de demain. Bonjour à toutes et à tous et bienvenue dans ce nouvel épisode de Never Stop Learning. Aujourd'hui, je voudrais partir d'une situation qui devient courante dans de nombreuses entreprises. Un collaborateur doit réaliser une analyse, préparer une recommandation, rédiger un document ou résoudre un problème. Il s'appuie sur une intelligence artificielle pour explorer des pistes, structurer son raisonnement ou produire une première version. Il sélectionne, corrige, complète, vérifie et remet finalement un travail de qualité. Pour l'évaluateur, le problème n'est plus seulement de savoir s'il y a été utilisé. Il est de déterminer ce que ce travail permet réellement d'attribuer à la personne. personne qui le présente. Le résultat final se finit encore. Faut-il observer les étapes du travail, les choix effectués et les vérifications menées ? Comment s'assurer que la personne comprend et maîtrise ce qu'elle présente ? Que doit-elle savoir faire seule et que peut-elle légitimement réaliser avec l'intelligence artificielle ? C'est le fil conducteur de cet épisode. Comment évaluer le travail d'une personne lorsqu'elle est en train de faire que l'IA a participé à sa réalisation. Pour en parler, j'ai le plaisir de recevoir Ausha Carbouche. Ausha est responsable cellule technopédagogique chez Bruxelles Formation, spécialiste de l'intelligence artificielle appliquée à la formation et auteur du livre « Évaluer en formation à l'ère de l'IA générative, manuel pratique pour repenser l'évaluation des apprentissages » publié aux éditions Chroniques Sociales et préfacé par la professeure Christelle Lison. Ausha, bienvenue dans Never Stop Learning et bonjour.

• Rochane Kherbouche

  Bonjour Gérard, merci, merci pour ton accueil.

• Gerard Peccoux

  Alors Rochane avant d'aller au cœur de l'épisode, est-ce que tu peux te présenter pour ceux qui ne te connaîtraient pas, parce que tu es très actif sur les réseaux sociaux, et nous expliquer ce qui t'a conduit à écrire ce livre ? Quels problèmes de terrain cherchais-tu à résoudre au départ ?

• Rochane Kherbouche

  Oui, alors moi je suis technopédagogue, c'est un mot un petit peu barbare, technopédagogue. Je fais de la pédagogie pour laquelle la technologie intervient. Depuis 15 ans, je conçois des dispositifs de formation et je vérifie que les gens apprennent quelque chose. Pourquoi j'écris ce livre ? En fin 2022, vraiment il y a une anecdote qui m'a frappé très fort. En Jordanie, je corrige un module de statistique médicale pour un projet en Jordanie. Soumé par curiosité, mais... propres questions d'évaluation à l'époque chat gpt et en quelques secondes aussi bonne que les miennes j'ai des réponses parfois même meilleur ensuite la même question partout entre mars et décembre 2023 une vingtaine de fois on me pose cette question quel logiciel pour détecter chat gpt ah oui j'ai testé ces détecteurs et il accusait les humains et laisser passer les machines quand je disais que les gens se fâchaient. Le problème de terrain, en fait, c'est des milliers de formateurs qui cherchent un antivol justement pour une porte qui n'a jamais eu de serrure. Voilà, c'est vrai. Oui, c'est ça.

• Gerard Peccoux

  L'IA fragilise de plus en plus l'idée qu'un bon livrable constitue à lui seul une preuve suffisante. Et je pense que, tu vas me dire si tu es d'accord, qu'il faut d'abord clarifier ce que l'évaluation prétend réellement mesurer. Ma première question, c'est celle-ci. Lorsqu'une personne remet un travail qui est excellent, qui est réalisé avec une intelligence artificielle, pourquoi le résultat final ne suffit plus à lui seul pour l'évaluer ?

• Rochane Kherbouche

  Oui, ça, ça a été depuis longtemps. Depuis longtemps, un texte bien écrit, il valait comme une empreinte digitale de quelqu'un qui pense bien. Et ça marchait parce que personne ne savait fabriquer des empreintes. Aujourd'hui, un beau livrable, c'est comme un gant, il a la forme d'une main, il ne dit rien de la main. Et donc, le lien entre la... qualité du texte et la maîtrise de la personne s'est remplue et donc nous continuons à noter comme si ce lien tenait. Et malheureusement, ce n'est plus le cas.

• Gerard Peccoux

  Qu'est-ce que finalement le résultat final que la plupart des formateurs ou des évaluateurs obtiennent toujours ? Il permet encore d'évaluer. Qu'est-ce qu'il ne permet, à ton avis, plus du tout d'établir ?

• Rochane Kherbouche

  Quand tu me poses cette question, je pense à une anecdote que je raconte dans le livre d'ailleurs. C'est un monsieur qui s'appelle Will Teague. C'est un professeur d'histoire aux États-Unis. Il glisse dans sa consigne une phrase écrite en blanc. sur blanc, invisibles à l'œil, mais lisibles par une machine, par l'IA. Et il leur demande de traiter un sujet selon une perspective marxiste. Et sur plus de 100 copies, je crois que c'était 122 copies, il y en a 33 qui revenaient avec du marxisme et 14 ont avoué ensuite. Et donc le plus troublant, ça arrive après. Quand on leur demande d'expliquer ce qu'est le marxisme, personne ne peut le faire. Un étudiant s'est justifié juste en disant « je pensais que ça avait l'air intelligent » . Les copies étaient recevables, mais les personnes ne pouvaient pas en répondre.

• Gerard Peccoux

  Clairement, c'était ça. Tu as commencé juste à l'évoquer. L'IA, est-ce qu'elle révèle surtout une fragilité qui était plus ancienne, finalement, avec certaines évaluations ? Est-ce qu'elle mesurait vraiment la qualité d'un livrable, finalement, sans vraiment vérifier la maîtrise de la personne ? Ça a toujours eu lieu, ça ?

• Rochane Kherbouche

  Oui, je pense que... En tout cas, même s'il y a eu... quelques initiatives un peu partout dans le monde où on faisait attention au processus. Le problème, c'est que la qualité de ce qui sort et la conformité à la commande, ça garde du sens quand on certifie un livrable. Et le résultat, il ne permet pas d'établir ce qui a pensé, ni ce que la personne saura refaire le lendemain. Autrement dit, ça mesure juste la production, mais ça ne mesure plus la capacité. Et d'ailleurs, dans le livre, j'ai une citation où je dis « plus le produit final est soigné et moins il le prouve, quelque part » .

• Gerard Peccoux

  D'accord. Et quel type d'évaluation devient aujourd'hui particulièrement vulnérable ou peu probant, à ton avis ?

• Rochane Kherbouche

  Quand on fait un écrit, par exemple, de 500 mots ou à 1000 mots, quand on demande un rendu à domicile sur un sujet générique identique d'une session à l'autre, clairement, l'épine dorsale de la formation continue, ce type d'évaluation… c'est très vulnérable. Le QCM de connaissances, pareil. Le rapport de stage, on fait des stages, on demande des rapports de stage standardisés où la trame impose déjà les réponses. La trame a déjà la réponse. Voilà, donc tout ça, c'est vraiment des types d'évaluation qui sont particulièrement vulnérables.

• Gerard Peccoux

  Alors, si le produit final, finalement, ou ce qu'on demande ne suffit pas ou plus, tu vas me dire, si tu es d'accord, mais est-ce que l'évaluation, elle doit remonter vers les étapes ? du travail sans chercher pour autant à tout surveiller ou à accumuler des traces inutiles ? C'est-à-dire, est-ce que finalement, ma question, c'est quelle étape du travail il faut qu'il rende observable pour comprendre comment la personne est arrivée au résultat ?

• Rochane Kherbouche

  En fait, le principe, il tient vraiment en une seule phrase. Ce qu'il ne laisse pas de traces ne peut pas être évalué. Clairement, c'est ça. En fait, trois traces suffisent. Par exemple, les versions successives avec ce qui a changé entre deux. ce que la personne a rejeté en expliquant pourquoi, une page où elle explique comment elle s'y est prise. J'ai vu que l'université de Laval, elle résume bien ça en trois mots que j'aime beaucoup. Les trois P, c'est-à-dire le produit, le processus et le propos.

• Gerard Peccoux

  En remontant finalement les différentes versions, c'est des traces qui vont apporter une information qui va être réellement utile à l'évaluateur, tu penses ?

• Rochane Kherbouche

  Oui, bien sûr, le test est simple. Est-ce que la trace... contient une décision. Voilà, tu te poses cette question-là. Est-ce que la trace contient une décision ? Par exemple, un log sans décision ne vaut rien. Ça ne vaut rien. Trois lignes qui disent que j'ai écarté cette piste parce que, ça vaut vraiment de l'or. Les carrefours, autrement dit, les moments où la personne s'est posée des questions, elle a tourné. Tu vois ? C'est ça, les moments importants.

• Gerard Peccoux

  Alors, j'ai d'autres questions pour toi. Comment évaluer les choix et les arbitrages effectifs ? pendant le travail avec l'intelligence artificielle ? C'est ce que tu es en train de dire, mais je voulais qu'on creuse un peu. Comment évaluer les choix, donc les arbitrages effectués pendant le travail avec l'IA plutôt que la seule qualité des demandes adressées à l'outil ?

• Rochane Kherbouche

  La qualité des promptes, ça s'apprend en un week-end et ça se périme vraiment en six mois. Évaluer, c'est évaluer la mode de l'année. Souvent, on a tendance à parler de ça. Le geste qui compte pour moi, c'est le rejet qui est argumenté. Dans le livre, je parle de deux étudiants. Il y en a un qui commence sa conversation par « n'écris pas pour moi, aide-moi juste à comprendre ce que je devrais écrire » . Et puis, tu as l'autre étudiant qui récupère les explications telles quelles. Tu vois, il y a deux profils différents. Sur le rendu final, on ne les distingue pas, mais par contre, sur le processus, c'est là où on voit clairement que tout les sépare. C'est-à-dire que le premier, il aura moins de dettes cognitives que le second, j'imagine. Oui, c'est ce qu'on appelle le vidage épistémique.

• Gerard Peccoux

  Vidage épistémique, je ne connaissais pas le terme. Qu'est-ce qu'il faut observer dans la manière dont la personne vérifie, corrige ou rejette ce que l'IA lui propose ? Finalement, quels critères vont permettre de distinguer une validation de surface d'une vérification réellement rigoureuse ?

• Rochane Kherbouche

  Souvent, j'ai tendance à donner un exemple pour que ce soit bien compris. On renvoie un plat parce qu'il est mal présenté ou alors parce que la cuisson est fausse. Il y a deux niveaux de compétences radicalement différents. Et donc, ce qu'on observe, c'est lequel des deux la personne est capable de faire. Je ne sais pas si tu arrives à voir la métaphore que je présente là.

• Gerard Peccoux

  Si, si. Est-ce que tu pourrais me décrire, pour qu'on comprenne encore mieux, une situation où une réponse plausible de l'intelligence artificielle aurait dû être remis en cours ? cause. Tu as des exemples dans ton environnement ? Oui,

• Rochane Kherbouche

  alors en fait, moi je dis que souvent il y a quatre questions qu'on doit se poser. Est-ce que la personne cite un élément précis du texte ou est-ce qu'elle parle en général ? Ça c'est important. Est-ce qu'elle a vérifié une source ailleurs ? Est-ce qu'elle a repéré une erreur qui demande de connaître le domaine ? Est-ce qu'elle sait dire ce qui manque ? Pas seulement ce qui est faux, mais ce qui manque, tu vois. J'ai un chiffre là-dessus, les formations de chefs de projet digital à Bruxelles en 2024, il y a eu beaucoup d'analyses, je crois qu'il y avait plus d'une soixantaine produites par 22 personnes et 41 montraient une vraie compréhension des limites de l'outil, des incohérences de date repérées, parfois des recommandations même génériques qui ont été identifiées comme inadaptées et puis même des références méthodologiques qui étaient inexistantes et qui ont été détectées. Et donc, en fait, les 25 autres, par contre, rejetés sur la forme sont touchés au fond. 62% contre à peu près 40 ou 60-40. Ce chiffre, il dit vraiment exactement qui a besoin d'un accompagnement renforcé.

• Gerard Peccoux

  Tu as aujourd'hui le taux d'erreur que continuent à faire les IA avec les derniers modèles de type Cloud ou ChatGPT ou Gemini ? Non, c'est vrai qu'avec les modèles qui arrivent tous les deux semaines,

• Rochane Kherbouche

  les nouveaux modèles... On nous explique qu'ils sont meilleurs que les uns des autres et on n'arrive jamais au maximum. Je pense que les hallucinations vont rester. Je ne parle pas de bien, je parle d'hallucinations. Elles vont être plus présentes quand on demande des choses auxquelles l'IA ne sait pas répondre. C'est là où justement arrive la subtilité de la pertinence en termes de prompt. C'est-à-dire qu'on ne va pas forcément essayer de faire cracher la machine quelque chose, mais on va essayer d'aller dans son sens pour qu'on puisse avoir des réponses. qui tiennent la route et n'ont pas des réponses imaginées. Donc le chiffre exact, honnêtement, Gérard, je ne le connais pas. Mais je sais qu'on a tendance à dire que quand on est dans une IA RAG, comme par exemple Notebook ou un truc comme ça, le taux d'allicitation est nettement moindre qu'une IA conversationnelle.

• Gerard Peccoux

  Oui, parce qu'il se sert des documents que tu lui as donnés qui, en théorie, sont vérifiés. C'est ça. Je suis d'accord avec ça. Alors, comment tu vérifies qu'une personne... comprend réellement ce qu'elle présente au-delà d'une restitution très convaincante.

• Rochane Kherbouche

  Oui, c'est vrai. J'ai un cas typique. J'interviens à l'Université de Lille sur un master ingénierie pédagogique multimédia. Multimodal, maintenant, ça a changé le nom. Et donc, en fait, un étudiant de master qui me rend un travail vraiment fluide, structuré, références bien placées. Je lis, j'anote. Après vient l'oral. Question juste sur le sujet, sur les implications, sur la bibliographie. peut se passer bien et je valide. Ça se passe bien d'ailleurs et je valide. Mais deux semaines plus tard, quand j'ai commencé à préparer ce livre, la question m'est tombée dessus. Est-ce que j'avais vraiment vérifié tout ce qu'il fallait faire ? Je n'avais pas demandé, Callimedia ce mécanisme avec tes mots. Ça, je ne l'avais pas fait. Je n'avais créé aucun imprévu. J'avais vraiment tourné autour du sujet. Et c'est là, justement, ce que révèle la compréhension et ce qu'on appelle la friction. Donc, il faut vraiment faire attention. J'ai raté un oral parce que finalement, j'ai permis peut-être à l'étudiant de le préparer, d'apprendre par cœur et non pas. Je n'ai pas été imprévisible dans mes questions, tu vois. Donc là, tu peux vérifier si une personne comprend réellement ce qu'elle présente.

• Gerard Peccoux

  Donc finalement, c'est l'imprévisibilité des questions. Absolument. Et d'ailleurs,

• Rochane Kherbouche

  j'en parle beaucoup dans le livre.

• Gerard Peccoux

  Oui, c'est vrai. Tu en parles beaucoup. Tu peux aussi contrôler ça avec les mises en situation.

• Rochane Kherbouche

  Oui, bien sûr, pas plus tard qu'hier, j'ai commencé un nouveau module avec une nouvelle session. Quand je leur ai présenté le programme, je leur ai dit qu'il allait y avoir un projet, qu'il allait y avoir un oral pour défendre le travail du projet, mais individuel. Mais en fait, je leur ai dit qu'il n'y a que cinq minutes. Parfois, on a l'impression qu'il faut parler avec la personne une heure pour comprendre si elle a bien maîtrisé. En fait, trois questions suffisent. Qu'est-ce dont ton analyse serait fausse si je change ce paramètre ? Quelle est la partie de ton travail dont tu es le moins sûr ? Tout ça, ce type de questions. permet de révéler cette compréhension.

• Gerard Peccoux

  Très, très intéressant. J'ai une question derrière qui intéresse beaucoup de monde, qui est la suivante. Est-ce qu'on peut réellement contrôler une production de l'intelligence artificielle sans disposer de connaissances suffisantes dans le domaine concerné ? Et je pense, alors que tu l'as évoqué, par exemple le domaine médical. Tout le monde utilise chaque GPT ou les différentes IA en promptant, tu dois agir comme un médecin, etc. Et comment tu fais quand tu ne disposes pas des connaissances ? Comment tu contrôles ?

• Rochane Kherbouche

  Déjà, la réponse à ta question, c'est non. C'est le point aveugle de tout le discours actuel sur l'IA. En fait, on répète aux gens, utilisez l'IA, mais vérifiez. Et vérifier, ce n'est pas une compétence générale. C'est comme demander à quelqu'un de relire une traduction, par exemple, en une langue qu'on ne maîtrise pas, alors qu'il ne parle pas cette langue-là. Donc, il vérifie la ponctuation, rien d'autre. Et ça, c'est problématique. Donc, on ne peut pas vraiment contrôler une production sans disposer de connaissances suffisantes. Donc en fait, on ne peut pas, comme tu dis, apprendre à vérifier correctement une tâche qu'on n'a jamais apprise à réaliser soi-même. C'est impossible. Justement, non. Et c'est vraiment une conséquence lourde pour la formation. Et du coup, il faut vraiment garder des moments où l'on fait soi-même, laborieusement, des choses que la machine ferait mieux peut-être. Mais la raison, elle est utile. C'est le seul moyen de construire ce radar qui servira plus tard de contrôler. Et donc, en fait, tu as beaucoup d'organismes qui ont... par exemple supprimer ces moments-là au nom de l'efficacité. Ils fabriquent des gens qui savent commander sans savoir contrôler. Et ça, c'est quand même un peu problématique.

• Gerard Peccoux

  Oui, je suis d'accord. On l'a un tout petit peu évoqué, mais je voudrais qu'on creuse un peu le sujet. Que doit-on demander à la personne que l'on a en face de soi d'expliquer, de justifier ou de défendre pour établir qu'elle maîtrise son travail ? Ça va avec la question précédente.

• Rochane Kherbouche

  Oui, quand on parle de processus et non pas de produit, il y a le glissement du centre de gravité du produit vers le processus. On demande les choix déjà. Pourquoi cette solution et pas les deux autres ? Ça, c'est important. Les limites, qu'est-ce qui est fragile dans ton travail ? C'est important de poser cette question. Et puis les rejets aussi. Qu'est-ce que l'IA t'a proposé ? Franchement, s'il y avait une seule question que je gardais pour savoir si une personne a compris, je ne garderais que celle-ci. Qu'est-ce que l'IA t'a proposé que tu as refusé ? Ah oui,

• Gerard Peccoux

  c'est le rejet finalement d'une... proposition. Ah ouais,

• Rochane Kherbouche

  c'est vraiment important. Si la personne arrive à expliquer que j'ai refusé ça, tu peux dire que vraiment, elle n'a pas délégué complètement. Voilà, sans cerveau.

• Gerard Peccoux

  Sans cerveau, oui. Contredire l'IA, finalement, ça peut être une bonne façon.

• Rochane Kherbouche

  Absolument. Pour moi, c'est la preuve la plus solide que je connaisse, tu vois. Contredire une machine, souvent parce que ces machines, elles écrivent avec une assurance et un appelant, ça demande vraiment de savoir quelque chose qu'elle ignore et c'est très difficile à simuler. D'ailleurs, dans le livre, je crois que c'est dans la fiche... c'est quatre ou cinq, un étudiant, que j'appelle dans le livre Mathieu, mais il ne s'appelle pas comme ça, il doit passer un entretien oral sur son travail, il refuse, le formateur le relance, et puis il refuse encore trois fois. Et donc, en fait, il perd son unité. C'était la dernière, d'ailleurs, il perd son master, parce qu'il y avait 30 minutes de conversation contre un diplôme. Tu vois, la symétrie, elle est vraiment absurde. Sauf si on comprend ce qui s'est passé. Finalement, on peut dire qu'il s'est... auto-évalué, il a conclu qu'il ne tiendrait pas et donc il n'est pas venu.

• Gerard Peccoux

  C'est l'exemple que tu donnais tout à l'heure sur la soutenance orale. Quelqu'un qui est très à l'aise, qui a appris presque par cœur, qui fait une belle présentation versus la personne à qui tu poses des questions sur expliquer un process et qui est vraiment capable de le faire alors que l'autre en est à bégayer.

• Rochane Kherbouche

  Oui, c'est ça. Ce qu'on doit noter, c'est plutôt la solidité des raisons données. Tu vois, la capacité à repérer ou à identifier ses propres limites. C'est ça, cette cohérence qu'on demande entre les traces rendues et le discours tenu. Voilà, c'est hyper important ça.

• Gerard Peccoux

  Très, très clair. J'ai une autre question qui intéresse beaucoup moins, puisque je te le disais en préambule, j'ai eu la chance d'interviewer pas mal de responsables L&D de très grosses entreprises. Comment décider ce qu'une personne doit absolument savoir faire seule et ce qu'elle peut faire seule ? peut légitimement réaliser avec l'intelligence artificielle. En gros, quels sont les critères qui doivent guider cette décision ? Est-ce que c'est le risque, la responsabilité, la fréquence de la tâche, la réversibilité, autre chose ?

• Rochane Kherbouche

  On est plus sur la tâche quand tu donnais tes exemples. En fait, cette question, elle tient vraiment en une phrase. Est-ce que le lundi matin dans son métier, cette personne aura-t-elle l'outil sous la main ? Ce que j'entends par là, par exemple un chef de projet qui écrit des rapports avec une IA, c'est certain, si on l'évalue sans IA sur la rédaction d'un projet, c'est évaluer une situation qui n'existera jamais. D'ailleurs, on parle d'alignement pédagogique et selon Bix, il faut que l'évaluation soit alignée aux objectifs et à la méthode. Par contre, un soignant qui est en situation d'urgence clinique, il ne va pas ouvrir le chat GPT. Donc là, on évalue sans l'assistance et sans la discussion.

• Gerard Peccoux

  C'était clairement ma question suivante . Et tu as commencé à y répondre, mais je voudrais que tu ailles juste un peu plus loin. Dans quelle situation il faut autoriser l'intelligence artificielle pendant l'évaluation ?

• Rochane Kherbouche

  Oui, c'est ça. Alors, je dis qu'il faut regarder quand même trois choses. Le risque. Que se passe-t-il si la personne se trompe et que la personne ne voit pas ? La deuxième chose, c'est la réversibilité. Est-ce qu'on peut corriger après coup ou pas quand on utilise l'IA ? Et puis la fréquence. Est-ce qu'un geste qu'elle ferait dix fois par jour ou c'est juste une fois par an ? Et donc, ce qui doit rester sans assistance, ce sont vraiment les gestes à risque élevé, irréversible et fréquent. Là, c'est un socle quand même. assez petit, en tout cas plus petit de ce que les organismes comptent protéger aujourd'hui par réflexe. On n'est pas vraiment dans ces Callimedia, on est plus dans les cas où l'usage de l'IA peut être utilisé avec toutes les conditions dont je parlais. Donc finalement, c'est dans ces situations qu'il faut retirer l'intelligence artificielle. Ou au moins, en tous les cas, comme tu le disais, pendant une partie de l'évaluation. Lorsque le résultat est... coproduit avec une intelligence artificielle, ça aussi, tu en parles dans ton livre, et sincèrement, j'ai appris un mot qui est le mot « octorialité » , que je ne connaissais pas. Donc, quand le résultat est coproduit avec une intelligence artificielle, qu'est-ce qui doit rester clairement attribuable à la personne ? Et alors, comme je pense que je ne suis pas seul à ne pas connaître le mot « octorialité » , est-ce que tu peux me dire ce que c'est ? Je suis allé voir depuis, donc je sais maintenant. Non, mais je pense que ça vaut le coup, avant de répondre à la question, de définir « auctorialité » . Oui. Alors, pour le coup, Gérard, le mot « auctorialité » , je l'ai découvert aussi, mais après le livre. Après le livre ? Oui, oui. Alors, il n'y est pas dans le livre, mais je vais t'expliquer. En fait, l'idée, c'est que tu as raison de me poser la question parce que j'ai eu un entretien avec un quotidien de la formation en juillet. Ah, mais c'est pour ça, oui. Oui, c'est ça. Je pense que tu faisais référence à ça. Et j'ai commencé à parler d'un outil. Alors, pour le coup. Du coup, c'est un outil qui s'appelle Diptyque. Je ne vais pas rentrer dans les détails de cet outil, en tout cas qui est développé après le livre. D'ailleurs, je suis en négociation avec certaines universités pour le tester. Et dedans, je parle d'octorialité. Et cette octorialité, c'est quoi ? Finalement, c'est la capacité d'une personne à assumer ses choix, assumer cette paternité intellectuelle de son travail, malgré l'usage des outils. En partie, bien sûr, quand tu travailles, il est coproduit avec l'IA. Concrètement, quand tu parles d'octorialité, tu expliques tes choix. Tu défends tes méthodes, tu distingues ce qui vient de la machine et ce qui vient de toi. Et tu prends, et ça c'est hyper important aussi, tu prends la responsabilité du résultat. Et d'ailleurs, tu ne me l'as pas posé, puis de l'autorialité de ton livre, dans mon livre, je déclare une responsabilité et une traçabilité en expliquant que je me suis appliqué la règle à moi-même, c'est normal. Donc si j'en parle, il faut absolument que je l'applique à moi-même. Il y a une page, carrément au début, sur la traçabilité en thème du livre. Je dis que l'IA a servi d'outil de structuration et de reformulation à partir de mon matériau. Alors mon matériau, c'est quoi ? C'est deux ans d'entretien, j'avais mis dans une IA dans notre boucle. Mes modifications sur les propositions de la machine, ils ont atteint vraiment régulièrement 70%. J'ai relu, j'ai validé, j'ai réécrit chaque phrase. Et puis Christelle Lison aussi, elle a fait de même sur la version finale. Donc pour moi, écrire un livre qui réclame la transparence, sans commencer par soi, ça ne tenait pas. Ce que je dis dans le livre, d'ailleurs, je dis que les lecteurs vont s'habituer à ces mentions et leur absence va devenir suspecte. Oui,

• Gerard Peccoux

  c'est vrai.

• Rochane Kherbouche

  C'est ça l'octorialité.

• Gerard Peccoux

  On n'aura plus besoin d'avoir Claude qui nous met des tags en disant ça a été écrit avec moi.

• Rochane Kherbouche

  Ça ne marche pas.

• Gerard Peccoux

  Ça ne marche pas. J'ai une autre question. On arrive d'ailleurs presque à la fin de cet épisode, Ausha, mais j'ai encore trois questions à te poser. Vas-y, je t'en prie. À quelles conditions on peut attribuer à la personne non seulement le travail réalisé, mais aussi la responsabilité du résultat ? C'est ce que tu disais un peu. C'est-à-dire, c'est mes sources, j'ai utilisé la machine et...

• Rochane Kherbouche

  Oui, alors mon test, c'est quoi ? En fait, on imagine que le travail est publié, appliqué, et on imagine qu'une erreur apparaît six mois plus tard. Est-ce que la personne est capable de retrouver d'où vient l'erreur, d'expliquer pourquoi ? elle ne l'a pas vue, et peut-être de la corriger. Pour moi, si oui, le travail lui appartient. Si elle répond, c'est l'IA qui l'a dit, pour moi, elle ne lui a jamais appartenu.

• Gerard Peccoux

  D'accord, c'est ça, exactement. On va s'adresser aux responsables formation. Si un responsable formation te confie demain une évaluation qui est fondée presque uniquement sur un livrable final, comment tu vas le transformer concrètement ? Quelles preuves tu vas croiser pour éviter de dépendre d'un seul indicateur ?

• Rochane Kherbouche

  Le premier geste, geste 1, je change les données, c'est-à-dire que le sujet qui était peut-être générique va devenir un cas local. Les vrais chiffres de services, l'organisation, l'accueil du stagiaire, un conflit qui a vraiment réellement eu lieu. La machine ne peut pas halluciner sur ce qu'elle n'a jamais lu. Ça, c'est déjà important. Ensuite, le geste 2, peut-être que j'ajoute une demi-page en demandant les trois décisions prises, les trois propositions rejetées, avec bien sûr les raisons. Rien de plus. Et puis le geste 3, je pense que c'est important, je reviens toujours dessus, c'est j'ajoute. cinq ou dix minutes d'oral par personne, ce n'est pas une soutenance que je veux, c'est juste dix minutes de questions sur les choix. Ça change même la préparation en amont parce que les gens, ils travaillent différemment quand ils savent qu'ils vont devoir parler. Et je t'avoue qu'hier, je l'ai remarqué, dès que les gens savent qu'ils vont avoir un oral, ils appréhendent l'évaluation différemment.

• Gerard Peccoux

  Oui, j'imagine qu'ils apprennent mieux. C'est un bel exemple. deux thèses finalement sur le travail réellement effectué, sur la mémorisation et sur la compréhension d'un sujet. C'est excellent. On retombe sur les neurosciences. Ma dernière question, qui est finalement presque un conseil à donner aux équipes Learning et Développement. Si tu devais donner aux équipes Learning et Développement une grille simple pour examiner une évaluation existante, quelles questions devraient-elles se poser en priorité ? lorsqu'une intelligence artificielle peut intervenir dans le travail ?

• Rochane Kherbouche

  Pour le coup, je fais juste une parenthèse. J'ai développé un outil qui s'appelle Compagnon de route qui va mesurer la robustesse justement d'une évaluation. Donc déjà, ce que je dirais à ceux ou cette responsable de formation, d'aller voir juste mon portfolio au Ausha sur lequel justement je partage plein d'outils de ce type-là gratuitement, même si derrière, il y a des coûts parce qu'en fait... Il y a des IA qui tournent derrière. Oui, Oui, mais déjà, tu peux avoir une idée rapide sur la vulnérabilité de ton évaluation. Je dirais qu'il y a plein de questions que tu peux poser, mais si je m'arrête à quatre, par exemple, est-ce que la consigne pourrait être copiée telle qu'elle dans un assistant IA pour obtenir un résultat recevable ? Déjà, ça, c'est une première question que tu te poses. Et puis, une deuxième question, est-ce que le produit final, c'est le seul objet évalué sans aucune trace de processus ? Ça arrive, beaucoup. Et puis, une troisième question, est-ce qu'une personne pourrait obtenir une bonne note sans être capable d'expliquer ses choix à l'oral ? Et puis, une quatrième peut-être, est-ce que la consigne est identique d'une session à une autre ? Voilà, c'est brutal, c'est le but. Non, non, non. Rien de pire que de découvrir ça pendant un audit, il faut reprendre l'évaluation.

• Gerard Peccoux

  Alors, la dernière, la dernière, vraiment la dernière question. Quelle idée voudrais-tu que les professionnels de la formation retiennent lorsqu'ils repenseront ? leur évaluation à l'ère de l'intelligence artificielle. Allez sur Ausha,

• Rochane Kherbouche

  c'est clair. Oui, mais je pense que, comme je te disais au début de notre entretien, la plupart des questions, les gens cherchaient comment empêcher les gens d'utiliser l'IA. Donc en fait, on a passé trois ans à chercher comment empêcher les gens d'utiliser l'IA. Ce temps, pour moi, c'est vraiment un temps perdu. Pardon, je te coupe mais j'ai vu ça, et je voulais le dire à nos auditeurs et auditrices, sur le fil WhatsApp. que tu as dit, mais je confirme une file WhatsApp où il y a à peu près 1000 personnes qui interviennent de manière journalière. Et effectivement, ça a été un gros sujet, l'interdiction de l'IA. C'est vrai. Pour moi, la vraie question, elle tient en deux mots carrément. Qu'est-ce que nous voulons voir et comment on peut les rendre visibles, tout ça. Et le jour où on aura une évaluation qui répond à ça, je pense que la question de la triche, elle va devenir secondaire. Parce que tricher, ça coûte plus cher que de travailler. Et donc, comme je te disais, vraiment, l'application Compagnon de route, elle automatise ce protocole et l'accès est libre, on peut le tester.

• Gerard Peccoux

  On va conseiller vivement aux auditeurs et aux auditrices de Never Stop Learning d'aller faire un tour sur Ausha et d'aller tester les compétences.

• Rochane Kherbouche

  C'est facile à retenir.

• Gerard Peccoux

  C'est clair que c'est facile. Merci vraiment et très sincèrement beaucoup d'avoir participé à cet épisode de Never Stop Learning et vraiment à ce que tu nous as apporté tout au long de ces minutes qu'on a passées ensemble sur ce sujet qui est vraiment important et d'actualité parce que dans toutes les interviews que j'ai faites, il revient en filigrane sans arrêt. Je vais rappeler le titre de ton livre, c'est « Évaluer en formation à l'ère de l'intelligence artificielle générative » avec un sous-titre qui est manuel pratique pour repenser l'évaluation des apprentissages et c'est publié aux éditions Chroniques Sociales. J'ai vu qu'on pouvait l'acheter partout sur toutes les plateformes. Je vous remercie également toutes et tous de nous avoir écoutés. Et puis, je vais vous souhaiter de continuer à apprendre, de continuer à questionner vos pratiques, et surtout, bien sûr, Never Stop Learning. Un très, très grand merci à toi, Ausha. Merci, Gérard. Merci de nous avoir accompagnés pour cet épisode de Never Stop Learning. Si cet échange vous a apporté de la valeur, n'hésitez pas à le partager autour de vous et à laisser une note 5 étoiles accompagnée d'un commentaire. Vos retours sont essentiels pour continuer à vous offrir des contenus de qualité. Je suis Gerard Peccoux et si vous recherchez des solutions innovantes pour transformer vos projets de formation, rendez-vous sur Callimedia ou bilink.com. Nos équipes se feront un plaisir de vous accompagner dans vos projets. On se retrouve très bientôt pour un nouvel épisode de Never Stop Learning, votre rendez-vous pour explorer, innover et ne jamais cesser d'apprendre. A très vite !