Transcription

• Speaker #0

  Bonjour tout le monde et bienvenue au 27e épisode de notre podcast Retour sur les attentes. On est maintenant au mois de janvier 2026, je suis avec Jonathan. Merveux Jonathan, comment tu vas ?

• Speaker #1

  Merci Joss, Merveux à toi également et à tes proches, ça va bien. Ça va bien, comme un début d'année, avec une météo plutôt clémente, un hiver qui n'est pas du tout rigoureux, je trouve, en tout cas par rapport à ce moment. Et puis l'envie de faire pas mal de choses cette année encore. Et toi ?

• Speaker #0

  Écoute, enrhumé, donc comme ça se doit, au mois de janvier. Très pluvieux ici, très très pluvieux. Bien donc. Oui, peut-être c'est parce que dans le temps ça aurait été de la neige, maintenant c'est la pluie. Oui,

• Speaker #1

  c'est vrai.

• Speaker #0

  On avance comme ça. Mais c'est bien, on est en pleine construction de l'année. Alors, on a juste pour nos auditeurs quelques sessions à rappeler, c'est ça qui nous fait vivre. Il y a des sessions de programmes de certification qu'on délivre. aussi en inter-entreprise et donc, du coup, toi tu animes une session de Learning Transfer Designer en français. Je tiens à le signaler parce qu'il y a plein de monde qui me demandait est-ce que tout est en français ? La réponse est oui ! Tout sauf le livre d'Ina.

• Speaker #1

  Oui exactement, mais tout le reste... Alors on l'avait déjà animé en français, mais c'est vrai que voilà, on avait fait les deux premières et donc il y avait tous les supports utilisés lors... Des classes virtuelles sont en français, partagées en français, etc. Mais c'est vrai qu'il y a pas mal de ressources qui étaient livrées et qui étaient en anglais, la langue d'origine, notamment dans la fameuse boîte orange qui arrive par la poste. Et là, en fait, voilà le travail de traduction. On est en train de finaliser et là, tout sera intégralement en français.

• Speaker #0

  Donc du coup, toi, tu animes la première session en inter-entreprise qui va démarrer le 3 mars ? Oui,

• Speaker #1

  c'est ça. exactement, à distance,

• Speaker #0

  et là il ne reste combien de places ?

• Speaker #1

  il ne reste deux places c'est top, ça fait déjà un bon groupe et il ne reste plus que deux places donc voilà si vous êtes intéressé il vous reste un gros mois maximum parce qu'après il faut le temps justement que l'on vous envoie votre belle boîte orange avec plein de surprises à l'intérieur donc il ne faut pas tarder à s'inscrire pour rejoindre cette formation qui suscite toujours autant d'enthousiasme chez les participants passés et les participants à venir.

• Speaker #0

  Et en même temps, pratiquement en même temps, moi je vais amener une session de Capatric Bronze. Alors c'est la seule session qu'on a planifiée pour l'instant pour cette année donc là aussi ça sera à distance là on va vraiment plus travailler sur les méthodes d'évaluation par rapport au nouveau modèle donc pour les quatre niveaux là il reste... peu plus que deux, donc je pense qu'il reste quatre places pour cette session. Donc n'hésitez pas à nous contacter si vous préférez ou si vous êtes intéressés pour cette session-là.

• Speaker #1

  Et puis si vous voulez voir le détail de chaque programme, rendez-vous sur évaluationformation.fr Comme ça, vous avez le détail des deux programmes. Comme vient de le dire Joss, un programme qui est plus centré sur les méthodes d'évaluation, comment démontrer l'impact des formations. Et l'autre programme est taxé lui sur le transfert des acquis de la formation, le transfert des apprentissages. Comment vous assurer de concevoir des formations qui mènent réellement à l'action ?

• Speaker #0

  Bien. Passons aux choses encore plus sérieuses. Le contenu d'un webinaire qu'on a fait avec Eric Garin qui est responsable de l'évaluation pour tout le groupe Orange. Pas juste Orange France, mais tout le groupe 140 000 collaborateurs. On a eu le plaisir de faire un webinaire avec lui le 13 janvier sur la plateforme WebIQ et WebIQ nous a donné l'accord qu'on puisse diffuser le fichier son, l'audio de ce webinaire dans notre podcast aussi.

• Speaker #1

  Oui, super webinaire, un échange très intéressant avec Eric qui est quelqu'un de très pragmatique, qui nous fait un... qui a accepté, parce que c'est vrai que tu le dis, lors du webinaire, ce n'est pas dans ses habitudes de faire des webinaires publics, etc. Il reste plutôt discret et là, c'est un vrai plaisir de discuter avec lui du retour d'expérience, de ses retours d'expérience et du retour d'expérience général par rapport à ce projet. mené au sein du groupe Orange, un projet Zephyr sur l'évaluation et l'amélioration de l'impact des formations. Un vrai cas d'école n'est-ce pas ce projet ?

• Speaker #0

  Oui, vraiment c'est bien pour nous de travailler sur un projet de cette en vigueur, parce que c'était quelque chose qu'on a entrepris en 2022, donc là en 2026, il faut du temps pour le faire. pour bien réussir, je trouve, ce challenge. Ça m'amène aussi à te poser la question, justement, on accepte assez peu de missions d'accompagnement. Quels sont pour toi les critères pour réussir une mission d'accompagnement pour aider les gens en interne à réussir les défis au niveau d'impact et d'évaluation ?

• Speaker #1

  Alors, très bonne question. Moi, j'ai pour habitude de dire qu'une bonne prestation de conseil, c'est un bon consultant et un bon client. Et donc, je vais dire ce qui fait un bon client à mes yeux. Alors là, dans le webinaire et donc maintenant dans le podcast, les auditeurs, auditrices entendront pas mal de bonnes pratiques qui sont partagées par Eric et nous-mêmes. Mais selon moi, il y a vraiment deux aspects essentiels non négociables. c'est déjà le fait de se former soi-même en tant que client. C'est-à-dire qu'on parle le même langage. Parce que si c'est pour accompagner des clients, on va faire des ateliers, on va les accompagner, etc., puis on ne parle pas le même langage. Le client va nous parler, je ne sais pas moi, retour sur investissement, etc. Nous, on va parler RE. Parfois, on va se perdre et on ne va pas avoir une vue d'ensemble, vraiment une vue haute du projet, de ce que l'on attend du projet, etc. Donc déjà, se former à la base. C'est l'assurance d'avoir un langage commun. Donc ça, c'est vraiment essentiel. Pour moi, c'est vraiment non négociable. Et enfin, c'est d'avoir, surtout dans un groupe, une entreprise de la taille d'Orange, c'est d'avoir un chef de projet dédié. D'avoir un interlocuteur qui est notre porte d'entrée et qui va s'assurer de relayer les messages en interne, de faire les relances qui sont nécessaires, etc. Donc pour moi, c'est vraiment deux éléments essentiels. Tu en vois peut-être d'autres. mais ces deux-là pour moi font vraiment la différence pour que le projet soit un succès.

• Speaker #0

  Non, je pense que ça crée la base, ça crée la base de la confiance, comme tu dis, entre nous, entre externes et internes aussi. Le fait qu'il y a ce travail qui est fait en amont pourrait vraiment apprendre comment ça fonctionne l'évaluation et l'impact. Parce que ça peut être assez théorique, assez technique et c'est vrai que... Il faut vraiment comprendre ces bases. Et c'est vrai que nous, on a commencé même des missions où les gens se sont un peu formés après. Ils ont dit oui, on aurait dû le faire dès le départ. C'est ce message qu'ils nous ont donné.

• Speaker #1

  Exactement. On gagne du temps. Eux gagnent du temps. Et puis, il y a une moindre dépendance aussi aux consultants. C'est-à-dire que là, on n'arrive pas, je vais caricaturer, mais on n'ouvre pas la porte en disant coucou, c'est nous. Voilà, on vient vous expliquer ce qu'il faut faire. Et ensuite, on repart sans qu'il y ait eu... Transfert de compétences. Il y a toujours un transfert de compétences normalement lorsqu'on réalise une prestation de conseil et d'accompagnement, mais elle n'est pas aussi marquée que lorsqu'il y a des interlocuteurs. Là pour le coup, un interlocuteur, mais il n'y a pas que lui qui travaille avec nous sur le projet, Théo Range, mais un ou plusieurs interlocuteurs dédiés et donc qui vont prendre aussi toute cette matière, cette connaissance qui va être partagée, etc. Pas qu'Eric, pour le coup, à la base. Il y a pas mal de personnes qui ont été formées. Et donc, on va dire, il y a beaucoup plus de chances que ça fasse stage du hile, comme on dit, et qu'il y ait vraiment des éléments qui restent, même lorsque nous, nous ne serons plus, nous n'interviendrons plus sur le projet.

• Speaker #0

  On est d'accord. Et c'était un peu le cas chez Orange. Donc, on vous invite à écouter le podcast de ce webinaire. Vous trouverez les slides dans les notes de ce podcast et puis aussi un lien avec WebIQ si jamais ce genre de sujet vous intéresse, parmi d'autres dans le milieu RH et formation. Donc on vous souhaite une belle écoute. À bientôt. À bientôt. Et je pense qu'on est live. Je pense que c'est bon. Bonjour à tout le monde, merci beaucoup d'être avec nous pour ce webinaire avec un retour du groupe Orange. comment ils évaluent et améliorent l'impact de leur formation. Peut-être pour nous rassurer psychologiquement, émotionnellement, juste pour Eric qui est aussi sur le premier webinar, vous pouvez aller dans le chat s'il vous plaît et nous dire que vous nous entendez bien, que vous nous voyez bien. Voilà, un petit bonjour pour nous dire dans le chat que tout est ok parce qu'on est un peu aveugles là à ce cinéma, on ne vous voit pas. Et puis après on va rapidement commencer. Le son est bon, l'image est bonne. C'est parfait. Je vais maintenant partager les slides. Donc nous on se voit un petit peu à gauche, c'est ça ? Donc on va toujours se voir et puis il va résoudre les slides devant vous. Vous avez aussi les slides, le même slide que vous allez voir dans le webinaire, vous les avez dans ressources je pense en dessous. Et après vous avez quelques boutons que vous pouvez cliquer aussi tout au long du webinaire ou après. pour que vous puissiez vous contacter et que vous puissiez découvrir plus sur nos certifications, nos programmes de certification. Voilà, voilà. Donc tout est bon. On va y aller. Bien sûr, on a une petite présentation. Donc avant de se présenter, Eric, c'est un grand premier pour toi dans un webinar. Donc tu en as fait des, à mon avis, des présentations et des réunions internes orange. Donc les choses à distance, tu les connais. Mais est-ce que tu... présenter en monde qui tu es et ce que tu fais.

• Speaker #2

  Déjà, bonjour à toutes et à tous. Donc, Eric Guérin et je travaille au learning et développement au sein du groupe Orange, donc au niveau de la structure corporelle du groupe Orange. Et donc, par ce biais-là, on est plutôt en animation de l'ensemble des équipes learning et développement, qu'elles soient dans les étudiants ou dans les pays. et dans toutes les géographies dans lesquelles on a des salariés.

• Speaker #0

  Donc toi, tu pilotes un peu tout ce qui est politique de formation, tout ce qui est bonne pratique de formation pour les collaborateurs dans la formation au sein du groupe.

• Speaker #2

  Tout à fait.

• Speaker #0

  Super. On va explorer ça beaucoup plus en détail après. Merci Eric. Jonathan, pour le très très peu de monde qui ne te connaissent pas. Est-ce que tu peux te présenter s'il te plaît ?

• Speaker #1

  Oui, bien sûr. Bonjour tout le monde. Jonathan Potier. J'ai une double activité. Je suis responsable de l'académie AG6. AG6 est une ESL dans les Hauts-de-France. Je m'occupe de la formation, tout simplement, des collaborateurs, aussi des formations clients, etc. Et je suis aussi consultant indépendant. Indépendant, je travaille beaucoup avec Joss, notamment, ce dont on va parler aujourd'hui. sur les sujets de l'évaluation et de l'amélioration de l'impact des formations. J'ai eu le plaisir d'écrire un livre, une quatrième édition désormais, qui se nomme sobrement « L'évaluation de la formation » .

• Speaker #0

  On va voir ça après. Merci Jonathan. Moi je suis en train de nascer des francs copoétiques parce qu'on se pose toujours la question comment ça se fait que l'anglais parle français ? Alors c'est très rare, je vous l'accorde, mais c'est parce que ça fait plus de 20 ans que je suis en France, avec une femme française, avec ses enfants. plus que 20 ans, même 25 ans que je travaille dans l'information professionnelle, avec mon cabinet Linguaide qui détient le partenariat avec des certifications dans le monde de l'évaluation. On va les présenter après aussi. Et donc tous les deux avec Jonathan, on accompagne Eric et ses équipes, ses collaborateurs pour tout ce qui est pratique d'impact et évaluation. points là-dessus pour partager un peu le fruit de notre collaboration, ce qu'on va faire aujourd'hui. Alors, juste une clarification au niveau des questions. Nous, on a le chat. Comme disait Jonathan avec nous en avant, ils disent que c'est mieux si vous avez des questions de clarification, des choses que vous ne comprenez pas, n'hésitez pas à aller dans le chat pour poser vos questions, les choses que vous ne comprenez pas ou les approfondissements que vous souhaitez, mais vraiment des petites approfondissements, mais vraiment des choses ou des questions de notre nature, autre chose ou des... C'est très bon. Après, on va laisser ça pour la fin pour répondre à vos questions. À Eric ou à nous, pour profiter de ça. Donc moi, je vais regarder un peu le théâtre au fur et à mesure et puis j'entends aussi si tu peux un peu. Donc du coup, qui on est ? Juste avant d'aller dans le cœur du sujet. Alors donc, Lingua et Selon dans la société, on a un site qui s'appelle évaluationsformation.fr où vous allez trouver pas mal d'informations sur comment vous aider des professionnels de la formation, qu'ils soient chargés de formation, ingénieurs, pédagogiques, formateurs. conseiller dans une liste d'information, tout est là pour vous. Donc, évaluationformation.fr. On fait un podcast. Une fois par mois, Jonathan et moi, on sort un épisode, soit un entretien avec un professionnel de l'information, soit un chat tous les deux sur les bonnes pratiques ou l'évaluation de l'information. Et puis, là, vous voyez en bas à droite le livre, la quatrième édition de Jonathan. Combien d'exemples vendus maintenant, Jonathan, de ton livre ?

• Speaker #1

  quelques milliers. Exactement sur cette couverture, c'est marqué déjà 6 000 exemplaires vendus, donc au moins 6 000 pour les trois premières échecs.

• Speaker #0

  Est-ce qu'on peut dire que c'est la Bible ? On peut dire que c'est la Bible de l'évaluation d'information pour le monde francophone.

• Speaker #1

  C'est un livre de référence sur l'évaluation d'information dans le monde francophone. Restons modestes. Il y a plein de personnes qui ont écrit avant moi sur le sujet, donc on leur rend hommage, mais en tout cas actuellement, c'est un livre qui fonctionne bien.

• Speaker #0

  Et si le livre ne vous suffit pas, Donc tous les deux semaines, tu sors un newsletter, un infolettre en sub-stack.

• Speaker #1

  C'est ça.

• Speaker #0

  Qui s'appelle Impact Formation.

• Speaker #1

  Exactement. Avec à chaque fois une pratique décortiquée pour améliorer l'impact de ces formations. Donc voilà, on pose un problème, un constat et puis je vous propose une approche et un plan d'action à la sortie. Parce que là, une infolettre c'est comme une formation. Ça n'a de sens, en tout cas de mon point de vue, que si ça permet le passage à l'action.

• Speaker #0

  Super, donc vraiment beaucoup de choses pour vous pour vous abonner, pour écouter pour lire sur l'évaluation et aussi sur l'impact parce que le mot impact je pense que c'est aussi un mot important pour Eric qui veut nous en parler plutôt que juste la simple évaluation on va explorer ça Alors Eric est-ce que tu peux nous présenter un petit peu le groupe mais rapidement et puis après la fonction LND si tu peux juste nous céter au sein du groupe

• Speaker #2

  Oui, avec plaisir. Alors donc rapidement, aujourd'hui le groupe Orange c'est 425 000 collaborateurs sur 26 pays. Là c'est les pays dans lesquels on est implanté sur le grand public puisque effectivement par le biais d'Orange Business, sur la partie entreprise, on est présent dans le monde entier. Donc c'est un peu plus de 40 milliards de chiffre d'affaires et sur les collaborateurs aussi, aujourd'hui on est à peu près moitié-moitié. moitié en France et moitié à l'international. Donc, on est de plus en plus amené à, sur la partie justement learning et développement, à développer des formations dans les langues natives, dans nos huit langues, dans les pays dans lesquels on est implanté. Alors aujourd'hui, spécifiquement, c'est environ 800 personnes qui travaillent dans le learning et développement. Dans les 800 personnes, je trouve aussi les formateurs internes sur l'ensemble des géographies. Mais sinon, spécifiquement des ingénieurs formation, des learning et développement managers comme on les appelle chez nous, on est en gros un peu moins de 300, 250 environ personnes. Et on a à peu près 15 écoles métiers au niveau du groupe. C'est un peu ce que je vous disais tout à l'heure quand je me suis présenté, où effectivement on est plutôt assez éclaté. On n'est pas une organisation monolithique sur le learning et développement. on est plutôt éclaté selon les thématiques des écoles métiers ou des spécificités gérées par telle ou telle école.

• Speaker #0

  Et quel est ton rôle exactement dans tout ça ?

• Speaker #2

  Alors moi, je suis dans la petite équipe du learning et développement au niveau du groupe et donc nous notre rôle c'est un peu d'animer tout cet écosystème. que ce soit, il y a deux ans, on a réécrit par exemple toute la stratégie learning et développement du groupe. Et donc derrière, on l'a diffusé au sein de notre écosystème learning et développement, que ce soit dans les filiales, dans les pays, dans les divisions. Et donc on a un rôle plutôt d'animation et quelquefois aussi de conseil et quelquefois de pilotage puisque là effectivement sur le sujet de l'impact des formations, on va plus parler là tout à l'heure, là on est vraiment en responsabilité de ce programme-là au niveau du groupe. Puisque l'idée là c'est d'être aligné sur l'ensemble de nos géographies. Là-dessus on a quand même quelque chose qui nous aide pas mal, c'est qu'aujourd'hui depuis maintenant 8 ans, on a le même LMS qui est déployé sur l'ensemble de nos géographies. Et donc là déjà, le fait d'avoir le même outil de distribution... des formations au niveau du groupe, dans toutes les géographies. Du coup, ça, ça nous aide aussi pour avoir la maîtrise, en tout cas de la partie outillage.

• Speaker #0

  Donc tu disais le mot impact, donc tu dis que c'est quelque chose qui est important pour vous actuellement, ça vient de toi ? C'est quoi la politique au niveau des formations qui sont justement impactantes actuellement ?

• Speaker #2

  Alors aujourd'hui en fait on est parti, peut-être qu'on peut passer à la slide d'après parce qu'on est parti en fait. Oui, parce qu'en fait, on est parti du programme Zephyr il y a bientôt. Donc avant de parler de l'impact, l'idée c'est quand même, puisque je parlais justement du système d'information que l'on a et qui est unifié, en fait ce programme, il est parti d'un petit projet qui était de se dire, il faut qu'on revoie notre système d'évaluation de nos formations. C'est parti de là. Là, ce programme-là, il a duré pendant un peu plus de temps. Après un an et demi, il y a eu énormément d'ateliers de menées pour justement faire onerrer les points difficiles, les points qui étaient bloquants dans un premier temps. Ensuite, imaginer et voir un petit peu ce qu'on pouvait imaginer pour refondre ce système d'évaluation. Et c'est une fois en fait qu'on a géré cette partie-là, qu'on s'est dit, ok, maintenant on est à peu près au clair sur ce qu'on veut. en termes d'évaluation de nos formations. Mais derrière, c'est quand même plus important de se dire, par exemple sur les évaluations à chaud, le classique, de se dire, ok, pour une formation de deux jours, le buffet était sympa, le lieu était sympa et ils ont été supermés derrière, zéro impact. Du coup, c'est pour ça qu'après, progressivement, on a migré de l'évaluation potentiellement avoir plus de valeur pour nous en tant que professionnels du learning et développement, c'est justement comment on peut mesurer l'impact de nos formations. Parce qu'une formation qui est très sympa, mais qui a zéro impact, aujourd'hui ce n'est pas dans notre stratégie. Comme ça je réponds aussi à ta première question Joss, où effectivement aujourd'hui et c'est un peu ça qu'on est en train d'insuffler aux ingénieurs formation chez Orange et les professionnels de la pédagogie, c'est leur dire qu'à un moment donné, il faut que vous vous sentiez investi. Si vous estimez que selon votre commanditaire ou votre donneur d'ordre, finalement ce n'est pas une formation qui répondra à sa problématique business, Vous avez largement le droit et même le devoir de dire, je ne la ferai pas. Je ne vais pas dépenser soit de l'argent, soit du temps à développer quelque chose qui n'aura pas d'impact. Donc c'est tout ce travail. Comme vous vous en doutez là, en fait, c'est de la transformation. Parce que historiquement, moi quand je suis arrivé au learning il y a maintenant pas loin de 10 ans, Moi, les collègues que j'ai connus au tout début, il y avait une demande. On y répond. Il y a un impact. Tant mieux, il n'y a pas d'impact. Tout ce que je voyais, c'était l'évaluation à chaud. C'est super flippant. Voilà, on s'arrête là. Donc, c'est un vrai changement et une vraie transformation de l'ensemble de l'écosystème. Parce que même certains donneurs d'ordre, ils sont pas son temps quand on leur dit non. Parce qu'ils étaient tellement habitués à ce qu'on leur dise oui systématiquement.

• Speaker #0

  donc là aussi c'est un vrai changement aussi y compris pour du coup nos parties prenantes externes voilà un petit peu très schématiquement où est-ce qu'on en est à date c'est super parce que tu mets en évidence le portrait de justement beaucoup d'organisations que nous on voit où c'est juste l'exécution de la commande à l'époque quand tu as dit c'était comme ça Et puis, ça ne suffit plus. Et donc, c'est pour ça que peut-être en 2022, Ange a fait appel à nous pour vous accompagner justement là-dessus pour refaire ce projet. Et à l'issue de tout ça, comme tu dis, c'est vraiment un focus sur l'impact et sur l'importance d'aligner ces formations avec la stratégie de l'organisation. Mais bon, aller de ce point-là vers l'autre point, c'est, comme tu as dit, c'est énormément de travail. Et on va explorer tout ça juste après. Je ne sais pas si tu veux ajouter quelque chose Jonathan par rapport à ce constat ? Non, juste Eric parlait de transformation, de changement. Ce que l'on va voir,

• Speaker #1

  pour moi c'est vraiment un cas d'école. Pour nous c'est un cas d'école. On répète souvent que l'évaluation, les questions d'impact, etc. ce n'est pas juste un défi technique, c'est un défi culturel et organisationnel. Et c'est ce que disait Eric, c'est que derrière... Il y a l'écosystème formation, il y a tout autour l'ensemble des acteurs, l'ensemble des parties prenantes qui interviennent à un moment donné. On voit que l'évaluation, l'impact, ce n'est pas juste. On fait de meilleurs questionnaires, on a des questionnaires plus sympas. Ça nous oblige à repenser vraiment toute la chaîne de valeur de la formation pour qu'il y ait de l'impact. Et ce n'est pas juste l'affaire des acteurs de la formation, c'est aussi comment on outille, on prépare, on responsabilise les acteurs de la formation pour qu'ils soient en mesure de porter aussi. ce discours auprès de l'ensemble des parties prenantes et notamment les donneurs.

• Speaker #2

  Et donc, ce que je veux rajouter à ce moment-là, Jonathan, là-dessus, c'est qu'effectivement, nous, ça a été un long cheminement. On n'est pas arrivé à l'impact du jour au lendemain. On a commencé par l'évaluation et après, c'est progressivement en travaillant le sujet qu'on s'est dit « ouais, non » . En fait, en mettant le doigt dedans, on se rend compte que le sujet est beaucoup plus vaste que simplement, comme tu dis, l'évaluation.

• Speaker #1

  Exactement. Le changement prend du temps. C'est logique.

• Speaker #0

  Et ce qui est super avec Eric aussi, que vous allez voir, c'est qu'il est très terre-à-terre. Donc on peut dire qu'il y a des gros mots comme organisationnel, transformation, etc. Mais ce qui est génial, si vous allez voir, c'est que vraiment on voit dans le détail, avec les modalités que vous allez voir en tableau. Et comment en fait, Eric et les équipes vont accompagner justement ces choses, ces transformations. Les effets à la base, c'était un projet transverse mené par le Centre de Learning et de Development pour accompagner et instaurer les changements pour les pratiques d'évaluation. Là, on a des objectifs de base qui ont été mis dans ce slide-là. Peut-être qu'on peut les voir les uns après les autres. le business voient le learning en tant que valeur ajoutée pour l'organisation.

• Speaker #2

  C'est ça, parce que je vais faire un petit digression, mais je l'utilise assez souvent parce que je trouve qu'aujourd'hui, la formation générale, le learning and development, on a beaucoup de similitudes avec les collègues qui font de la communication, qui sont en com. Parce qu'en fait, souvent nos partenaires business, eux ils sont persuadés qu'ils peuvent faire de la com parce qu'ils communiquent. Et ils peuvent faire aussi de la formation parce que quelque part, ce n'est pas bien compliqué d'en faire. Et donc en fait, l'idée c'était quand même de renforcer justement la valeur ajoutée des équipes pédagogiques parce que derrière eux, ce qu'ils apportent, c'est la pédagogie pour adultes et c'est ça leur valeur ajoutée. Et essayer de les renforcer. dans leur crédibilité parce qu'à un moment donné, et je pense que vous avez tous vécu ça peut-être encore aujourd'hui, parce que vous avez peut-être des donneurs d'ordres qui nous disent « bon c'est pas bien compliqué, tu me fais un petit truc comme ça » et puis voilà. Ben non, c'est un peu plus compliqué que ça. Et donc on était déjà à l'époque dans cette logique-là. On a essayé de renforcer la posture parce qu'on sentait une petite dérive. Et donc, l'idée, c'était de renforcer la crédibilité et la valeur ajoutée des équipes pédagogiques.

• Speaker #0

  Parfait. Deuxième, donc, la performance et l'efficacité. La performance, c'est un gros mot. Au cœur du pilotage, comment tu traduis ça ?

• Speaker #2

  Non, ce n'est pas un gros mot, mais justement, là, c'était plutôt un travail qu'on a dû faire avec les équipes, cette fois-ci, pédagogiques. avec nos donneurs d'ordres. Le deuxième, c'était plutôt avec les équipes pour qu'elles soient beaucoup plus professionnelles sur la partie justement retour d'évaluation. Et on verra un peu tout à l'heure dans un des outils que l'on utilise chez Orange. Par exemple, je vous donne un exemple, c'est les verbatimes que l'on pouvait avoir, comme on a toujours de nos stagiaires. Ces verbatimes étaient très peu utilisées parce que quelquefois trop volumiques, ça prenait trop de temps, etc. Alors que c'est une vraie mine d'or pour nous permettre d'améliorer nos dispositifs. Et donc là, l'idée, c'était plus de renforcer, comme c'était l'objet aussi de ce programme, sur la partie évaluation. Et donc les acteurs learning sont en part beaucoup plus que ce qu'ils me faisaient. Parce que historiquement, j'ai eu une demande. J'y réponds, c'est dispo, basta.

• Speaker #0

  Mais c'est très en lien avec le troisième qui est le comportement juste, les compétences justement de ces acteurs pour en faire des utilisateurs réguliers, pour qu'ils puissent pratiquer beaucoup plus souvent l'évaluation, mesurer, regarder le verbatim, comme tu as dit, analyser. Qu'est-ce qui fait que ces résistances, est-ce que c'est parce que les gens ne savent pas faire ou est-ce que c'est parce que ce n'est pas une priorité ? C'est quoi les raisons pour lesquelles ils ne pratiquent pas assez ?

• Speaker #1

  En fait, à l'époque, c'était... le management ne mettait pas l'accent dessus. L'objectif, c'était de répondre à une demande et de livrer le produit. J'allais dire quasiment pour le bar. Alors que quand on a commencé à travailler ce programme-là, ça a été effectivement de dire, oui, mais tu peux avoir fait le plus beau dispositif pédagogique. Si un, il n'est jamais vu, deux, jamais connu, ça ne sert à rien. On a dépensé du temps, de l'argent pour rien. Donc, il a fallu que l'on l'abouve aussi, nos propres professionnels de la pédagogie, pour leur dire, votre boulot, il ne s'arrête pas à la livraison. Derrière, vous avez aussi du travail sur l'évaluation. et le ressenti et le feedback, les retours de vos stagiaires. Parce que quelquefois, c'est intéressant de faire une petite adaptation et votre dispositif est tout de suite encore plus percutant.

• Speaker #0

  Oui, c'est la logique d'analyse et d'amélioration justement pour mieux faire la prochaine fois. En tout cas, juste regarder que tout va bien, voir qu'il n'y a pas de problème et passer à autre chose. Et donc, du coup, après, bon, Orange, c'est une boîte qui est beaucoup basée sur l'analytics, forcément, avec une culture très focalisée sur le MPS, sur la satisfaction de clients. Et nous, on a vu que, justement, cette culture de suivi des indicateurs, ça devait être aussi quelque chose à instaurer chez les prestations de formation.

• Speaker #1

  C'est ça. Et alors, en ce sens-là, on a été quand même, là, on a été aidés par le fait d'avoir le même LMS. Et donc, on avait le même outil sur l'ensemble de nos géographies. Et donc, c'était plus simple. Tout à l'heure, on va en parler, mais quand on parle d'un rapport 2.0 issu de l'AMS, j'allais dire l'ensemble des professionnels du learning savent de quoi on parle. Et donc, ça permet aussi de leur préparer un modèle type, éventuellement, s'ils en ont besoin, de le partager, de l'améliorer, tout seul le repartager. Donc ça, ça nous a grandement aidés. Même si je suis totalement transparent avec vous, aujourd'hui, on n'y est pas encore quand même, globalement. On a encore du travail à faire là-dessus. On a progressé, mais on n'est pas encore à la signe justement sur la partie data, notamment sur les évaluations de niveau 3. Là, on a progressé, mais on n'y est pas encore.

• Speaker #0

  On va voir ça dans les slides après. Après un diagnostic, après les ateliers avec des volontaires pour travailler sur les différents axes, sont venues les actions prioritaires, trois actions prioritaires pour pouvoir changer ce système. Le premier, c'était sur le taux de réponse des évaluations. Explique-nous l'importance de ça et pourquoi, etc.

• Speaker #1

  Oui, donc ça, c'était le premier indicateur qu'on s'est mis à l'issue, effectivement, de tout le diagnostic et de tous les points durs qu'on avait remontés. C'était de se dire, ben oui, mais aujourd'hui, enfin, il y a quatre ans ou trois ans de cela, on était effectivement, quand on a regardé la partie analytique, on s'est dit, ben oui, mais on était même au-dessus de 30, on était aux alentours de 25%, donc un quart de taux de réponse des évaluations. Et donc, on s'est dit, il faut qu'on soit ambitieux, il faudrait qu'on vise un taux de réponse, en tout cas supérieur à 50%, plutôt viser 70%. Et en tout transparent, on n'y est toujours pas aujourd'hui, on n'est pas à 70%, on est plutôt aux alentours de 55%, à peu près. Mais bon, on a doublé, donc c'est déjà pas mal en trois ans. Et donc là, aujourd'hui, on peut se dire, effectivement, quand on a des retours de nos stagiaires, vu la masse, maintenant, ça devient significatif et exploitable. Ce qui n'était pas le cas avant, quand on a eu une réponse sur quatre, ce n'était pas forcément significatif. Maintenant, on peut exploiter beaucoup plus sereinement ces éléments-là. Donc là, ce taux-là, c'est le taux des évaluations à chaud. C'est donc le niveau 1.

• Speaker #0

  Niveau 3 ou moins ? Le questionnaire à froid, moins que ça.

• Speaker #1

  Le questionnaire à froid, pour l'instant, on a démarré le travail l'an dernier, mais on a encore un petit souci avec les analyses.

• Speaker #0

  D'accord. Qu'est-ce qui fait qu'il y a... Quel est le taux de réponse ? Parce que c'est un problème historique, Jonathan, moi je le sais, on travaille avec toutes les organisations, qui est basse. Qu'est-ce qui fait pour toi qu'il y a des problèmes de taux de réponse pour les questionnaires ?

• Speaker #1

  Alors, à l'époque, on en avait identifié plusieurs, et le majeur, c'était notamment quand on utilisait des prestataires externes. Le prestataire externe, pour son habilitation de caniopie, faisait lui aussi faire sa propre évaluation. lors de son animation, en présentiel notamment. Et du coup, le stagiaire ne comprenait pas pourquoi il fallait refaire une deuxième, cette fois-ci dans notre outil, qui s'appelle Orange Learning, dans notre LMS. Et donc, il ne le faisait pas. Il disait, j'ai déjà fait une fois, je vais pouvoir le faire deux fois. Donc ça, c'était un gros sujet. Et on a quand même beaucoup communiqué. là-dessus. On a aussi demandé lors de l'animation de nos formations internes, par nos formateurs internes, à ce qu'ils libèrent les dix dernières minutes, voire le dernier quart d'heure, en fonction du temps qu'il leur restait, spécifiquement pour que les stagiaires puissent aller et faire leur évaluation. Donc ça aussi, ça a été un petit travail vis-à-vis des formateurs. Ou à défaut, parce que quelquefois dans certaines formations, les stagiaires ne vont pas à leur PC pour pouvoir répondre. On avait conçu des petites animatiques pour expliquer aux stagiaires l'importance de cette évaluation, que c'était important pour eux, mais c'était aussi très important pour nous, acteurs du learning. Et donc, quelquefois, à défaut de passer à la séquence évaluation, quelques fois, il passait juste cette petite animatique qu'on avait faite dans nos huit langues de groupe et qu'on avait partagé avec l'ensemble des acteurs de learning pour bien réexpliquer et donc vraiment mettre l'accent et bien expliquer aux stagiaires que cette évaluation était extrêmement importante pour nous.

• Speaker #0

  Ça donne un sens à l'apprenant qui ne comprenne justement l'importance de l'affaire. Donc dans un secteur dédié, oui. Vous avez banni les questionnaires extérieurs, du coup ?

• Speaker #1

  Alors, on a demandé aux formateurs externes de ne pas le faire. Alors, il y en a encore qui le font, pour être totalement transparent, mais de ne pas le faire et qu'en revanche, s'ils ont besoin, nous, on leur fournissait l'issue, ce qui sortait de notre LMS.

• Speaker #0

  Super. Donc les deux autres actions, simplification et automisation, donc là tu vas parler de l'outil par exemple LMS et d'autres pratiques aussi, c'est plutôt ça.

• Speaker #1

  Oui, donc ça, ça a été un gros boulot parce qu'en fait, à l'issue de tout ce travail d'un an et demi, on avait aussi exploré des possibilités d'utiliser d'autres outils externes, il y en a plein sur le marché, qui sont eux spécifiques pour faire de l'évaluation. Et là, le cadrage qu'on a eu à l'époque, il y a plus de 200 de ça, on nous a dit non, non, non, on ne dépense pas d'argent pour faire des évaluations. Vous utilisez les possibilités de votre LMS. Point barre. On sait que le LMS qu'on a, ce n'est pas le meilleur du marché, loin de là pour faire de l'évaluation. Mais du coup, on a été restreint à ça. Donc, du coup, on a repris notre bâton de pèlerin. Et cette fois-ci, on a revu parce qu'à l'époque, on avait les deux questionnaires standards. qui sont dans le LMS, pour les formations synchrones, il y avait entre 20 et 22 questions. Donc inutile de vous dire qu'arriver à la dixième, c'était aussi une des explications du taux de nos réponses. Arrivé à la dixième, le stagiaire, il arrêtait. Ou alors, sur les évades de niveau 3, le manager, il disait, j'ai autre chose à faire, je ne réponds pas. Et donc, le gros travail qu'on a fait, c'était de les simplifier. Maintenant, il y a cinq questions. uniquement 5 questionnistes que ce soit pour l'évaluation ou l'évaluation 3 Et encore quand je dis 5, la cinquième, c'est « acceptez-vous d'être contacté le cas échéant » . Parce qu'on a vu qu'effectivement, dans certaines écoles, qui avaient mis en place cette façon de faire, elles reprenaient contact avec un stagiaire qui avait mis, vous connaissez tous le système du NPS, qui avait mis une note de 0 à 6, enfin inférieure à 6, donc qui était détracteur. Il y avait certaines écoles qui avaient mis en place un rappel ou une prise de contact systématique, au moins par mail, avec le stagiaire pour savoir concrètement pourquoi il nous avait mis, entre guillemets, une mauvaise donnée. Et creuser de plus, parce que quelquefois, il n'y avait pas... Et donc, pour des questions de RGPD, on a rajouté cette ultime question, cette cinquième question, pour dire, acceptez-vous d'être contacté ? 9,9 cas sur 10, c'est validé. Donc ça nous permet, le cas échéant, de pouvoir creuser encore plus. Donc on est passé de 20-22 questions à 5. Et donc là, ça a aussi joué sur l'augmentation du taux de baisse.

• Speaker #0

  Et je crois que personne ne regrette le fait qu'il y a des questions qui ont été coupées. Tu n'as pas été contacté pour dire qu'il n'y a pas assez de questions. C'est ça qui est fou. C'est fou, hein ?

• Speaker #1

  Non, mais alors tout ce travail-là, c'est pour ça que ça a été un peu long. On a mis plus de six mois à faire aligner tout le monde. Et encore aujourd'hui, l'autre jour, j'ai été solliciter mes amis espagnols qui voulaient encore faire modifier quelques petits trucs. Parce que ce modèle-là, il est standard pour tout le monde. Que l'on soit en Roumanie, en Espagne, en Pologne ou au Botswana, c'est la même matrice. Et donc, c'est pour ça que ça a été un peu compliqué de faire converger tout le monde sur uniquement ces questions et après les faire traduire dans les huit langues de nos besoins. Mais voilà, ça a été aussi long de faire converger tout le monde sur les bonnes questions sur lesquelles tout le monde était d'accord pour pouvoir après exploiter les données.

• Speaker #0

  Donc en plus des outils aussi de la montée en compétence, donc des actes de learning avec des formations,

• Speaker #1

  des séances de questions. Donc ça c'était le troisième volet, c'était effectivement le volet accompagnement et formation de nos propres équipes avec votre aide messieurs, pour justement bien remettre nos équipes dans la logique de la méthode de l'évaluation. et donc là ce qu'on s'est aperçu effectivement c'est que l'idée c'était le fait de les former ou de les ressensibiliser parce que certains l'avaient vu il y a très longtemps mais en fait comme on ne les focalisait pas là-dessus ils avaient un peu oublié donc le fait de les ressensibiliser sur l'importance vitale pour nous acteurs du learning de cette phase-là ultime de l'évaluation en fait, on s'est aperçu que ça ne suffisait pas et on va les remuscler aussi sur une question de posture. Parce que derrière, certains ne s'autorisent pas, encore aujourd'hui, bien qu'ils aient suivi votre formation qui est génialissime, ils ne s'autorisent pas à challenger un donneur d'ordre. Donc là, c'était un peu le retour d'expérience de l'an dernier. On est en train de tester un autre add-on. On va rajouter à cette partie-là, pour les acteurs du learning, sur la partie posture, vraiment pour les libérer sur cette partie-là.

• Speaker #0

  Donc ici, on a la partie moyenne. Comment vous l'avez fait ? Donc avec tous les outils, différents types d'outils, les accompagnements. Donc on a un peu parlé de l'animatique. le fait que cette anématique ait été donnée dans une vraie séquence d'évaluation, dédiée pour que les gens puissent s'évaluer. Il n'y a pas que les questionnaires, il y a aussi les tours de table, les pratiques sur différents types d'évaluation, on est d'accord. Et cette anématique, c'est 30 secondes, 1 minute ?

• Speaker #1

  Alors, il y avait trois formats, en fait. Il y avait 30 secondes, 1 minute, 1 minute 30. Ça dépendait du temps restant pour le formateur, pour qu'ils puissent... la passer en fin de séquence. Et les trois tentent dans nos huit langues.

• Speaker #0

  Donc à disposition des concepteurs de formation, des formateurs, qu'ils puissent le montrer, peu importe la modalité que c'est à distance ou à présentiel au moment de la vidéo.

• Speaker #1

  À partir du moment où c'était du synchrone, c'était bon. Parce que le rating, justement, la case du dessous, là, c'est pour tout ce qui est l'asynchrone. Notre outil, notre LMS, nous permet de faire une évaluation par étoile et un commentaire du stagiaire qui a suivi ce dispositif asynchrone. Donc là aussi, l'idée, c'était de... Là, c'était d'utiliser ce que le LMS permettait, mais que ça soit utilisé. Moi, je suis acteur du learning. J'ai fait, je viens de faire un nouveau dispositif en e-learning. Mais derrière, pareil, cette méthode d'évaluation, il faut que j'aille voir mon rythme. Il faut que j'aille voir comment ça vit. Les feedbacks des stagiaires. pour pouvoir voir si j'ai peut-être une petite modification à faire pour que ce soit plus clair.

• Speaker #0

  Et le rating, c'est aussi à disposition des autres collaborateurs pour qu'ils puissent voir eux-mêmes, c'est ça le niveau de l'avis, la qualité de l'avis.

• Speaker #1

  Oui, quand je suis dans le LMS, effectivement, et sur les dispositifs asynchrones, j'ai en visibilité le rating du dispositif. Donc effectivement, en tant que... pédagogue et acteur du learning, j'ai plutôt intérêt à avoir plein de bonnes étoiles, 5 étoiles, pour si je veux que ça donne envie à d'autres de venir la suivre. S'il n'y en a qu'une, à mon avis, ça donne envie d'y aller.

• Speaker #0

  Et donc, ces questionnaires, ce rating, ça permet aux chargés de formation d'apprécier les retours des apprenants. en cas d'insatisfaction ou satisfaction. Et je crois que toi, tu m'as expliqué que tu faisais partie d'un groupe de travail où vous avez aussi des fichiers Excel, où vous avez des voyants, non ? Avec des lumières verts, rouges et oranges en fonction des différents indicateurs pour savoir ce qui se passe et pour contacter les gens. C'est ça, pour si jamais les voyants tournaient un peu ? C'était ça ?

• Speaker #1

  Oui, ça, c'était quand j'étais patron d'une des écoles. métier, effectivement, c'était comme ça que je gérais mon offre. L'offre globale, c'était... Et je... Même, je peux dire, même à la fin, je manageais les ingénieurs formations, les learning development managers, maintenant c'est comme ça qu'on les appelle chez Orange, dans mes équipes, simplement avec ce tableau de bord-là.

• Speaker #0

  Et toi, tu es... Tu insistais sur le fait que, parce que souvent, on dit que les chercheurs de la formation, je n'ai pas le temps de contacter les gens, je n'ai pas le temps de voir ce qui se passe. Et toi, tu insistes que non, il faut prendre le temps pour contacter les gens,

• Speaker #1

  pour les satisfaire de ce qui se passe. Tout à fait. Et c'est pour ça que, dans le nouveau questionnaire, on a rajouté cette petite coche pour être clean, pour pouvoir recontacter justement le stagiaire. Et souvent, enfin moi, tous ceux qui m'ont fait, qui se sont lancés dans cette démarche-là, à chaque fois, aucun ne m'a dit que c'était une perte de temps. Parce que beaucoup de stagiaires, et je peux vous donner un exemple, moi ça m'est arrivé une fois, parce que moi aussi, ça m'est arrivé de contacter un stagiaire, et c'était un ancien qualificien chez Orange, et il était bluffé. Il me dit mais... On est tellement habitué dans notre vie de tous les jours à faire des retours dans tous les sens. On nous demande systématiquement si on est OK, comment c'est passé, mais on n'a jamais de retour. Et moi, il était resté bluffé en disant, mais c'est la première fois, et pourtant je suis qualiticien, qu'on m'appelle parce que, pour me demander pourquoi j'ai mis, je pense qu'il avait mis un 1, ça lui a vraiment mis une grosse taule. Et pourquoi il nous avait mis un 1 ? Et du coup, à l'arrivée, il était passé d'un détracteur à un super promoteur en disant « C'est génial ce que vous faites. Bravo et merci. » Donc, je dis « Ok. » Et en plus de ça, moi, j'avais glané de l'info. Et en fait, ce n'était pas lié au dispositif, c'était plutôt lié à la salle qui était en sous-sol le premier jour. Ils avaient passé une séquence vraiment horrible. Et c'était pour ça qu'il avait mis un 1, ce n'était pas lié à la qualité pédagogique, mais c'était ce qu'il avait vécu qui ne me convenait pas. Il n'attendait pas ça comme expérience.

• Speaker #0

  Et Jonathan, tu es convaincu que c'est pour ça qu'on assiste toujours, qu'il faut un peu se méfier aussi des statistiques, des questionnaires, parce que derrière, il y a des infos peut-être qui sont justement différentes de ce que mettent les gens au niveau de leur vie.

• Speaker #2

  Tout à fait. C'est vrai qu'on entend souvent des personnes dire, c'est marrant, ils ont répondu ça sur le questionnaire, mais quand je les vois derrière, dans les bureaux, les ateliers, ils me disent carrément autre chose, etc. Et donc, déjà, on voit que le questionnaire n'est pas la panacée, qu'il est important d'aller à l'essentiel. C'est vrai que ce travail de réduction du nombre de questions, pour moi, est vraiment essentiel. Et après, je trouve ça vraiment super intéressant, ce système de SAV, un service après-vente, au sens où j'ai la possibilité de revenir vers les personnes. et là on voit que l'échange... permet vraiment d'aller au fond des choses et de comprendre le pourquoi des évaluations, le pourquoi des notes, des réponses qui ont été données, etc. Et c'est cette matière-là qui permet réellement d'améliorer les formations. Ce n'est pas les notes en tant que telles. Les notes, finalement, nous donnent une indication sur est-ce que ça s'est bien passé ou pas sur différents critères. Mais ce qui permet d'enclencher derrière des actions, c'est vraiment l'échange qu'il va y avoir avec les personnes. Donc, pour ça, c'est extrêmement pertinent.

• Speaker #0

  Et vous n'avez pas peur non plus de contacter des gens. En fait, finalement, ça donne la valeur.

• Speaker #2

  Non, non, du tout. Et je me permets un commentaire aussi. Je vois à l'écran cette matrice, ça me fait penser un peu à un bingo. Et on pourrait se dire que c'est quasiment un bingo du projet réussi, je me permets. Eric, c'est tout le bien que l'on pense du projet qui a été réalisé chez Orange. Encore bravo. Et c'est vrai que... Il y a tout. Il y a à la fois les questions de formation, donc des acteurs de la formation. Il y a le soutien, on va en parler après, mais il nous soutient aussi la direction, la communication, le travail sur les outils d'innovation, outils d'analyse. Et c'est vrai que souvent, avec Josh, lorsqu'on a des personnes, par exemple, en formation, notamment inter-entreprise, les personnes viennent avec beaucoup de bonne volonté et repartent, en tout cas, on l'espère, avec de nouvelles connaissances. des nouvelles bonnes pratiques, etc. Après, il y a toujours ce « comment je vais mettre ça en œuvre derrière parce que maintenant, il va falloir convaincre mes collègues et je n'ai pas le bon outil et je n'ai pas ça et je n'ai pas ça » . Donc, il y a tout ce travail finalement, toute la responsabilité, la charge est sur la personne qui vient d'être formée. Alors que là, on voit que c'est un projet d'entreprise à part entière et c'est en quelque sorte, c'est la clé du succès. C'est vraiment de traiter le sujet comme étant un projet à part entière et pas juste. une action ou des actions parsemées ici et là. Donc c'est un bingo. Je le vois comme ça. On peut cocher les cases.

• Speaker #0

  Il est modeste, Eric. Il ne veut pas prendre la gloire pour lui.

• Speaker #1

  On l'a fait en équipe à plusieurs et par itération. Avant d'arriver à là, on a un peu souffert quand même.

• Speaker #2

  On n'a rien sur rien.

• Speaker #0

  Et comment tu appréhendes l'intelligence artificielle ? Parce que c'est le mot qui est sur le marché de tout le monde.

• Speaker #1

  Il est pile-poil au milieu du bingo. Donc là, c'est d'autres outils qu'on a en interne qui nous permettent d'utiliser des LLM du marché en toute sécurité puisque quand on utilise ces différents LLM, on les a quasiment tous, ChangeGD, Vistral, Enco. en fait on ne nourrit pas la bête c'est à dire que on n'utilise que les LLM et c'est dans un environnement sécurisé chez Orange donc on peut l'utiliser de façon beaucoup plus libre chez Orange et donc là par exemple pour essayer d'illustrer je vous parlais tout à l'heure des verbatimes qu'on ne faisait pas avant parce que quand on voulait se le faire à Mano ça prenait trop de temps Merci. Là, l'IA, elle est géniale là-dessus. J'ai un fichier avec tous mes verbatims. Je le charge dans l'intelligence artificielle et je lui demande de me faire les trois idées majeures qui ressortent en positif et les trois majeures à améliorer. Et tout de suite, là, je peux exploiter mes verbatims en même pas cinq minutes. Et ça, c'est... Ça a été, je pense, assez puissant pour les collègues pédagogues pour justement exploiter cette masse et ce volume de verbatim qu'on avait beaucoup de mal à exploiter avant. Pour moi, ça, c'est l'exemple le plus gros.

• Speaker #0

  Donc, efficience, efficacité, tout à fait.

• Speaker #1

  Oui.

• Speaker #0

  OK.

• Speaker #1

  Et puis c'est là qu'on exploite la super capacité de synthèse de l'intelligence artificielle, qui est bien plus puissante que nous. Ou alors nous, on y passerait deux jours.

• Speaker #0

  Oui, c'est ça, un gain de temps. Alors qu'est-ce qu'un pionnier ?

• Speaker #1

  Alors un pionnier, c'est en lien avec la case du dessus, c'est effectivement en lien avec le volet formation des équipes, qui est toujours en cours encore aujourd'hui chez nous. Tout le monde n'est pas encore passé, on y va étape par étape. étape par étape progressivement. Eh bien, une fois qu'on a été formé et ou certifié, on intègre en fait une communauté, un sous-ensemble qu'on s'est appelé, on s'est autonomé les pionniers, parce qu'il y a d'autres communautés qui existent à le passer sur d'autres sujets. Et donc, pour se différencier de ces sujets-là, on s'est appelé des pionniers justement de l'évaluation. pour pouvoir et donc on intègre cette petite communauté et on anime cette communauté au 3 fois par an avec Joss on les réunit et on essaye de voir un petit peu avec eux ce qu'ils en sont, les difficultés qu'ils ont encore d'ailleurs quelques fois et essayer de réfléchir ensemble comment on peut essayer de continuer à progresser tous ensemble Et donc l'idée, c'est un peu, et puis par le biais de la… Alors maintenant, on ne fait plus la certification de Pierre-Patrick parce qu'elle était trop chère, pour être totalement transparent aussi. Maintenant, on l'a remplacée par un badge un petit peu interne. Et donc l'idée, c'était de les reconnaître, en tout cas, en tant que… je me suis renforcé dans cette logique de l'évaluation et d'intégrer cette communauté des pionniers. Et puis, peut-être du coup, dernier point qui est hyper important. Alors d'ailleurs, on le voit dans la formation, c'est effectivement avoir le sponsorship de nos dirigeants. Et là, moi, ce que je peux vous témoigner, c'est que depuis deux ans, depuis deux ans, chez Orange, on a un nouveau COMEX qui est arrivé. Moi, j'ai eu du coup un nouveau patron côté learning et développement. Et je peux vous assurer que ce soit le COMEX ou lui, donc M. Gilles Barillet, eh bien, ils sont hyper, mais hyper supportifs dans cette démarque-là. Et au contraire, quelquefois, ils trouvent qu'on va pas assez vite. Mais donc, là-dessus, c'est hyper important d'avoir justement... Moi, ce qu'il me dit, c'est quand il intervient au COMEX sur des sujets de formation, systématiquement, il y a tout le COMEX d'Orange qui qui a des idées, qui a des... Ça, nous, notre directrice générale, c'est une ancienne DRH, donc elle connaît quand même bien aussi les ressorts. Et nos patrons business, ils sont de plus en plus convaincus qu'effectivement, la formation et l'impact qu'elle va avoir, c'est le business d'aujourd'hui, mais c'est aussi le business de demain. Donc, ils sont de plus en plus en phase et l'intelligence artificielle vient aussi sous-tendre. toute cette démarche-là, parce qu'ils se rendent compte que ça va super vite et que très vite, on peut être dépassé. Et donc ça, avoir en fait toute la hiérarchie qui est alignée dans cette démarche-là, comme tu disais Jonathan, avoir tout l'écosystème qui est là et qui pousse dans cette même logique-là, c'est hyper aidant. Ce n'était pas le cas au début, il y a quatre ans, quand on a démarré, on était un peu... tout seul avec Roland et Joss, les héréditifs gaulois sur ce sujet-là. Là, en quatre ans, ça a complètement changé.

• Speaker #0

  Et du coup, avec toutes ces différentes modalités, ces différents moyens, le sponsoring du haut, le soutien et puis après le travail du bas et les outils, qu'est-ce que ça permet, qu'est-ce que ça crée comme valeur pour vous et quels sont les axes prioritaires justement pour... Actuellement, tu m'as dit que ce n'est pas fini encore. Le travail est long, ça fait quatre ans, c'est toujours pas fini. Malheureusement, c'est la réalité aussi dans un grand groupe. Qu'est-ce que ça permet tout ça et quels sont les axes sur lesquels vous travaillez pour encore mieux faire l'impact et la manœuvration ?

• Speaker #1

  Alors là, nous, nos axes, ça va être de renforcer toujours, comme je vous disais tout à l'heure, la posture. Puisqu'on se rend compte qu'il nous manque un petit peu cette petite brique-là. dans la partie formation, on va continuer la partie théorique, formation, dévaluation, mais renforcer la posture parce qu'on se rend compte que c'est un petit maillon faible. Il faut qu'on continue de travailler dans certains cas, et c'est là que l'idée, c'est de faire plutôt du sur-mesure. Il y a certains écosystèmes qui sont facilitants et d'autres qui le sont un peu moins.

• Speaker #0

  Voir un petit peu sur les écosystèmes les moins facilitants ce qu'on peut faire pour aider les collègues pédagogues pour qu'ils puissent vraiment montrer toute la valeur ajoutée qu'ils peuvent apporter pour le business. Et puis là, le gros truc encore aussi de 2026, ça va être cette fois-ci vraiment rentrer à fond dans l'évaluation à froid. On a eu quelques soucis sur la partie data et analytique ce long dernier. Pour rien vous cacher, on avait un mélange. Sur l'évaluation à froid, il y a une évaluation du stagiaire, une évaluation du manager. Et nous, notre outil, ça se mélangeait. Il y avait quelquefois le manager qui remplissait le mauvais et vice-versa. Du coup, c'était pas exploitable. Là, on a trouvé un petit biais pour nous permettre justement Si je suis manager, je ne vois que la partie managériale parce qu'avant les deux étaient chaînés et donc les gens n'osaient pas gaffe. Et donc ils se confaient. Et donc là, nous, l'enjeu c'est vraiment de bien lancer maintenant que ces problèmes techniques sont plutôt derrière nous, de bien lancer maintenant vis-à-vis de la communauté des acteurs du trois préconisations, en tout cas chez nous, chez Orange. Quand mettre un questionnaire à froid ? Parce qu'autant le niveau 1, ça se pose pas de question, c'est systématique sur toutes les formations syndromes, quelles qu'elles soient. En revanche, toutes ne nécessitent pas une évaluation à froid pour mesurer l'impact. Et donc là, l'idée, ce qu'on s'est dit, c'est... Premier critère, c'est une formation longue. Chez nous, chez Orange, c'est deux jours et plus. Là, c'est systématiquement une évaluation à froid. Deuxième critère, c'est une évaluation, une formation qui est chère. Alors là, chère... Comme nous, on est groupe. J'ai des collègues qui m'ont dit « Mais alors, au-delà de quel niveau ? » Moi, je dis « Mais moi, au niveau du groupe, c'est cher par rapport à ton standard à toi, si tu es en Roumanie. » ou au Botswana, 100 euros n'a pas la même valeur que quand on est en France ou en Belgique. Donc je dis c'est cher par rapport à tes standardatoires. Donc le deuxième critère et le troisième critère qu'on a rajouté justement en échangeant avec justement les collègues, ce n'est pas forcément justement une formation qui est longue, une formation qui est chère, mais une formation qui a un impact sur la satisfaction de nos clients. Et là l'exemple que je peux vous donner, C'est une formation à souder une fibre optique. Elle n'est pas très longue, elle n'est pas très chère, mais en revanche, une mauvaise soudure d'une fibre optique, et aujourd'hui, en tout cas en France, quasiment maintenant, tout le réseau est quasiment basculé sur cette nouvelle techno, et une mauvaise soudure de fibre optique. Et là, l'octéon n'est pas du tout content parce qu'il a des coupures et il n'a pas une bonne connexion. Donc c'est ces trois critères que nous on s'est mis au niveau du groupe Orange. Notre enjeu, c'est maintenant de le faire appliquer pour 2026 et qu'on puisse monitorer la mise en application de ces trois critères sur les questionnaires de niveau 3.

• Speaker #1

  Et ensuite,

• Speaker #2

  il va devoir récupérer la tarde.

• Speaker #1

  Oui, bien sûr, il faut augmenter le taux de réponse. Jonathan, est-ce qu'on a des questions ? Peut-être deux ou trois minutes sur les questions, puis après on passera sur la formation par la suite.

• Speaker #2

  Oui, tu veux les aborder par temps ?

• Speaker #1

  Oui, comme ça c'est fait.

• Speaker #2

  La première question d'Antoine, vous avez dit que vous avez un taux de réponse positif très proche de 10 sur 10 à la question « Acceptez-vous d'être recontacté à l'issue de la formation ? » Qu'est-ce qui selon vous permet d'avoir ce taux ? S'agit-il seulement du résultat d'un changement de culture interne ?

• Speaker #0

  Pour moi, c'est plus les gens maintenant en confiance. sur le fait qu'effectivement on va bien exploiter leur retour et que ça va servir. Et pas mettre une note et que ça tombe dans un tonneau des Danaïdes qui n'est pas exploité.

• Speaker #1

  Il y a l'engagement de l'entreprise d'en faire quelque chose et maintenant ils y croient. C'est ça qui est vachement important.

• Speaker #2

  Jusqu'à présent il y a des renouveaux où on montre que c'est utilisé, c'est utilisé. Donc forcément je ne perds pas mon temps en répondant. le plan a été pensé Johan qui nous dit le plan a-t-il été pensé dès le départ sur plusieurs années Parce que là, ça a pris plusieurs années. Absolument pas ! D'accord.

• Speaker #0

  Absolument pas ! Non, non, c'est-à-dire qu'on a mis le doigt dedans en démarrant par la refonte de notre système d'évaluation. On a mis le doigt dans la langue et puis après, c'est là qu'on s'est dit, c'est bien beau d'évaluer, mais derrière, on peut aller un peu plus loin. Et c'est comme ça que là, aujourd'hui, on est plutôt sur la mesure d'impact. Et puis, les pédagogues que vous êtes autour du pont, les fameux 70-20-10. Voilà, c'est vraiment maintenant, on est vraiment là-dessus. Et moi, quand j'entends la DRH de la zone OMEA qui maintenant, à chaque fois qu'elle prend la parole, elle parle justement de l'impact et de 70-20, bien qu'elle ne soit pas elle-même pétagogue, je me dis c'est bon, on a gagné.

• Speaker #2

  C'est les éléments de langage qui sont partagés.

• Speaker #1

  C'est bien.

• Speaker #2

  Quels genres de questions sont posées dans le questionnaire ? Évaluez-vous le retour sur investissement ? Évaluez-vous le niveau de compétence avant-après ? En manière générale, c'est quel type de questions qui sont posées dans les questionnaires ?

• Speaker #0

  Alors là, je ne les ai plus vraiment en tête, mais en fait, c'est des questions assez classiques. Je pourrais les retrouver éventuellement, Joss, et te faire une copie d'écran.

• Speaker #1

  Oui,

• Speaker #0

  mais son interne,

• Speaker #1

  je ne sais pas trop à quelle mesure vous pouvez le montrer.

• Speaker #0

  Les questions sont quand même assez standards. de dire est-ce qu'on fait un point avant, après. Dans certaines formations, oui c'est fait. Mais là c'est à la main plutôt du formateur. Là on est plutôt sur les questionnaires de niveau 2. Justement je fais un questionnaire au démarrage et après je mesure à l'issue comment le groupe a progressé. Mais ça c'est à la main du formateur plutôt.

• Speaker #1

  Mais pour les questions de niveau 1 et 3, je sais que vous avez tourné la formulation des questions très basées sur l'abstinence. Plutôt que juste les questions. Et c'est pour pousser ce qu'il y a à l'NPS.

• Speaker #0

  Oui, il y a le NPS, mais il n'y a pas... L'utilité, voilà. Oui, l'utilité.

• Speaker #1

  Donc, des questions très importantes à nos sources.

• Speaker #0

  Il n'y a pas d'héroïne parce que moi, ce que j'ai appris... Dans la formation, c'est qu'aujourd'hui, il faudrait parler de ROE.

• Speaker #1

  Tout à fait.

• Speaker #0

  Parce que le ROI, à chaque fois, c'est l'exemple qu'on utilise, qu'on a dans la formation. C'est qu'effectivement, un impact business n'est pas tout le temps et même systématiquement pas que le fruit de la formation.

• Speaker #2

  Exactement. Joss, on peut continuer peut-être ? Oui,

• Speaker #1

  on va dépasser en plus de cinq minutes. Mais bon, comme les questions sont très pertinentes...

• Speaker #2

  ce luxe c'est pour ceux qui ne peuvent pas rester ils peuvent regarder en replay donc vas-y Jonathan si tu as d'autres questions que tu trouves ouais ouais je l'ai mis en favori mais vas-y vas-y ah tu en veux oui continue il y en a beaucoup tu choisis tu choisis je choisis d'accord je me permets deux

• Speaker #1

  questions de plus allez deux questions de plus ça a déjà été répondu

• Speaker #2

  Ça aussi. Quel format a cette évaluation à froid ? Donc, c'est un questionnaire également. On est d'accord ? Oui,

• Speaker #0

  c'est un questionnaire qui part automatiquement depuis le LMS.

• Speaker #2

  Voilà.

• Speaker #0

  Avec une relance aussi. Il y a des relances automatiques.

• Speaker #1

  Oui, sur une semaine, je crois. Il y avait deux relances automatiques. Même le mail a été traité. Et on a eu même des retours sur... sur ce qui était dans la mail, sur la présentation du mail, etc. Tout ça s'était posté aussi.

• Speaker #0

  Pour donner envie de répondre.

• Speaker #1

  Oui, tout à fait.

• Speaker #2

  Et faites-vous un retour aux participants passés, des améliorations réalisées suite au retour ? Et en faites-vous la pub pour les futurs inscrits ?

• Speaker #0

  C'est une bonne question. Non. Non. Non, en fait, on les améliore au fil de l'eau. en fonction effectivement des retours que l'on a. Mais non, c'est une bonne remarque. Non, on n'en fait pas la pub. On n'en fait pas la pub. En revanche, effectivement, si on a mis une mauvaise note et qu'on a été contacté, là, effectivement, on est au courant que ça a servi.

• Speaker #1

  Je pense, pour finir sur le retour sur investissement, je pense que vous allez un peu avec les niveaux 3. c'est plus le taux de mise en application. Ça, c'est un taux que vous cherchez aussi dans les data. C'est quel est le taux de pratique des compétences en sens global parce que dans le questionnaire, on ne fait pas chaque objectif. C'est vraiment un taux général de mise en application. Et s'il n'y en a pas, après il y a des questions sur… C'est ça, il n'y a pas de questions sur pourquoi ça n'était pas mis en place. Mais je crois que c'était… Le transfert au niveau de l'auto-évaluation de l'apprenant et puis après la vision du manager, c'est quelque chose qui est…

• Speaker #0

  Du manager.

• Speaker #1

  Ok, super, écoutez, parfait, merci beaucoup Eric pour répondre à ces questions. J'imagine que si jamais il y a des gens qui souhaitent aller plus loin, on peut aussi faciliter ça. Et donc du coup, on a des slides que vous pouvez utiliser et nous on accompagne beaucoup l'amélioration des compétences de ces charges d'information. y compris M. Eriga, qui est aussi certifié, qui était un des premiers certifiés, avec Patrick, avec nous, en français ou en anglais ? Parce que tu parles anglais aussi, Erina, tu l'as fait en français, je crois,

• Speaker #0

  en présentation. Oui, mais je t'ai accompagné sur des formations en anglais.

• Speaker #1

  C'est ça. Donc, il a vu l'importance, et nous on insiste beaucoup là-dessus dans les accompagnements, d'être formé rapidement sur le sujet de l'évaluation. En bout de chaîne, pour découvrir les outils, c'est vraiment de vous former sur les pratiques d'évaluation et de transfert parce que sinon, ça prend beaucoup plus de temps. Et dès qu'il y avait cet élan de certification, on a vu vraiment aussi ça prendre un effet de boule de neige avec le pionnier derrière pour échanger et ça a bien marché. Donc nous, on a deux programmes de certification. Avec Eric et Jonathan, on a parlé du premier programme qui est ce casque. Capatric Bruns, où on est plutôt dans la méthode et les pratiques d'évaluation, où on apprend le nouveau modèle de Capatric. Donc, Capatric est le leader des évaluations d'animation. C'est moi qui anime plutôt cette formation, ce programme de certification avec une session qui aura lieu au mois de mars à distance. Vous pouvez aller sur notre site pour regarder. Et puis, on voulait aussi vous présenter rapidement un nouveau programme de certification que Jonathan facilite dans les sessions en inter, qui est Learning Transfer Designer. Là, c'est plutôt sur les transferts des acquis.

• Speaker #2

  Oui, tout à fait. Et si je ne m'abuse, je pense qu'il y a des personnes en ligne qui ont suivi ce programme. J'en vois plusieurs connectés. N'hésitez pas à vous manifester dans le chat. Effectivement, il y a la partie cœur patrique, c'est sur l'évaluation. Tout ce dont on a parlé ici, mais pas que. On a aussi parlé évidemment de l'impact du transfert, etc. Et là, ce programme est vraiment centré sur la question du transfert des apprentissages. comment faut-il concevoir les formations, concevoir, les animer, les déployer, etc. pour qu'il y ait transfert des apprenants de sages. Donc pour qu'il y ait, si on parle en langage carpatrique, passage du niveau 2 au niveau 3 pour faire en sorte que les apprenants utilisent réellement sur le terrain ce qu'ils ont appris en formation. Et donc ce programme est basé aussi sur un recueil d'études scientifiques. Donc c'est vraiment science-based comme dirait Joss. n'est-ce pas ? Avec mon accent, je suis un chien. C'est vraiment démontrer quels sont les facteurs, on parle de levier ici, quels sont les facteurs qui ont le plus d'impact sur ce niveau de transfert des acquis. Et vous le verrez dans l'une des ressources que vous pourrez consulter dans la partie ressources, dans la partie documentaire. Il y a un chercheur de nos langues qui s'appelle Robert Brinkerhoff qui montre que généralement, il y a en moyenne 15% des apprenants, seulement 15% des apprenants qui passent à l'action une fois qu'ils ont suivi une formation. Et donc, l'idée ici, c'est de se dire comment on passe de 15% à 85%. 15%, quand vous avez six personnes dans une salle, c'est une personne sur les six qui transfère ses acquis. Donc, c'est dramatique. Vous dépensez 100, vous avez réellement 15 derrière. On vous équipe avec cette formation pour passer de, par exemple, d'une à cinq personnes. Cinq personnes sur six, c'est déjà une sacrée augmentation. Donc, vous avez les leviers, les facteurs essentiels à l'écran. On pourrait en décrire longuement, mais je pense notamment, si on prend dans la catégorie organisation, le douzième, par exemple, les attentes de transfert dans l'organisation. Est-ce que l'organisation, est-ce que l'entreprise, et c'est notamment ce que fait le groupe Orange, comme nous l'a montré Eric, communique clairement sur le fait qu'il ne s'agit pas juste de suivre une formation. On n'attend pas un joli taux de satisfaction, on n'attend pas un joli taux de complétion, on n'attend pas des volumes de formations suivies, mais on attend réellement un changement. On attend une mise en pratique, on attend de l'impact, etc. Et ça, si c'est clairement communiqué, si vos apprenants partent en formation en ayant vraiment tête... que oui, je n'y vais pas en mode touriste parce que derrière, je sais qu'il est attendu de moi, que je mette en pratique et que ça ait des effets sur mon équipe, sur mon organisation, sur mon travail, etc. Eh bien, cela, ça impacte le transfert. Donc voilà, nous, on travaille avec ce programme pour vous équiper et vous permettre d'agir sur l'ensemble de ces leviers et de montrer à vos clients qu'ils soient internes ou externes. que vos formations ont de l'impact. Ça, c'est la partie évaluation. Et là, évidemment, on vous donne les ingrédients d'une formation à impact.

• Speaker #1

  Donc, à travers un programme avec plusieurs sessions cette année, dont la première commence là au mois de mars, à distance, donc on n'a pas besoin de bouger en français. Donc, vous avez un bouton si ça vous intéresse, Learning Transfer Designer. que vous pouvez cliquer et là vous avez accès au programme complet avec le bulletin d'inscription. Ou on a une petite offre pour vous, c'est que si vous venez à deux, donc vous avez une remise pour la deuxième personne. Voilà, donc pas mal d'informations dans le programme par rapport à ce programme qui marche super bien avec des retours assez impressionnants de la part des gens qui l'ont fait dans l'information que vous pouvez découvrir ici dans les slides. Vous pouvez aussi aller sur notre site pour en voir plus, donc evlsoformation.fr slash session. Et là, vous allez avoir toutes les sessions, soit en Coqpatrick, on a une session en mois de mars que moi je vais amener pour les méthodes. Et donc Jonathan qui m'a amené cette formation sur le transfert. Voilà, que Rense est essentiel pour améliorer l'impact des formations parce qu'il ne s'agit pas que d'évaluer ce qui se passe, c'est aussi d'accompagner. les apprenants pour qu'ils mettent en pratique. Et là, dans la formation qu'on a faite en interne avec les équipes d'Eric aussi, c'est vraiment quelque chose, c'était le troisième comportement qu'on avait mis en place dans une formation interne. C'est Eric, c'est l'importance du transfert. C'est comment accompagner les gens à mettre en pratique les compétences. Voilà, donc merci beaucoup à tous. Merci à toi Eric pour cette super intervention. J'ai adoré.

• Speaker #0

  Avec plaisir.

• Speaker #1

  Qu'est-ce que j'ai dit terre à terre ? Ça se dit pas terre à terre ? Non, pragmatique, c'est pas faire. Ouais, voilà. D'accord.

• Speaker #2

  Terre à terre, c'est justement un peu trop terre à terre.

• Speaker #1

  C'est très pragmatique.

• Speaker #2

  J'apprends.

• Speaker #1

  J'ai un discours. Je ne l'ai pas pris comme ça. Écoute, tu me connais, c'est pas pour te mettre... Pratique aux pratiques.

• Speaker #2

  À chaque fois que je vois Eric qui sourit, moi je souris. Donc voilà, je me suis permis dans le chat de dire... Pardonnez-le, il est franco-britannique.

• Speaker #0

  Il est anglais, il est à moitié anglais, à moitié on va dire, à moitié. Je vous présente mes excuses à tous pour le Brexit, je ne suis pas rien,

• Speaker #1

  je suis avec vous. De bon cœur en France. Yoann qui nous dit merci à vous trois pour ce webinaire très terre-à-terre, avec un pouce. C'est ça, merci beaucoup Yoann, c'est gentil. J'ai un adepte qui me suit.

• Speaker #2

  Merci pour vos présences et puis merci Eric. Très intéressant en tout cas ce retour d'expérience.

• Speaker #1

  Je tiens, alors vous allez recevoir vous-même aussi un petit questionnaire pour apprécier la qualité du webinaire. Sachez que c'est le premier webinaire qu'Eric n'a jamais fait. Voilà, donc il n'a pas l'habitude, même s'il fait plein de formations et de présentations et des choses en entier, mais jamais à l'extérieur. Donc voilà, n'hésitez pas à lui donner une bonne note pour sa prestation parce que je trouve ça super.

• Speaker #0

  Mais j'ai le droit de m'améliorer aussi. Eh oui,

• Speaker #1

  on va faire un peu en théorie. On va regarder le verbatim et on va voir comment on peut t'aider par rapport à ça.

• Speaker #0

  Merci en tout cas. Merci beaucoup.

• Speaker #1

  Merci à vous tous. Cliquez sur le bouton si vous souhaitez qu'on vous contacte. On peut prendre rendez-vous pour vous aider dans vos pratiques de validation et de l'impact ou par rapport au programme de certification. Si Learning Transfer Design vous intéresse particulièrement, vous avez un bouton aussi à cliquer pour recevoir. le programme le plus le temps. Et si vous souhaiteriez vous abonner à la newsletter de Jonathan, écouter le podcast ou découvrir les autres sessions, allez sur notre site évaluationformation.fr Voilà, donc je pense qu'il y a beaucoup de matière pour vous aider. Nous, on est passionnés et voilà, ça montre qu'il y a des gens comme Eric qui travaillent comme des petits fourmis et que ça marche, même si ça prend plus de temps qu'on aurait espéré. C'est un peu la leçon du jour. Malheureusement, ça prend du temps, mais ça vaut le coup, il ne faut pas nier. Voilà, voilà. Merci à vous tous. Merci. À bientôt. Merci. Au revoir. A bientôt. Au revoir. Merci.