undefined cover
undefined cover
Épisode 14 - Panorama des pratiques d’évaluation des formations cover
Épisode 14 - Panorama des pratiques d’évaluation des formations cover
Retour sur les Attentes

Épisode 14 - Panorama des pratiques d’évaluation des formations

Épisode 14 - Panorama des pratiques d’évaluation des formations

1h29 |11/04/2024
Play
undefined cover
undefined cover
Épisode 14 - Panorama des pratiques d’évaluation des formations cover
Épisode 14 - Panorama des pratiques d’évaluation des formations cover
Retour sur les Attentes

Épisode 14 - Panorama des pratiques d’évaluation des formations

Épisode 14 - Panorama des pratiques d’évaluation des formations

1h29 |11/04/2024
Play

Description

Dans ce nouvel épisode de Retour sur les Attentes par Evaluationformation.fr, Joss et Jonathan présentent et commentent quelques résultats de l'étude qu'ils ont menée récemment sur les pratiques d'évaluation des formations en 2023.


Entre autres objectifs, cette étude visait à démocratiser les bonnes pratiques en matière d'évaluation des formations et de permettre aux professionnels d'apprendre et de capitaliser sur ces résultats pour améliorer leurs propres pratiques.


Cet épisode est aussi consultable sur Vimeo, dans une version vidéo avec partage du support de présentation : https://vimeo.com/928882775?share=copy


Retrouvez également un article dédié sur notre blog avec plusieurs éléments de réflexion et d'analyse : https://evaluationformation.fr/pratiques-evaluation-formations-2023/


Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

  • #0

    Bonjour tout le monde, bienvenue à cette vidéo et à ce podcast qu'on publie en même temps. C'est sur le panorama des pratiques d'évaluation de la formation selon les quatre niveaux du modèle capatrique. Tout ça, c'est basé sur des enquêtes qu'on a faites fin d'année 2023, début d'année 2024. Je suis là aujourd'hui avec Jonathan Potier. Comment tu vas, Jonathan ?

  • #1

    Très bien, Joss, et toi ?

  • #0

    Moi, je vais très bien. Je suis content. J'imagine comme toi aussi, parce qu'hier, justement, on a présenté les résultats à quelques participants de l'enquête et je trouve que ça s'est très bien passé. Qu'est-ce que tu en as pensé ?

  • #1

    Oui, c'était vraiment super intéressant. vraiment ravi de cette restitution et de cet échange en voyant aussi que voilà on va en reparler mais ce que l'on préconise depuis des années est mis en oeuvre dans certaines entreprises et que ça porte ses fruits donc ça c'est vraiment très très intéressant ça fait du bien ah oui ça fait du bien franchement j'ai passé une excellente soirée une excellente nuit super

  • #0

    Alors, l'objectif aujourd'hui, c'est de présenter ça à tout acteur qui travaille dans la formation et qui est intéressé au sujet de l'évaluation. Du coup, pour vous, aujourd'hui, nous avons trois sections de la présentation. Premièrement, on va vous présenter les résultats des enquêtes, comment on a fait concrètement. Puis les meilleures pratiques par niveau, donc pour les quatre niveaux, quelles sont les bonnes pratiques, quelles sont les méthodes qu'on voit carrément sur le terrain. Et on va finir par comment accompagner les changements au sujet de l'évaluation dans l'organisation, donc au sens plus large, comme les gens le font concrètement. Voilà, donc on va commencer par les résultats. On a eu deux types d'enquêtes. On a eu une enquête quantitative. Alors, on l'a fait à la fin de l'année 2023, début 2024, donc ce n'était pas un moment le plus propice d'avoir beaucoup de réponses. Néanmoins, on est plutôt satisfait avec 68 réponses pour l'enquête quantitative. Donc, il y avait... Une vingtaine de minutes pour répondre à l'enquête avec plein de questions au sujet de l'évaluation. On avait fait avec une petite plateforme de questionnaire. 50% des réponses sont provenues d'entreprises de plus de 1000 employés. Donc ça, c'était vraiment la cible pour nous, parce qu'au niveau organisationnel et au niveau méthode, on voulait vraiment cibler les grosses organisations. C'est là qu'on sait que les gens en ont le plus besoin par rapport au modèle pour les quatre niveaux. Et puis, au niveau d'où les répondants ont été basés, 80% étaient en France. On a eu aussi des réponses en Suisse, en Belgique, en Maroc et aussi au Québec. Donc, on s'est concentré que sur la partie francophone, mais on était content de voir aussi qu'il y a beaucoup de choses qui se passent en dehors de la France. Alors, bien sûr, 97% de la population est française. La plus grande majorité travaille dans la formation, mais on a vu que les gens qui s'intéressent au sujet de l'évaluation sont souvent ceux qui travaillent depuis longtemps. C'est-à-dire que je me fais l'idée qu'on s'intéresse à l'évaluation peut-être normalement un peu plus tard dans la fonction formation, peut-être pas au début. C'est là qu'on voit que tout ce qui est efficacité et impact prend son sens lorsqu'on est là depuis un peu plus de temps. Donc du coup, comme on avait basé le questionnaire sur le modèle, on avait vu que les gens connaissent bien ou très bien le cas Patrick, 70%. et on était très content des résultats et puis après on a complété avec un enquête qualitatif c'est-à-dire qu'on a choisi des répondants et on leur a proposé de faire des enquêtes des entretiens d'à peu près une heure pour mieux explorer ce qu'ils font en interne donc on a eu neuf entretiens en tout d'une heure avec des responsables de formation des grosses organisations pour mieux comprendre les méthodes qu'ils mettent en place, mais aussi au niveau organisationnel, comment ils ont fait, comment ils convainquent les gens, les acteurs, de s'y prendre au niveau évaluation. Et puis, juste pour vous dire, six ont eu une expérience significative avec les formations côté client. Donc, quand je dis côté client, c'est-à-dire que les gens sur le marché, les clients d'entreprises ou des patients, sont vraiment... C'était assez intéressant parce que souvent ils sont là qui sont très intéressés par l'impact aussi des formations. Donc ça, c'est comme on a fait. Après, je passe la main à Jonathan qui va présenter les trois prochains slides au niveau des résultats quantitatifs. Je te laisse la main, Jonathan.

  • #1

    Oui, merci, Joss. Alors, on a un certain nombre de données quantitatives à partager. Ici, on va se focaliser sur quelques éléments, quelques données. assez significatif, quelques résultats. On partagera de manière plus large d'autres données quantitatives dans un support qui sera accessible sur le site évaluationformation.fr. notamment pour remercier les 68 répondants, 68 personnes qui ont participé à l'enquête. On avait une question sur les objectifs visés, alors non pas par la formation, parce qu'on répète sans arrêt, Joss et moi, que... Il est important d'avoir des objectifs clairs lorsque l'on veut évaluer les formations, mais là, on parle des objectifs visés par l'évaluation. Pourquoi évaluer ces formations ? Quels objectifs on peut assigner, attribuer à son système d'évaluation des formations ? et on a listé dans l'enquête une dizaine, dix, je crois précisément, d'objectifs potentiellement visés par les organisations qui évaluent leur formation. Et les trois objectifs arrivés en tête sont ceux-ci. Le premier est donc le fait d'améliorer l'efficacité des formations présentes et à venir. Donc, il y a une vraie logique d'amélioration continue. Ça, c'est très intéressant parce que, je répète, a l'envie qu'évaluer ses formations, ça ne sert à rien. Évaluer pour évaluer, ça ne sert à rien. On doit, à minima, évaluer pour améliorer, pour enclencher des actions, pour s'améliorer en continu. Le deuxième objectif, c'est montrer l'impact des formations sur les résultats de l'organisation. Donc là, il y a une véritable logique en termes de démonstration, justement, de l'impact. des formations. Quand on pense impact et que l'on traduit dans le modèle Kirkpatrick, on est au niveau 4, voire au niveau 3 également. Et le troisième objectif visé dans l'ordre, c'est de démontrer la valeur de la formation. C'est assez lié au second. Et on voit qu'on a vraiment un très fort focus, une très forte orientation sur les questions d'impact des formations, de valeur ajoutée de la formation. Donc encore une fois, on n'est pas scotché au niveau 1 et 2. On est vraiment dans une logique où on cherche à démontrer l'impact des formations sur les individus et sur les collaborateurs, donc niveau 3, et sur leur organisation, donc niveau 4.

  • #0

    Est-ce que, ce n'est pas la première fois que toi tu fais des enquêtes dans l'évaluation, je sais qu'on a fait certaines dans le passé, est-ce que tu as vu des changements justement par rapport à ces objectifs ?

  • #1

    Oui, alors clairement, tu as raison, il y a clairement des changements, c'est vrai qu'il y a un certain nombre d'années, je crois que j'avais commencé en 2010, on voyait que ce qui ressortait c'était… On va dire beaucoup plus focalisé sur la formation elle-même, où on cherchait à, par exemple, améliorer le programme de formation, à mieux sélectionner les prestataires. On voulait faire des... des sortes de trip advisors de la formation où on voulait pouvoir noter ses prestataires, ses formateurs, ses formatrices avec des petites étoiles, etc. C'était ça qui comptait avant tout. Et aujourd'hui, on voit que le curseur s'est déplacé et qu'on est davantage focalisé sur les questions d'impact. Donc ça, c'est une très bonne nouvelle parce que se focaliser uniquement sur les prestataires... Voilà, le prestataire n'est qu'une partie de la réponse, n'est que l'un des éléments qui peut être à l'origine de l'efficacité de la formation, mais ça n'est certainement pas le seul. Donc ça, c'est intéressant de prendre de la hauteur et de s'intéresser aux questions relatives au niveau 3 et 4. c'est super ok donc après on a posé la question sur les obstacles ou des freins ouais tout à fait donc on a les objectifs d'abord et ensuite maintenant qu'est-ce qui empêche les participants à l'enquête d'aller plus loin aussi dans leur pratique d'évaluation des formations et donc en premier on a le manque de temps peu de temps à consacrer à l'évaluation des formations, donc ça c'est un grand classique, et pas uniquement dans l'évaluation des formations on n'a jamais le temps de rien c'est un peu le simple c'est ça donc forcément on a x actions de formation à gérer, on a plein de choses on a pour les personnes concernées on a Calliope, enfin bref il y a énormément de choses et donc l'évaluation se dit quand est-ce que l'on peut y accorder du temps et donc de l'importance. Deuxième obstacle ou frein, c'est le manque d'implication des managers. C'est la même chose, ça c'est un grand classique. Ils ne sont pas suffisamment engagés dans le processus d'évaluation des formations. Les pauvres managers, on leur demande souvent de faire beaucoup, beaucoup, beaucoup de choses. Et on leur rajoute en plus le fait de participer à l'évaluation, d'accompagner leurs collaborateurs dans la formation, etc. Donc on voit que ça, c'est une difficulté majeure. Et le troisième point, c'est toujours étonnant de le constater alors que le marché nous propose beaucoup de choses qui permettraient de lever cet obstacle, ce frein, c'est le manque d'outils appropriés. L'absence d'outils spécifiques ou adaptés qui compliquent la mise en place d'évaluations efficaces. donc ça voilà on le voit dans l'enquête c'est la plateforme LMS qui ne permet pas de faire l'évaluation des formations j'ai pas d'outils,

  • #0

    je fais encore tout sous Excel etc est-ce que ce manque d'outils Ce n'est pas que parce qu'ils ne savent pas que les outils existent. C'est aussi pour des raisons de budget ou de contraintes d'utiliser, comme tu dis, l'NMS ou des problèmes avec l'informatique, etc. Ce n'est pas que ne pas savoir qu'il y a des plateformes qui existent pour l'évaluation.

  • #1

    Oui, tu as raison parce que c'est vrai que c'est fréquemment indiqué dans l'enquête. on a des personnes qui se plaignent de leur plateforme on ne citera pas de nom mais il y a des gens qui reviennent souvent et en disant je voudrais pouvoir utiliser telle ou telle plateforme ou faire ceci ou faire cela donc comme tu le dis tu as parfaitement raison ça n'est pas nécessairement un manque de connaissances quant aux outils du marché c'est aussi des questions de budget, c'est beaucoup aussi de questions liées à la sécurité des données. On sait que la DSI a son mot à dire dans le choix des plateformes, etc. Donc, ça n'est pas simple de mettre en œuvre une plateforme. C'est encore moins simple, donc c'est encore plus compliqué de la changer. Parce qu'une fois qu'on l'a mise en œuvre, on sait à quel point c'était douloureux. Souvent. et donc derrière dire finalement ça ne répond pas exactement aux cahiers des charges en tout cas à nos besoins actuels et donc on va en changer et là on voit que c'est très compliqué donc forcément oui c'est un obstacle et en fait on le comprend assez aisément on va en parler sur les outils un peu après donc après les niveaux de capacité à évaluer Ah oui, alors ça c'est on pose la question j'ai envie de dire un peu pour la forme parce que souvent on s'attend à la réponse et puis bon là c'est un peu la même chose alors je dis pour la forme en rigolant parce que en posant cette question, ça nous permettait d'adapter le questionnaire derrière non pas de l'adaptive learning, mais de l'adaptive evaluation. Voilà, si le répondant coché, voilà, j'évalue les niveaux 1, 2, 3, derrière, tac, on ouvrait les pages de questions sur le niveau 1, 2, 3, etc. Et pas sur le niveau 4, par exemple. Donc ici, on voit que ce qui est surtout évalué, c'est le niveau 1. On est à 87% des répondants, le niveau 2 82%, le niveau 3 57%, alors on voit qu'on trébuche un peu, et puis le niveau 4 31%. Donc c'est un grand classique, c'est-à-dire que plus l'on progresse dans la hiérarchie des niveaux de cœur patrique, moins l'on évalue. Et le grand paradoxe, et si on lit cela avec la question des objectifs que l'on a vus précédemment, c'est que l'on évalue finalement ce qui a... on va dire le moins d'importance, on évalue surtout ce qui a le moins d'importance pour répondre à ces objectifs où l'on parle d'efficacité, d'impact, de valeur, etc. Ce n'est pas au niveau 1 et 2 que l'on a des données à ce niveau. Les niveaux 1 et 2 renseignent surtout sur les éléments pédagogiques liés à la qualité de la formation. Mais ce sont bien les niveaux 3 et 4 qui apportent des données intéressantes quant à l'impact des formations. Donc là, il y a un paradoxe.

  • #0

    ce qu'on voit aussi c'est un grand classique ce qu'on ne voit pas c'est que on essaie de préconiser une grande variété de méthodes par niveau et là on ne prend pas en compte dans ce tableau là la variété, c'est-à-dire que si on fait du niveau 3 avec une enquête à froid, c'est compté. On est d'accord que c'est pour nous en tout cas, quelqu'un qui travaille dans l'évaluation, faire une enquête à froid pour le niveau 3, ça ne suffit pas, mais on compte quand même dans ce visuel-là.

  • #1

    exactement et c'est vrai que tu as raison de souligner ça on le voit dans les données les chiffres sont possiblement un peu optimistes. Ils sont un peu, je pense qu'il y a un biais, ils sont un peu surévalués parce que voir 31% de formation évaluée au niveau 4, donc quasiment le tiers, j'ai envie de dire, waouh, c'est génial. Ça fait déjà des années que j'attendais ça. Lorsque l'on regarde, on voit qu'on n'est pas toujours dans un niveau 4. au sens puriste du terme, avec l'identification d'indicateurs en amont, le fait de les suivre, de les piloter, d'aller démontrer le fait que ces indicateurs évoluent dans le sens attendu en aval de la formation, etc. Même chose pour les niveaux 3. Il n'y a à peu près qu'au niveau 1 et 2 où on voit qu'il y a une correspondance entre les réponses et les moyens mis en œuvre, mais au niveau 3 et 4 où il y a un léger biais.

  • #0

    donc voilà c'est un peu moins en réalité que les chiffres présentés ici le niveau 4 ça peut comprendre quelqu'un qui se renseigne avec un apprenant après la formation pour savoir s'il y a eu un impact ou pas tout simplement ou sinon il y a eu un impact alors que c'est pas franchement mesuré comme

  • #1

    tu disais avec un KPI c'est ça c'est du déclaratif alors c'est mieux que rien c'est mieux que rien c'est carrément mieux que rien nous on préconise même en formation en disant à défaut d'indicateur c'est pas grave planter la graine du doute, aller questionner l'impact en interrogeant les apprenants leurs managers etc mais effectivement on n'est pas dans du niveau 4 classique Kirkpatrick

  • #0

    En tout cas, c'est représentatif des gens qui ont répondu à l'enquête que ce sont des gens qui sont intéressés par l'évaluation. Donc, ce n'est peut-être pas au sens large qu'on va prendre avec toutes les formations sur le marché. Ce n'est pas forcément l'enjeu. L'enjeu, c'est de savoir comment ça se passe pour les gens qui pratiquent l'évaluation.

  • #1

    Oui, exactement. C'est ça. Et puis, nous, derrière, on va en parler après, mais c'était vraiment une enquête en deux temps avec ce volet quantitatif. OK, on prend la température. et après on creuse, on va plus loin en ayant des échanges, donc le volet qualitatif de l'enquête, avec des entreprises qui sont plus avancées, notamment sur les niveaux 3 et 4, pour comprendre comment on évalue l'impact de la formation au niveau 3 et 4 en 2023-2024. Et là, on a eu des retours de pratique quand même très intéressants.

  • #0

    L'objectif étant toujours que vous, qui vous intéressez à l'évaluation, vous pouvez apprendre de tout ça pour mettre en pratique des choses derrière. C'est ça ce que nous, on veut faire pour vous.

  • #1

    Exactement. Démocratiser un peu. Il y a des bonnes pratiques.

  • #0

    C'est ça.

  • #1

    Autant capitaliser sur celles-ci et les partager.

  • #0

    Très bien. Donc là, on va passer aux bonnes pratiques, mais à pratiques par niveau. Donc, qu'est-ce qu'on entend par niveau ? C'est par les quatre niveaux. Donc là, c'est le nouveau modèle de Capatric. Pour ceux qui écoutent, je suis en train de montrer le nouveau modèle avec les composants dedans. Si vous souhaiteriez en savoir plus, on a la certification bronze sur le nouveau modèle que vous pouvez faire avec nous, justement pour comprendre qu'est-ce qui va dans chaque méthode. On va commencer aujourd'hui par le niveau 1, donc réaction. Donc là, je vais présenter les meilleures pratiques que nous, on a tirées du niveau 1 de la part de nos enquêtes. Puis le niveau 2, et puis Jonathan va conclure avec le niveau 3 et le niveau 4. Alors, pour le niveau 1, réaction, on a vu qu'une bonne pratique, c'est de l'observation. Qu'est-ce que c'est l'observation ? C'est qu'on a quelqu'un qui est dédié, qui vient observer ce qui se passe dans la formation. L'observateur peut être un autre formateur, ça peut être un responsable pédagogique, ça peut être quelqu'un qui est dans le service de formation. On peut voir différentes raisons pour lesquelles on veut faire de l'observation. Ça peut être pour regarder comment fait le formateur, mais aussi ça peut être pour évaluer le niveau d'engagement des apprenants pour voir qu'ils sont bien dans le jeu et bien impliqués dans la formation. Donc l'observation, c'est un très bon moyen de voir ce qui se passe en réalité. Plutôt d'apprendre par un feedback après, c'est de voir la réalité comme ça se passe. Si vous ne pouvez pas observer en réel, si vous ne pouvez pas être là, vous pouvez aussi demander qu'il y ait des vidéos qui soient prises pour aussi regarder. Mais en tout cas, l'observation, c'est très bien apprécié. Deuxièmement, c'est l'utilisation d'un OMS. Alors un OMS, c'est un terme que nous utilisons qui veut dire Evaluation Management System, un peu comme un LMS qui est Learning Management System. Donc nous, on a mis le terme Evaluation parce que c'est vraiment pour une plateforme qui est dédiée totalement à l'évaluation. Et pour le niveau 1, le fait qu'il y ait un EMS permet de vraiment mettre en place un système d'évaluation pour le niveau 1 qui permet de personnaliser les enquêtes en fonction du projet de formation, qui permet d'analyser très facilement les données, voire même de créer des rapports pour pouvoir présenter à d'autres et impliquer tous les acteurs dans le système de la formation, les formateurs. les charges de déformation, les prestataires externes, voire les commanditaires pour montrer le niveau de qualité de ce qui se passe dans la formation. Donc, une LMS, c'est un outil que vous pouvez prendre qui peut parfois être en lien avec LMS, mais en tout cas, ça permet d'éviter l'utilisation des enquêtes standards telles que Microsoft Forms ou Google Forms ou SurveyMonkey et les plateformes comme ça. Troisièmement, l'utilisation de l'indicateur NPS. NPS, c'est Net Promoter Score. Je pense que le NPS a vraiment pris une place importante maintenant dans l'évaluation de la qualité des formations, beaucoup plus que dans le passé. C'était quelque chose que Jonathan et toi, avec... ton ancienne équipe chez FormaEva vous avez poussé un petit peu avant et on voit que vraiment ça prend place aujourd'hui alors tu disais hier que les NPS c'est surtout utile lorsque la culture de l'entreprise connaît les NPS c'est ça ?

  • #1

    Oui tout à fait alors ça c'est un merci c'est vrai de rappeler qu'on a poussé cet indicateur à l'époque et c'est vrai qu'on voyait en fait le développement du NPS dans pas mal d'entreprises, dans les services marketing, etc. Et c'est vrai qu'aujourd'hui, on réserve un train, un hôtel, etc. Souvent, on achète une voiture, on nous pose toujours la question de la recommandation, est-ce qu'on recommanderait ce produit, ce service, cette marque à notre entourage, etc. et dans la formation c'est un indicateur on le voit aujourd'hui qui est critiqué et qui est vraiment critiquable aussi parce que oui il n'y a pas du tout la prétention d'être pur c'est pas l'alpha et l'oméga de l'évaluation de la formation mais au même titre que le NPS est critiqué pour la partie satisfaction client on va dire recommandation classique par contre aucun indicateur n'est parfait et moi je vois un grand intérêt à utiliser le nps dans les entreprises il ya déjà cette culture du nps parce qu'il ne faudrait pas que la fonction formation fasse bande à part, si je puis dire, en disant, voilà, vous vous évaluez au marketing, au commerce, à la communication, même dans la partie RH. Est-ce que je recommanderais cette entreprise du point de vue de la marque employeur, en tant que salarié, etc. Et moi, la formation, je déciderais de faire bande à part. Donc là, vraiment, l'idée, c'est de se rattacher, de dire à ce que... à ce que font les autres fonctions, et à avoir aussi son NPS lié à la qualité de ses formations. Moi, j'y vois un intérêt.

  • #0

    Alors, comment ils utilisent l'NPS ? Ils posent une question sur la recommandation dans des enquêtes. Et après, au niveau des résultats, il y a des entreprises, des organisations qui poussent au bout, ils mettent un système de couleurs. Donc, ils ont un objectif de NPS par session de formation. Et ils peuvent dire que, par exemple, au-delà d'un certain pourcentage, la couleur verte veut dire que tout va bien. Puis, entre tel pourcentage et tel pourcentage, c'est orange, il faut faire attention s'il y a plusieurs sessions comme ça. Et puis le rouge, le plus bas niveau, ça ne va pas. Il faut vraiment qu'on fasse un petit point pour savoir ce qui se passe. Et ça permet aussi de faire un peu de benchmarking entre les formateurs, entre les sessions, même entre les formations aussi, pour voir quelles sont les formations peut-être les plus appréciées. et donc du coup ça permet d'avoir une première vue d'oeil sur un système un peu plus industrialisé pour les qualités de la formation il y a même des entreprises qui disent nous on va contacter tous les promoteurs c'est-à-dire tout le monde qui disent qu'ils sont très contents et qu'ils ont mis un note de 9 à 10 et puis tous les gens qui ne sont pas contents en dessous de 6 ou de 7 je veux dire entre 1 et 6 on va les contacter aussi pour savoir pourquoi ils ont mis ce score-là ça permet d'avoir un échange plus qualitatif et donc du coup c'est vraiment un système lié à une pièce Voilà. La quatrième méthode, c'était justement le verbatim. Là, je viens d'illustrer le fait que contacter les gens, c'est utile. Demander les avis, que ce soit dans les enquêtes ou en live, dans les tours de table, ou même après la formation, dans les RECS, dans les retours d'échange. C'est très important parce qu'en fait, les gens qui s'occupent de l'évaluation nous disent pratiquement tout ce que les enquêtes ne disent pas tout. on répond aux enquêtes pour nos propres raisons on peut répondre à une enquête parce qu'on est très content on peut répondre parce qu'on n'est pas du tout content mais parfois on n'est pas du tout content pour des mauvaises raisons et pareil pour si on est très content donc parfois on ne répond pas à une enquête pour des raisons culturelles Donc on nous a dit que par exemple dans certains pays, on a peur de répondre aux enquêtes parce qu'on ne veut pas qu'ils les représaillent. Dans certaines organisations, on ne répond pas aux enquêtes parce qu'on en a trop à répondre et on en a marre de le faire parce qu'on n'a pas de retour en répondant aux enquêtes. Mais derrière, qu'est-ce qui se passe ? Donc ils veulent que si on répond, il y a quelque chose qui se passe par la suite. Donc du coup, le verbatim, demander des retours qualitatifs, c'est très important et c'est très apprécié. de la part des apprenants, voire des managers. On a vu avec une entreprise qui met en place des règles entre une semaine et un mois après la formation pour discuter de la formation, pas forcément le transfert, mais vraiment de la formation, parce que c'est là qu'ils savent qu'il y aura des retours beaucoup plus concrets que simplement remplir une enquête.

  • #1

    Oui, clairement. C'est le fait de poser des questions ouvertes, même dans les questionnaires. c'est une bonne pratique aussi pour venir préciser les réponses données aux questions fermées. Parce que dire je n'ai pas été impliqué dans la formation c'est bien, mais comprendre pourquoi, c'est quand même mieux. Donc c'est vrai que ce soit via les enquêtes, via les questionnaires, via les tours de table, via des redouteurs d'expérience, via des sessions de suivi, des classes virtuelles de suivi, etc. Comme tu dis. il faut aller chercher ces données-là. On ne peut pas tout retrouver uniquement dans des cases à cocher.

  • #0

    C'est quelque chose aussi que Capatric privilégie vraiment. C'est de la variété entre le quantitatif et le qualitatif. Peu importe le niveau.

  • #1

    Tout à fait.

  • #0

    Alors après les deux derniers éléments, ce ne sont pas vraiment des méthodes, mais plus des pratiques au niveau du temps. Donc là, on a mis 24 heures par rapport aux enquêtes. C'est important, je pense, de le signer parce que les gens avec qui on a discuté, eux, ils ont dit que le moment le plus propice de répondre à une enquête pour avoir une qualité de données plus fiable, en fait, c'est juste après l'information. Ce n'est pas dans... la formation même. Alors, forcément, il y a des gens qui demandent de remplir l'enquête à la fin d'une formation, mais il y a beaucoup de responsables qui ont dit que le problème, si on remplit une enquête à la fin d'une formation, c'est que les gens sont souvent fatigués. Ils veulent partir et ils vont dire peut-être des choses d'une manière un peu biaisée en fonction d'où le formateur est, est-ce qu'il est là ou pas, qu'est-ce qu'il demande du formateur. Et du coup, forcément, on est toujours dans la formation, on n'a pas encore fait un lien avec. le poste. Alors que si on répond lorsqu'on est de retour sur le poste de travail, ça permet d'avoir une réaction un petit peu plus à froid, qui permet une meilleure qualité de données, parce que du coup, notre environnement sait le travail, et on va commencer à penser à comment on va appliquer tout ça. Donc certes, il y aura moins de réponses. Donc le souci, c'est le niveau, le temps, le taux de réponse. C'est sûr que si on demande aux gens de répondre après, il va y avoir moins. Mais la qualité des données, c'est quand même beaucoup mieux. Donc on a vu qu'il y a pas mal de gens qui ont dit ça. Après, au niveau temps aussi, temporalité. Les gens qui sont vraiment experts, donc on a eu quelques experts de responsabilisation qui travaillent beaucoup dans le niveau 3 et 4, eux, ils ont dit que le niveau 1 est surtout important au début des dispositifs de formation. C'est-à-dire que c'est là qu'ils font le plus attention lorsqu'on est en train de créer une nouvelle formation. on conçoit et on développe et on réalise une nouvelle formation, peut-être pour une grande population de gens, c'est là qu'on veut mettre plus de moyens, plus de ressources, plus de temps dans le niveau 1 pour savoir s'il faut ajuster la formation ou pas en fonction de ce qui était conçu. Et quand la formation est bien en place, du coup, c'est là qu'on passe un peu... moins de temps et moins de ressources parce qu'il y a juste des petits ajustements à faire, un peu comme on disait avant pour comparer, pour benchmarker. Mais là, on a fait le plus grand travail pour optimiser la formation par rapport au début. Voilà, donc ça, c'est le niveau 1, réaction. On va passer au niveau 2, apprentissage. Donc, qu'est-ce qu'on a appris dans la formation ? Là, un peu moins de bonnes pratiques qu'on souhaiterait vous présenter, mais néanmoins très intéressantes. Premièrement, c'est l'importance de faire des évaluations formatives. Donc souvent lorsqu'on parle d'apprentissage, les niveaux d'or, on pense de faire un test avant, faire un test après, peut-être certifier la formation. Mais on a vu que vraiment, l'importance d'évaluer pendant la formation, ça a son sens. Alors, si c'est à distance, souvent on met des mini-quizzes pour être sûr que les gens ont bien compris. Donc, souvent dans l'e-learning, on a des politiques de conception de formation où si on fait une partie en e-learning, on est obligé d'avoir une quiz à la fin. Mais pas que, on peut avoir des mini-quizzes, des petits tests qu'on peut faire même avec des jeux pédagogiques dans la formation. Surtout, par exemple, au début de la journée. pour savoir ce que les gens ont retenu de la journée précédente. L'évaluation formative, c'est très important à ce niveau-là. Et puis aussi, les jeux de rôle, les jeux de rôle pendant la formation pour travailler sur les compétences et être sûr que les gens, ils ont bien compris ce qu'ils sont censés faire. Jusqu'à un point que la vidéo, donc ça, c'est la deuxième chose, pour filmer les jeux de rôle, devient très, très intéressante parce que ça permet d'avoir un feedback très qualitatif. Les gens nous disaient que le problème avec les jeux de rôle, souvent, c'est que les apprenants ne savent pas ce qu'ils ont fait. Ils n'ont pas vraiment conscience exactement comment ils ont performé dans le jeu de rôle. Et filmer le jeu de rôle et puis leur montrer ce qu'ils ont fait, et aussi donner un feedback, c'est très, très constructif. Les apprenants, ils ont fait Waouh, ah oui, je ne savais pas que j'avais fait ça. Ah d'accord, ok, moi je comprends mieux. et le jeu de rôle qu'on peut faire, ça peut être plus ou moins scénarisé. On peut vraiment avoir des jeux de rôle très formels où on prépare ensemble, comme ça peut être sur le champ. Mais la vidéo permet vraiment d'avoir le retour de la part du formateur aussi là-dessus. Le troisième méthode, c'est la relative actuelle. Jonathan, je sais que tu es... tu vois, des avis tranchés par rapport à tout ce qui est fait sur les métas et tout ça.

  • #1

    Oui, et je peux vraiment que ça soit justifié, encore une fois. Comme tu le sais, c'est... idéalement limités à des environnements qui peuvent être dangereux, où on sait que le coût de reconstitution d'une situation proche de la réalité serait très élevé, etc. Là, je vois bien quel intérêt dans le secteur médical.

  • #0

    Et comme tu dis, je pense que vraiment c'est un intérêt pour des formations à très très fort enjeu, on ne peut pas se tromper. Et là on doit être sûr que ce soit comme tu dis dans le médical, mais aussi peut-être dans l'aéronautique ou dans certains systèmes d'industrie, c'est là qu'on peut dépenser pour être sûr.

  • #1

    Exactement.

  • #0

    Et donc la dernière méthode, c'est la certification. Alors en France, pour ceux qui ont un compte en France, vous connaissez le CPF, vous connaissez le compte personnel de formation, où on peut utiliser notre crédit, on a besoin de certifier la formation. Donc du coup, l'État qui est un acteur... majeurs derrière la formation souhaitent pousser à bout la certification. Mais on a vu aussi qu'il y a monté des plateformes de certification, les plateformes de certification qui permettent justement de créer des badges, créer des certifications internes pour pouvoir formaliser un petit peu les formations, la fin des formations, sur des formations que les grosses organisations ont créées, ont conçues, et ça permet un meilleur engagement. Donc on a vu que la certification aussi prend sa place, que ce soit en interne de l'organisation ou à l'externe par les acteurs. Voilà, ça c'est les niveaux 2. Je passe maintenant à toi Jonathan pour le niveau 3, donc comportement.

  • #1

    Oui, alors là on entre justement de plein pied dans les questions d'efficacité et d'impact, parce que c'est vrai qu'on a pour habitude de distinguer les niveaux 1 et 2 en parlant de qualité de la formation. La formation en tant que produit. et on va chercher à améliorer la satisfaction, l'apprentissage, etc. Mais au niveau 3 et 4, on est vraiment dans l'efficacité. Alors pratique que l'on retrouve assez fréquemment chez les personnes, au sein des entreprises qui évaluent ce niveau 3, c'est le fait de réaliser une enquête dite croisée. Donc par exemple, d'envoyer un questionnaire d'évaluation à l'apprenant et à son manager. Comme ça, on a une co-évaluation. chose qui est intéressante parce que ça permet aussi de contrebalancer l'avis de l'un ou de l'autre, dans un sens comme dans l'autre d'ailleurs. C'est-à-dire que ça n'est pas automatiquement, comme on pourrait l'imaginer, l'apprenant qui va se surévaluer et le manager qui va le sous-évaluer, c'est parfois aussi l'inverse. Donc l'apprenant qui n'a pas l'impression de faire aussi bien qu'il ne pourrait le faire et puis le manager qui va dire non, non, si, si, franchement... Moi, j'ai vu des changements, etc. Donc, il y a aussi une forme d'effet de renforcement et d'encouragement via cette enquête. Là, c'est surtout le croisement apprenant et manager qui est mis en pratique. Là, j'en profite pour préconiser aussi... quelque chose de complémentaire, ça pourrait être aussi d'autres acteurs tiers. Donc d'autres tiers acteurs, mais par exemple, le fait d'évaluer... de faire une co-évaluation avec un collègue, avec un binôme avec qui on a suivi la formation, etc. Là, ça pourrait être intéressant. Et dans certains cas, on serait peut-être plus à l'aise avec l'évaluation que l'on ne peut l'être avec son manager, par exemple. Et le manager qui n'est pas toujours là, d'ailleurs, pour observer le travail. Parfois, on a des managers qui sont distants du fait du métier, du fait de la fonction. évaluer c'est bien avoir des résultats c'est encore mieux donc on voit au niveau 3 la montée en puissance de dispositifs d'accompagnement ou de coaching peu importe comment on les nomme mais dans tous les cas cette partie on va dire d'accompagnement post-formation via des coachs via des accompagnateurs la FEST est beaucoup évoquée donc l'action de formation en situation de travail donc pour nos auditeurs, auditrices c'est très important Basée en France, en tout cas, il et elle connaissent certainement bien cela. L'idée, c'est qu'on puisse apprendre aussi en situation de travail. Évidemment, maintenant, c'est une modalité de formation qui est reconnue aussi par la loi. Donc, elle est parfois aussi utilisée en ce sens pour compléter la formation. via de l'accompagnement post-formation. Dans d'autres cas, on a des dispositifs de coaching sur grand mise en œuvre en se focalisant sur la mise en œuvre d'une compétence précise, de plusieurs compétences suite à la formation, etc. C'est très positif parce qu'on le répète souvent, la formation n'est que le début et certainement pas la fin. Et la formation, au sens de la montée en compétence, n'est réellement terminée qu'une fois que la compétence a pu être mise en œuvre et le coaching doit pouvoir aider à passer de l'intention à l'action, de la formation à la mise en pratique réelle en situation de travail.

  • #0

    Et on a vu que le... Quand on dit coaching, ce n'est pas forcément un coach formé, spécialisé pour être coach, mais ça peut être le superviseur, ça peut être un référent, ça peut être un manager, ça peut être aussi le formateur ou un formateur qui n'a pas fait la formation. Vraiment, ça dépend du dispositif de formation et de comment l'organisation s'organise pour le faire.

  • #1

    Oui, exactement. C'est vrai que ce n'est pas le coach au sens coach de l'ICF, par exemple, au sens coach professionnel. Mais raisonnons plutôt accompagnateur, accompagnement de manière générale.

  • #0

    Et je pense que pour moi, qui ai fait les entretiens qualitatifs, j'ai vraiment senti, j'ai vraiment eu l'impression que pour les gens, justement, les responsables d'information qui se spécialisent un petit peu dans l'évaluation, ils ont dit que cette partie accompagnement post-formation, c'est une partie non négligeable pour réussir l'efficacité et l'impact d'une formation. T'es d'accord avec moi, Jonathan, là-dessus ?

  • #1

    Ah ben, je suis... On ne peut plus d'accord. Enfin, pour moi, c'est vraiment... On dit que le niveau 3, c'est le plus important des 4, parce que c'est le moment où le niveau à partir duquel ce qui a été appris en formation cesse d'appartenir exclusivement à l'apprenant. Et de toute façon, ça n'appartiendra plus à personne, parce que si ça ne mène plus à lui, si ça n'est pas mis en pratique, ça sera perdu tout simplement. Et donc, cet accompagnement est nécessaire. Là, on sait que... c'est vraiment un enjeu majeur et que si on ne prévoit pas cela dans le disability de formation, on va compter sur une toute petite poignée, sur une poignée de personnes qui vont être suffisamment disciplinées pour passer à l'action et on sait malheureusement que ce n'est pas encore la majeure partie des gens.

  • #0

    Alors, plan d'action.

  • #1

    Plan d'action, alors plan d'action, c'est intéressant aussi justement pour passer de la formation à la mise en pratique en situation réelle. Alors, lorsque l'on anime, toi et moi, le programme de certification de Campatric, on insiste beaucoup sur le fait d'avoir au niveau 3 des comportements, comme le nom du niveau l'indique, des comportements concrets, observables, mesurables. Et donc, c'est nécessaire pour que, justement, il y ait ce transfert des acquis, pour que l'on passe à la mise en pratique. Ces comportements... parfois peuvent être communs à tout le groupe de formation. Donc, par exemple, je vais prendre un cas qui parlera à peu près à tout le monde, mais on forme des managers et on les forme, par exemple, à la conduite des entretiens annuels. Et puis, on leur dit, d'abord, il faut commencer par valoriser ce qui a été positif tout au long de l'année, avant de parler des points faibles, des axes de progrès, etc. Bon, voilà, ça concerne tous les managers. On met ça en œuvre. Ce sont des nouveaux managers, des new managers. Ils n'ont jamais été formés à ça. Bon, OK, le comportement peut convenir à tout le monde. Dans d'autres cas, si demain, Joss et moi, on va suivre une formation en gestion du temps et des priorités, eh bien, on ne part pas du même niveau. On n'a pas les mêmes pratiques aujourd'hui. Il y a peut-être des... parce qu'on n'a pas le même quotidien, des pratiques qui seraient plus adaptées que d'autres, etc. Et dans ce cas, ces comportements, au sens de bonnes pratiques à mettre en œuvre, pourraient être individualisés, pourraient être spécifiques à chacun de nous. Et dans ce cas, ça vaudrait la peine d'avoir un plan d'action qui soit travail en formation et idéalement pas travailler uniquement par les apprenants, mais bien travailler avec l'accompagnement du formateur, avec l'accompagnement du groupe. Pourquoi pas ? Je pense à, voilà, les Québécois parlent de modules de TEP, transfert à l'environnement pratique, pratique ou professionnel selon les cas, mais d'avoir une séquence pédagogique dédiée en fin de formation où l'on parle du transfert, et pas juste cinq minutes à la fin, mais par exemple une formation qui se termine à 17h, à partir de 15h30. voilà on discute par exemple après la pause de toutes ces questions de tiens qu'est-ce que je vais pouvoir mettre en pratique quels sont les obstacles auxquels je vais faire face comment je compte y faire face etc etc donc ça c'est très intéressant

  • #0

    De toute façon, lorsqu'on privilégie une séquence d'évaluation spécifique, que ce soit pour un plan d'action ou pour avoir un tour de table ou pour remplir une enquête, c'est vrai que passer un peu de temps exprès là-dessus, ça facilite justement la qualité de l'évaluation des méthodes qu'on met en place.

  • #1

    Exactement, c'est nécessaire. Si on ne le fait pas, on aura des plans d'action qui sont très génériques du type, oui, je vais utiliser ce que j'ai appris en formation. C'est bien. Deux ou trois mois après, on leur posera la question Est-ce que vous avez utilisé ce que vous avez appris en formation ? Ils ne se souviendront même pas de ce qu'ils ont appris. Il faut pouvoir passer du temps. C'est nécessaire si on veut des résultats. Deux types d'ancrages qui sont nécessaires et qui sont parfois confondus. Si on veut justement que ce transfert se fasse, on peut réfléchir à comment on va favoriser à la fois l'ancrage mémoriel, au sens mémoriser les notions vues en formation. Là, classiquement, on va parler des connaissances. Si par exemple, on fait des cours-quizzes, tout à l'heure tu en parlais lors de l'évaluation formative, mais on peut imaginer des quiz qui seraient envoyées par exemple… durant deux mois, toutes les semaines, une ou deux questions toutes les semaines, etc. On va favoriser cet ancrage, on va faire en sorte que l'on puisse retenir les notions clés vues en formation. ça c'est ok ça ne signifie pas par contre que ça va nous faire passer à l'action donc ça on va dire ça garde je vais utiliser cette image mais ça garde un peu notre cerveau au chaud voilà on a toujours ces idées ces notions à l'esprit par contre l'ancrage qui me semble prioritaire à ce niveau, c'est surtout l'ancrage comportemental. Donc voilà, ce n'est pas parce que je sais ou que je me souviens, l'ancrage mémoriel, que je fais ancrage comportemental. Donc là, ça demande de travailler sur la mise en place d'habitudes, donc de comportements, de routines quotidiennes, de rituels, etc., pour vraiment avoir ces réflexes. On entend souvent parler de ce mythe, de ce neuromythe des 21 jours. Il faudrait 21 jours d'un comportement ou d'une habitude répétée pour que cela devienne ancré. en réalité les études montrent qu'il y a une recension qui a été faite ça va de 21 jours à 254 jours c'est pas quand même donc c'est un peu plus que ça ça dépend des personnes ça dépend des comportements je dis souvent en rigolant mais quiconque a déjà essayé d'arrêter de fumer c'est que 21 jours ça n'est pas suffisant à voir de replonger donc ça pose la question de ce que l'on peut mettre en oeuvre pour favoriser cet ancrage comportemental niveau 3 et donc dernier point justement c'est des ressources des ressources qu'est-ce que l'on prévoit alors on a Durant le temps de la formation, on est dans une forme de pocon pédagogique. On a des super supports, qu'ils soient numériques ou imprimés sur papier glacé. On a un magnifique PowerPoint, on a plein de choses, on a des cartes à jouer, on a énormément de choses. Et puis post-formation, souvent. on se retrouve un peu sans rien. Donc, l'idée, c'est de pouvoir fournir aussi, ça, c'est une bonne pratique que l'on observe parfois, fournir aux apprenants des ressources qui vont venir soutenir ce passage à l'action. Donc, des aides-mémoires, des checklists, des modules de learning complémentaires. ça peut être des classes virtuelles de suivi, bref, tout ce qui va aider à favoriser cet ancrage mémoriel et surtout cet ancrage comportemental.

  • #0

    super ça c'est pour le niveau 3 donc des méthodes vraiment très concrètes moi je sais ce qui sort pour moi c'est le coaching, le plan d'action les ancrages mémoriels j'ai vraiment vu les gens qui étaient très très très convaincus de leur importance jusqu'au point que maintenant ils ne conçoivent pas de formation sans justement concevoir ce genre d'accompagnement pour la suite de la formation, ils disent que ça ne sert à rien de le faire sans qu'il y ait cet accompagnement une fois que sur le retour sur le poste de travail ?

  • #1

    Clairement. Je repense souvent aux chiffres de Brinkehoff, Robert Brinkehoff, que l'on présente aussi. dans le programme de certification de cœur Patrick, mais sans cela, en moyenne, on a 15% des apprenants qui vont mettre en pratique. Donc, la poignée ultra-disciplinée dont je parlais tout à l'heure. Mais tout le monde ne fonctionne pas comme ça, tout le monde n'a pas cet état d'esprit. Et donc, la majorité, tout simplement, va retourner à ses vieilles habitudes. Le naturel revient toujours au galop, malheureusement. Malheureusement, en pareil cas, en tout cas. et puis voilà si on ne prévoit pas ça on n'aura pas des résultats on n'aura pas d'impact tout simplement tout simplement ok on va finir avec les méthodes avec les niveaux 4 résultats donc voilà on a mis en pratique maintenant on arrive au niveau 4 et donc la première pratique et bien c'est justement on en parlait un peu tout à l'heure c'est un peu la manière classique et recommandée pour convaincre les commanditaires d'évaluer au niveau 4 c'est de déterminer en anglais, en bon anglais dans le texte, des KPIs, donc des indicateurs clés de performance. Merci, Joss. Donc, à emprunter au sens où ça n'est pas à nous, professionnels de la formation, de construire ces indicateurs. Si on travaille sur des formations à fort enjeu, des formations dites stratégiques, nécessairement, ces indicateurs existent probablement, sinon c'est inquiétant, dans l'organisation. Donc, on va négocier l'accès à ces indicateurs, à ces données, on va les emprunter pour mesurer avant et après la formation à plusieurs reprises pour pouvoir piloter tout simplement l'impact de la formation à différents niveaux et pas se limiter à un indicateur, en choisir plusieurs pour s'assurer en tout cas de déceler des effets. Deuxième élément, c'est la notion d'étude d'impact pour avoir aussi des retours qualitatifs en plus. Donc ça, c'est très intéressant. Je parlais à l'instant de Robert Brinkerhoff. Lui a une méthode qui s'appelle la méthode des cas à succès. Success case method, je pense, en anglais. Et elle consiste à dire, suite à une formation, on n'a pas toujours l'occasion d'être reçu en amont par les commanditaires qui vont prendre le temps. de définir avec nous, d'identifier des indicateurs clés de performance, etc. Mais par contre, on peut très bien avoir, d'ailleurs les deux méthodes ne sont pas exclusives, elles peuvent être complémentaires. mais suite à une formation, je peux très bien aller enquêter auprès de collaborateurs en me focalisant sur les niveaux 3 et 4, en disant, tiens, je vais identifier ceux qui ont mis en pratique le niveau 3 et ceux qui n'ont pas mis en pratique au niveau 3, et puis questionner le pourquoi. Pourquoi ils n'ont pas mis en pratique ? Pourquoi ils ont mis en pratique ? Donc, identifier les freins, identifier les bonnes pratiques, etc. Et puis faire le lien avec le niveau 4 et avoir tout un ensemble de données. y compris qualitatifs qui vont me donner des retours précieux pour améliorer les prochaines sessions, par exemple de ce programme de formation, et pouvoir aller convaincre les commanditaires en disant Regardez, comme par hasard, on a surtout des résultats quand les managers s'impliquent, par exemple. Donc voilà, on va insister davantage sur certaines choses. et ça va permettre de faciliter le changement parce que les commanditaires ont tout intérêt, s'ils veulent davantage de résultats, s'ils veulent donc que le budget de formation soit encore utilisé de la manière la plus efficiente possible, ils ont tout intérêt à venir apporter leur soutien. Et puis d'un pack, donc Business Intelligence, via des rapports, donc on a des entreprises qui mettent en place vraiment une logique, on a des data analysts parfois, des analystes des données, donc voilà, qui vont venir connecter aussi, notamment pour répondre aux... aux impératifs de l'évaluation au niveau 4, vont venir connecter les systèmes d'information de l'entreprise, quels qu'ils soient, et de manière à pouvoir récupérer des données, récupérer des indicateurs, pouvoir analyser, pouvoir resituer ça aussi sur une forme de frise chronologique. On nous en tient, on a donné la formation pour tel groupe à tel moment, on va étudier des variations dans les indicateurs. On ne peut pas faire cela si on n'est pas un minimum équipé, et donc avoir cette logique de... de rapports, de passer par des API qui vont permettre de connecter aussi des solutions, des logiciels, des applications, etc. Et d'avoir aussi des personnes dédiées à cela, qui aient cette compétence de data analysis. C'est vraiment essentiel.

  • #0

    On a eu... peut-être deux populations de data analyst, ceux qui sont là en permanence au sein du peut-être l'équipe de formation ou l'équipe de ressources humaines qui travaille là tous les jours là-dessus, et une autre population où on dit, bon, il faut qu'on mette ça en place, on va prendre quelqu'un, peut-être une prestataire externe, ou on va prendre un alternant qui va vraiment travailler justement les API, les rapports, les visuels, les templates, les modèles de comment on va faire ça, et puis après, à partir de ça, on peut dupliquer par rapport projets de formation donc je trouve que ça pour moi c'est peut-être le côté le plus innovateur de tout ce qu'on a vu jusqu'à là quand je dis innovateur, plutôt au sens technologique dans l'enquête vraiment des évolutions très intéressantes pour lier le business avec justement les efforts de formation

  • #1

    Oui, tout à fait. C'est nécessaire. Ce n'est pas la compétence de mon point de vue la plus simple à acquérir. Non. Parce qu'il faut pouvoir se frotter aux statistiques, se frotter à un certain nombre d'outils informatiques. Ça demande vraiment une compétence qui est précieuse, mais qui, je pense, conseil carrière aux professeurs de la formation, je pense que ça va devenir quelque chose qui va être clé aussi pour se démarquer.

  • #0

    C'est sûr, c'est sûr.

  • #1

    On a le suivi de plan d'action, donc on a un peu déjà parlé aussi précédemment au niveau 3, mais c'est la même chose au niveau 4. L'idée, tu parlais tout à l'heure de formation côté client. Imaginons, on forme des populations plutôt à vocation commerciale. il y a une logique. C'est se dire, suite à la formation, tu vas surtout travailler telle ou telle compétence, tu vas donc mettre en œuvre tel ou tel comportement, tu vas bénéficier d'un dispositif de coaching, etc. Et puis derrière, forcément, on fait le lien en disant, toi, à ton niveau, tu vas surtout te focaliser sur tel et tel indicateur de manière à développer, je ne sais pas moi, le... ton chiffre d'affaires, le nombre de commandes, le nombre de clients que tu as pu contacter, etc. Donc les niveaux 3 et 4 sont toujours très liés dans les plans d'action parce qu'il y a vraiment ce que je fais, ce que je mets en œuvre. au niveau 3 et ce que j'obtiens en conséquence au niveau 4. Le niveau 4 n'est que la conséquence du niveau 3. Et enfin, ce serait dommage de faire tout cela sans aller présenter le fruit de nos efforts aux commanditaires. Quand on parle de commanditaires, pour rappel, on est vraiment au niveau de direction générale, direction opérationnelle, au niveau d'une direction qui a commandité, comme son nom l'indique, un projet de formation à fort enjeu. Ce serait dommage de faire tout cela pour à la fin faire un joli rapport PDF, l'envoyer par email en mettant pour information Non, l'idée, c'est qu'on puisse aller jusqu'à présenter les résultats. Généralement, on préconise aussi de négocier dès le début du projet, voire même de sortir les agendas et de dire, on se voit à quelle date pour présenter les résultats, au moins ça fixe une échéance dans le temps, et d'aller présenter cela tel des avocats qui iraient plaider, qui iraient... défendre la cause d'un projet de formation et de raconter l'histoire de son efficacité, de son impact. Et là, c'est quand même beaucoup plus vendeur.

  • #0

    Ça me rappelle aussi que souvent, on a vu le terme marketer la formation C'est-à-dire qu'on voit que vraiment... La présentation pour moi fait partie un petit peu de comment on fait un lien avec l'objectif, le troisième objectif qu'on avait vu, c'était de démontrer la valeur de l'effort de formation au sein de l'organisation. Et les présentations permettent justement de capitaliser là-dessus. On a eu même hier un participant qui a dit, nous on a fait une présentation. qui était bien apprécié. À partir de ça, on a fait une présentation sur la présentation, sur le projet. C'était qu'on a créé une présentation pour montrer aux autres commanditaires au sein de l'organisation comment nous on fait maintenant les projets de formation en fort enjeu pour les convaincre de notre capacité à mesurer l'impact, à rendre les formations efficaces. Et ça permettait justement de se faire un petit nom au niveau de ce qu'on est capable de faire dans le service formation. et vraiment pour moi ça rejoint ce terme de marketer l'information savoir comment communiquer de nos efforts que ce soit sur l'analyse des données ou sur les business case comme tu as dit pour montrer qu'on a un savoir-faire en formation peut-être que les gens ne savaient pas au préalable

  • #1

    Oui, exactement. Et c'est vrai que c'est dommage. On fait beaucoup de choses à la formation, mais on ne le met pas toujours en avant. Donc là, c'est quand même l'occasion de se rendre justice et d'aller démontrer un peu l'impact de ce que l'on a fait.

  • #0

    Bien, donc là on a fait une présentation sur des méthodes, sur des idées, sur les bonnes pratiques, d'une façon peut-être un peu plus micro, vraiment des idées que vous pouvez prendre pour vous selon les différents types de formations que vous avez, mais après il y a aussi la question du changement. Donc le changement, parce qu'il y a beaucoup de gens qui ont dit que ça ne se fait pas du jour au lendemain, n'est-ce pas Jonathan ?

  • #1

    Ah non, c'est clair. C'est clair. Je répète souvent que l'évaluation de la formation n'est pas un défi technique. C'est souvent et avant tout un défi culturel et organisationnel. C'est comment on embarque différents acteurs dans ce défi, comment on fait passer le message que le succès de la formation n'est pas de la responsabilité des seuls acteurs de la formation, etc. Donc il y a vraiment une question de changement culturel et organisationnel. et ce n'est pas juste le fait de remettre à neuf ces questionnaires d'évaluation, c'est bien plus large que ça

  • #0

    On a eu le cas hier de quelqu'un qui n'était pas au même stade du système d'évaluation, on était plus vers le début que vers la fin, néanmoins il était très intéressé par le sujet très impliqué et puis après on a eu quelqu'un qui était vraiment trois ans après dans le système et il a dit ton système à toi c'est du 5 étoiles on se demande comment on va faire ça et lui il a répondu ça se fait pas au jour du lendemain ça se fait au petit bout on peut pas faire tout ça tout de suite, c'est impossible tout ce que nous on fait là c'est grâce aux efforts qu'on a déployés depuis 3 ans

  • #1

    exactement tout à fait mais c'est ça il faut laisser le temps au temps et il y a cette expression ce proverbe un peu bizarre qui consiste à dire comment mange-t-on un éléphant morceau par morceau et c'est ça et au général hier lors de la masterclass de restitution pour les personnes qui ne participent pas à la phase qualitative de l'enquête il y avait effectivement cette personne qui présentait un système d'évaluation en France on buvait du petit lait avec Joss j'ai dit waouh qu'est-ce que ça fait du bien de voir ça parce qu'on se disait c'est quasiment mot pour mot ce que l'on aurait pu décrire dans nos rêves les plus fous en matière d'évaluation des formations mais effectivement il y a eu un investissement il y a eu du temps, il y a eu le fait de se dire ok on y va étape par étape on a une méga checklist et on va cocher les cases une à une mais on va se donner le temps de faire cela

  • #0

    Donc concrètement, on a vu qu'il y avait des choses qu'on peut faire pour accompagner le changement. Premièrement, par rapport au manque d'outils, qu'est-ce qu'on fait pour le manque d'outils ? Donc on a vu que vraiment il y a des outils internes et externes. Je pense qu'il faut savoir faire la différence entre externes et internes. Si vous pouvez externaliser, si vous pouvez prendre un outil... dédié à l'évaluation, c'est possible. Il y a des acteurs qui existent sur le marché francophone qui permettent de non seulement vous permettre de faire des enquêtes, des questionnaires, de faire des quiz, des tests de connaissances, mais jusqu'à ancrage mémoriel et comportemental. Ces plateformes existent, ils sont bien, voire parfois très bien, et qui peuvent justement être intégrés dans votre nouveau système d'évaluation. Mais par rapport à ça, c'est vrai que ça dépend de votre propre organisation, ça dépend des ressources que vous avez, l'investissement que vous pouvez mettre en termes d'argent et au niveau de temps, parce que ce n'est pas parce qu'on met en place un plat-tombe que ça marche tout de suite, Jonathan.

  • #1

    Ah oui, clairement, oui, oui. C'est, bon, tout à l'heure, on en parlait, l'évolution de toute ou partie du système d'information, c'est un chantier à chaque fois. Et se dire, tiens... Ce qui me semble raisonnable à ce niveau, si il fallait donner un conseil, ce serait de commencer par un pilote. Ce qui permet aussi de tester les plateformes, de tester les applications, de voir si la réalité est aussi belle que la vitrine. On commence par un pilote, on commence par un premier projet, un programme de formation. et puis on voit un peu ce que ça donne, on a des résultats, et puis tranquillement, on va aller, un, on teste la plateforme, et deux, tranquillement, on va aller convaincre aussi d'autres acteurs, d'autres commanditaires. On a toujours des commanditaires, des managers un peu plus pro-formation, et donc un peu plus volontaristes que les autres. On teste ce genre de système, et puis on y va progressivement. Et ça, on peut faire ça pour chaque niveau d'évaluation. Quel est le système que si on utilise des systèmes... des systèmes différents pour aborder l'ensemble des niveaux, qu'est-ce qu'on fait pour le niveau 1, qu'est-ce qu'on fait pour le niveau 2, qu'est-ce qu'on fait pour le niveau 3, qu'est-ce qu'on fait pour le niveau 4, et à la fin, comment on fait du lien entre tous ces niveaux.

  • #0

    Après, si vous ne pouvez pas externaliser, vous pouvez aussi utiliser les outils en interne. On a vu pas mal d'organisations qui ont dit que ce n'est pas possible d'externaliser, donc ils sont obligés de faire avec des outils à bord. C'est vrai que la plupart des organisations, ils ont Microsoft, il ne faut pas se leurrer, ils ont Microsoft, donc ils sont obligés d'utiliser les outils de Microsoft, mais ils peuvent le faire, donc ils peuvent quand même... J'ai envie d'aider à industrialiser un petit peu les outils Microsoft, c'est-à-dire qu'ils peuvent au lieu de juste faire des choses avec un document Word comme questionnaire pour après le mettre dans un fichier Excel qui prend un temps fou. Non, ce n'est pas ça, c'est plutôt utiliser Microsoft Forms, voir jusqu'à un lien des données recoltées avec Power BI, qui est le système d'analyse de données, de recoltes de données chez Microsoft dans les grandes organisations.

  • #1

    complètement et c'est vrai que je vais faire mon mea culpa parce que pendant des années je Pour moi, c'était une forme d'aveu d'échec de dire tiens, j'utilise Microsoft Forms ou Google Forms, etc. parce que je me disais oui, mais c'est vraiment… C'est un peu comme SurveyMonkey, on se disait oui, mais c'est quelque chose qui n'est pas adapté, c'est trop générique, etc. alors c'est vrai qu'on peut l'utiliser comme ça de manière très générique par contre comme tu le dis si on peut profiter de tout l'écosystème Microsoft si on prend l'exemple de Microsoft on pourrait avoir des logiques similaires avec d'autres éditeurs mais on peut avoir Microsoft Forms pour les questionnaires. Donc là, on voit que ça permet quand même de répondre à pas mal de choses au niveau 1, 2, voire 3, voire 4, etc. Enfin, 3 sûrs et voire 4, si on fait aussi du déclaratif. au niveau 4, on collecte les données, on peut automatiser tout cela, donc on a Power Automate de Microsoft qui permet aussi d'avoir des workflows qui permettent d'aller alimenter tout cela, d'aller personnaliser les questionnaires en fonction de données liées aux formations, etc. D'aller ensuite injecter ces données dans Power BI, donc d'avoir des rapports qui soient automatiques, qui puissent être communiqués automatiquement et qui peuvent être utilisés à différents acteurs, différentes parties prenantes. Bref, il y a tout un système à penser. C'est pour ça que tout on parlait vraiment d'une compétence qui est précieuse, mêlant les outils informatiques, l'analyse de données, etc. Mais quand on a quelqu'un, soit en interne, soit sous forme de prestataire qui peut venir réaliser cela, franchement, c'est que du bonheur. Là, on passe à un autre niveau et effectivement, ça ne justifie plus ou en tout cas, ça justifie beaucoup moins le fait de faire appel à des solutions externes. Alors, pour la collecte des données et l'analyse, j'entends. Par contre, pour la partie coaching, ancrage, etc., ce n'est pas ça qui fera le travail.

  • #0

    Oui, oui. Bien, donc vraiment des choses très intéressantes au niveau des outils, que ce soit externe ou interne, on voit des possibilités, que vous soyez bloqué d'un ou de l'autre côté, il y a des choses à faire. Il ne faut pas se dire qu'on ne peut rien faire avec ce qu'on a, non, vous pouvez, et puis après vous avez des solutions externes aussi, là justement si vous avez des possibilités pour vous aider. Alors après, j'ai envie de dire qu'on veut un peu travailler sur les acteurs, les rôles, les gens. Donc au niveau culturel, le changement, forcément, c'est vraiment une question de gens. Donc on a les gens au sein du service formation, on va en parler après. Et puis après, on a des gens autour du service formation, les différents acteurs qui jouent un rôle très important dans la réussite d'une formation. commençons par les commanditaires je pense Jonathan c'est comment travailler avec des gens haut placés au sein d'une organisation qui sont souvent peu connaissants de ce que fait la formation peut-être assez exigeants avec ce qu'ils veulent et puis peut-être aussi pas très aidant je ne sais pas si c'est le mot mais qui n'aide pas beaucoup les efforts aussi des services de formation aussi oui alors

  • #1

    là c'est là c'est clair il n'y a pas de solution miracle pour Déjà, c'est parler le même langage que les commanditaires. Donc, c'est sûr que si on arrive et qu'on leur parle pédagogie, tant mieux pour nous si on tombe sur des commanditaires qui sont intéressés par ces questions. En réalité, ils ont quand même d'autres chats fouettés. Ils ne peuvent pas s'amuser à parler le jargon spécifique de chaque fonction. Donc, forcément, il faut parler stratégie, il faut parler performance, il faut parler business, etc. Et s'intéresser à l'actualité de l'entreprise. Donc, essayer de venir discuter avec eux. partout où cela sera possible, de venir se tenir au courant de l'actualité, de parler des projets en cours, de proposer ces services aussi pour... pour répondre à tel ou tel chantier, tel ou tel projet. Parfois, on a la chance d'être invité au Codire pour défendre cela, pour avoir des données qui vont nous permettre d'avoir un plan de développement des compétences qui tiennent compte d'éléments stratégiques. Parfois non, parfois on va se retrouver dans des groupes de travail. L'idée, c'est de pouvoir les rencontrer le plus possible, d'être dans leur périmètre, on va dire leur écosystème, d'être visible. et d'avoir à la fois des données qui permettent de cadrer nos formations, nos orientations de formation, et aussi de pouvoir leur présenter des données qui les intéressent. Et ce qui les intéresse, ce ne sont certainement pas les niveaux 1 et 2. Donc voilà, il y a à la fois l'amont, comment on peut se rapprocher d'eux pour avoir des informations, pour avoir pourquoi pas leur participation dans certains cas. pour définir des orientations stratégiques en matière de formation et en aval. Il y a aussi qu'est-ce que l'on va leur présenter comme résultat qui les intéresse.

  • #0

    Je pense que justement, s'il n'y a pas de contact entre le service formation et les commanditaires, les parties prenantes, j'ai vu, on avait vu le cas d'une personne qui a dit, moi il y a deux ans, j'ai pris rendez-vous avec les différents membres du COMEX pour demander, j'ai envie de vous rencontrer pour savoir si mes formations, mon offre de formation est en alignement avec votre stratégie. Donc, est-ce qu'on peut prendre rendez-vous pour en discuter, pour voir si j'ai les bonnes formations pour vous. et donc du coup les membres du COMEX ont dit oui ils ont discuté et ça permet de justement ouvrir un peu les chakras ouvrir un peu les vannes pour faciliter la communication ce qui a fait que un an après il est revenu avec justement des éléments plus quantitatifs et qualitatifs par rapport à ce qui se passait les membres du COMEX ils ont beaucoup apprécié après ils ont fait venir les N-1 donc les gens plus en contact avec les apprenants pour participer et ça fait en effet des boules de neige mais tout ça, ça a commencé par l'effort de ce responsable nation qui a fait l'effort de contacter pour vraiment voir si tout allait bien par rapport à son offre à lui exactement c'est courageux et c'est bien mais bon,

  • #1

    c'est courageux parce que la réponse pourrait être pourrait être que non, qu'il y a beaucoup de choses à revoir mais en même temps on le rappelle souvent, il ne faut pas se leurrer, même si on n'est pas aussi courageux que ce responsable formation, l'évaluation de l'intérêt de notre fonction se fait quand même. Et que les dirigeants discutent, etc. Et puis, on ne peut pas mettre la poussière sous le tapis éternellement. Et un jour, on apprend que finalement, on va externaliser toute ou partie de la fonction de formation. donc voilà il vaut mieux avoir un discours clair et se dire je me pose des questions, je veux améliorer les choses j'ai besoin de vous et ça ne pourrait être qu'apprécié forcément

  • #0

    Après, il y avait les managers. Tu en as un peu parlé dans les freins, les freins pour réussir un système d'évaluation. C'est quand même une population très importante.

  • #1

    Oui, tout à fait. Les managers, le grand classique dont on parle souvent et dont je parle dans mon livre, d'avoir des protocoles, des dispositifs du type 505. Le 505, c'est considéré, la première 5 collaborateurs et managers peuvent discuter au moins 5 minutes avant la formation, pour préciser le besoin, les objectifs, dans quel contexte la personne va aller se former, etc. Deuxième chiffre, le zéro, donc zéro minute pendant la formation, faire en sorte que le manager laisse son collaborateur bénéficier, profiter de la formation. donc ne le sollicite pas le troisième chiffre donc 5, 5, 105 le dernier 5 c'est justement de débriefer au moins pendant 5 minutes post formation pour discuter juste en plan d'action qu'est-ce qu'on va pouvoir mettre en oeuvre comment le manager peut être utile etc Donc ça, ça se fait bien, ça se communique, c'est pareil, on commence toujours par les managers pro-formation, et puis progressivement, on augmente la population, on va dire l'échantillon concerné. pour commencer à intéresser un peu tout le monde. Mais il y a tellement de choses à dire sur les managers. Pourquoi aujourd'hui ils n'ont pas le temps ? Est-ce qu'ils sont aussi évalués, promus, rémunérés pour faire ce travail ? Ça peut remettre en cause tellement de variables du système de management que c'est la même chose. Je pense que commencer par un pilote et y aller progressivement, identifier les freins. ensuite aller toquer à la porte de la direction de la direction des ressources humaines commencer à poser des questions aussi sur ce que l'on attend des managers, c'est quoi la charte managériale etc, comment ils sont aujourd'hui évalués ça ouvre le champ des possibles de façon assez importante mais ça sera nécessaire aussi je sens qu'on va faire un épisode du podcast que là dessus ouais franchement ça vaudrait la peine et aussi a-t-on besoin des managers pour l'efficacité des formations parce que voilà moi aussi c'est mon leitmotiv c'est de me dire trop compliqué on peut aussi se focaliser uniquement sur les apprenants ça j'y crois beaucoup ça n'est pas forcément plus simple mais par contre dans certains cas c'est nécessaire

  • #0

    après il y avait donc les formateurs et les prestataires de formation je sais que vous êtes nombreux aussi de travailler au sein de l'organisme mais vous êtes aussi avec des formateurs interne externe des acteurs importants dans l'évaluation ouais clairement

  • #1

    assez... c'est important qu'eux comprennent aussi ce que l'on attend en termes d'évaluation que l'évaluation ne va pas se limiter au niveau 1 et 2 donc justement à ce qui se passe dans la salle de formation qu'elle soit physique ou virtuelle mais voilà que eux comprennent aussi comment on peut qu'est-ce que l'on peut évaluer au niveau 1 et 2 au-delà de la seule satisfaction et de la seule acquisition de connaissances tiens c'est intéressant et on en parlait hier d'ailleurs une responsable formation qui me qui nous faisaient un retour à ce sujet, nous préconisent souvent d'aller évaluer la confiance. Donc la confiance, elle est dans le bout de deux du nouveau modèle Cœur Patrick. Est-ce que je me sens confiant, confiant pour mettre en application, une fois de retour au travail, ce que j'ai appris durant cette formation ? C'est une technique d'évaluation en soi, mais il faut que le formateur, il soit formé, en tout cas qu'il soit préparé à faire ça, voire qu'il soit outillé, parce que ça donne des informations très intéressantes sur les possibles freins qu'il va y avoir au transfert des acquis. Donc, les identifier pendant la formation, aller évaluer cela, aller poser des questions. On a besoin des formateurs pour avoir ces données.

  • #0

    J'ai envie de dire que l'évaluation pour un formateur ou pour un prestataire, ce n'est pas pour juger la qualité de son travail, c'est pour préparer l'apprenant justement pour la suite aussi. On est d'accord ?

  • #1

    Exactement. Oui, tu fais bien de le préciser. D'ailleurs, nous, on se bat contre les évaluations de niveau 1 qui ressemblent à des questionnaires de jugement des formateurs. L'idée, c'est qu'on veut s'assurer que l'évaluation… Pardon. pas l'évaluation, l'apprenant, soit dans les meilleures conditions possibles pour apprendre et donc performer derrière, transférer ses acquis, etc. Et donc voilà, comment le formateur peut être partie prenante de cela ? Parce que je pense qu'il n'y a rien de plus, on va dire, satisfaisant aussi pour le formateur. que de se dire que les apprenants qu'il a pu former, qu'il a pu avoir en formation, ont mis en pratique, ont pu bénéficier de la formation, etc. Donc il faut voir l'évaluation non pas comme un acte de jugement, mais comme un levier pour améliorer l'efficacité des formations que l'on propose soi-même en tant que formateur.

  • #0

    Et les gens qui pratiquent l'évaluation pensent comme ça, justement. Ils pensent que c'est ça qui est le plus important. plus ou aussi important que justement la qualité de ce qui se passait dans l'action. Bien. Et donc après aussi, les apprenants, forcément, il y a les apprenants, quel est le rôle qu'ils jouent dans l'évaluation, que ce soit pendant l'information ou dans les efforts pour la mise en place ?

  • #1

    Oui. Alors, les apprenants, je pense que les apprenants ne sont pas J'ai cet a priori, mais je ne pense pas me tromper. Je considère que les apprenants ne sont pas particulièrement intéressés par l'évaluation des formations. Ce n'est pas ce qui les empêche de dormir la nuit. Donc, il faut quand même pouvoir leur expliquer pourquoi on évalue les formations et surtout, encore une fois, rappeler que l'évaluation en soi ne sert à rien et qu'en fait, on évalue parce que l'on veut maximiser l'efficacité de la formation. Et en tant qu'apprenant, j'ai plutôt intérêt... à participer à une formation, parce que moi-même, je vais y consacrer du temps, de l'énergie, des ressources, etc. J'ai plutôt intérêt à ce que celle-ci porte ses fruits. Donc, leur présenter le dispositif d'évaluation. comme étant intrinsèquement intéressants pour eux, pour qu'ils puissent vraiment bénéficier de la formation. Donc, on fait la formation, et à part il y a une espèce de fil rouge parallèle qui est celui de l'évaluation. Non, l'évaluation est partie intégrante de la formation. Ce sont des séquences pédagogiques dédiées, ce sont des activités pédagogiques. Le fait d'évaluer le niveau 3, d'évaluer le transfert des acquis, c'est une activité pédagogique en soi. et donc leur présenter tout le dispositif comme une forme de turbo pour les moteurs je vais faire cette analogie mais c'est un turbo que l'on vient mettre sur le moteur des voitures pour accroître ses performances donc l'évaluation est un turbo qui vient accroître la performance de la formation je pense qu'il faut l'expliquer via différents médias aux apprenants afin qu'ils prennent conscience de l'importance de l'évaluation

  • #0

    Ça peut être des vidéos, ça peut être des explications par le formateur, ça peut être des présentations au début d'une formation via le commoditaire, le sponsor qui vient. Mais c'est essentiel qu'il y ait cet effort de communication pour que les apprenants comprennent qu'est-ce qu'on attend d'eux dans la formation et aussi par la suite.

  • #1

    Exactement, oui, tout à fait. Et c'est ça, et d'ailleurs, on en parlait précédemment, le formateur, on attend aussi cela de lui, c'est qu'il puisse présenter. Alors, nous, on doit lui fournir les éléments, mais qu'il puisse présenter, rappeler l'importance de l'évaluation, rappeler le fait qu'on n'est pas en train d'évaluer les personnes en tant que telles, que ce n'est pas focalisé sur le formateur, mais qu'encore une fois, on veut s'assurer. que tous les ingrédients d'une recette potentiellement efficace sont réunis.

  • #0

    donc c'est vraiment en ce sens qu'il faut présenter les choses on a eu le cas hier justement une responsable qui disait que elle essaie d'organiser des réunions de mise en application tu te souviens et que en fait en soi elle savait que si les gens ne venaient pas dans les réunions c'est parce qu'ils n'avaient pas mis en application donc rien que se présenter pour être dans la réunion voulait dire qu'il y avait un effort de transfert pour suite à l'information

  • #1

    ouais ouais ouais moi je trouve ça très positif je préfère ça plutôt que le mode entre guillemets école des fans où tout est parfait, on se réunit et puis tout le monde était très content et puis c'est génial et puis en fait on n'en fait rien donc je préfère être exigeant parce que de toute façon l'efficacité d'une formation est exigeante, donc il faut être aussi exigeant avec les apprenants, il ne faut pas croire que ça va se faire sans effort sans investissement sans implication de leur part, et donc s'ils veulent les résultats, c'est comme tout il va falloir aussi qu'ils mouillent la chemise, qu'ils mouillent le maillot si je puis dire donc pour moi je suis complètement à l'aise avec ça

  • #0

    Pour finir sur les acteurs et les gens qui travaillent dans l'évaluation, forcément il y a les équipes de formation. Le service de formation au sein de l'organisation. Ça peut aussi vouloir dire pour les académies en interne, les organismes de formation à l'externe, les charges de formation, les concepts pédagogiques, tout le monde qui travaille dans la formation. et là on a vu qu'il y avait une forte différence entre quelqu'un qui s'occupe de l'évaluation qui est tout seul dans son équipe et lorsqu'il y a une vague de gens qui travaillent tous dans le même sens c'est

  • #1

    radical ça n'a rien à voir on a pu l'expérimenter toi et moi encore récemment je pense à des... à des clients donc pour des sessions intra-entreprise ça n'est pas du tout la même chose lorsqu'on forme 8, 10, 12 personnes et qui ensuite ont un langage commun ont des pratiques en commun situent une communauté de pratiques en interne un groupe de travail avance et puis justement commence à cocher les cases de tout ce plan d'action pour dire voilà dans 3 ans on en est là on a ce système d'évaluation parfait ou quasi parfait et en attendant voilà on refait nos questionnaires d'évaluation, on outille, on a le bon discours vis-à-vis des commanditaires, vis-à-vis des managers, on communique de la bonne manière, on présente les résultats de la bonne manière, etc. Voilà, ça n'est pas du tout la même chose. Il faut des compétences, et puis, oui, il faut y aller en rang serré, de manière... on va dire en collectif et là les résultats sont complètement différents parce qu'on peut voir la résistance de la part des chargés de formation aussi,

  • #0

    il ne faut pas se leurrer il y a des gens qui travaillent dans la formation qui ne voient pas l'utilité ou l'importance des évaluations comme d'autres et donc ça travaille aussi au sein de l'équipe même au sein des groupes en intrat dont tu parles on voit des chargés de formation qui sont un peu résistants

  • #1

    oui en fait comme c'est un changement il y a toujours de la résistance au changement à différents degrés et ça ne concerne pas tout le monde mais nécessairement on va venir bousculer des habitudes on va venir changer des postures ça va demander de renouveler, de changer ses méthodes de travail, ses pratiques c'est déstabilisant mais par contre qu'est-ce que c'est gratifiant derrière on le voit voilà on a des personnes qui sont dithyrambiques, qui sont extrêmement positives et qui se disent Voilà, on a révolutionné la mer de fer. Et qui, sans entrer dans les détails, pour des questions aussi de confidentialité... mais dans des entreprises où il y avait quand même des difficultés économiques, où on avait aussi des personnes qui se posaient des questions, là on ne se pose plus trop la question de l'intérêt de la fonction formation, parce que ça devient vraiment quelque chose qui n'est pas juste un centre de coût, c'est vraiment un centre de profit, mais en tout cas quelque chose qui démontre sa contribution. à la performance de l'entreprise, qui vient en soutien des opérationnels, etc. Donc ça change complètement le positionnement et la posture des gens qui occupent cette fonction.

  • #0

    Nous, on voit un lien très fort entre la professionnalisation des équipes de formation et notre certification Bronze CAC Patrick. Donc là, si vous voyez les slides, il est marqué Bronze Level, mais je vous rassure, c'est en français comme c'est en anglais, il n'y a pas de souci. Et donc, c'est beaucoup plus facile pour des responsables de formation qui sont en interne ou externe, qui sont pré-hookés par l'évaluation, de passer... Les équipes passent cette certification pour justement favoriser, comme disait Jonathan, le langage commun, avoir la même conviction, un changement de paradigme dans les gens pour se rendre compte sur quoi il faut se concentrer. Plein de bénéfices pour permettre de favoriser justement cet accompagnement au changement au sein de l'organisation. C'est quelque chose que nous, vraiment, on vous propose de le faire au début d'un processus de changement.

  • #1

    n'est-ce pas j'en attendais pas pas à la fin oui complètement oui oui il faut c'est pour avoir déjà vécu le cas contraire moi je me souviens d'une cliente il y a quelques années qui disait oui mais je ne suis pas certain en fait je ne suis pas certain de l'intérêt de suivre la formation j'ai déjà suivi les formations sur l'évaluation etc et donc on a monté un groupe de travail et tout au long du groupe de travail honnêtement on a mis peut-être sérieusement, trois ou quatre fois plus de temps parce qu'il fallait toujours expliquer les choses, il fallait toujours revenir sur le sens des mots, les concepts, etc. Alors que, et elle-même l'a avoué à la fin, elle a dit en fait, oui, je comprends maintenant pourquoi tu disais ça. En fait, on aurait dû se former dès le début. Mais c'est normal, en fait, il faut des grilles de lecture commune, il faut un langage commun, il faut des réflexes aussi, il faut positionner correctement les notions, les concepts, etc. sinon à chaque fois on perd du temps c'est le meilleur investissement que l'on puisse faire c'est de bien démarrer pour ensuite se dire maintenant en plus on a la visibilité sur ce que l'on veut faire, sur ce que l'on peut faire là où l'on veut aller etc mais c'est nécessaire d'avoir ça au début

  • #0

    Si ça vous intéresse, on fait une formation d'entreprise à Paris le 18 et 19 avril. Il y a encore un peu de place. Donc, si vous nous écoutez ou si vous voyez cette présentation, n'hésitez surtout pas à nous solliciter pour prendre place pour cette certification. Vous allez aussi trouver des dates pour le deuxième semestre. Et puis, vous pouvez aussi nous solliciter pour mettre en place. une session en interne chez vous, en intra, pour toute une équipe de chargés ou de responsables ou de formations ou de formateurs même, et puis de responsables pédagogiques et de concepteurs pédagogiques aussi. Merci beaucoup d'avoir écouté ou d'avoir vu la présentation jusqu'à là. Ça fait très, très plaisir avec Jonathan de faire cette enquête. On se demande si on va faire une espèce de baromètre pour les années à venir pour savoir si les choses changent. Mais en tout cas, nous, on est très sécurisés. Je ne sais pas si c'est le bon mot, sécurisés, confortés. Confortés de voir que les choses évoluent dans le métier de la marche de l'évaluation. Et ça nous réjouit pour le futur.

  • #1

    Oui, complètement. Et avec plaisir pour ce baromètre.

  • #0

    Bon, allez, on va le faire. Écoutez, on vous envoie, pour ceux qui s'intéressent, on a des slides, on va travailler aussi sur les infographies, on va partager des posts, donc on va continuer à informer par rapport à cette enquête, ce projet qu'on a fait pour le futur. Merci Jonathan et à très bientôt.

  • #1

    Merci Joss, à bientôt.

  • #0

    Sous-titrage ST'501 Merci.

Description

Dans ce nouvel épisode de Retour sur les Attentes par Evaluationformation.fr, Joss et Jonathan présentent et commentent quelques résultats de l'étude qu'ils ont menée récemment sur les pratiques d'évaluation des formations en 2023.


Entre autres objectifs, cette étude visait à démocratiser les bonnes pratiques en matière d'évaluation des formations et de permettre aux professionnels d'apprendre et de capitaliser sur ces résultats pour améliorer leurs propres pratiques.


Cet épisode est aussi consultable sur Vimeo, dans une version vidéo avec partage du support de présentation : https://vimeo.com/928882775?share=copy


Retrouvez également un article dédié sur notre blog avec plusieurs éléments de réflexion et d'analyse : https://evaluationformation.fr/pratiques-evaluation-formations-2023/


Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

  • #0

    Bonjour tout le monde, bienvenue à cette vidéo et à ce podcast qu'on publie en même temps. C'est sur le panorama des pratiques d'évaluation de la formation selon les quatre niveaux du modèle capatrique. Tout ça, c'est basé sur des enquêtes qu'on a faites fin d'année 2023, début d'année 2024. Je suis là aujourd'hui avec Jonathan Potier. Comment tu vas, Jonathan ?

  • #1

    Très bien, Joss, et toi ?

  • #0

    Moi, je vais très bien. Je suis content. J'imagine comme toi aussi, parce qu'hier, justement, on a présenté les résultats à quelques participants de l'enquête et je trouve que ça s'est très bien passé. Qu'est-ce que tu en as pensé ?

  • #1

    Oui, c'était vraiment super intéressant. vraiment ravi de cette restitution et de cet échange en voyant aussi que voilà on va en reparler mais ce que l'on préconise depuis des années est mis en oeuvre dans certaines entreprises et que ça porte ses fruits donc ça c'est vraiment très très intéressant ça fait du bien ah oui ça fait du bien franchement j'ai passé une excellente soirée une excellente nuit super

  • #0

    Alors, l'objectif aujourd'hui, c'est de présenter ça à tout acteur qui travaille dans la formation et qui est intéressé au sujet de l'évaluation. Du coup, pour vous, aujourd'hui, nous avons trois sections de la présentation. Premièrement, on va vous présenter les résultats des enquêtes, comment on a fait concrètement. Puis les meilleures pratiques par niveau, donc pour les quatre niveaux, quelles sont les bonnes pratiques, quelles sont les méthodes qu'on voit carrément sur le terrain. Et on va finir par comment accompagner les changements au sujet de l'évaluation dans l'organisation, donc au sens plus large, comme les gens le font concrètement. Voilà, donc on va commencer par les résultats. On a eu deux types d'enquêtes. On a eu une enquête quantitative. Alors, on l'a fait à la fin de l'année 2023, début 2024, donc ce n'était pas un moment le plus propice d'avoir beaucoup de réponses. Néanmoins, on est plutôt satisfait avec 68 réponses pour l'enquête quantitative. Donc, il y avait... Une vingtaine de minutes pour répondre à l'enquête avec plein de questions au sujet de l'évaluation. On avait fait avec une petite plateforme de questionnaire. 50% des réponses sont provenues d'entreprises de plus de 1000 employés. Donc ça, c'était vraiment la cible pour nous, parce qu'au niveau organisationnel et au niveau méthode, on voulait vraiment cibler les grosses organisations. C'est là qu'on sait que les gens en ont le plus besoin par rapport au modèle pour les quatre niveaux. Et puis, au niveau d'où les répondants ont été basés, 80% étaient en France. On a eu aussi des réponses en Suisse, en Belgique, en Maroc et aussi au Québec. Donc, on s'est concentré que sur la partie francophone, mais on était content de voir aussi qu'il y a beaucoup de choses qui se passent en dehors de la France. Alors, bien sûr, 97% de la population est française. La plus grande majorité travaille dans la formation, mais on a vu que les gens qui s'intéressent au sujet de l'évaluation sont souvent ceux qui travaillent depuis longtemps. C'est-à-dire que je me fais l'idée qu'on s'intéresse à l'évaluation peut-être normalement un peu plus tard dans la fonction formation, peut-être pas au début. C'est là qu'on voit que tout ce qui est efficacité et impact prend son sens lorsqu'on est là depuis un peu plus de temps. Donc du coup, comme on avait basé le questionnaire sur le modèle, on avait vu que les gens connaissent bien ou très bien le cas Patrick, 70%. et on était très content des résultats et puis après on a complété avec un enquête qualitatif c'est-à-dire qu'on a choisi des répondants et on leur a proposé de faire des enquêtes des entretiens d'à peu près une heure pour mieux explorer ce qu'ils font en interne donc on a eu neuf entretiens en tout d'une heure avec des responsables de formation des grosses organisations pour mieux comprendre les méthodes qu'ils mettent en place, mais aussi au niveau organisationnel, comment ils ont fait, comment ils convainquent les gens, les acteurs, de s'y prendre au niveau évaluation. Et puis, juste pour vous dire, six ont eu une expérience significative avec les formations côté client. Donc, quand je dis côté client, c'est-à-dire que les gens sur le marché, les clients d'entreprises ou des patients, sont vraiment... C'était assez intéressant parce que souvent ils sont là qui sont très intéressés par l'impact aussi des formations. Donc ça, c'est comme on a fait. Après, je passe la main à Jonathan qui va présenter les trois prochains slides au niveau des résultats quantitatifs. Je te laisse la main, Jonathan.

  • #1

    Oui, merci, Joss. Alors, on a un certain nombre de données quantitatives à partager. Ici, on va se focaliser sur quelques éléments, quelques données. assez significatif, quelques résultats. On partagera de manière plus large d'autres données quantitatives dans un support qui sera accessible sur le site évaluationformation.fr. notamment pour remercier les 68 répondants, 68 personnes qui ont participé à l'enquête. On avait une question sur les objectifs visés, alors non pas par la formation, parce qu'on répète sans arrêt, Joss et moi, que... Il est important d'avoir des objectifs clairs lorsque l'on veut évaluer les formations, mais là, on parle des objectifs visés par l'évaluation. Pourquoi évaluer ces formations ? Quels objectifs on peut assigner, attribuer à son système d'évaluation des formations ? et on a listé dans l'enquête une dizaine, dix, je crois précisément, d'objectifs potentiellement visés par les organisations qui évaluent leur formation. Et les trois objectifs arrivés en tête sont ceux-ci. Le premier est donc le fait d'améliorer l'efficacité des formations présentes et à venir. Donc, il y a une vraie logique d'amélioration continue. Ça, c'est très intéressant parce que, je répète, a l'envie qu'évaluer ses formations, ça ne sert à rien. Évaluer pour évaluer, ça ne sert à rien. On doit, à minima, évaluer pour améliorer, pour enclencher des actions, pour s'améliorer en continu. Le deuxième objectif, c'est montrer l'impact des formations sur les résultats de l'organisation. Donc là, il y a une véritable logique en termes de démonstration, justement, de l'impact. des formations. Quand on pense impact et que l'on traduit dans le modèle Kirkpatrick, on est au niveau 4, voire au niveau 3 également. Et le troisième objectif visé dans l'ordre, c'est de démontrer la valeur de la formation. C'est assez lié au second. Et on voit qu'on a vraiment un très fort focus, une très forte orientation sur les questions d'impact des formations, de valeur ajoutée de la formation. Donc encore une fois, on n'est pas scotché au niveau 1 et 2. On est vraiment dans une logique où on cherche à démontrer l'impact des formations sur les individus et sur les collaborateurs, donc niveau 3, et sur leur organisation, donc niveau 4.

  • #0

    Est-ce que, ce n'est pas la première fois que toi tu fais des enquêtes dans l'évaluation, je sais qu'on a fait certaines dans le passé, est-ce que tu as vu des changements justement par rapport à ces objectifs ?

  • #1

    Oui, alors clairement, tu as raison, il y a clairement des changements, c'est vrai qu'il y a un certain nombre d'années, je crois que j'avais commencé en 2010, on voyait que ce qui ressortait c'était… On va dire beaucoup plus focalisé sur la formation elle-même, où on cherchait à, par exemple, améliorer le programme de formation, à mieux sélectionner les prestataires. On voulait faire des... des sortes de trip advisors de la formation où on voulait pouvoir noter ses prestataires, ses formateurs, ses formatrices avec des petites étoiles, etc. C'était ça qui comptait avant tout. Et aujourd'hui, on voit que le curseur s'est déplacé et qu'on est davantage focalisé sur les questions d'impact. Donc ça, c'est une très bonne nouvelle parce que se focaliser uniquement sur les prestataires... Voilà, le prestataire n'est qu'une partie de la réponse, n'est que l'un des éléments qui peut être à l'origine de l'efficacité de la formation, mais ça n'est certainement pas le seul. Donc ça, c'est intéressant de prendre de la hauteur et de s'intéresser aux questions relatives au niveau 3 et 4. c'est super ok donc après on a posé la question sur les obstacles ou des freins ouais tout à fait donc on a les objectifs d'abord et ensuite maintenant qu'est-ce qui empêche les participants à l'enquête d'aller plus loin aussi dans leur pratique d'évaluation des formations et donc en premier on a le manque de temps peu de temps à consacrer à l'évaluation des formations, donc ça c'est un grand classique, et pas uniquement dans l'évaluation des formations on n'a jamais le temps de rien c'est un peu le simple c'est ça donc forcément on a x actions de formation à gérer, on a plein de choses on a pour les personnes concernées on a Calliope, enfin bref il y a énormément de choses et donc l'évaluation se dit quand est-ce que l'on peut y accorder du temps et donc de l'importance. Deuxième obstacle ou frein, c'est le manque d'implication des managers. C'est la même chose, ça c'est un grand classique. Ils ne sont pas suffisamment engagés dans le processus d'évaluation des formations. Les pauvres managers, on leur demande souvent de faire beaucoup, beaucoup, beaucoup de choses. Et on leur rajoute en plus le fait de participer à l'évaluation, d'accompagner leurs collaborateurs dans la formation, etc. Donc on voit que ça, c'est une difficulté majeure. Et le troisième point, c'est toujours étonnant de le constater alors que le marché nous propose beaucoup de choses qui permettraient de lever cet obstacle, ce frein, c'est le manque d'outils appropriés. L'absence d'outils spécifiques ou adaptés qui compliquent la mise en place d'évaluations efficaces. donc ça voilà on le voit dans l'enquête c'est la plateforme LMS qui ne permet pas de faire l'évaluation des formations j'ai pas d'outils,

  • #0

    je fais encore tout sous Excel etc est-ce que ce manque d'outils Ce n'est pas que parce qu'ils ne savent pas que les outils existent. C'est aussi pour des raisons de budget ou de contraintes d'utiliser, comme tu dis, l'NMS ou des problèmes avec l'informatique, etc. Ce n'est pas que ne pas savoir qu'il y a des plateformes qui existent pour l'évaluation.

  • #1

    Oui, tu as raison parce que c'est vrai que c'est fréquemment indiqué dans l'enquête. on a des personnes qui se plaignent de leur plateforme on ne citera pas de nom mais il y a des gens qui reviennent souvent et en disant je voudrais pouvoir utiliser telle ou telle plateforme ou faire ceci ou faire cela donc comme tu le dis tu as parfaitement raison ça n'est pas nécessairement un manque de connaissances quant aux outils du marché c'est aussi des questions de budget, c'est beaucoup aussi de questions liées à la sécurité des données. On sait que la DSI a son mot à dire dans le choix des plateformes, etc. Donc, ça n'est pas simple de mettre en œuvre une plateforme. C'est encore moins simple, donc c'est encore plus compliqué de la changer. Parce qu'une fois qu'on l'a mise en œuvre, on sait à quel point c'était douloureux. Souvent. et donc derrière dire finalement ça ne répond pas exactement aux cahiers des charges en tout cas à nos besoins actuels et donc on va en changer et là on voit que c'est très compliqué donc forcément oui c'est un obstacle et en fait on le comprend assez aisément on va en parler sur les outils un peu après donc après les niveaux de capacité à évaluer Ah oui, alors ça c'est on pose la question j'ai envie de dire un peu pour la forme parce que souvent on s'attend à la réponse et puis bon là c'est un peu la même chose alors je dis pour la forme en rigolant parce que en posant cette question, ça nous permettait d'adapter le questionnaire derrière non pas de l'adaptive learning, mais de l'adaptive evaluation. Voilà, si le répondant coché, voilà, j'évalue les niveaux 1, 2, 3, derrière, tac, on ouvrait les pages de questions sur le niveau 1, 2, 3, etc. Et pas sur le niveau 4, par exemple. Donc ici, on voit que ce qui est surtout évalué, c'est le niveau 1. On est à 87% des répondants, le niveau 2 82%, le niveau 3 57%, alors on voit qu'on trébuche un peu, et puis le niveau 4 31%. Donc c'est un grand classique, c'est-à-dire que plus l'on progresse dans la hiérarchie des niveaux de cœur patrique, moins l'on évalue. Et le grand paradoxe, et si on lit cela avec la question des objectifs que l'on a vus précédemment, c'est que l'on évalue finalement ce qui a... on va dire le moins d'importance, on évalue surtout ce qui a le moins d'importance pour répondre à ces objectifs où l'on parle d'efficacité, d'impact, de valeur, etc. Ce n'est pas au niveau 1 et 2 que l'on a des données à ce niveau. Les niveaux 1 et 2 renseignent surtout sur les éléments pédagogiques liés à la qualité de la formation. Mais ce sont bien les niveaux 3 et 4 qui apportent des données intéressantes quant à l'impact des formations. Donc là, il y a un paradoxe.

  • #0

    ce qu'on voit aussi c'est un grand classique ce qu'on ne voit pas c'est que on essaie de préconiser une grande variété de méthodes par niveau et là on ne prend pas en compte dans ce tableau là la variété, c'est-à-dire que si on fait du niveau 3 avec une enquête à froid, c'est compté. On est d'accord que c'est pour nous en tout cas, quelqu'un qui travaille dans l'évaluation, faire une enquête à froid pour le niveau 3, ça ne suffit pas, mais on compte quand même dans ce visuel-là.

  • #1

    exactement et c'est vrai que tu as raison de souligner ça on le voit dans les données les chiffres sont possiblement un peu optimistes. Ils sont un peu, je pense qu'il y a un biais, ils sont un peu surévalués parce que voir 31% de formation évaluée au niveau 4, donc quasiment le tiers, j'ai envie de dire, waouh, c'est génial. Ça fait déjà des années que j'attendais ça. Lorsque l'on regarde, on voit qu'on n'est pas toujours dans un niveau 4. au sens puriste du terme, avec l'identification d'indicateurs en amont, le fait de les suivre, de les piloter, d'aller démontrer le fait que ces indicateurs évoluent dans le sens attendu en aval de la formation, etc. Même chose pour les niveaux 3. Il n'y a à peu près qu'au niveau 1 et 2 où on voit qu'il y a une correspondance entre les réponses et les moyens mis en œuvre, mais au niveau 3 et 4 où il y a un léger biais.

  • #0

    donc voilà c'est un peu moins en réalité que les chiffres présentés ici le niveau 4 ça peut comprendre quelqu'un qui se renseigne avec un apprenant après la formation pour savoir s'il y a eu un impact ou pas tout simplement ou sinon il y a eu un impact alors que c'est pas franchement mesuré comme

  • #1

    tu disais avec un KPI c'est ça c'est du déclaratif alors c'est mieux que rien c'est mieux que rien c'est carrément mieux que rien nous on préconise même en formation en disant à défaut d'indicateur c'est pas grave planter la graine du doute, aller questionner l'impact en interrogeant les apprenants leurs managers etc mais effectivement on n'est pas dans du niveau 4 classique Kirkpatrick

  • #0

    En tout cas, c'est représentatif des gens qui ont répondu à l'enquête que ce sont des gens qui sont intéressés par l'évaluation. Donc, ce n'est peut-être pas au sens large qu'on va prendre avec toutes les formations sur le marché. Ce n'est pas forcément l'enjeu. L'enjeu, c'est de savoir comment ça se passe pour les gens qui pratiquent l'évaluation.

  • #1

    Oui, exactement. C'est ça. Et puis, nous, derrière, on va en parler après, mais c'était vraiment une enquête en deux temps avec ce volet quantitatif. OK, on prend la température. et après on creuse, on va plus loin en ayant des échanges, donc le volet qualitatif de l'enquête, avec des entreprises qui sont plus avancées, notamment sur les niveaux 3 et 4, pour comprendre comment on évalue l'impact de la formation au niveau 3 et 4 en 2023-2024. Et là, on a eu des retours de pratique quand même très intéressants.

  • #0

    L'objectif étant toujours que vous, qui vous intéressez à l'évaluation, vous pouvez apprendre de tout ça pour mettre en pratique des choses derrière. C'est ça ce que nous, on veut faire pour vous.

  • #1

    Exactement. Démocratiser un peu. Il y a des bonnes pratiques.

  • #0

    C'est ça.

  • #1

    Autant capitaliser sur celles-ci et les partager.

  • #0

    Très bien. Donc là, on va passer aux bonnes pratiques, mais à pratiques par niveau. Donc, qu'est-ce qu'on entend par niveau ? C'est par les quatre niveaux. Donc là, c'est le nouveau modèle de Capatric. Pour ceux qui écoutent, je suis en train de montrer le nouveau modèle avec les composants dedans. Si vous souhaiteriez en savoir plus, on a la certification bronze sur le nouveau modèle que vous pouvez faire avec nous, justement pour comprendre qu'est-ce qui va dans chaque méthode. On va commencer aujourd'hui par le niveau 1, donc réaction. Donc là, je vais présenter les meilleures pratiques que nous, on a tirées du niveau 1 de la part de nos enquêtes. Puis le niveau 2, et puis Jonathan va conclure avec le niveau 3 et le niveau 4. Alors, pour le niveau 1, réaction, on a vu qu'une bonne pratique, c'est de l'observation. Qu'est-ce que c'est l'observation ? C'est qu'on a quelqu'un qui est dédié, qui vient observer ce qui se passe dans la formation. L'observateur peut être un autre formateur, ça peut être un responsable pédagogique, ça peut être quelqu'un qui est dans le service de formation. On peut voir différentes raisons pour lesquelles on veut faire de l'observation. Ça peut être pour regarder comment fait le formateur, mais aussi ça peut être pour évaluer le niveau d'engagement des apprenants pour voir qu'ils sont bien dans le jeu et bien impliqués dans la formation. Donc l'observation, c'est un très bon moyen de voir ce qui se passe en réalité. Plutôt d'apprendre par un feedback après, c'est de voir la réalité comme ça se passe. Si vous ne pouvez pas observer en réel, si vous ne pouvez pas être là, vous pouvez aussi demander qu'il y ait des vidéos qui soient prises pour aussi regarder. Mais en tout cas, l'observation, c'est très bien apprécié. Deuxièmement, c'est l'utilisation d'un OMS. Alors un OMS, c'est un terme que nous utilisons qui veut dire Evaluation Management System, un peu comme un LMS qui est Learning Management System. Donc nous, on a mis le terme Evaluation parce que c'est vraiment pour une plateforme qui est dédiée totalement à l'évaluation. Et pour le niveau 1, le fait qu'il y ait un EMS permet de vraiment mettre en place un système d'évaluation pour le niveau 1 qui permet de personnaliser les enquêtes en fonction du projet de formation, qui permet d'analyser très facilement les données, voire même de créer des rapports pour pouvoir présenter à d'autres et impliquer tous les acteurs dans le système de la formation, les formateurs. les charges de déformation, les prestataires externes, voire les commanditaires pour montrer le niveau de qualité de ce qui se passe dans la formation. Donc, une LMS, c'est un outil que vous pouvez prendre qui peut parfois être en lien avec LMS, mais en tout cas, ça permet d'éviter l'utilisation des enquêtes standards telles que Microsoft Forms ou Google Forms ou SurveyMonkey et les plateformes comme ça. Troisièmement, l'utilisation de l'indicateur NPS. NPS, c'est Net Promoter Score. Je pense que le NPS a vraiment pris une place importante maintenant dans l'évaluation de la qualité des formations, beaucoup plus que dans le passé. C'était quelque chose que Jonathan et toi, avec... ton ancienne équipe chez FormaEva vous avez poussé un petit peu avant et on voit que vraiment ça prend place aujourd'hui alors tu disais hier que les NPS c'est surtout utile lorsque la culture de l'entreprise connaît les NPS c'est ça ?

  • #1

    Oui tout à fait alors ça c'est un merci c'est vrai de rappeler qu'on a poussé cet indicateur à l'époque et c'est vrai qu'on voyait en fait le développement du NPS dans pas mal d'entreprises, dans les services marketing, etc. Et c'est vrai qu'aujourd'hui, on réserve un train, un hôtel, etc. Souvent, on achète une voiture, on nous pose toujours la question de la recommandation, est-ce qu'on recommanderait ce produit, ce service, cette marque à notre entourage, etc. et dans la formation c'est un indicateur on le voit aujourd'hui qui est critiqué et qui est vraiment critiquable aussi parce que oui il n'y a pas du tout la prétention d'être pur c'est pas l'alpha et l'oméga de l'évaluation de la formation mais au même titre que le NPS est critiqué pour la partie satisfaction client on va dire recommandation classique par contre aucun indicateur n'est parfait et moi je vois un grand intérêt à utiliser le nps dans les entreprises il ya déjà cette culture du nps parce qu'il ne faudrait pas que la fonction formation fasse bande à part, si je puis dire, en disant, voilà, vous vous évaluez au marketing, au commerce, à la communication, même dans la partie RH. Est-ce que je recommanderais cette entreprise du point de vue de la marque employeur, en tant que salarié, etc. Et moi, la formation, je déciderais de faire bande à part. Donc là, vraiment, l'idée, c'est de se rattacher, de dire à ce que... à ce que font les autres fonctions, et à avoir aussi son NPS lié à la qualité de ses formations. Moi, j'y vois un intérêt.

  • #0

    Alors, comment ils utilisent l'NPS ? Ils posent une question sur la recommandation dans des enquêtes. Et après, au niveau des résultats, il y a des entreprises, des organisations qui poussent au bout, ils mettent un système de couleurs. Donc, ils ont un objectif de NPS par session de formation. Et ils peuvent dire que, par exemple, au-delà d'un certain pourcentage, la couleur verte veut dire que tout va bien. Puis, entre tel pourcentage et tel pourcentage, c'est orange, il faut faire attention s'il y a plusieurs sessions comme ça. Et puis le rouge, le plus bas niveau, ça ne va pas. Il faut vraiment qu'on fasse un petit point pour savoir ce qui se passe. Et ça permet aussi de faire un peu de benchmarking entre les formateurs, entre les sessions, même entre les formations aussi, pour voir quelles sont les formations peut-être les plus appréciées. et donc du coup ça permet d'avoir une première vue d'oeil sur un système un peu plus industrialisé pour les qualités de la formation il y a même des entreprises qui disent nous on va contacter tous les promoteurs c'est-à-dire tout le monde qui disent qu'ils sont très contents et qu'ils ont mis un note de 9 à 10 et puis tous les gens qui ne sont pas contents en dessous de 6 ou de 7 je veux dire entre 1 et 6 on va les contacter aussi pour savoir pourquoi ils ont mis ce score-là ça permet d'avoir un échange plus qualitatif et donc du coup c'est vraiment un système lié à une pièce Voilà. La quatrième méthode, c'était justement le verbatim. Là, je viens d'illustrer le fait que contacter les gens, c'est utile. Demander les avis, que ce soit dans les enquêtes ou en live, dans les tours de table, ou même après la formation, dans les RECS, dans les retours d'échange. C'est très important parce qu'en fait, les gens qui s'occupent de l'évaluation nous disent pratiquement tout ce que les enquêtes ne disent pas tout. on répond aux enquêtes pour nos propres raisons on peut répondre à une enquête parce qu'on est très content on peut répondre parce qu'on n'est pas du tout content mais parfois on n'est pas du tout content pour des mauvaises raisons et pareil pour si on est très content donc parfois on ne répond pas à une enquête pour des raisons culturelles Donc on nous a dit que par exemple dans certains pays, on a peur de répondre aux enquêtes parce qu'on ne veut pas qu'ils les représaillent. Dans certaines organisations, on ne répond pas aux enquêtes parce qu'on en a trop à répondre et on en a marre de le faire parce qu'on n'a pas de retour en répondant aux enquêtes. Mais derrière, qu'est-ce qui se passe ? Donc ils veulent que si on répond, il y a quelque chose qui se passe par la suite. Donc du coup, le verbatim, demander des retours qualitatifs, c'est très important et c'est très apprécié. de la part des apprenants, voire des managers. On a vu avec une entreprise qui met en place des règles entre une semaine et un mois après la formation pour discuter de la formation, pas forcément le transfert, mais vraiment de la formation, parce que c'est là qu'ils savent qu'il y aura des retours beaucoup plus concrets que simplement remplir une enquête.

  • #1

    Oui, clairement. C'est le fait de poser des questions ouvertes, même dans les questionnaires. c'est une bonne pratique aussi pour venir préciser les réponses données aux questions fermées. Parce que dire je n'ai pas été impliqué dans la formation c'est bien, mais comprendre pourquoi, c'est quand même mieux. Donc c'est vrai que ce soit via les enquêtes, via les questionnaires, via les tours de table, via des redouteurs d'expérience, via des sessions de suivi, des classes virtuelles de suivi, etc. Comme tu dis. il faut aller chercher ces données-là. On ne peut pas tout retrouver uniquement dans des cases à cocher.

  • #0

    C'est quelque chose aussi que Capatric privilégie vraiment. C'est de la variété entre le quantitatif et le qualitatif. Peu importe le niveau.

  • #1

    Tout à fait.

  • #0

    Alors après les deux derniers éléments, ce ne sont pas vraiment des méthodes, mais plus des pratiques au niveau du temps. Donc là, on a mis 24 heures par rapport aux enquêtes. C'est important, je pense, de le signer parce que les gens avec qui on a discuté, eux, ils ont dit que le moment le plus propice de répondre à une enquête pour avoir une qualité de données plus fiable, en fait, c'est juste après l'information. Ce n'est pas dans... la formation même. Alors, forcément, il y a des gens qui demandent de remplir l'enquête à la fin d'une formation, mais il y a beaucoup de responsables qui ont dit que le problème, si on remplit une enquête à la fin d'une formation, c'est que les gens sont souvent fatigués. Ils veulent partir et ils vont dire peut-être des choses d'une manière un peu biaisée en fonction d'où le formateur est, est-ce qu'il est là ou pas, qu'est-ce qu'il demande du formateur. Et du coup, forcément, on est toujours dans la formation, on n'a pas encore fait un lien avec. le poste. Alors que si on répond lorsqu'on est de retour sur le poste de travail, ça permet d'avoir une réaction un petit peu plus à froid, qui permet une meilleure qualité de données, parce que du coup, notre environnement sait le travail, et on va commencer à penser à comment on va appliquer tout ça. Donc certes, il y aura moins de réponses. Donc le souci, c'est le niveau, le temps, le taux de réponse. C'est sûr que si on demande aux gens de répondre après, il va y avoir moins. Mais la qualité des données, c'est quand même beaucoup mieux. Donc on a vu qu'il y a pas mal de gens qui ont dit ça. Après, au niveau temps aussi, temporalité. Les gens qui sont vraiment experts, donc on a eu quelques experts de responsabilisation qui travaillent beaucoup dans le niveau 3 et 4, eux, ils ont dit que le niveau 1 est surtout important au début des dispositifs de formation. C'est-à-dire que c'est là qu'ils font le plus attention lorsqu'on est en train de créer une nouvelle formation. on conçoit et on développe et on réalise une nouvelle formation, peut-être pour une grande population de gens, c'est là qu'on veut mettre plus de moyens, plus de ressources, plus de temps dans le niveau 1 pour savoir s'il faut ajuster la formation ou pas en fonction de ce qui était conçu. Et quand la formation est bien en place, du coup, c'est là qu'on passe un peu... moins de temps et moins de ressources parce qu'il y a juste des petits ajustements à faire, un peu comme on disait avant pour comparer, pour benchmarker. Mais là, on a fait le plus grand travail pour optimiser la formation par rapport au début. Voilà, donc ça, c'est le niveau 1, réaction. On va passer au niveau 2, apprentissage. Donc, qu'est-ce qu'on a appris dans la formation ? Là, un peu moins de bonnes pratiques qu'on souhaiterait vous présenter, mais néanmoins très intéressantes. Premièrement, c'est l'importance de faire des évaluations formatives. Donc souvent lorsqu'on parle d'apprentissage, les niveaux d'or, on pense de faire un test avant, faire un test après, peut-être certifier la formation. Mais on a vu que vraiment, l'importance d'évaluer pendant la formation, ça a son sens. Alors, si c'est à distance, souvent on met des mini-quizzes pour être sûr que les gens ont bien compris. Donc, souvent dans l'e-learning, on a des politiques de conception de formation où si on fait une partie en e-learning, on est obligé d'avoir une quiz à la fin. Mais pas que, on peut avoir des mini-quizzes, des petits tests qu'on peut faire même avec des jeux pédagogiques dans la formation. Surtout, par exemple, au début de la journée. pour savoir ce que les gens ont retenu de la journée précédente. L'évaluation formative, c'est très important à ce niveau-là. Et puis aussi, les jeux de rôle, les jeux de rôle pendant la formation pour travailler sur les compétences et être sûr que les gens, ils ont bien compris ce qu'ils sont censés faire. Jusqu'à un point que la vidéo, donc ça, c'est la deuxième chose, pour filmer les jeux de rôle, devient très, très intéressante parce que ça permet d'avoir un feedback très qualitatif. Les gens nous disaient que le problème avec les jeux de rôle, souvent, c'est que les apprenants ne savent pas ce qu'ils ont fait. Ils n'ont pas vraiment conscience exactement comment ils ont performé dans le jeu de rôle. Et filmer le jeu de rôle et puis leur montrer ce qu'ils ont fait, et aussi donner un feedback, c'est très, très constructif. Les apprenants, ils ont fait Waouh, ah oui, je ne savais pas que j'avais fait ça. Ah d'accord, ok, moi je comprends mieux. et le jeu de rôle qu'on peut faire, ça peut être plus ou moins scénarisé. On peut vraiment avoir des jeux de rôle très formels où on prépare ensemble, comme ça peut être sur le champ. Mais la vidéo permet vraiment d'avoir le retour de la part du formateur aussi là-dessus. Le troisième méthode, c'est la relative actuelle. Jonathan, je sais que tu es... tu vois, des avis tranchés par rapport à tout ce qui est fait sur les métas et tout ça.

  • #1

    Oui, et je peux vraiment que ça soit justifié, encore une fois. Comme tu le sais, c'est... idéalement limités à des environnements qui peuvent être dangereux, où on sait que le coût de reconstitution d'une situation proche de la réalité serait très élevé, etc. Là, je vois bien quel intérêt dans le secteur médical.

  • #0

    Et comme tu dis, je pense que vraiment c'est un intérêt pour des formations à très très fort enjeu, on ne peut pas se tromper. Et là on doit être sûr que ce soit comme tu dis dans le médical, mais aussi peut-être dans l'aéronautique ou dans certains systèmes d'industrie, c'est là qu'on peut dépenser pour être sûr.

  • #1

    Exactement.

  • #0

    Et donc la dernière méthode, c'est la certification. Alors en France, pour ceux qui ont un compte en France, vous connaissez le CPF, vous connaissez le compte personnel de formation, où on peut utiliser notre crédit, on a besoin de certifier la formation. Donc du coup, l'État qui est un acteur... majeurs derrière la formation souhaitent pousser à bout la certification. Mais on a vu aussi qu'il y a monté des plateformes de certification, les plateformes de certification qui permettent justement de créer des badges, créer des certifications internes pour pouvoir formaliser un petit peu les formations, la fin des formations, sur des formations que les grosses organisations ont créées, ont conçues, et ça permet un meilleur engagement. Donc on a vu que la certification aussi prend sa place, que ce soit en interne de l'organisation ou à l'externe par les acteurs. Voilà, ça c'est les niveaux 2. Je passe maintenant à toi Jonathan pour le niveau 3, donc comportement.

  • #1

    Oui, alors là on entre justement de plein pied dans les questions d'efficacité et d'impact, parce que c'est vrai qu'on a pour habitude de distinguer les niveaux 1 et 2 en parlant de qualité de la formation. La formation en tant que produit. et on va chercher à améliorer la satisfaction, l'apprentissage, etc. Mais au niveau 3 et 4, on est vraiment dans l'efficacité. Alors pratique que l'on retrouve assez fréquemment chez les personnes, au sein des entreprises qui évaluent ce niveau 3, c'est le fait de réaliser une enquête dite croisée. Donc par exemple, d'envoyer un questionnaire d'évaluation à l'apprenant et à son manager. Comme ça, on a une co-évaluation. chose qui est intéressante parce que ça permet aussi de contrebalancer l'avis de l'un ou de l'autre, dans un sens comme dans l'autre d'ailleurs. C'est-à-dire que ça n'est pas automatiquement, comme on pourrait l'imaginer, l'apprenant qui va se surévaluer et le manager qui va le sous-évaluer, c'est parfois aussi l'inverse. Donc l'apprenant qui n'a pas l'impression de faire aussi bien qu'il ne pourrait le faire et puis le manager qui va dire non, non, si, si, franchement... Moi, j'ai vu des changements, etc. Donc, il y a aussi une forme d'effet de renforcement et d'encouragement via cette enquête. Là, c'est surtout le croisement apprenant et manager qui est mis en pratique. Là, j'en profite pour préconiser aussi... quelque chose de complémentaire, ça pourrait être aussi d'autres acteurs tiers. Donc d'autres tiers acteurs, mais par exemple, le fait d'évaluer... de faire une co-évaluation avec un collègue, avec un binôme avec qui on a suivi la formation, etc. Là, ça pourrait être intéressant. Et dans certains cas, on serait peut-être plus à l'aise avec l'évaluation que l'on ne peut l'être avec son manager, par exemple. Et le manager qui n'est pas toujours là, d'ailleurs, pour observer le travail. Parfois, on a des managers qui sont distants du fait du métier, du fait de la fonction. évaluer c'est bien avoir des résultats c'est encore mieux donc on voit au niveau 3 la montée en puissance de dispositifs d'accompagnement ou de coaching peu importe comment on les nomme mais dans tous les cas cette partie on va dire d'accompagnement post-formation via des coachs via des accompagnateurs la FEST est beaucoup évoquée donc l'action de formation en situation de travail donc pour nos auditeurs, auditrices c'est très important Basée en France, en tout cas, il et elle connaissent certainement bien cela. L'idée, c'est qu'on puisse apprendre aussi en situation de travail. Évidemment, maintenant, c'est une modalité de formation qui est reconnue aussi par la loi. Donc, elle est parfois aussi utilisée en ce sens pour compléter la formation. via de l'accompagnement post-formation. Dans d'autres cas, on a des dispositifs de coaching sur grand mise en œuvre en se focalisant sur la mise en œuvre d'une compétence précise, de plusieurs compétences suite à la formation, etc. C'est très positif parce qu'on le répète souvent, la formation n'est que le début et certainement pas la fin. Et la formation, au sens de la montée en compétence, n'est réellement terminée qu'une fois que la compétence a pu être mise en œuvre et le coaching doit pouvoir aider à passer de l'intention à l'action, de la formation à la mise en pratique réelle en situation de travail.

  • #0

    Et on a vu que le... Quand on dit coaching, ce n'est pas forcément un coach formé, spécialisé pour être coach, mais ça peut être le superviseur, ça peut être un référent, ça peut être un manager, ça peut être aussi le formateur ou un formateur qui n'a pas fait la formation. Vraiment, ça dépend du dispositif de formation et de comment l'organisation s'organise pour le faire.

  • #1

    Oui, exactement. C'est vrai que ce n'est pas le coach au sens coach de l'ICF, par exemple, au sens coach professionnel. Mais raisonnons plutôt accompagnateur, accompagnement de manière générale.

  • #0

    Et je pense que pour moi, qui ai fait les entretiens qualitatifs, j'ai vraiment senti, j'ai vraiment eu l'impression que pour les gens, justement, les responsables d'information qui se spécialisent un petit peu dans l'évaluation, ils ont dit que cette partie accompagnement post-formation, c'est une partie non négligeable pour réussir l'efficacité et l'impact d'une formation. T'es d'accord avec moi, Jonathan, là-dessus ?

  • #1

    Ah ben, je suis... On ne peut plus d'accord. Enfin, pour moi, c'est vraiment... On dit que le niveau 3, c'est le plus important des 4, parce que c'est le moment où le niveau à partir duquel ce qui a été appris en formation cesse d'appartenir exclusivement à l'apprenant. Et de toute façon, ça n'appartiendra plus à personne, parce que si ça ne mène plus à lui, si ça n'est pas mis en pratique, ça sera perdu tout simplement. Et donc, cet accompagnement est nécessaire. Là, on sait que... c'est vraiment un enjeu majeur et que si on ne prévoit pas cela dans le disability de formation, on va compter sur une toute petite poignée, sur une poignée de personnes qui vont être suffisamment disciplinées pour passer à l'action et on sait malheureusement que ce n'est pas encore la majeure partie des gens.

  • #0

    Alors, plan d'action.

  • #1

    Plan d'action, alors plan d'action, c'est intéressant aussi justement pour passer de la formation à la mise en pratique en situation réelle. Alors, lorsque l'on anime, toi et moi, le programme de certification de Campatric, on insiste beaucoup sur le fait d'avoir au niveau 3 des comportements, comme le nom du niveau l'indique, des comportements concrets, observables, mesurables. Et donc, c'est nécessaire pour que, justement, il y ait ce transfert des acquis, pour que l'on passe à la mise en pratique. Ces comportements... parfois peuvent être communs à tout le groupe de formation. Donc, par exemple, je vais prendre un cas qui parlera à peu près à tout le monde, mais on forme des managers et on les forme, par exemple, à la conduite des entretiens annuels. Et puis, on leur dit, d'abord, il faut commencer par valoriser ce qui a été positif tout au long de l'année, avant de parler des points faibles, des axes de progrès, etc. Bon, voilà, ça concerne tous les managers. On met ça en œuvre. Ce sont des nouveaux managers, des new managers. Ils n'ont jamais été formés à ça. Bon, OK, le comportement peut convenir à tout le monde. Dans d'autres cas, si demain, Joss et moi, on va suivre une formation en gestion du temps et des priorités, eh bien, on ne part pas du même niveau. On n'a pas les mêmes pratiques aujourd'hui. Il y a peut-être des... parce qu'on n'a pas le même quotidien, des pratiques qui seraient plus adaptées que d'autres, etc. Et dans ce cas, ces comportements, au sens de bonnes pratiques à mettre en œuvre, pourraient être individualisés, pourraient être spécifiques à chacun de nous. Et dans ce cas, ça vaudrait la peine d'avoir un plan d'action qui soit travail en formation et idéalement pas travailler uniquement par les apprenants, mais bien travailler avec l'accompagnement du formateur, avec l'accompagnement du groupe. Pourquoi pas ? Je pense à, voilà, les Québécois parlent de modules de TEP, transfert à l'environnement pratique, pratique ou professionnel selon les cas, mais d'avoir une séquence pédagogique dédiée en fin de formation où l'on parle du transfert, et pas juste cinq minutes à la fin, mais par exemple une formation qui se termine à 17h, à partir de 15h30. voilà on discute par exemple après la pause de toutes ces questions de tiens qu'est-ce que je vais pouvoir mettre en pratique quels sont les obstacles auxquels je vais faire face comment je compte y faire face etc etc donc ça c'est très intéressant

  • #0

    De toute façon, lorsqu'on privilégie une séquence d'évaluation spécifique, que ce soit pour un plan d'action ou pour avoir un tour de table ou pour remplir une enquête, c'est vrai que passer un peu de temps exprès là-dessus, ça facilite justement la qualité de l'évaluation des méthodes qu'on met en place.

  • #1

    Exactement, c'est nécessaire. Si on ne le fait pas, on aura des plans d'action qui sont très génériques du type, oui, je vais utiliser ce que j'ai appris en formation. C'est bien. Deux ou trois mois après, on leur posera la question Est-ce que vous avez utilisé ce que vous avez appris en formation ? Ils ne se souviendront même pas de ce qu'ils ont appris. Il faut pouvoir passer du temps. C'est nécessaire si on veut des résultats. Deux types d'ancrages qui sont nécessaires et qui sont parfois confondus. Si on veut justement que ce transfert se fasse, on peut réfléchir à comment on va favoriser à la fois l'ancrage mémoriel, au sens mémoriser les notions vues en formation. Là, classiquement, on va parler des connaissances. Si par exemple, on fait des cours-quizzes, tout à l'heure tu en parlais lors de l'évaluation formative, mais on peut imaginer des quiz qui seraient envoyées par exemple… durant deux mois, toutes les semaines, une ou deux questions toutes les semaines, etc. On va favoriser cet ancrage, on va faire en sorte que l'on puisse retenir les notions clés vues en formation. ça c'est ok ça ne signifie pas par contre que ça va nous faire passer à l'action donc ça on va dire ça garde je vais utiliser cette image mais ça garde un peu notre cerveau au chaud voilà on a toujours ces idées ces notions à l'esprit par contre l'ancrage qui me semble prioritaire à ce niveau, c'est surtout l'ancrage comportemental. Donc voilà, ce n'est pas parce que je sais ou que je me souviens, l'ancrage mémoriel, que je fais ancrage comportemental. Donc là, ça demande de travailler sur la mise en place d'habitudes, donc de comportements, de routines quotidiennes, de rituels, etc., pour vraiment avoir ces réflexes. On entend souvent parler de ce mythe, de ce neuromythe des 21 jours. Il faudrait 21 jours d'un comportement ou d'une habitude répétée pour que cela devienne ancré. en réalité les études montrent qu'il y a une recension qui a été faite ça va de 21 jours à 254 jours c'est pas quand même donc c'est un peu plus que ça ça dépend des personnes ça dépend des comportements je dis souvent en rigolant mais quiconque a déjà essayé d'arrêter de fumer c'est que 21 jours ça n'est pas suffisant à voir de replonger donc ça pose la question de ce que l'on peut mettre en oeuvre pour favoriser cet ancrage comportemental niveau 3 et donc dernier point justement c'est des ressources des ressources qu'est-ce que l'on prévoit alors on a Durant le temps de la formation, on est dans une forme de pocon pédagogique. On a des super supports, qu'ils soient numériques ou imprimés sur papier glacé. On a un magnifique PowerPoint, on a plein de choses, on a des cartes à jouer, on a énormément de choses. Et puis post-formation, souvent. on se retrouve un peu sans rien. Donc, l'idée, c'est de pouvoir fournir aussi, ça, c'est une bonne pratique que l'on observe parfois, fournir aux apprenants des ressources qui vont venir soutenir ce passage à l'action. Donc, des aides-mémoires, des checklists, des modules de learning complémentaires. ça peut être des classes virtuelles de suivi, bref, tout ce qui va aider à favoriser cet ancrage mémoriel et surtout cet ancrage comportemental.

  • #0

    super ça c'est pour le niveau 3 donc des méthodes vraiment très concrètes moi je sais ce qui sort pour moi c'est le coaching, le plan d'action les ancrages mémoriels j'ai vraiment vu les gens qui étaient très très très convaincus de leur importance jusqu'au point que maintenant ils ne conçoivent pas de formation sans justement concevoir ce genre d'accompagnement pour la suite de la formation, ils disent que ça ne sert à rien de le faire sans qu'il y ait cet accompagnement une fois que sur le retour sur le poste de travail ?

  • #1

    Clairement. Je repense souvent aux chiffres de Brinkehoff, Robert Brinkehoff, que l'on présente aussi. dans le programme de certification de cœur Patrick, mais sans cela, en moyenne, on a 15% des apprenants qui vont mettre en pratique. Donc, la poignée ultra-disciplinée dont je parlais tout à l'heure. Mais tout le monde ne fonctionne pas comme ça, tout le monde n'a pas cet état d'esprit. Et donc, la majorité, tout simplement, va retourner à ses vieilles habitudes. Le naturel revient toujours au galop, malheureusement. Malheureusement, en pareil cas, en tout cas. et puis voilà si on ne prévoit pas ça on n'aura pas des résultats on n'aura pas d'impact tout simplement tout simplement ok on va finir avec les méthodes avec les niveaux 4 résultats donc voilà on a mis en pratique maintenant on arrive au niveau 4 et donc la première pratique et bien c'est justement on en parlait un peu tout à l'heure c'est un peu la manière classique et recommandée pour convaincre les commanditaires d'évaluer au niveau 4 c'est de déterminer en anglais, en bon anglais dans le texte, des KPIs, donc des indicateurs clés de performance. Merci, Joss. Donc, à emprunter au sens où ça n'est pas à nous, professionnels de la formation, de construire ces indicateurs. Si on travaille sur des formations à fort enjeu, des formations dites stratégiques, nécessairement, ces indicateurs existent probablement, sinon c'est inquiétant, dans l'organisation. Donc, on va négocier l'accès à ces indicateurs, à ces données, on va les emprunter pour mesurer avant et après la formation à plusieurs reprises pour pouvoir piloter tout simplement l'impact de la formation à différents niveaux et pas se limiter à un indicateur, en choisir plusieurs pour s'assurer en tout cas de déceler des effets. Deuxième élément, c'est la notion d'étude d'impact pour avoir aussi des retours qualitatifs en plus. Donc ça, c'est très intéressant. Je parlais à l'instant de Robert Brinkerhoff. Lui a une méthode qui s'appelle la méthode des cas à succès. Success case method, je pense, en anglais. Et elle consiste à dire, suite à une formation, on n'a pas toujours l'occasion d'être reçu en amont par les commanditaires qui vont prendre le temps. de définir avec nous, d'identifier des indicateurs clés de performance, etc. Mais par contre, on peut très bien avoir, d'ailleurs les deux méthodes ne sont pas exclusives, elles peuvent être complémentaires. mais suite à une formation, je peux très bien aller enquêter auprès de collaborateurs en me focalisant sur les niveaux 3 et 4, en disant, tiens, je vais identifier ceux qui ont mis en pratique le niveau 3 et ceux qui n'ont pas mis en pratique au niveau 3, et puis questionner le pourquoi. Pourquoi ils n'ont pas mis en pratique ? Pourquoi ils ont mis en pratique ? Donc, identifier les freins, identifier les bonnes pratiques, etc. Et puis faire le lien avec le niveau 4 et avoir tout un ensemble de données. y compris qualitatifs qui vont me donner des retours précieux pour améliorer les prochaines sessions, par exemple de ce programme de formation, et pouvoir aller convaincre les commanditaires en disant Regardez, comme par hasard, on a surtout des résultats quand les managers s'impliquent, par exemple. Donc voilà, on va insister davantage sur certaines choses. et ça va permettre de faciliter le changement parce que les commanditaires ont tout intérêt, s'ils veulent davantage de résultats, s'ils veulent donc que le budget de formation soit encore utilisé de la manière la plus efficiente possible, ils ont tout intérêt à venir apporter leur soutien. Et puis d'un pack, donc Business Intelligence, via des rapports, donc on a des entreprises qui mettent en place vraiment une logique, on a des data analysts parfois, des analystes des données, donc voilà, qui vont venir connecter aussi, notamment pour répondre aux... aux impératifs de l'évaluation au niveau 4, vont venir connecter les systèmes d'information de l'entreprise, quels qu'ils soient, et de manière à pouvoir récupérer des données, récupérer des indicateurs, pouvoir analyser, pouvoir resituer ça aussi sur une forme de frise chronologique. On nous en tient, on a donné la formation pour tel groupe à tel moment, on va étudier des variations dans les indicateurs. On ne peut pas faire cela si on n'est pas un minimum équipé, et donc avoir cette logique de... de rapports, de passer par des API qui vont permettre de connecter aussi des solutions, des logiciels, des applications, etc. Et d'avoir aussi des personnes dédiées à cela, qui aient cette compétence de data analysis. C'est vraiment essentiel.

  • #0

    On a eu... peut-être deux populations de data analyst, ceux qui sont là en permanence au sein du peut-être l'équipe de formation ou l'équipe de ressources humaines qui travaille là tous les jours là-dessus, et une autre population où on dit, bon, il faut qu'on mette ça en place, on va prendre quelqu'un, peut-être une prestataire externe, ou on va prendre un alternant qui va vraiment travailler justement les API, les rapports, les visuels, les templates, les modèles de comment on va faire ça, et puis après, à partir de ça, on peut dupliquer par rapport projets de formation donc je trouve que ça pour moi c'est peut-être le côté le plus innovateur de tout ce qu'on a vu jusqu'à là quand je dis innovateur, plutôt au sens technologique dans l'enquête vraiment des évolutions très intéressantes pour lier le business avec justement les efforts de formation

  • #1

    Oui, tout à fait. C'est nécessaire. Ce n'est pas la compétence de mon point de vue la plus simple à acquérir. Non. Parce qu'il faut pouvoir se frotter aux statistiques, se frotter à un certain nombre d'outils informatiques. Ça demande vraiment une compétence qui est précieuse, mais qui, je pense, conseil carrière aux professeurs de la formation, je pense que ça va devenir quelque chose qui va être clé aussi pour se démarquer.

  • #0

    C'est sûr, c'est sûr.

  • #1

    On a le suivi de plan d'action, donc on a un peu déjà parlé aussi précédemment au niveau 3, mais c'est la même chose au niveau 4. L'idée, tu parlais tout à l'heure de formation côté client. Imaginons, on forme des populations plutôt à vocation commerciale. il y a une logique. C'est se dire, suite à la formation, tu vas surtout travailler telle ou telle compétence, tu vas donc mettre en œuvre tel ou tel comportement, tu vas bénéficier d'un dispositif de coaching, etc. Et puis derrière, forcément, on fait le lien en disant, toi, à ton niveau, tu vas surtout te focaliser sur tel et tel indicateur de manière à développer, je ne sais pas moi, le... ton chiffre d'affaires, le nombre de commandes, le nombre de clients que tu as pu contacter, etc. Donc les niveaux 3 et 4 sont toujours très liés dans les plans d'action parce qu'il y a vraiment ce que je fais, ce que je mets en œuvre. au niveau 3 et ce que j'obtiens en conséquence au niveau 4. Le niveau 4 n'est que la conséquence du niveau 3. Et enfin, ce serait dommage de faire tout cela sans aller présenter le fruit de nos efforts aux commanditaires. Quand on parle de commanditaires, pour rappel, on est vraiment au niveau de direction générale, direction opérationnelle, au niveau d'une direction qui a commandité, comme son nom l'indique, un projet de formation à fort enjeu. Ce serait dommage de faire tout cela pour à la fin faire un joli rapport PDF, l'envoyer par email en mettant pour information Non, l'idée, c'est qu'on puisse aller jusqu'à présenter les résultats. Généralement, on préconise aussi de négocier dès le début du projet, voire même de sortir les agendas et de dire, on se voit à quelle date pour présenter les résultats, au moins ça fixe une échéance dans le temps, et d'aller présenter cela tel des avocats qui iraient plaider, qui iraient... défendre la cause d'un projet de formation et de raconter l'histoire de son efficacité, de son impact. Et là, c'est quand même beaucoup plus vendeur.

  • #0

    Ça me rappelle aussi que souvent, on a vu le terme marketer la formation C'est-à-dire qu'on voit que vraiment... La présentation pour moi fait partie un petit peu de comment on fait un lien avec l'objectif, le troisième objectif qu'on avait vu, c'était de démontrer la valeur de l'effort de formation au sein de l'organisation. Et les présentations permettent justement de capitaliser là-dessus. On a eu même hier un participant qui a dit, nous on a fait une présentation. qui était bien apprécié. À partir de ça, on a fait une présentation sur la présentation, sur le projet. C'était qu'on a créé une présentation pour montrer aux autres commanditaires au sein de l'organisation comment nous on fait maintenant les projets de formation en fort enjeu pour les convaincre de notre capacité à mesurer l'impact, à rendre les formations efficaces. Et ça permettait justement de se faire un petit nom au niveau de ce qu'on est capable de faire dans le service formation. et vraiment pour moi ça rejoint ce terme de marketer l'information savoir comment communiquer de nos efforts que ce soit sur l'analyse des données ou sur les business case comme tu as dit pour montrer qu'on a un savoir-faire en formation peut-être que les gens ne savaient pas au préalable

  • #1

    Oui, exactement. Et c'est vrai que c'est dommage. On fait beaucoup de choses à la formation, mais on ne le met pas toujours en avant. Donc là, c'est quand même l'occasion de se rendre justice et d'aller démontrer un peu l'impact de ce que l'on a fait.

  • #0

    Bien, donc là on a fait une présentation sur des méthodes, sur des idées, sur les bonnes pratiques, d'une façon peut-être un peu plus micro, vraiment des idées que vous pouvez prendre pour vous selon les différents types de formations que vous avez, mais après il y a aussi la question du changement. Donc le changement, parce qu'il y a beaucoup de gens qui ont dit que ça ne se fait pas du jour au lendemain, n'est-ce pas Jonathan ?

  • #1

    Ah non, c'est clair. C'est clair. Je répète souvent que l'évaluation de la formation n'est pas un défi technique. C'est souvent et avant tout un défi culturel et organisationnel. C'est comment on embarque différents acteurs dans ce défi, comment on fait passer le message que le succès de la formation n'est pas de la responsabilité des seuls acteurs de la formation, etc. Donc il y a vraiment une question de changement culturel et organisationnel. et ce n'est pas juste le fait de remettre à neuf ces questionnaires d'évaluation, c'est bien plus large que ça

  • #0

    On a eu le cas hier de quelqu'un qui n'était pas au même stade du système d'évaluation, on était plus vers le début que vers la fin, néanmoins il était très intéressé par le sujet très impliqué et puis après on a eu quelqu'un qui était vraiment trois ans après dans le système et il a dit ton système à toi c'est du 5 étoiles on se demande comment on va faire ça et lui il a répondu ça se fait pas au jour du lendemain ça se fait au petit bout on peut pas faire tout ça tout de suite, c'est impossible tout ce que nous on fait là c'est grâce aux efforts qu'on a déployés depuis 3 ans

  • #1

    exactement tout à fait mais c'est ça il faut laisser le temps au temps et il y a cette expression ce proverbe un peu bizarre qui consiste à dire comment mange-t-on un éléphant morceau par morceau et c'est ça et au général hier lors de la masterclass de restitution pour les personnes qui ne participent pas à la phase qualitative de l'enquête il y avait effectivement cette personne qui présentait un système d'évaluation en France on buvait du petit lait avec Joss j'ai dit waouh qu'est-ce que ça fait du bien de voir ça parce qu'on se disait c'est quasiment mot pour mot ce que l'on aurait pu décrire dans nos rêves les plus fous en matière d'évaluation des formations mais effectivement il y a eu un investissement il y a eu du temps, il y a eu le fait de se dire ok on y va étape par étape on a une méga checklist et on va cocher les cases une à une mais on va se donner le temps de faire cela

  • #0

    Donc concrètement, on a vu qu'il y avait des choses qu'on peut faire pour accompagner le changement. Premièrement, par rapport au manque d'outils, qu'est-ce qu'on fait pour le manque d'outils ? Donc on a vu que vraiment il y a des outils internes et externes. Je pense qu'il faut savoir faire la différence entre externes et internes. Si vous pouvez externaliser, si vous pouvez prendre un outil... dédié à l'évaluation, c'est possible. Il y a des acteurs qui existent sur le marché francophone qui permettent de non seulement vous permettre de faire des enquêtes, des questionnaires, de faire des quiz, des tests de connaissances, mais jusqu'à ancrage mémoriel et comportemental. Ces plateformes existent, ils sont bien, voire parfois très bien, et qui peuvent justement être intégrés dans votre nouveau système d'évaluation. Mais par rapport à ça, c'est vrai que ça dépend de votre propre organisation, ça dépend des ressources que vous avez, l'investissement que vous pouvez mettre en termes d'argent et au niveau de temps, parce que ce n'est pas parce qu'on met en place un plat-tombe que ça marche tout de suite, Jonathan.

  • #1

    Ah oui, clairement, oui, oui. C'est, bon, tout à l'heure, on en parlait, l'évolution de toute ou partie du système d'information, c'est un chantier à chaque fois. Et se dire, tiens... Ce qui me semble raisonnable à ce niveau, si il fallait donner un conseil, ce serait de commencer par un pilote. Ce qui permet aussi de tester les plateformes, de tester les applications, de voir si la réalité est aussi belle que la vitrine. On commence par un pilote, on commence par un premier projet, un programme de formation. et puis on voit un peu ce que ça donne, on a des résultats, et puis tranquillement, on va aller, un, on teste la plateforme, et deux, tranquillement, on va aller convaincre aussi d'autres acteurs, d'autres commanditaires. On a toujours des commanditaires, des managers un peu plus pro-formation, et donc un peu plus volontaristes que les autres. On teste ce genre de système, et puis on y va progressivement. Et ça, on peut faire ça pour chaque niveau d'évaluation. Quel est le système que si on utilise des systèmes... des systèmes différents pour aborder l'ensemble des niveaux, qu'est-ce qu'on fait pour le niveau 1, qu'est-ce qu'on fait pour le niveau 2, qu'est-ce qu'on fait pour le niveau 3, qu'est-ce qu'on fait pour le niveau 4, et à la fin, comment on fait du lien entre tous ces niveaux.

  • #0

    Après, si vous ne pouvez pas externaliser, vous pouvez aussi utiliser les outils en interne. On a vu pas mal d'organisations qui ont dit que ce n'est pas possible d'externaliser, donc ils sont obligés de faire avec des outils à bord. C'est vrai que la plupart des organisations, ils ont Microsoft, il ne faut pas se leurrer, ils ont Microsoft, donc ils sont obligés d'utiliser les outils de Microsoft, mais ils peuvent le faire, donc ils peuvent quand même... J'ai envie d'aider à industrialiser un petit peu les outils Microsoft, c'est-à-dire qu'ils peuvent au lieu de juste faire des choses avec un document Word comme questionnaire pour après le mettre dans un fichier Excel qui prend un temps fou. Non, ce n'est pas ça, c'est plutôt utiliser Microsoft Forms, voir jusqu'à un lien des données recoltées avec Power BI, qui est le système d'analyse de données, de recoltes de données chez Microsoft dans les grandes organisations.

  • #1

    complètement et c'est vrai que je vais faire mon mea culpa parce que pendant des années je Pour moi, c'était une forme d'aveu d'échec de dire tiens, j'utilise Microsoft Forms ou Google Forms, etc. parce que je me disais oui, mais c'est vraiment… C'est un peu comme SurveyMonkey, on se disait oui, mais c'est quelque chose qui n'est pas adapté, c'est trop générique, etc. alors c'est vrai qu'on peut l'utiliser comme ça de manière très générique par contre comme tu le dis si on peut profiter de tout l'écosystème Microsoft si on prend l'exemple de Microsoft on pourrait avoir des logiques similaires avec d'autres éditeurs mais on peut avoir Microsoft Forms pour les questionnaires. Donc là, on voit que ça permet quand même de répondre à pas mal de choses au niveau 1, 2, voire 3, voire 4, etc. Enfin, 3 sûrs et voire 4, si on fait aussi du déclaratif. au niveau 4, on collecte les données, on peut automatiser tout cela, donc on a Power Automate de Microsoft qui permet aussi d'avoir des workflows qui permettent d'aller alimenter tout cela, d'aller personnaliser les questionnaires en fonction de données liées aux formations, etc. D'aller ensuite injecter ces données dans Power BI, donc d'avoir des rapports qui soient automatiques, qui puissent être communiqués automatiquement et qui peuvent être utilisés à différents acteurs, différentes parties prenantes. Bref, il y a tout un système à penser. C'est pour ça que tout on parlait vraiment d'une compétence qui est précieuse, mêlant les outils informatiques, l'analyse de données, etc. Mais quand on a quelqu'un, soit en interne, soit sous forme de prestataire qui peut venir réaliser cela, franchement, c'est que du bonheur. Là, on passe à un autre niveau et effectivement, ça ne justifie plus ou en tout cas, ça justifie beaucoup moins le fait de faire appel à des solutions externes. Alors, pour la collecte des données et l'analyse, j'entends. Par contre, pour la partie coaching, ancrage, etc., ce n'est pas ça qui fera le travail.

  • #0

    Oui, oui. Bien, donc vraiment des choses très intéressantes au niveau des outils, que ce soit externe ou interne, on voit des possibilités, que vous soyez bloqué d'un ou de l'autre côté, il y a des choses à faire. Il ne faut pas se dire qu'on ne peut rien faire avec ce qu'on a, non, vous pouvez, et puis après vous avez des solutions externes aussi, là justement si vous avez des possibilités pour vous aider. Alors après, j'ai envie de dire qu'on veut un peu travailler sur les acteurs, les rôles, les gens. Donc au niveau culturel, le changement, forcément, c'est vraiment une question de gens. Donc on a les gens au sein du service formation, on va en parler après. Et puis après, on a des gens autour du service formation, les différents acteurs qui jouent un rôle très important dans la réussite d'une formation. commençons par les commanditaires je pense Jonathan c'est comment travailler avec des gens haut placés au sein d'une organisation qui sont souvent peu connaissants de ce que fait la formation peut-être assez exigeants avec ce qu'ils veulent et puis peut-être aussi pas très aidant je ne sais pas si c'est le mot mais qui n'aide pas beaucoup les efforts aussi des services de formation aussi oui alors

  • #1

    là c'est là c'est clair il n'y a pas de solution miracle pour Déjà, c'est parler le même langage que les commanditaires. Donc, c'est sûr que si on arrive et qu'on leur parle pédagogie, tant mieux pour nous si on tombe sur des commanditaires qui sont intéressés par ces questions. En réalité, ils ont quand même d'autres chats fouettés. Ils ne peuvent pas s'amuser à parler le jargon spécifique de chaque fonction. Donc, forcément, il faut parler stratégie, il faut parler performance, il faut parler business, etc. Et s'intéresser à l'actualité de l'entreprise. Donc, essayer de venir discuter avec eux. partout où cela sera possible, de venir se tenir au courant de l'actualité, de parler des projets en cours, de proposer ces services aussi pour... pour répondre à tel ou tel chantier, tel ou tel projet. Parfois, on a la chance d'être invité au Codire pour défendre cela, pour avoir des données qui vont nous permettre d'avoir un plan de développement des compétences qui tiennent compte d'éléments stratégiques. Parfois non, parfois on va se retrouver dans des groupes de travail. L'idée, c'est de pouvoir les rencontrer le plus possible, d'être dans leur périmètre, on va dire leur écosystème, d'être visible. et d'avoir à la fois des données qui permettent de cadrer nos formations, nos orientations de formation, et aussi de pouvoir leur présenter des données qui les intéressent. Et ce qui les intéresse, ce ne sont certainement pas les niveaux 1 et 2. Donc voilà, il y a à la fois l'amont, comment on peut se rapprocher d'eux pour avoir des informations, pour avoir pourquoi pas leur participation dans certains cas. pour définir des orientations stratégiques en matière de formation et en aval. Il y a aussi qu'est-ce que l'on va leur présenter comme résultat qui les intéresse.

  • #0

    Je pense que justement, s'il n'y a pas de contact entre le service formation et les commanditaires, les parties prenantes, j'ai vu, on avait vu le cas d'une personne qui a dit, moi il y a deux ans, j'ai pris rendez-vous avec les différents membres du COMEX pour demander, j'ai envie de vous rencontrer pour savoir si mes formations, mon offre de formation est en alignement avec votre stratégie. Donc, est-ce qu'on peut prendre rendez-vous pour en discuter, pour voir si j'ai les bonnes formations pour vous. et donc du coup les membres du COMEX ont dit oui ils ont discuté et ça permet de justement ouvrir un peu les chakras ouvrir un peu les vannes pour faciliter la communication ce qui a fait que un an après il est revenu avec justement des éléments plus quantitatifs et qualitatifs par rapport à ce qui se passait les membres du COMEX ils ont beaucoup apprécié après ils ont fait venir les N-1 donc les gens plus en contact avec les apprenants pour participer et ça fait en effet des boules de neige mais tout ça, ça a commencé par l'effort de ce responsable nation qui a fait l'effort de contacter pour vraiment voir si tout allait bien par rapport à son offre à lui exactement c'est courageux et c'est bien mais bon,

  • #1

    c'est courageux parce que la réponse pourrait être pourrait être que non, qu'il y a beaucoup de choses à revoir mais en même temps on le rappelle souvent, il ne faut pas se leurrer, même si on n'est pas aussi courageux que ce responsable formation, l'évaluation de l'intérêt de notre fonction se fait quand même. Et que les dirigeants discutent, etc. Et puis, on ne peut pas mettre la poussière sous le tapis éternellement. Et un jour, on apprend que finalement, on va externaliser toute ou partie de la fonction de formation. donc voilà il vaut mieux avoir un discours clair et se dire je me pose des questions, je veux améliorer les choses j'ai besoin de vous et ça ne pourrait être qu'apprécié forcément

  • #0

    Après, il y avait les managers. Tu en as un peu parlé dans les freins, les freins pour réussir un système d'évaluation. C'est quand même une population très importante.

  • #1

    Oui, tout à fait. Les managers, le grand classique dont on parle souvent et dont je parle dans mon livre, d'avoir des protocoles, des dispositifs du type 505. Le 505, c'est considéré, la première 5 collaborateurs et managers peuvent discuter au moins 5 minutes avant la formation, pour préciser le besoin, les objectifs, dans quel contexte la personne va aller se former, etc. Deuxième chiffre, le zéro, donc zéro minute pendant la formation, faire en sorte que le manager laisse son collaborateur bénéficier, profiter de la formation. donc ne le sollicite pas le troisième chiffre donc 5, 5, 105 le dernier 5 c'est justement de débriefer au moins pendant 5 minutes post formation pour discuter juste en plan d'action qu'est-ce qu'on va pouvoir mettre en oeuvre comment le manager peut être utile etc Donc ça, ça se fait bien, ça se communique, c'est pareil, on commence toujours par les managers pro-formation, et puis progressivement, on augmente la population, on va dire l'échantillon concerné. pour commencer à intéresser un peu tout le monde. Mais il y a tellement de choses à dire sur les managers. Pourquoi aujourd'hui ils n'ont pas le temps ? Est-ce qu'ils sont aussi évalués, promus, rémunérés pour faire ce travail ? Ça peut remettre en cause tellement de variables du système de management que c'est la même chose. Je pense que commencer par un pilote et y aller progressivement, identifier les freins. ensuite aller toquer à la porte de la direction de la direction des ressources humaines commencer à poser des questions aussi sur ce que l'on attend des managers, c'est quoi la charte managériale etc, comment ils sont aujourd'hui évalués ça ouvre le champ des possibles de façon assez importante mais ça sera nécessaire aussi je sens qu'on va faire un épisode du podcast que là dessus ouais franchement ça vaudrait la peine et aussi a-t-on besoin des managers pour l'efficacité des formations parce que voilà moi aussi c'est mon leitmotiv c'est de me dire trop compliqué on peut aussi se focaliser uniquement sur les apprenants ça j'y crois beaucoup ça n'est pas forcément plus simple mais par contre dans certains cas c'est nécessaire

  • #0

    après il y avait donc les formateurs et les prestataires de formation je sais que vous êtes nombreux aussi de travailler au sein de l'organisme mais vous êtes aussi avec des formateurs interne externe des acteurs importants dans l'évaluation ouais clairement

  • #1

    assez... c'est important qu'eux comprennent aussi ce que l'on attend en termes d'évaluation que l'évaluation ne va pas se limiter au niveau 1 et 2 donc justement à ce qui se passe dans la salle de formation qu'elle soit physique ou virtuelle mais voilà que eux comprennent aussi comment on peut qu'est-ce que l'on peut évaluer au niveau 1 et 2 au-delà de la seule satisfaction et de la seule acquisition de connaissances tiens c'est intéressant et on en parlait hier d'ailleurs une responsable formation qui me qui nous faisaient un retour à ce sujet, nous préconisent souvent d'aller évaluer la confiance. Donc la confiance, elle est dans le bout de deux du nouveau modèle Cœur Patrick. Est-ce que je me sens confiant, confiant pour mettre en application, une fois de retour au travail, ce que j'ai appris durant cette formation ? C'est une technique d'évaluation en soi, mais il faut que le formateur, il soit formé, en tout cas qu'il soit préparé à faire ça, voire qu'il soit outillé, parce que ça donne des informations très intéressantes sur les possibles freins qu'il va y avoir au transfert des acquis. Donc, les identifier pendant la formation, aller évaluer cela, aller poser des questions. On a besoin des formateurs pour avoir ces données.

  • #0

    J'ai envie de dire que l'évaluation pour un formateur ou pour un prestataire, ce n'est pas pour juger la qualité de son travail, c'est pour préparer l'apprenant justement pour la suite aussi. On est d'accord ?

  • #1

    Exactement. Oui, tu fais bien de le préciser. D'ailleurs, nous, on se bat contre les évaluations de niveau 1 qui ressemblent à des questionnaires de jugement des formateurs. L'idée, c'est qu'on veut s'assurer que l'évaluation… Pardon. pas l'évaluation, l'apprenant, soit dans les meilleures conditions possibles pour apprendre et donc performer derrière, transférer ses acquis, etc. Et donc voilà, comment le formateur peut être partie prenante de cela ? Parce que je pense qu'il n'y a rien de plus, on va dire, satisfaisant aussi pour le formateur. que de se dire que les apprenants qu'il a pu former, qu'il a pu avoir en formation, ont mis en pratique, ont pu bénéficier de la formation, etc. Donc il faut voir l'évaluation non pas comme un acte de jugement, mais comme un levier pour améliorer l'efficacité des formations que l'on propose soi-même en tant que formateur.

  • #0

    Et les gens qui pratiquent l'évaluation pensent comme ça, justement. Ils pensent que c'est ça qui est le plus important. plus ou aussi important que justement la qualité de ce qui se passait dans l'action. Bien. Et donc après aussi, les apprenants, forcément, il y a les apprenants, quel est le rôle qu'ils jouent dans l'évaluation, que ce soit pendant l'information ou dans les efforts pour la mise en place ?

  • #1

    Oui. Alors, les apprenants, je pense que les apprenants ne sont pas J'ai cet a priori, mais je ne pense pas me tromper. Je considère que les apprenants ne sont pas particulièrement intéressés par l'évaluation des formations. Ce n'est pas ce qui les empêche de dormir la nuit. Donc, il faut quand même pouvoir leur expliquer pourquoi on évalue les formations et surtout, encore une fois, rappeler que l'évaluation en soi ne sert à rien et qu'en fait, on évalue parce que l'on veut maximiser l'efficacité de la formation. Et en tant qu'apprenant, j'ai plutôt intérêt... à participer à une formation, parce que moi-même, je vais y consacrer du temps, de l'énergie, des ressources, etc. J'ai plutôt intérêt à ce que celle-ci porte ses fruits. Donc, leur présenter le dispositif d'évaluation. comme étant intrinsèquement intéressants pour eux, pour qu'ils puissent vraiment bénéficier de la formation. Donc, on fait la formation, et à part il y a une espèce de fil rouge parallèle qui est celui de l'évaluation. Non, l'évaluation est partie intégrante de la formation. Ce sont des séquences pédagogiques dédiées, ce sont des activités pédagogiques. Le fait d'évaluer le niveau 3, d'évaluer le transfert des acquis, c'est une activité pédagogique en soi. et donc leur présenter tout le dispositif comme une forme de turbo pour les moteurs je vais faire cette analogie mais c'est un turbo que l'on vient mettre sur le moteur des voitures pour accroître ses performances donc l'évaluation est un turbo qui vient accroître la performance de la formation je pense qu'il faut l'expliquer via différents médias aux apprenants afin qu'ils prennent conscience de l'importance de l'évaluation

  • #0

    Ça peut être des vidéos, ça peut être des explications par le formateur, ça peut être des présentations au début d'une formation via le commoditaire, le sponsor qui vient. Mais c'est essentiel qu'il y ait cet effort de communication pour que les apprenants comprennent qu'est-ce qu'on attend d'eux dans la formation et aussi par la suite.

  • #1

    Exactement, oui, tout à fait. Et c'est ça, et d'ailleurs, on en parlait précédemment, le formateur, on attend aussi cela de lui, c'est qu'il puisse présenter. Alors, nous, on doit lui fournir les éléments, mais qu'il puisse présenter, rappeler l'importance de l'évaluation, rappeler le fait qu'on n'est pas en train d'évaluer les personnes en tant que telles, que ce n'est pas focalisé sur le formateur, mais qu'encore une fois, on veut s'assurer. que tous les ingrédients d'une recette potentiellement efficace sont réunis.

  • #0

    donc c'est vraiment en ce sens qu'il faut présenter les choses on a eu le cas hier justement une responsable qui disait que elle essaie d'organiser des réunions de mise en application tu te souviens et que en fait en soi elle savait que si les gens ne venaient pas dans les réunions c'est parce qu'ils n'avaient pas mis en application donc rien que se présenter pour être dans la réunion voulait dire qu'il y avait un effort de transfert pour suite à l'information

  • #1

    ouais ouais ouais moi je trouve ça très positif je préfère ça plutôt que le mode entre guillemets école des fans où tout est parfait, on se réunit et puis tout le monde était très content et puis c'est génial et puis en fait on n'en fait rien donc je préfère être exigeant parce que de toute façon l'efficacité d'une formation est exigeante, donc il faut être aussi exigeant avec les apprenants, il ne faut pas croire que ça va se faire sans effort sans investissement sans implication de leur part, et donc s'ils veulent les résultats, c'est comme tout il va falloir aussi qu'ils mouillent la chemise, qu'ils mouillent le maillot si je puis dire donc pour moi je suis complètement à l'aise avec ça

  • #0

    Pour finir sur les acteurs et les gens qui travaillent dans l'évaluation, forcément il y a les équipes de formation. Le service de formation au sein de l'organisation. Ça peut aussi vouloir dire pour les académies en interne, les organismes de formation à l'externe, les charges de formation, les concepts pédagogiques, tout le monde qui travaille dans la formation. et là on a vu qu'il y avait une forte différence entre quelqu'un qui s'occupe de l'évaluation qui est tout seul dans son équipe et lorsqu'il y a une vague de gens qui travaillent tous dans le même sens c'est

  • #1

    radical ça n'a rien à voir on a pu l'expérimenter toi et moi encore récemment je pense à des... à des clients donc pour des sessions intra-entreprise ça n'est pas du tout la même chose lorsqu'on forme 8, 10, 12 personnes et qui ensuite ont un langage commun ont des pratiques en commun situent une communauté de pratiques en interne un groupe de travail avance et puis justement commence à cocher les cases de tout ce plan d'action pour dire voilà dans 3 ans on en est là on a ce système d'évaluation parfait ou quasi parfait et en attendant voilà on refait nos questionnaires d'évaluation, on outille, on a le bon discours vis-à-vis des commanditaires, vis-à-vis des managers, on communique de la bonne manière, on présente les résultats de la bonne manière, etc. Voilà, ça n'est pas du tout la même chose. Il faut des compétences, et puis, oui, il faut y aller en rang serré, de manière... on va dire en collectif et là les résultats sont complètement différents parce qu'on peut voir la résistance de la part des chargés de formation aussi,

  • #0

    il ne faut pas se leurrer il y a des gens qui travaillent dans la formation qui ne voient pas l'utilité ou l'importance des évaluations comme d'autres et donc ça travaille aussi au sein de l'équipe même au sein des groupes en intrat dont tu parles on voit des chargés de formation qui sont un peu résistants

  • #1

    oui en fait comme c'est un changement il y a toujours de la résistance au changement à différents degrés et ça ne concerne pas tout le monde mais nécessairement on va venir bousculer des habitudes on va venir changer des postures ça va demander de renouveler, de changer ses méthodes de travail, ses pratiques c'est déstabilisant mais par contre qu'est-ce que c'est gratifiant derrière on le voit voilà on a des personnes qui sont dithyrambiques, qui sont extrêmement positives et qui se disent Voilà, on a révolutionné la mer de fer. Et qui, sans entrer dans les détails, pour des questions aussi de confidentialité... mais dans des entreprises où il y avait quand même des difficultés économiques, où on avait aussi des personnes qui se posaient des questions, là on ne se pose plus trop la question de l'intérêt de la fonction formation, parce que ça devient vraiment quelque chose qui n'est pas juste un centre de coût, c'est vraiment un centre de profit, mais en tout cas quelque chose qui démontre sa contribution. à la performance de l'entreprise, qui vient en soutien des opérationnels, etc. Donc ça change complètement le positionnement et la posture des gens qui occupent cette fonction.

  • #0

    Nous, on voit un lien très fort entre la professionnalisation des équipes de formation et notre certification Bronze CAC Patrick. Donc là, si vous voyez les slides, il est marqué Bronze Level, mais je vous rassure, c'est en français comme c'est en anglais, il n'y a pas de souci. Et donc, c'est beaucoup plus facile pour des responsables de formation qui sont en interne ou externe, qui sont pré-hookés par l'évaluation, de passer... Les équipes passent cette certification pour justement favoriser, comme disait Jonathan, le langage commun, avoir la même conviction, un changement de paradigme dans les gens pour se rendre compte sur quoi il faut se concentrer. Plein de bénéfices pour permettre de favoriser justement cet accompagnement au changement au sein de l'organisation. C'est quelque chose que nous, vraiment, on vous propose de le faire au début d'un processus de changement.

  • #1

    n'est-ce pas j'en attendais pas pas à la fin oui complètement oui oui il faut c'est pour avoir déjà vécu le cas contraire moi je me souviens d'une cliente il y a quelques années qui disait oui mais je ne suis pas certain en fait je ne suis pas certain de l'intérêt de suivre la formation j'ai déjà suivi les formations sur l'évaluation etc et donc on a monté un groupe de travail et tout au long du groupe de travail honnêtement on a mis peut-être sérieusement, trois ou quatre fois plus de temps parce qu'il fallait toujours expliquer les choses, il fallait toujours revenir sur le sens des mots, les concepts, etc. Alors que, et elle-même l'a avoué à la fin, elle a dit en fait, oui, je comprends maintenant pourquoi tu disais ça. En fait, on aurait dû se former dès le début. Mais c'est normal, en fait, il faut des grilles de lecture commune, il faut un langage commun, il faut des réflexes aussi, il faut positionner correctement les notions, les concepts, etc. sinon à chaque fois on perd du temps c'est le meilleur investissement que l'on puisse faire c'est de bien démarrer pour ensuite se dire maintenant en plus on a la visibilité sur ce que l'on veut faire, sur ce que l'on peut faire là où l'on veut aller etc mais c'est nécessaire d'avoir ça au début

  • #0

    Si ça vous intéresse, on fait une formation d'entreprise à Paris le 18 et 19 avril. Il y a encore un peu de place. Donc, si vous nous écoutez ou si vous voyez cette présentation, n'hésitez surtout pas à nous solliciter pour prendre place pour cette certification. Vous allez aussi trouver des dates pour le deuxième semestre. Et puis, vous pouvez aussi nous solliciter pour mettre en place. une session en interne chez vous, en intra, pour toute une équipe de chargés ou de responsables ou de formations ou de formateurs même, et puis de responsables pédagogiques et de concepteurs pédagogiques aussi. Merci beaucoup d'avoir écouté ou d'avoir vu la présentation jusqu'à là. Ça fait très, très plaisir avec Jonathan de faire cette enquête. On se demande si on va faire une espèce de baromètre pour les années à venir pour savoir si les choses changent. Mais en tout cas, nous, on est très sécurisés. Je ne sais pas si c'est le bon mot, sécurisés, confortés. Confortés de voir que les choses évoluent dans le métier de la marche de l'évaluation. Et ça nous réjouit pour le futur.

  • #1

    Oui, complètement. Et avec plaisir pour ce baromètre.

  • #0

    Bon, allez, on va le faire. Écoutez, on vous envoie, pour ceux qui s'intéressent, on a des slides, on va travailler aussi sur les infographies, on va partager des posts, donc on va continuer à informer par rapport à cette enquête, ce projet qu'on a fait pour le futur. Merci Jonathan et à très bientôt.

  • #1

    Merci Joss, à bientôt.

  • #0

    Sous-titrage ST'501 Merci.

Share

Embed

You may also like

Description

Dans ce nouvel épisode de Retour sur les Attentes par Evaluationformation.fr, Joss et Jonathan présentent et commentent quelques résultats de l'étude qu'ils ont menée récemment sur les pratiques d'évaluation des formations en 2023.


Entre autres objectifs, cette étude visait à démocratiser les bonnes pratiques en matière d'évaluation des formations et de permettre aux professionnels d'apprendre et de capitaliser sur ces résultats pour améliorer leurs propres pratiques.


Cet épisode est aussi consultable sur Vimeo, dans une version vidéo avec partage du support de présentation : https://vimeo.com/928882775?share=copy


Retrouvez également un article dédié sur notre blog avec plusieurs éléments de réflexion et d'analyse : https://evaluationformation.fr/pratiques-evaluation-formations-2023/


Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

  • #0

    Bonjour tout le monde, bienvenue à cette vidéo et à ce podcast qu'on publie en même temps. C'est sur le panorama des pratiques d'évaluation de la formation selon les quatre niveaux du modèle capatrique. Tout ça, c'est basé sur des enquêtes qu'on a faites fin d'année 2023, début d'année 2024. Je suis là aujourd'hui avec Jonathan Potier. Comment tu vas, Jonathan ?

  • #1

    Très bien, Joss, et toi ?

  • #0

    Moi, je vais très bien. Je suis content. J'imagine comme toi aussi, parce qu'hier, justement, on a présenté les résultats à quelques participants de l'enquête et je trouve que ça s'est très bien passé. Qu'est-ce que tu en as pensé ?

  • #1

    Oui, c'était vraiment super intéressant. vraiment ravi de cette restitution et de cet échange en voyant aussi que voilà on va en reparler mais ce que l'on préconise depuis des années est mis en oeuvre dans certaines entreprises et que ça porte ses fruits donc ça c'est vraiment très très intéressant ça fait du bien ah oui ça fait du bien franchement j'ai passé une excellente soirée une excellente nuit super

  • #0

    Alors, l'objectif aujourd'hui, c'est de présenter ça à tout acteur qui travaille dans la formation et qui est intéressé au sujet de l'évaluation. Du coup, pour vous, aujourd'hui, nous avons trois sections de la présentation. Premièrement, on va vous présenter les résultats des enquêtes, comment on a fait concrètement. Puis les meilleures pratiques par niveau, donc pour les quatre niveaux, quelles sont les bonnes pratiques, quelles sont les méthodes qu'on voit carrément sur le terrain. Et on va finir par comment accompagner les changements au sujet de l'évaluation dans l'organisation, donc au sens plus large, comme les gens le font concrètement. Voilà, donc on va commencer par les résultats. On a eu deux types d'enquêtes. On a eu une enquête quantitative. Alors, on l'a fait à la fin de l'année 2023, début 2024, donc ce n'était pas un moment le plus propice d'avoir beaucoup de réponses. Néanmoins, on est plutôt satisfait avec 68 réponses pour l'enquête quantitative. Donc, il y avait... Une vingtaine de minutes pour répondre à l'enquête avec plein de questions au sujet de l'évaluation. On avait fait avec une petite plateforme de questionnaire. 50% des réponses sont provenues d'entreprises de plus de 1000 employés. Donc ça, c'était vraiment la cible pour nous, parce qu'au niveau organisationnel et au niveau méthode, on voulait vraiment cibler les grosses organisations. C'est là qu'on sait que les gens en ont le plus besoin par rapport au modèle pour les quatre niveaux. Et puis, au niveau d'où les répondants ont été basés, 80% étaient en France. On a eu aussi des réponses en Suisse, en Belgique, en Maroc et aussi au Québec. Donc, on s'est concentré que sur la partie francophone, mais on était content de voir aussi qu'il y a beaucoup de choses qui se passent en dehors de la France. Alors, bien sûr, 97% de la population est française. La plus grande majorité travaille dans la formation, mais on a vu que les gens qui s'intéressent au sujet de l'évaluation sont souvent ceux qui travaillent depuis longtemps. C'est-à-dire que je me fais l'idée qu'on s'intéresse à l'évaluation peut-être normalement un peu plus tard dans la fonction formation, peut-être pas au début. C'est là qu'on voit que tout ce qui est efficacité et impact prend son sens lorsqu'on est là depuis un peu plus de temps. Donc du coup, comme on avait basé le questionnaire sur le modèle, on avait vu que les gens connaissent bien ou très bien le cas Patrick, 70%. et on était très content des résultats et puis après on a complété avec un enquête qualitatif c'est-à-dire qu'on a choisi des répondants et on leur a proposé de faire des enquêtes des entretiens d'à peu près une heure pour mieux explorer ce qu'ils font en interne donc on a eu neuf entretiens en tout d'une heure avec des responsables de formation des grosses organisations pour mieux comprendre les méthodes qu'ils mettent en place, mais aussi au niveau organisationnel, comment ils ont fait, comment ils convainquent les gens, les acteurs, de s'y prendre au niveau évaluation. Et puis, juste pour vous dire, six ont eu une expérience significative avec les formations côté client. Donc, quand je dis côté client, c'est-à-dire que les gens sur le marché, les clients d'entreprises ou des patients, sont vraiment... C'était assez intéressant parce que souvent ils sont là qui sont très intéressés par l'impact aussi des formations. Donc ça, c'est comme on a fait. Après, je passe la main à Jonathan qui va présenter les trois prochains slides au niveau des résultats quantitatifs. Je te laisse la main, Jonathan.

  • #1

    Oui, merci, Joss. Alors, on a un certain nombre de données quantitatives à partager. Ici, on va se focaliser sur quelques éléments, quelques données. assez significatif, quelques résultats. On partagera de manière plus large d'autres données quantitatives dans un support qui sera accessible sur le site évaluationformation.fr. notamment pour remercier les 68 répondants, 68 personnes qui ont participé à l'enquête. On avait une question sur les objectifs visés, alors non pas par la formation, parce qu'on répète sans arrêt, Joss et moi, que... Il est important d'avoir des objectifs clairs lorsque l'on veut évaluer les formations, mais là, on parle des objectifs visés par l'évaluation. Pourquoi évaluer ces formations ? Quels objectifs on peut assigner, attribuer à son système d'évaluation des formations ? et on a listé dans l'enquête une dizaine, dix, je crois précisément, d'objectifs potentiellement visés par les organisations qui évaluent leur formation. Et les trois objectifs arrivés en tête sont ceux-ci. Le premier est donc le fait d'améliorer l'efficacité des formations présentes et à venir. Donc, il y a une vraie logique d'amélioration continue. Ça, c'est très intéressant parce que, je répète, a l'envie qu'évaluer ses formations, ça ne sert à rien. Évaluer pour évaluer, ça ne sert à rien. On doit, à minima, évaluer pour améliorer, pour enclencher des actions, pour s'améliorer en continu. Le deuxième objectif, c'est montrer l'impact des formations sur les résultats de l'organisation. Donc là, il y a une véritable logique en termes de démonstration, justement, de l'impact. des formations. Quand on pense impact et que l'on traduit dans le modèle Kirkpatrick, on est au niveau 4, voire au niveau 3 également. Et le troisième objectif visé dans l'ordre, c'est de démontrer la valeur de la formation. C'est assez lié au second. Et on voit qu'on a vraiment un très fort focus, une très forte orientation sur les questions d'impact des formations, de valeur ajoutée de la formation. Donc encore une fois, on n'est pas scotché au niveau 1 et 2. On est vraiment dans une logique où on cherche à démontrer l'impact des formations sur les individus et sur les collaborateurs, donc niveau 3, et sur leur organisation, donc niveau 4.

  • #0

    Est-ce que, ce n'est pas la première fois que toi tu fais des enquêtes dans l'évaluation, je sais qu'on a fait certaines dans le passé, est-ce que tu as vu des changements justement par rapport à ces objectifs ?

  • #1

    Oui, alors clairement, tu as raison, il y a clairement des changements, c'est vrai qu'il y a un certain nombre d'années, je crois que j'avais commencé en 2010, on voyait que ce qui ressortait c'était… On va dire beaucoup plus focalisé sur la formation elle-même, où on cherchait à, par exemple, améliorer le programme de formation, à mieux sélectionner les prestataires. On voulait faire des... des sortes de trip advisors de la formation où on voulait pouvoir noter ses prestataires, ses formateurs, ses formatrices avec des petites étoiles, etc. C'était ça qui comptait avant tout. Et aujourd'hui, on voit que le curseur s'est déplacé et qu'on est davantage focalisé sur les questions d'impact. Donc ça, c'est une très bonne nouvelle parce que se focaliser uniquement sur les prestataires... Voilà, le prestataire n'est qu'une partie de la réponse, n'est que l'un des éléments qui peut être à l'origine de l'efficacité de la formation, mais ça n'est certainement pas le seul. Donc ça, c'est intéressant de prendre de la hauteur et de s'intéresser aux questions relatives au niveau 3 et 4. c'est super ok donc après on a posé la question sur les obstacles ou des freins ouais tout à fait donc on a les objectifs d'abord et ensuite maintenant qu'est-ce qui empêche les participants à l'enquête d'aller plus loin aussi dans leur pratique d'évaluation des formations et donc en premier on a le manque de temps peu de temps à consacrer à l'évaluation des formations, donc ça c'est un grand classique, et pas uniquement dans l'évaluation des formations on n'a jamais le temps de rien c'est un peu le simple c'est ça donc forcément on a x actions de formation à gérer, on a plein de choses on a pour les personnes concernées on a Calliope, enfin bref il y a énormément de choses et donc l'évaluation se dit quand est-ce que l'on peut y accorder du temps et donc de l'importance. Deuxième obstacle ou frein, c'est le manque d'implication des managers. C'est la même chose, ça c'est un grand classique. Ils ne sont pas suffisamment engagés dans le processus d'évaluation des formations. Les pauvres managers, on leur demande souvent de faire beaucoup, beaucoup, beaucoup de choses. Et on leur rajoute en plus le fait de participer à l'évaluation, d'accompagner leurs collaborateurs dans la formation, etc. Donc on voit que ça, c'est une difficulté majeure. Et le troisième point, c'est toujours étonnant de le constater alors que le marché nous propose beaucoup de choses qui permettraient de lever cet obstacle, ce frein, c'est le manque d'outils appropriés. L'absence d'outils spécifiques ou adaptés qui compliquent la mise en place d'évaluations efficaces. donc ça voilà on le voit dans l'enquête c'est la plateforme LMS qui ne permet pas de faire l'évaluation des formations j'ai pas d'outils,

  • #0

    je fais encore tout sous Excel etc est-ce que ce manque d'outils Ce n'est pas que parce qu'ils ne savent pas que les outils existent. C'est aussi pour des raisons de budget ou de contraintes d'utiliser, comme tu dis, l'NMS ou des problèmes avec l'informatique, etc. Ce n'est pas que ne pas savoir qu'il y a des plateformes qui existent pour l'évaluation.

  • #1

    Oui, tu as raison parce que c'est vrai que c'est fréquemment indiqué dans l'enquête. on a des personnes qui se plaignent de leur plateforme on ne citera pas de nom mais il y a des gens qui reviennent souvent et en disant je voudrais pouvoir utiliser telle ou telle plateforme ou faire ceci ou faire cela donc comme tu le dis tu as parfaitement raison ça n'est pas nécessairement un manque de connaissances quant aux outils du marché c'est aussi des questions de budget, c'est beaucoup aussi de questions liées à la sécurité des données. On sait que la DSI a son mot à dire dans le choix des plateformes, etc. Donc, ça n'est pas simple de mettre en œuvre une plateforme. C'est encore moins simple, donc c'est encore plus compliqué de la changer. Parce qu'une fois qu'on l'a mise en œuvre, on sait à quel point c'était douloureux. Souvent. et donc derrière dire finalement ça ne répond pas exactement aux cahiers des charges en tout cas à nos besoins actuels et donc on va en changer et là on voit que c'est très compliqué donc forcément oui c'est un obstacle et en fait on le comprend assez aisément on va en parler sur les outils un peu après donc après les niveaux de capacité à évaluer Ah oui, alors ça c'est on pose la question j'ai envie de dire un peu pour la forme parce que souvent on s'attend à la réponse et puis bon là c'est un peu la même chose alors je dis pour la forme en rigolant parce que en posant cette question, ça nous permettait d'adapter le questionnaire derrière non pas de l'adaptive learning, mais de l'adaptive evaluation. Voilà, si le répondant coché, voilà, j'évalue les niveaux 1, 2, 3, derrière, tac, on ouvrait les pages de questions sur le niveau 1, 2, 3, etc. Et pas sur le niveau 4, par exemple. Donc ici, on voit que ce qui est surtout évalué, c'est le niveau 1. On est à 87% des répondants, le niveau 2 82%, le niveau 3 57%, alors on voit qu'on trébuche un peu, et puis le niveau 4 31%. Donc c'est un grand classique, c'est-à-dire que plus l'on progresse dans la hiérarchie des niveaux de cœur patrique, moins l'on évalue. Et le grand paradoxe, et si on lit cela avec la question des objectifs que l'on a vus précédemment, c'est que l'on évalue finalement ce qui a... on va dire le moins d'importance, on évalue surtout ce qui a le moins d'importance pour répondre à ces objectifs où l'on parle d'efficacité, d'impact, de valeur, etc. Ce n'est pas au niveau 1 et 2 que l'on a des données à ce niveau. Les niveaux 1 et 2 renseignent surtout sur les éléments pédagogiques liés à la qualité de la formation. Mais ce sont bien les niveaux 3 et 4 qui apportent des données intéressantes quant à l'impact des formations. Donc là, il y a un paradoxe.

  • #0

    ce qu'on voit aussi c'est un grand classique ce qu'on ne voit pas c'est que on essaie de préconiser une grande variété de méthodes par niveau et là on ne prend pas en compte dans ce tableau là la variété, c'est-à-dire que si on fait du niveau 3 avec une enquête à froid, c'est compté. On est d'accord que c'est pour nous en tout cas, quelqu'un qui travaille dans l'évaluation, faire une enquête à froid pour le niveau 3, ça ne suffit pas, mais on compte quand même dans ce visuel-là.

  • #1

    exactement et c'est vrai que tu as raison de souligner ça on le voit dans les données les chiffres sont possiblement un peu optimistes. Ils sont un peu, je pense qu'il y a un biais, ils sont un peu surévalués parce que voir 31% de formation évaluée au niveau 4, donc quasiment le tiers, j'ai envie de dire, waouh, c'est génial. Ça fait déjà des années que j'attendais ça. Lorsque l'on regarde, on voit qu'on n'est pas toujours dans un niveau 4. au sens puriste du terme, avec l'identification d'indicateurs en amont, le fait de les suivre, de les piloter, d'aller démontrer le fait que ces indicateurs évoluent dans le sens attendu en aval de la formation, etc. Même chose pour les niveaux 3. Il n'y a à peu près qu'au niveau 1 et 2 où on voit qu'il y a une correspondance entre les réponses et les moyens mis en œuvre, mais au niveau 3 et 4 où il y a un léger biais.

  • #0

    donc voilà c'est un peu moins en réalité que les chiffres présentés ici le niveau 4 ça peut comprendre quelqu'un qui se renseigne avec un apprenant après la formation pour savoir s'il y a eu un impact ou pas tout simplement ou sinon il y a eu un impact alors que c'est pas franchement mesuré comme

  • #1

    tu disais avec un KPI c'est ça c'est du déclaratif alors c'est mieux que rien c'est mieux que rien c'est carrément mieux que rien nous on préconise même en formation en disant à défaut d'indicateur c'est pas grave planter la graine du doute, aller questionner l'impact en interrogeant les apprenants leurs managers etc mais effectivement on n'est pas dans du niveau 4 classique Kirkpatrick

  • #0

    En tout cas, c'est représentatif des gens qui ont répondu à l'enquête que ce sont des gens qui sont intéressés par l'évaluation. Donc, ce n'est peut-être pas au sens large qu'on va prendre avec toutes les formations sur le marché. Ce n'est pas forcément l'enjeu. L'enjeu, c'est de savoir comment ça se passe pour les gens qui pratiquent l'évaluation.

  • #1

    Oui, exactement. C'est ça. Et puis, nous, derrière, on va en parler après, mais c'était vraiment une enquête en deux temps avec ce volet quantitatif. OK, on prend la température. et après on creuse, on va plus loin en ayant des échanges, donc le volet qualitatif de l'enquête, avec des entreprises qui sont plus avancées, notamment sur les niveaux 3 et 4, pour comprendre comment on évalue l'impact de la formation au niveau 3 et 4 en 2023-2024. Et là, on a eu des retours de pratique quand même très intéressants.

  • #0

    L'objectif étant toujours que vous, qui vous intéressez à l'évaluation, vous pouvez apprendre de tout ça pour mettre en pratique des choses derrière. C'est ça ce que nous, on veut faire pour vous.

  • #1

    Exactement. Démocratiser un peu. Il y a des bonnes pratiques.

  • #0

    C'est ça.

  • #1

    Autant capitaliser sur celles-ci et les partager.

  • #0

    Très bien. Donc là, on va passer aux bonnes pratiques, mais à pratiques par niveau. Donc, qu'est-ce qu'on entend par niveau ? C'est par les quatre niveaux. Donc là, c'est le nouveau modèle de Capatric. Pour ceux qui écoutent, je suis en train de montrer le nouveau modèle avec les composants dedans. Si vous souhaiteriez en savoir plus, on a la certification bronze sur le nouveau modèle que vous pouvez faire avec nous, justement pour comprendre qu'est-ce qui va dans chaque méthode. On va commencer aujourd'hui par le niveau 1, donc réaction. Donc là, je vais présenter les meilleures pratiques que nous, on a tirées du niveau 1 de la part de nos enquêtes. Puis le niveau 2, et puis Jonathan va conclure avec le niveau 3 et le niveau 4. Alors, pour le niveau 1, réaction, on a vu qu'une bonne pratique, c'est de l'observation. Qu'est-ce que c'est l'observation ? C'est qu'on a quelqu'un qui est dédié, qui vient observer ce qui se passe dans la formation. L'observateur peut être un autre formateur, ça peut être un responsable pédagogique, ça peut être quelqu'un qui est dans le service de formation. On peut voir différentes raisons pour lesquelles on veut faire de l'observation. Ça peut être pour regarder comment fait le formateur, mais aussi ça peut être pour évaluer le niveau d'engagement des apprenants pour voir qu'ils sont bien dans le jeu et bien impliqués dans la formation. Donc l'observation, c'est un très bon moyen de voir ce qui se passe en réalité. Plutôt d'apprendre par un feedback après, c'est de voir la réalité comme ça se passe. Si vous ne pouvez pas observer en réel, si vous ne pouvez pas être là, vous pouvez aussi demander qu'il y ait des vidéos qui soient prises pour aussi regarder. Mais en tout cas, l'observation, c'est très bien apprécié. Deuxièmement, c'est l'utilisation d'un OMS. Alors un OMS, c'est un terme que nous utilisons qui veut dire Evaluation Management System, un peu comme un LMS qui est Learning Management System. Donc nous, on a mis le terme Evaluation parce que c'est vraiment pour une plateforme qui est dédiée totalement à l'évaluation. Et pour le niveau 1, le fait qu'il y ait un EMS permet de vraiment mettre en place un système d'évaluation pour le niveau 1 qui permet de personnaliser les enquêtes en fonction du projet de formation, qui permet d'analyser très facilement les données, voire même de créer des rapports pour pouvoir présenter à d'autres et impliquer tous les acteurs dans le système de la formation, les formateurs. les charges de déformation, les prestataires externes, voire les commanditaires pour montrer le niveau de qualité de ce qui se passe dans la formation. Donc, une LMS, c'est un outil que vous pouvez prendre qui peut parfois être en lien avec LMS, mais en tout cas, ça permet d'éviter l'utilisation des enquêtes standards telles que Microsoft Forms ou Google Forms ou SurveyMonkey et les plateformes comme ça. Troisièmement, l'utilisation de l'indicateur NPS. NPS, c'est Net Promoter Score. Je pense que le NPS a vraiment pris une place importante maintenant dans l'évaluation de la qualité des formations, beaucoup plus que dans le passé. C'était quelque chose que Jonathan et toi, avec... ton ancienne équipe chez FormaEva vous avez poussé un petit peu avant et on voit que vraiment ça prend place aujourd'hui alors tu disais hier que les NPS c'est surtout utile lorsque la culture de l'entreprise connaît les NPS c'est ça ?

  • #1

    Oui tout à fait alors ça c'est un merci c'est vrai de rappeler qu'on a poussé cet indicateur à l'époque et c'est vrai qu'on voyait en fait le développement du NPS dans pas mal d'entreprises, dans les services marketing, etc. Et c'est vrai qu'aujourd'hui, on réserve un train, un hôtel, etc. Souvent, on achète une voiture, on nous pose toujours la question de la recommandation, est-ce qu'on recommanderait ce produit, ce service, cette marque à notre entourage, etc. et dans la formation c'est un indicateur on le voit aujourd'hui qui est critiqué et qui est vraiment critiquable aussi parce que oui il n'y a pas du tout la prétention d'être pur c'est pas l'alpha et l'oméga de l'évaluation de la formation mais au même titre que le NPS est critiqué pour la partie satisfaction client on va dire recommandation classique par contre aucun indicateur n'est parfait et moi je vois un grand intérêt à utiliser le nps dans les entreprises il ya déjà cette culture du nps parce qu'il ne faudrait pas que la fonction formation fasse bande à part, si je puis dire, en disant, voilà, vous vous évaluez au marketing, au commerce, à la communication, même dans la partie RH. Est-ce que je recommanderais cette entreprise du point de vue de la marque employeur, en tant que salarié, etc. Et moi, la formation, je déciderais de faire bande à part. Donc là, vraiment, l'idée, c'est de se rattacher, de dire à ce que... à ce que font les autres fonctions, et à avoir aussi son NPS lié à la qualité de ses formations. Moi, j'y vois un intérêt.

  • #0

    Alors, comment ils utilisent l'NPS ? Ils posent une question sur la recommandation dans des enquêtes. Et après, au niveau des résultats, il y a des entreprises, des organisations qui poussent au bout, ils mettent un système de couleurs. Donc, ils ont un objectif de NPS par session de formation. Et ils peuvent dire que, par exemple, au-delà d'un certain pourcentage, la couleur verte veut dire que tout va bien. Puis, entre tel pourcentage et tel pourcentage, c'est orange, il faut faire attention s'il y a plusieurs sessions comme ça. Et puis le rouge, le plus bas niveau, ça ne va pas. Il faut vraiment qu'on fasse un petit point pour savoir ce qui se passe. Et ça permet aussi de faire un peu de benchmarking entre les formateurs, entre les sessions, même entre les formations aussi, pour voir quelles sont les formations peut-être les plus appréciées. et donc du coup ça permet d'avoir une première vue d'oeil sur un système un peu plus industrialisé pour les qualités de la formation il y a même des entreprises qui disent nous on va contacter tous les promoteurs c'est-à-dire tout le monde qui disent qu'ils sont très contents et qu'ils ont mis un note de 9 à 10 et puis tous les gens qui ne sont pas contents en dessous de 6 ou de 7 je veux dire entre 1 et 6 on va les contacter aussi pour savoir pourquoi ils ont mis ce score-là ça permet d'avoir un échange plus qualitatif et donc du coup c'est vraiment un système lié à une pièce Voilà. La quatrième méthode, c'était justement le verbatim. Là, je viens d'illustrer le fait que contacter les gens, c'est utile. Demander les avis, que ce soit dans les enquêtes ou en live, dans les tours de table, ou même après la formation, dans les RECS, dans les retours d'échange. C'est très important parce qu'en fait, les gens qui s'occupent de l'évaluation nous disent pratiquement tout ce que les enquêtes ne disent pas tout. on répond aux enquêtes pour nos propres raisons on peut répondre à une enquête parce qu'on est très content on peut répondre parce qu'on n'est pas du tout content mais parfois on n'est pas du tout content pour des mauvaises raisons et pareil pour si on est très content donc parfois on ne répond pas à une enquête pour des raisons culturelles Donc on nous a dit que par exemple dans certains pays, on a peur de répondre aux enquêtes parce qu'on ne veut pas qu'ils les représaillent. Dans certaines organisations, on ne répond pas aux enquêtes parce qu'on en a trop à répondre et on en a marre de le faire parce qu'on n'a pas de retour en répondant aux enquêtes. Mais derrière, qu'est-ce qui se passe ? Donc ils veulent que si on répond, il y a quelque chose qui se passe par la suite. Donc du coup, le verbatim, demander des retours qualitatifs, c'est très important et c'est très apprécié. de la part des apprenants, voire des managers. On a vu avec une entreprise qui met en place des règles entre une semaine et un mois après la formation pour discuter de la formation, pas forcément le transfert, mais vraiment de la formation, parce que c'est là qu'ils savent qu'il y aura des retours beaucoup plus concrets que simplement remplir une enquête.

  • #1

    Oui, clairement. C'est le fait de poser des questions ouvertes, même dans les questionnaires. c'est une bonne pratique aussi pour venir préciser les réponses données aux questions fermées. Parce que dire je n'ai pas été impliqué dans la formation c'est bien, mais comprendre pourquoi, c'est quand même mieux. Donc c'est vrai que ce soit via les enquêtes, via les questionnaires, via les tours de table, via des redouteurs d'expérience, via des sessions de suivi, des classes virtuelles de suivi, etc. Comme tu dis. il faut aller chercher ces données-là. On ne peut pas tout retrouver uniquement dans des cases à cocher.

  • #0

    C'est quelque chose aussi que Capatric privilégie vraiment. C'est de la variété entre le quantitatif et le qualitatif. Peu importe le niveau.

  • #1

    Tout à fait.

  • #0

    Alors après les deux derniers éléments, ce ne sont pas vraiment des méthodes, mais plus des pratiques au niveau du temps. Donc là, on a mis 24 heures par rapport aux enquêtes. C'est important, je pense, de le signer parce que les gens avec qui on a discuté, eux, ils ont dit que le moment le plus propice de répondre à une enquête pour avoir une qualité de données plus fiable, en fait, c'est juste après l'information. Ce n'est pas dans... la formation même. Alors, forcément, il y a des gens qui demandent de remplir l'enquête à la fin d'une formation, mais il y a beaucoup de responsables qui ont dit que le problème, si on remplit une enquête à la fin d'une formation, c'est que les gens sont souvent fatigués. Ils veulent partir et ils vont dire peut-être des choses d'une manière un peu biaisée en fonction d'où le formateur est, est-ce qu'il est là ou pas, qu'est-ce qu'il demande du formateur. Et du coup, forcément, on est toujours dans la formation, on n'a pas encore fait un lien avec. le poste. Alors que si on répond lorsqu'on est de retour sur le poste de travail, ça permet d'avoir une réaction un petit peu plus à froid, qui permet une meilleure qualité de données, parce que du coup, notre environnement sait le travail, et on va commencer à penser à comment on va appliquer tout ça. Donc certes, il y aura moins de réponses. Donc le souci, c'est le niveau, le temps, le taux de réponse. C'est sûr que si on demande aux gens de répondre après, il va y avoir moins. Mais la qualité des données, c'est quand même beaucoup mieux. Donc on a vu qu'il y a pas mal de gens qui ont dit ça. Après, au niveau temps aussi, temporalité. Les gens qui sont vraiment experts, donc on a eu quelques experts de responsabilisation qui travaillent beaucoup dans le niveau 3 et 4, eux, ils ont dit que le niveau 1 est surtout important au début des dispositifs de formation. C'est-à-dire que c'est là qu'ils font le plus attention lorsqu'on est en train de créer une nouvelle formation. on conçoit et on développe et on réalise une nouvelle formation, peut-être pour une grande population de gens, c'est là qu'on veut mettre plus de moyens, plus de ressources, plus de temps dans le niveau 1 pour savoir s'il faut ajuster la formation ou pas en fonction de ce qui était conçu. Et quand la formation est bien en place, du coup, c'est là qu'on passe un peu... moins de temps et moins de ressources parce qu'il y a juste des petits ajustements à faire, un peu comme on disait avant pour comparer, pour benchmarker. Mais là, on a fait le plus grand travail pour optimiser la formation par rapport au début. Voilà, donc ça, c'est le niveau 1, réaction. On va passer au niveau 2, apprentissage. Donc, qu'est-ce qu'on a appris dans la formation ? Là, un peu moins de bonnes pratiques qu'on souhaiterait vous présenter, mais néanmoins très intéressantes. Premièrement, c'est l'importance de faire des évaluations formatives. Donc souvent lorsqu'on parle d'apprentissage, les niveaux d'or, on pense de faire un test avant, faire un test après, peut-être certifier la formation. Mais on a vu que vraiment, l'importance d'évaluer pendant la formation, ça a son sens. Alors, si c'est à distance, souvent on met des mini-quizzes pour être sûr que les gens ont bien compris. Donc, souvent dans l'e-learning, on a des politiques de conception de formation où si on fait une partie en e-learning, on est obligé d'avoir une quiz à la fin. Mais pas que, on peut avoir des mini-quizzes, des petits tests qu'on peut faire même avec des jeux pédagogiques dans la formation. Surtout, par exemple, au début de la journée. pour savoir ce que les gens ont retenu de la journée précédente. L'évaluation formative, c'est très important à ce niveau-là. Et puis aussi, les jeux de rôle, les jeux de rôle pendant la formation pour travailler sur les compétences et être sûr que les gens, ils ont bien compris ce qu'ils sont censés faire. Jusqu'à un point que la vidéo, donc ça, c'est la deuxième chose, pour filmer les jeux de rôle, devient très, très intéressante parce que ça permet d'avoir un feedback très qualitatif. Les gens nous disaient que le problème avec les jeux de rôle, souvent, c'est que les apprenants ne savent pas ce qu'ils ont fait. Ils n'ont pas vraiment conscience exactement comment ils ont performé dans le jeu de rôle. Et filmer le jeu de rôle et puis leur montrer ce qu'ils ont fait, et aussi donner un feedback, c'est très, très constructif. Les apprenants, ils ont fait Waouh, ah oui, je ne savais pas que j'avais fait ça. Ah d'accord, ok, moi je comprends mieux. et le jeu de rôle qu'on peut faire, ça peut être plus ou moins scénarisé. On peut vraiment avoir des jeux de rôle très formels où on prépare ensemble, comme ça peut être sur le champ. Mais la vidéo permet vraiment d'avoir le retour de la part du formateur aussi là-dessus. Le troisième méthode, c'est la relative actuelle. Jonathan, je sais que tu es... tu vois, des avis tranchés par rapport à tout ce qui est fait sur les métas et tout ça.

  • #1

    Oui, et je peux vraiment que ça soit justifié, encore une fois. Comme tu le sais, c'est... idéalement limités à des environnements qui peuvent être dangereux, où on sait que le coût de reconstitution d'une situation proche de la réalité serait très élevé, etc. Là, je vois bien quel intérêt dans le secteur médical.

  • #0

    Et comme tu dis, je pense que vraiment c'est un intérêt pour des formations à très très fort enjeu, on ne peut pas se tromper. Et là on doit être sûr que ce soit comme tu dis dans le médical, mais aussi peut-être dans l'aéronautique ou dans certains systèmes d'industrie, c'est là qu'on peut dépenser pour être sûr.

  • #1

    Exactement.

  • #0

    Et donc la dernière méthode, c'est la certification. Alors en France, pour ceux qui ont un compte en France, vous connaissez le CPF, vous connaissez le compte personnel de formation, où on peut utiliser notre crédit, on a besoin de certifier la formation. Donc du coup, l'État qui est un acteur... majeurs derrière la formation souhaitent pousser à bout la certification. Mais on a vu aussi qu'il y a monté des plateformes de certification, les plateformes de certification qui permettent justement de créer des badges, créer des certifications internes pour pouvoir formaliser un petit peu les formations, la fin des formations, sur des formations que les grosses organisations ont créées, ont conçues, et ça permet un meilleur engagement. Donc on a vu que la certification aussi prend sa place, que ce soit en interne de l'organisation ou à l'externe par les acteurs. Voilà, ça c'est les niveaux 2. Je passe maintenant à toi Jonathan pour le niveau 3, donc comportement.

  • #1

    Oui, alors là on entre justement de plein pied dans les questions d'efficacité et d'impact, parce que c'est vrai qu'on a pour habitude de distinguer les niveaux 1 et 2 en parlant de qualité de la formation. La formation en tant que produit. et on va chercher à améliorer la satisfaction, l'apprentissage, etc. Mais au niveau 3 et 4, on est vraiment dans l'efficacité. Alors pratique que l'on retrouve assez fréquemment chez les personnes, au sein des entreprises qui évaluent ce niveau 3, c'est le fait de réaliser une enquête dite croisée. Donc par exemple, d'envoyer un questionnaire d'évaluation à l'apprenant et à son manager. Comme ça, on a une co-évaluation. chose qui est intéressante parce que ça permet aussi de contrebalancer l'avis de l'un ou de l'autre, dans un sens comme dans l'autre d'ailleurs. C'est-à-dire que ça n'est pas automatiquement, comme on pourrait l'imaginer, l'apprenant qui va se surévaluer et le manager qui va le sous-évaluer, c'est parfois aussi l'inverse. Donc l'apprenant qui n'a pas l'impression de faire aussi bien qu'il ne pourrait le faire et puis le manager qui va dire non, non, si, si, franchement... Moi, j'ai vu des changements, etc. Donc, il y a aussi une forme d'effet de renforcement et d'encouragement via cette enquête. Là, c'est surtout le croisement apprenant et manager qui est mis en pratique. Là, j'en profite pour préconiser aussi... quelque chose de complémentaire, ça pourrait être aussi d'autres acteurs tiers. Donc d'autres tiers acteurs, mais par exemple, le fait d'évaluer... de faire une co-évaluation avec un collègue, avec un binôme avec qui on a suivi la formation, etc. Là, ça pourrait être intéressant. Et dans certains cas, on serait peut-être plus à l'aise avec l'évaluation que l'on ne peut l'être avec son manager, par exemple. Et le manager qui n'est pas toujours là, d'ailleurs, pour observer le travail. Parfois, on a des managers qui sont distants du fait du métier, du fait de la fonction. évaluer c'est bien avoir des résultats c'est encore mieux donc on voit au niveau 3 la montée en puissance de dispositifs d'accompagnement ou de coaching peu importe comment on les nomme mais dans tous les cas cette partie on va dire d'accompagnement post-formation via des coachs via des accompagnateurs la FEST est beaucoup évoquée donc l'action de formation en situation de travail donc pour nos auditeurs, auditrices c'est très important Basée en France, en tout cas, il et elle connaissent certainement bien cela. L'idée, c'est qu'on puisse apprendre aussi en situation de travail. Évidemment, maintenant, c'est une modalité de formation qui est reconnue aussi par la loi. Donc, elle est parfois aussi utilisée en ce sens pour compléter la formation. via de l'accompagnement post-formation. Dans d'autres cas, on a des dispositifs de coaching sur grand mise en œuvre en se focalisant sur la mise en œuvre d'une compétence précise, de plusieurs compétences suite à la formation, etc. C'est très positif parce qu'on le répète souvent, la formation n'est que le début et certainement pas la fin. Et la formation, au sens de la montée en compétence, n'est réellement terminée qu'une fois que la compétence a pu être mise en œuvre et le coaching doit pouvoir aider à passer de l'intention à l'action, de la formation à la mise en pratique réelle en situation de travail.

  • #0

    Et on a vu que le... Quand on dit coaching, ce n'est pas forcément un coach formé, spécialisé pour être coach, mais ça peut être le superviseur, ça peut être un référent, ça peut être un manager, ça peut être aussi le formateur ou un formateur qui n'a pas fait la formation. Vraiment, ça dépend du dispositif de formation et de comment l'organisation s'organise pour le faire.

  • #1

    Oui, exactement. C'est vrai que ce n'est pas le coach au sens coach de l'ICF, par exemple, au sens coach professionnel. Mais raisonnons plutôt accompagnateur, accompagnement de manière générale.

  • #0

    Et je pense que pour moi, qui ai fait les entretiens qualitatifs, j'ai vraiment senti, j'ai vraiment eu l'impression que pour les gens, justement, les responsables d'information qui se spécialisent un petit peu dans l'évaluation, ils ont dit que cette partie accompagnement post-formation, c'est une partie non négligeable pour réussir l'efficacité et l'impact d'une formation. T'es d'accord avec moi, Jonathan, là-dessus ?

  • #1

    Ah ben, je suis... On ne peut plus d'accord. Enfin, pour moi, c'est vraiment... On dit que le niveau 3, c'est le plus important des 4, parce que c'est le moment où le niveau à partir duquel ce qui a été appris en formation cesse d'appartenir exclusivement à l'apprenant. Et de toute façon, ça n'appartiendra plus à personne, parce que si ça ne mène plus à lui, si ça n'est pas mis en pratique, ça sera perdu tout simplement. Et donc, cet accompagnement est nécessaire. Là, on sait que... c'est vraiment un enjeu majeur et que si on ne prévoit pas cela dans le disability de formation, on va compter sur une toute petite poignée, sur une poignée de personnes qui vont être suffisamment disciplinées pour passer à l'action et on sait malheureusement que ce n'est pas encore la majeure partie des gens.

  • #0

    Alors, plan d'action.

  • #1

    Plan d'action, alors plan d'action, c'est intéressant aussi justement pour passer de la formation à la mise en pratique en situation réelle. Alors, lorsque l'on anime, toi et moi, le programme de certification de Campatric, on insiste beaucoup sur le fait d'avoir au niveau 3 des comportements, comme le nom du niveau l'indique, des comportements concrets, observables, mesurables. Et donc, c'est nécessaire pour que, justement, il y ait ce transfert des acquis, pour que l'on passe à la mise en pratique. Ces comportements... parfois peuvent être communs à tout le groupe de formation. Donc, par exemple, je vais prendre un cas qui parlera à peu près à tout le monde, mais on forme des managers et on les forme, par exemple, à la conduite des entretiens annuels. Et puis, on leur dit, d'abord, il faut commencer par valoriser ce qui a été positif tout au long de l'année, avant de parler des points faibles, des axes de progrès, etc. Bon, voilà, ça concerne tous les managers. On met ça en œuvre. Ce sont des nouveaux managers, des new managers. Ils n'ont jamais été formés à ça. Bon, OK, le comportement peut convenir à tout le monde. Dans d'autres cas, si demain, Joss et moi, on va suivre une formation en gestion du temps et des priorités, eh bien, on ne part pas du même niveau. On n'a pas les mêmes pratiques aujourd'hui. Il y a peut-être des... parce qu'on n'a pas le même quotidien, des pratiques qui seraient plus adaptées que d'autres, etc. Et dans ce cas, ces comportements, au sens de bonnes pratiques à mettre en œuvre, pourraient être individualisés, pourraient être spécifiques à chacun de nous. Et dans ce cas, ça vaudrait la peine d'avoir un plan d'action qui soit travail en formation et idéalement pas travailler uniquement par les apprenants, mais bien travailler avec l'accompagnement du formateur, avec l'accompagnement du groupe. Pourquoi pas ? Je pense à, voilà, les Québécois parlent de modules de TEP, transfert à l'environnement pratique, pratique ou professionnel selon les cas, mais d'avoir une séquence pédagogique dédiée en fin de formation où l'on parle du transfert, et pas juste cinq minutes à la fin, mais par exemple une formation qui se termine à 17h, à partir de 15h30. voilà on discute par exemple après la pause de toutes ces questions de tiens qu'est-ce que je vais pouvoir mettre en pratique quels sont les obstacles auxquels je vais faire face comment je compte y faire face etc etc donc ça c'est très intéressant

  • #0

    De toute façon, lorsqu'on privilégie une séquence d'évaluation spécifique, que ce soit pour un plan d'action ou pour avoir un tour de table ou pour remplir une enquête, c'est vrai que passer un peu de temps exprès là-dessus, ça facilite justement la qualité de l'évaluation des méthodes qu'on met en place.

  • #1

    Exactement, c'est nécessaire. Si on ne le fait pas, on aura des plans d'action qui sont très génériques du type, oui, je vais utiliser ce que j'ai appris en formation. C'est bien. Deux ou trois mois après, on leur posera la question Est-ce que vous avez utilisé ce que vous avez appris en formation ? Ils ne se souviendront même pas de ce qu'ils ont appris. Il faut pouvoir passer du temps. C'est nécessaire si on veut des résultats. Deux types d'ancrages qui sont nécessaires et qui sont parfois confondus. Si on veut justement que ce transfert se fasse, on peut réfléchir à comment on va favoriser à la fois l'ancrage mémoriel, au sens mémoriser les notions vues en formation. Là, classiquement, on va parler des connaissances. Si par exemple, on fait des cours-quizzes, tout à l'heure tu en parlais lors de l'évaluation formative, mais on peut imaginer des quiz qui seraient envoyées par exemple… durant deux mois, toutes les semaines, une ou deux questions toutes les semaines, etc. On va favoriser cet ancrage, on va faire en sorte que l'on puisse retenir les notions clés vues en formation. ça c'est ok ça ne signifie pas par contre que ça va nous faire passer à l'action donc ça on va dire ça garde je vais utiliser cette image mais ça garde un peu notre cerveau au chaud voilà on a toujours ces idées ces notions à l'esprit par contre l'ancrage qui me semble prioritaire à ce niveau, c'est surtout l'ancrage comportemental. Donc voilà, ce n'est pas parce que je sais ou que je me souviens, l'ancrage mémoriel, que je fais ancrage comportemental. Donc là, ça demande de travailler sur la mise en place d'habitudes, donc de comportements, de routines quotidiennes, de rituels, etc., pour vraiment avoir ces réflexes. On entend souvent parler de ce mythe, de ce neuromythe des 21 jours. Il faudrait 21 jours d'un comportement ou d'une habitude répétée pour que cela devienne ancré. en réalité les études montrent qu'il y a une recension qui a été faite ça va de 21 jours à 254 jours c'est pas quand même donc c'est un peu plus que ça ça dépend des personnes ça dépend des comportements je dis souvent en rigolant mais quiconque a déjà essayé d'arrêter de fumer c'est que 21 jours ça n'est pas suffisant à voir de replonger donc ça pose la question de ce que l'on peut mettre en oeuvre pour favoriser cet ancrage comportemental niveau 3 et donc dernier point justement c'est des ressources des ressources qu'est-ce que l'on prévoit alors on a Durant le temps de la formation, on est dans une forme de pocon pédagogique. On a des super supports, qu'ils soient numériques ou imprimés sur papier glacé. On a un magnifique PowerPoint, on a plein de choses, on a des cartes à jouer, on a énormément de choses. Et puis post-formation, souvent. on se retrouve un peu sans rien. Donc, l'idée, c'est de pouvoir fournir aussi, ça, c'est une bonne pratique que l'on observe parfois, fournir aux apprenants des ressources qui vont venir soutenir ce passage à l'action. Donc, des aides-mémoires, des checklists, des modules de learning complémentaires. ça peut être des classes virtuelles de suivi, bref, tout ce qui va aider à favoriser cet ancrage mémoriel et surtout cet ancrage comportemental.

  • #0

    super ça c'est pour le niveau 3 donc des méthodes vraiment très concrètes moi je sais ce qui sort pour moi c'est le coaching, le plan d'action les ancrages mémoriels j'ai vraiment vu les gens qui étaient très très très convaincus de leur importance jusqu'au point que maintenant ils ne conçoivent pas de formation sans justement concevoir ce genre d'accompagnement pour la suite de la formation, ils disent que ça ne sert à rien de le faire sans qu'il y ait cet accompagnement une fois que sur le retour sur le poste de travail ?

  • #1

    Clairement. Je repense souvent aux chiffres de Brinkehoff, Robert Brinkehoff, que l'on présente aussi. dans le programme de certification de cœur Patrick, mais sans cela, en moyenne, on a 15% des apprenants qui vont mettre en pratique. Donc, la poignée ultra-disciplinée dont je parlais tout à l'heure. Mais tout le monde ne fonctionne pas comme ça, tout le monde n'a pas cet état d'esprit. Et donc, la majorité, tout simplement, va retourner à ses vieilles habitudes. Le naturel revient toujours au galop, malheureusement. Malheureusement, en pareil cas, en tout cas. et puis voilà si on ne prévoit pas ça on n'aura pas des résultats on n'aura pas d'impact tout simplement tout simplement ok on va finir avec les méthodes avec les niveaux 4 résultats donc voilà on a mis en pratique maintenant on arrive au niveau 4 et donc la première pratique et bien c'est justement on en parlait un peu tout à l'heure c'est un peu la manière classique et recommandée pour convaincre les commanditaires d'évaluer au niveau 4 c'est de déterminer en anglais, en bon anglais dans le texte, des KPIs, donc des indicateurs clés de performance. Merci, Joss. Donc, à emprunter au sens où ça n'est pas à nous, professionnels de la formation, de construire ces indicateurs. Si on travaille sur des formations à fort enjeu, des formations dites stratégiques, nécessairement, ces indicateurs existent probablement, sinon c'est inquiétant, dans l'organisation. Donc, on va négocier l'accès à ces indicateurs, à ces données, on va les emprunter pour mesurer avant et après la formation à plusieurs reprises pour pouvoir piloter tout simplement l'impact de la formation à différents niveaux et pas se limiter à un indicateur, en choisir plusieurs pour s'assurer en tout cas de déceler des effets. Deuxième élément, c'est la notion d'étude d'impact pour avoir aussi des retours qualitatifs en plus. Donc ça, c'est très intéressant. Je parlais à l'instant de Robert Brinkerhoff. Lui a une méthode qui s'appelle la méthode des cas à succès. Success case method, je pense, en anglais. Et elle consiste à dire, suite à une formation, on n'a pas toujours l'occasion d'être reçu en amont par les commanditaires qui vont prendre le temps. de définir avec nous, d'identifier des indicateurs clés de performance, etc. Mais par contre, on peut très bien avoir, d'ailleurs les deux méthodes ne sont pas exclusives, elles peuvent être complémentaires. mais suite à une formation, je peux très bien aller enquêter auprès de collaborateurs en me focalisant sur les niveaux 3 et 4, en disant, tiens, je vais identifier ceux qui ont mis en pratique le niveau 3 et ceux qui n'ont pas mis en pratique au niveau 3, et puis questionner le pourquoi. Pourquoi ils n'ont pas mis en pratique ? Pourquoi ils ont mis en pratique ? Donc, identifier les freins, identifier les bonnes pratiques, etc. Et puis faire le lien avec le niveau 4 et avoir tout un ensemble de données. y compris qualitatifs qui vont me donner des retours précieux pour améliorer les prochaines sessions, par exemple de ce programme de formation, et pouvoir aller convaincre les commanditaires en disant Regardez, comme par hasard, on a surtout des résultats quand les managers s'impliquent, par exemple. Donc voilà, on va insister davantage sur certaines choses. et ça va permettre de faciliter le changement parce que les commanditaires ont tout intérêt, s'ils veulent davantage de résultats, s'ils veulent donc que le budget de formation soit encore utilisé de la manière la plus efficiente possible, ils ont tout intérêt à venir apporter leur soutien. Et puis d'un pack, donc Business Intelligence, via des rapports, donc on a des entreprises qui mettent en place vraiment une logique, on a des data analysts parfois, des analystes des données, donc voilà, qui vont venir connecter aussi, notamment pour répondre aux... aux impératifs de l'évaluation au niveau 4, vont venir connecter les systèmes d'information de l'entreprise, quels qu'ils soient, et de manière à pouvoir récupérer des données, récupérer des indicateurs, pouvoir analyser, pouvoir resituer ça aussi sur une forme de frise chronologique. On nous en tient, on a donné la formation pour tel groupe à tel moment, on va étudier des variations dans les indicateurs. On ne peut pas faire cela si on n'est pas un minimum équipé, et donc avoir cette logique de... de rapports, de passer par des API qui vont permettre de connecter aussi des solutions, des logiciels, des applications, etc. Et d'avoir aussi des personnes dédiées à cela, qui aient cette compétence de data analysis. C'est vraiment essentiel.

  • #0

    On a eu... peut-être deux populations de data analyst, ceux qui sont là en permanence au sein du peut-être l'équipe de formation ou l'équipe de ressources humaines qui travaille là tous les jours là-dessus, et une autre population où on dit, bon, il faut qu'on mette ça en place, on va prendre quelqu'un, peut-être une prestataire externe, ou on va prendre un alternant qui va vraiment travailler justement les API, les rapports, les visuels, les templates, les modèles de comment on va faire ça, et puis après, à partir de ça, on peut dupliquer par rapport projets de formation donc je trouve que ça pour moi c'est peut-être le côté le plus innovateur de tout ce qu'on a vu jusqu'à là quand je dis innovateur, plutôt au sens technologique dans l'enquête vraiment des évolutions très intéressantes pour lier le business avec justement les efforts de formation

  • #1

    Oui, tout à fait. C'est nécessaire. Ce n'est pas la compétence de mon point de vue la plus simple à acquérir. Non. Parce qu'il faut pouvoir se frotter aux statistiques, se frotter à un certain nombre d'outils informatiques. Ça demande vraiment une compétence qui est précieuse, mais qui, je pense, conseil carrière aux professeurs de la formation, je pense que ça va devenir quelque chose qui va être clé aussi pour se démarquer.

  • #0

    C'est sûr, c'est sûr.

  • #1

    On a le suivi de plan d'action, donc on a un peu déjà parlé aussi précédemment au niveau 3, mais c'est la même chose au niveau 4. L'idée, tu parlais tout à l'heure de formation côté client. Imaginons, on forme des populations plutôt à vocation commerciale. il y a une logique. C'est se dire, suite à la formation, tu vas surtout travailler telle ou telle compétence, tu vas donc mettre en œuvre tel ou tel comportement, tu vas bénéficier d'un dispositif de coaching, etc. Et puis derrière, forcément, on fait le lien en disant, toi, à ton niveau, tu vas surtout te focaliser sur tel et tel indicateur de manière à développer, je ne sais pas moi, le... ton chiffre d'affaires, le nombre de commandes, le nombre de clients que tu as pu contacter, etc. Donc les niveaux 3 et 4 sont toujours très liés dans les plans d'action parce qu'il y a vraiment ce que je fais, ce que je mets en œuvre. au niveau 3 et ce que j'obtiens en conséquence au niveau 4. Le niveau 4 n'est que la conséquence du niveau 3. Et enfin, ce serait dommage de faire tout cela sans aller présenter le fruit de nos efforts aux commanditaires. Quand on parle de commanditaires, pour rappel, on est vraiment au niveau de direction générale, direction opérationnelle, au niveau d'une direction qui a commandité, comme son nom l'indique, un projet de formation à fort enjeu. Ce serait dommage de faire tout cela pour à la fin faire un joli rapport PDF, l'envoyer par email en mettant pour information Non, l'idée, c'est qu'on puisse aller jusqu'à présenter les résultats. Généralement, on préconise aussi de négocier dès le début du projet, voire même de sortir les agendas et de dire, on se voit à quelle date pour présenter les résultats, au moins ça fixe une échéance dans le temps, et d'aller présenter cela tel des avocats qui iraient plaider, qui iraient... défendre la cause d'un projet de formation et de raconter l'histoire de son efficacité, de son impact. Et là, c'est quand même beaucoup plus vendeur.

  • #0

    Ça me rappelle aussi que souvent, on a vu le terme marketer la formation C'est-à-dire qu'on voit que vraiment... La présentation pour moi fait partie un petit peu de comment on fait un lien avec l'objectif, le troisième objectif qu'on avait vu, c'était de démontrer la valeur de l'effort de formation au sein de l'organisation. Et les présentations permettent justement de capitaliser là-dessus. On a eu même hier un participant qui a dit, nous on a fait une présentation. qui était bien apprécié. À partir de ça, on a fait une présentation sur la présentation, sur le projet. C'était qu'on a créé une présentation pour montrer aux autres commanditaires au sein de l'organisation comment nous on fait maintenant les projets de formation en fort enjeu pour les convaincre de notre capacité à mesurer l'impact, à rendre les formations efficaces. Et ça permettait justement de se faire un petit nom au niveau de ce qu'on est capable de faire dans le service formation. et vraiment pour moi ça rejoint ce terme de marketer l'information savoir comment communiquer de nos efforts que ce soit sur l'analyse des données ou sur les business case comme tu as dit pour montrer qu'on a un savoir-faire en formation peut-être que les gens ne savaient pas au préalable

  • #1

    Oui, exactement. Et c'est vrai que c'est dommage. On fait beaucoup de choses à la formation, mais on ne le met pas toujours en avant. Donc là, c'est quand même l'occasion de se rendre justice et d'aller démontrer un peu l'impact de ce que l'on a fait.

  • #0

    Bien, donc là on a fait une présentation sur des méthodes, sur des idées, sur les bonnes pratiques, d'une façon peut-être un peu plus micro, vraiment des idées que vous pouvez prendre pour vous selon les différents types de formations que vous avez, mais après il y a aussi la question du changement. Donc le changement, parce qu'il y a beaucoup de gens qui ont dit que ça ne se fait pas du jour au lendemain, n'est-ce pas Jonathan ?

  • #1

    Ah non, c'est clair. C'est clair. Je répète souvent que l'évaluation de la formation n'est pas un défi technique. C'est souvent et avant tout un défi culturel et organisationnel. C'est comment on embarque différents acteurs dans ce défi, comment on fait passer le message que le succès de la formation n'est pas de la responsabilité des seuls acteurs de la formation, etc. Donc il y a vraiment une question de changement culturel et organisationnel. et ce n'est pas juste le fait de remettre à neuf ces questionnaires d'évaluation, c'est bien plus large que ça

  • #0

    On a eu le cas hier de quelqu'un qui n'était pas au même stade du système d'évaluation, on était plus vers le début que vers la fin, néanmoins il était très intéressé par le sujet très impliqué et puis après on a eu quelqu'un qui était vraiment trois ans après dans le système et il a dit ton système à toi c'est du 5 étoiles on se demande comment on va faire ça et lui il a répondu ça se fait pas au jour du lendemain ça se fait au petit bout on peut pas faire tout ça tout de suite, c'est impossible tout ce que nous on fait là c'est grâce aux efforts qu'on a déployés depuis 3 ans

  • #1

    exactement tout à fait mais c'est ça il faut laisser le temps au temps et il y a cette expression ce proverbe un peu bizarre qui consiste à dire comment mange-t-on un éléphant morceau par morceau et c'est ça et au général hier lors de la masterclass de restitution pour les personnes qui ne participent pas à la phase qualitative de l'enquête il y avait effectivement cette personne qui présentait un système d'évaluation en France on buvait du petit lait avec Joss j'ai dit waouh qu'est-ce que ça fait du bien de voir ça parce qu'on se disait c'est quasiment mot pour mot ce que l'on aurait pu décrire dans nos rêves les plus fous en matière d'évaluation des formations mais effectivement il y a eu un investissement il y a eu du temps, il y a eu le fait de se dire ok on y va étape par étape on a une méga checklist et on va cocher les cases une à une mais on va se donner le temps de faire cela

  • #0

    Donc concrètement, on a vu qu'il y avait des choses qu'on peut faire pour accompagner le changement. Premièrement, par rapport au manque d'outils, qu'est-ce qu'on fait pour le manque d'outils ? Donc on a vu que vraiment il y a des outils internes et externes. Je pense qu'il faut savoir faire la différence entre externes et internes. Si vous pouvez externaliser, si vous pouvez prendre un outil... dédié à l'évaluation, c'est possible. Il y a des acteurs qui existent sur le marché francophone qui permettent de non seulement vous permettre de faire des enquêtes, des questionnaires, de faire des quiz, des tests de connaissances, mais jusqu'à ancrage mémoriel et comportemental. Ces plateformes existent, ils sont bien, voire parfois très bien, et qui peuvent justement être intégrés dans votre nouveau système d'évaluation. Mais par rapport à ça, c'est vrai que ça dépend de votre propre organisation, ça dépend des ressources que vous avez, l'investissement que vous pouvez mettre en termes d'argent et au niveau de temps, parce que ce n'est pas parce qu'on met en place un plat-tombe que ça marche tout de suite, Jonathan.

  • #1

    Ah oui, clairement, oui, oui. C'est, bon, tout à l'heure, on en parlait, l'évolution de toute ou partie du système d'information, c'est un chantier à chaque fois. Et se dire, tiens... Ce qui me semble raisonnable à ce niveau, si il fallait donner un conseil, ce serait de commencer par un pilote. Ce qui permet aussi de tester les plateformes, de tester les applications, de voir si la réalité est aussi belle que la vitrine. On commence par un pilote, on commence par un premier projet, un programme de formation. et puis on voit un peu ce que ça donne, on a des résultats, et puis tranquillement, on va aller, un, on teste la plateforme, et deux, tranquillement, on va aller convaincre aussi d'autres acteurs, d'autres commanditaires. On a toujours des commanditaires, des managers un peu plus pro-formation, et donc un peu plus volontaristes que les autres. On teste ce genre de système, et puis on y va progressivement. Et ça, on peut faire ça pour chaque niveau d'évaluation. Quel est le système que si on utilise des systèmes... des systèmes différents pour aborder l'ensemble des niveaux, qu'est-ce qu'on fait pour le niveau 1, qu'est-ce qu'on fait pour le niveau 2, qu'est-ce qu'on fait pour le niveau 3, qu'est-ce qu'on fait pour le niveau 4, et à la fin, comment on fait du lien entre tous ces niveaux.

  • #0

    Après, si vous ne pouvez pas externaliser, vous pouvez aussi utiliser les outils en interne. On a vu pas mal d'organisations qui ont dit que ce n'est pas possible d'externaliser, donc ils sont obligés de faire avec des outils à bord. C'est vrai que la plupart des organisations, ils ont Microsoft, il ne faut pas se leurrer, ils ont Microsoft, donc ils sont obligés d'utiliser les outils de Microsoft, mais ils peuvent le faire, donc ils peuvent quand même... J'ai envie d'aider à industrialiser un petit peu les outils Microsoft, c'est-à-dire qu'ils peuvent au lieu de juste faire des choses avec un document Word comme questionnaire pour après le mettre dans un fichier Excel qui prend un temps fou. Non, ce n'est pas ça, c'est plutôt utiliser Microsoft Forms, voir jusqu'à un lien des données recoltées avec Power BI, qui est le système d'analyse de données, de recoltes de données chez Microsoft dans les grandes organisations.

  • #1

    complètement et c'est vrai que je vais faire mon mea culpa parce que pendant des années je Pour moi, c'était une forme d'aveu d'échec de dire tiens, j'utilise Microsoft Forms ou Google Forms, etc. parce que je me disais oui, mais c'est vraiment… C'est un peu comme SurveyMonkey, on se disait oui, mais c'est quelque chose qui n'est pas adapté, c'est trop générique, etc. alors c'est vrai qu'on peut l'utiliser comme ça de manière très générique par contre comme tu le dis si on peut profiter de tout l'écosystème Microsoft si on prend l'exemple de Microsoft on pourrait avoir des logiques similaires avec d'autres éditeurs mais on peut avoir Microsoft Forms pour les questionnaires. Donc là, on voit que ça permet quand même de répondre à pas mal de choses au niveau 1, 2, voire 3, voire 4, etc. Enfin, 3 sûrs et voire 4, si on fait aussi du déclaratif. au niveau 4, on collecte les données, on peut automatiser tout cela, donc on a Power Automate de Microsoft qui permet aussi d'avoir des workflows qui permettent d'aller alimenter tout cela, d'aller personnaliser les questionnaires en fonction de données liées aux formations, etc. D'aller ensuite injecter ces données dans Power BI, donc d'avoir des rapports qui soient automatiques, qui puissent être communiqués automatiquement et qui peuvent être utilisés à différents acteurs, différentes parties prenantes. Bref, il y a tout un système à penser. C'est pour ça que tout on parlait vraiment d'une compétence qui est précieuse, mêlant les outils informatiques, l'analyse de données, etc. Mais quand on a quelqu'un, soit en interne, soit sous forme de prestataire qui peut venir réaliser cela, franchement, c'est que du bonheur. Là, on passe à un autre niveau et effectivement, ça ne justifie plus ou en tout cas, ça justifie beaucoup moins le fait de faire appel à des solutions externes. Alors, pour la collecte des données et l'analyse, j'entends. Par contre, pour la partie coaching, ancrage, etc., ce n'est pas ça qui fera le travail.

  • #0

    Oui, oui. Bien, donc vraiment des choses très intéressantes au niveau des outils, que ce soit externe ou interne, on voit des possibilités, que vous soyez bloqué d'un ou de l'autre côté, il y a des choses à faire. Il ne faut pas se dire qu'on ne peut rien faire avec ce qu'on a, non, vous pouvez, et puis après vous avez des solutions externes aussi, là justement si vous avez des possibilités pour vous aider. Alors après, j'ai envie de dire qu'on veut un peu travailler sur les acteurs, les rôles, les gens. Donc au niveau culturel, le changement, forcément, c'est vraiment une question de gens. Donc on a les gens au sein du service formation, on va en parler après. Et puis après, on a des gens autour du service formation, les différents acteurs qui jouent un rôle très important dans la réussite d'une formation. commençons par les commanditaires je pense Jonathan c'est comment travailler avec des gens haut placés au sein d'une organisation qui sont souvent peu connaissants de ce que fait la formation peut-être assez exigeants avec ce qu'ils veulent et puis peut-être aussi pas très aidant je ne sais pas si c'est le mot mais qui n'aide pas beaucoup les efforts aussi des services de formation aussi oui alors

  • #1

    là c'est là c'est clair il n'y a pas de solution miracle pour Déjà, c'est parler le même langage que les commanditaires. Donc, c'est sûr que si on arrive et qu'on leur parle pédagogie, tant mieux pour nous si on tombe sur des commanditaires qui sont intéressés par ces questions. En réalité, ils ont quand même d'autres chats fouettés. Ils ne peuvent pas s'amuser à parler le jargon spécifique de chaque fonction. Donc, forcément, il faut parler stratégie, il faut parler performance, il faut parler business, etc. Et s'intéresser à l'actualité de l'entreprise. Donc, essayer de venir discuter avec eux. partout où cela sera possible, de venir se tenir au courant de l'actualité, de parler des projets en cours, de proposer ces services aussi pour... pour répondre à tel ou tel chantier, tel ou tel projet. Parfois, on a la chance d'être invité au Codire pour défendre cela, pour avoir des données qui vont nous permettre d'avoir un plan de développement des compétences qui tiennent compte d'éléments stratégiques. Parfois non, parfois on va se retrouver dans des groupes de travail. L'idée, c'est de pouvoir les rencontrer le plus possible, d'être dans leur périmètre, on va dire leur écosystème, d'être visible. et d'avoir à la fois des données qui permettent de cadrer nos formations, nos orientations de formation, et aussi de pouvoir leur présenter des données qui les intéressent. Et ce qui les intéresse, ce ne sont certainement pas les niveaux 1 et 2. Donc voilà, il y a à la fois l'amont, comment on peut se rapprocher d'eux pour avoir des informations, pour avoir pourquoi pas leur participation dans certains cas. pour définir des orientations stratégiques en matière de formation et en aval. Il y a aussi qu'est-ce que l'on va leur présenter comme résultat qui les intéresse.

  • #0

    Je pense que justement, s'il n'y a pas de contact entre le service formation et les commanditaires, les parties prenantes, j'ai vu, on avait vu le cas d'une personne qui a dit, moi il y a deux ans, j'ai pris rendez-vous avec les différents membres du COMEX pour demander, j'ai envie de vous rencontrer pour savoir si mes formations, mon offre de formation est en alignement avec votre stratégie. Donc, est-ce qu'on peut prendre rendez-vous pour en discuter, pour voir si j'ai les bonnes formations pour vous. et donc du coup les membres du COMEX ont dit oui ils ont discuté et ça permet de justement ouvrir un peu les chakras ouvrir un peu les vannes pour faciliter la communication ce qui a fait que un an après il est revenu avec justement des éléments plus quantitatifs et qualitatifs par rapport à ce qui se passait les membres du COMEX ils ont beaucoup apprécié après ils ont fait venir les N-1 donc les gens plus en contact avec les apprenants pour participer et ça fait en effet des boules de neige mais tout ça, ça a commencé par l'effort de ce responsable nation qui a fait l'effort de contacter pour vraiment voir si tout allait bien par rapport à son offre à lui exactement c'est courageux et c'est bien mais bon,

  • #1

    c'est courageux parce que la réponse pourrait être pourrait être que non, qu'il y a beaucoup de choses à revoir mais en même temps on le rappelle souvent, il ne faut pas se leurrer, même si on n'est pas aussi courageux que ce responsable formation, l'évaluation de l'intérêt de notre fonction se fait quand même. Et que les dirigeants discutent, etc. Et puis, on ne peut pas mettre la poussière sous le tapis éternellement. Et un jour, on apprend que finalement, on va externaliser toute ou partie de la fonction de formation. donc voilà il vaut mieux avoir un discours clair et se dire je me pose des questions, je veux améliorer les choses j'ai besoin de vous et ça ne pourrait être qu'apprécié forcément

  • #0

    Après, il y avait les managers. Tu en as un peu parlé dans les freins, les freins pour réussir un système d'évaluation. C'est quand même une population très importante.

  • #1

    Oui, tout à fait. Les managers, le grand classique dont on parle souvent et dont je parle dans mon livre, d'avoir des protocoles, des dispositifs du type 505. Le 505, c'est considéré, la première 5 collaborateurs et managers peuvent discuter au moins 5 minutes avant la formation, pour préciser le besoin, les objectifs, dans quel contexte la personne va aller se former, etc. Deuxième chiffre, le zéro, donc zéro minute pendant la formation, faire en sorte que le manager laisse son collaborateur bénéficier, profiter de la formation. donc ne le sollicite pas le troisième chiffre donc 5, 5, 105 le dernier 5 c'est justement de débriefer au moins pendant 5 minutes post formation pour discuter juste en plan d'action qu'est-ce qu'on va pouvoir mettre en oeuvre comment le manager peut être utile etc Donc ça, ça se fait bien, ça se communique, c'est pareil, on commence toujours par les managers pro-formation, et puis progressivement, on augmente la population, on va dire l'échantillon concerné. pour commencer à intéresser un peu tout le monde. Mais il y a tellement de choses à dire sur les managers. Pourquoi aujourd'hui ils n'ont pas le temps ? Est-ce qu'ils sont aussi évalués, promus, rémunérés pour faire ce travail ? Ça peut remettre en cause tellement de variables du système de management que c'est la même chose. Je pense que commencer par un pilote et y aller progressivement, identifier les freins. ensuite aller toquer à la porte de la direction de la direction des ressources humaines commencer à poser des questions aussi sur ce que l'on attend des managers, c'est quoi la charte managériale etc, comment ils sont aujourd'hui évalués ça ouvre le champ des possibles de façon assez importante mais ça sera nécessaire aussi je sens qu'on va faire un épisode du podcast que là dessus ouais franchement ça vaudrait la peine et aussi a-t-on besoin des managers pour l'efficacité des formations parce que voilà moi aussi c'est mon leitmotiv c'est de me dire trop compliqué on peut aussi se focaliser uniquement sur les apprenants ça j'y crois beaucoup ça n'est pas forcément plus simple mais par contre dans certains cas c'est nécessaire

  • #0

    après il y avait donc les formateurs et les prestataires de formation je sais que vous êtes nombreux aussi de travailler au sein de l'organisme mais vous êtes aussi avec des formateurs interne externe des acteurs importants dans l'évaluation ouais clairement

  • #1

    assez... c'est important qu'eux comprennent aussi ce que l'on attend en termes d'évaluation que l'évaluation ne va pas se limiter au niveau 1 et 2 donc justement à ce qui se passe dans la salle de formation qu'elle soit physique ou virtuelle mais voilà que eux comprennent aussi comment on peut qu'est-ce que l'on peut évaluer au niveau 1 et 2 au-delà de la seule satisfaction et de la seule acquisition de connaissances tiens c'est intéressant et on en parlait hier d'ailleurs une responsable formation qui me qui nous faisaient un retour à ce sujet, nous préconisent souvent d'aller évaluer la confiance. Donc la confiance, elle est dans le bout de deux du nouveau modèle Cœur Patrick. Est-ce que je me sens confiant, confiant pour mettre en application, une fois de retour au travail, ce que j'ai appris durant cette formation ? C'est une technique d'évaluation en soi, mais il faut que le formateur, il soit formé, en tout cas qu'il soit préparé à faire ça, voire qu'il soit outillé, parce que ça donne des informations très intéressantes sur les possibles freins qu'il va y avoir au transfert des acquis. Donc, les identifier pendant la formation, aller évaluer cela, aller poser des questions. On a besoin des formateurs pour avoir ces données.

  • #0

    J'ai envie de dire que l'évaluation pour un formateur ou pour un prestataire, ce n'est pas pour juger la qualité de son travail, c'est pour préparer l'apprenant justement pour la suite aussi. On est d'accord ?

  • #1

    Exactement. Oui, tu fais bien de le préciser. D'ailleurs, nous, on se bat contre les évaluations de niveau 1 qui ressemblent à des questionnaires de jugement des formateurs. L'idée, c'est qu'on veut s'assurer que l'évaluation… Pardon. pas l'évaluation, l'apprenant, soit dans les meilleures conditions possibles pour apprendre et donc performer derrière, transférer ses acquis, etc. Et donc voilà, comment le formateur peut être partie prenante de cela ? Parce que je pense qu'il n'y a rien de plus, on va dire, satisfaisant aussi pour le formateur. que de se dire que les apprenants qu'il a pu former, qu'il a pu avoir en formation, ont mis en pratique, ont pu bénéficier de la formation, etc. Donc il faut voir l'évaluation non pas comme un acte de jugement, mais comme un levier pour améliorer l'efficacité des formations que l'on propose soi-même en tant que formateur.

  • #0

    Et les gens qui pratiquent l'évaluation pensent comme ça, justement. Ils pensent que c'est ça qui est le plus important. plus ou aussi important que justement la qualité de ce qui se passait dans l'action. Bien. Et donc après aussi, les apprenants, forcément, il y a les apprenants, quel est le rôle qu'ils jouent dans l'évaluation, que ce soit pendant l'information ou dans les efforts pour la mise en place ?

  • #1

    Oui. Alors, les apprenants, je pense que les apprenants ne sont pas J'ai cet a priori, mais je ne pense pas me tromper. Je considère que les apprenants ne sont pas particulièrement intéressés par l'évaluation des formations. Ce n'est pas ce qui les empêche de dormir la nuit. Donc, il faut quand même pouvoir leur expliquer pourquoi on évalue les formations et surtout, encore une fois, rappeler que l'évaluation en soi ne sert à rien et qu'en fait, on évalue parce que l'on veut maximiser l'efficacité de la formation. Et en tant qu'apprenant, j'ai plutôt intérêt... à participer à une formation, parce que moi-même, je vais y consacrer du temps, de l'énergie, des ressources, etc. J'ai plutôt intérêt à ce que celle-ci porte ses fruits. Donc, leur présenter le dispositif d'évaluation. comme étant intrinsèquement intéressants pour eux, pour qu'ils puissent vraiment bénéficier de la formation. Donc, on fait la formation, et à part il y a une espèce de fil rouge parallèle qui est celui de l'évaluation. Non, l'évaluation est partie intégrante de la formation. Ce sont des séquences pédagogiques dédiées, ce sont des activités pédagogiques. Le fait d'évaluer le niveau 3, d'évaluer le transfert des acquis, c'est une activité pédagogique en soi. et donc leur présenter tout le dispositif comme une forme de turbo pour les moteurs je vais faire cette analogie mais c'est un turbo que l'on vient mettre sur le moteur des voitures pour accroître ses performances donc l'évaluation est un turbo qui vient accroître la performance de la formation je pense qu'il faut l'expliquer via différents médias aux apprenants afin qu'ils prennent conscience de l'importance de l'évaluation

  • #0

    Ça peut être des vidéos, ça peut être des explications par le formateur, ça peut être des présentations au début d'une formation via le commoditaire, le sponsor qui vient. Mais c'est essentiel qu'il y ait cet effort de communication pour que les apprenants comprennent qu'est-ce qu'on attend d'eux dans la formation et aussi par la suite.

  • #1

    Exactement, oui, tout à fait. Et c'est ça, et d'ailleurs, on en parlait précédemment, le formateur, on attend aussi cela de lui, c'est qu'il puisse présenter. Alors, nous, on doit lui fournir les éléments, mais qu'il puisse présenter, rappeler l'importance de l'évaluation, rappeler le fait qu'on n'est pas en train d'évaluer les personnes en tant que telles, que ce n'est pas focalisé sur le formateur, mais qu'encore une fois, on veut s'assurer. que tous les ingrédients d'une recette potentiellement efficace sont réunis.

  • #0

    donc c'est vraiment en ce sens qu'il faut présenter les choses on a eu le cas hier justement une responsable qui disait que elle essaie d'organiser des réunions de mise en application tu te souviens et que en fait en soi elle savait que si les gens ne venaient pas dans les réunions c'est parce qu'ils n'avaient pas mis en application donc rien que se présenter pour être dans la réunion voulait dire qu'il y avait un effort de transfert pour suite à l'information

  • #1

    ouais ouais ouais moi je trouve ça très positif je préfère ça plutôt que le mode entre guillemets école des fans où tout est parfait, on se réunit et puis tout le monde était très content et puis c'est génial et puis en fait on n'en fait rien donc je préfère être exigeant parce que de toute façon l'efficacité d'une formation est exigeante, donc il faut être aussi exigeant avec les apprenants, il ne faut pas croire que ça va se faire sans effort sans investissement sans implication de leur part, et donc s'ils veulent les résultats, c'est comme tout il va falloir aussi qu'ils mouillent la chemise, qu'ils mouillent le maillot si je puis dire donc pour moi je suis complètement à l'aise avec ça

  • #0

    Pour finir sur les acteurs et les gens qui travaillent dans l'évaluation, forcément il y a les équipes de formation. Le service de formation au sein de l'organisation. Ça peut aussi vouloir dire pour les académies en interne, les organismes de formation à l'externe, les charges de formation, les concepts pédagogiques, tout le monde qui travaille dans la formation. et là on a vu qu'il y avait une forte différence entre quelqu'un qui s'occupe de l'évaluation qui est tout seul dans son équipe et lorsqu'il y a une vague de gens qui travaillent tous dans le même sens c'est

  • #1

    radical ça n'a rien à voir on a pu l'expérimenter toi et moi encore récemment je pense à des... à des clients donc pour des sessions intra-entreprise ça n'est pas du tout la même chose lorsqu'on forme 8, 10, 12 personnes et qui ensuite ont un langage commun ont des pratiques en commun situent une communauté de pratiques en interne un groupe de travail avance et puis justement commence à cocher les cases de tout ce plan d'action pour dire voilà dans 3 ans on en est là on a ce système d'évaluation parfait ou quasi parfait et en attendant voilà on refait nos questionnaires d'évaluation, on outille, on a le bon discours vis-à-vis des commanditaires, vis-à-vis des managers, on communique de la bonne manière, on présente les résultats de la bonne manière, etc. Voilà, ça n'est pas du tout la même chose. Il faut des compétences, et puis, oui, il faut y aller en rang serré, de manière... on va dire en collectif et là les résultats sont complètement différents parce qu'on peut voir la résistance de la part des chargés de formation aussi,

  • #0

    il ne faut pas se leurrer il y a des gens qui travaillent dans la formation qui ne voient pas l'utilité ou l'importance des évaluations comme d'autres et donc ça travaille aussi au sein de l'équipe même au sein des groupes en intrat dont tu parles on voit des chargés de formation qui sont un peu résistants

  • #1

    oui en fait comme c'est un changement il y a toujours de la résistance au changement à différents degrés et ça ne concerne pas tout le monde mais nécessairement on va venir bousculer des habitudes on va venir changer des postures ça va demander de renouveler, de changer ses méthodes de travail, ses pratiques c'est déstabilisant mais par contre qu'est-ce que c'est gratifiant derrière on le voit voilà on a des personnes qui sont dithyrambiques, qui sont extrêmement positives et qui se disent Voilà, on a révolutionné la mer de fer. Et qui, sans entrer dans les détails, pour des questions aussi de confidentialité... mais dans des entreprises où il y avait quand même des difficultés économiques, où on avait aussi des personnes qui se posaient des questions, là on ne se pose plus trop la question de l'intérêt de la fonction formation, parce que ça devient vraiment quelque chose qui n'est pas juste un centre de coût, c'est vraiment un centre de profit, mais en tout cas quelque chose qui démontre sa contribution. à la performance de l'entreprise, qui vient en soutien des opérationnels, etc. Donc ça change complètement le positionnement et la posture des gens qui occupent cette fonction.

  • #0

    Nous, on voit un lien très fort entre la professionnalisation des équipes de formation et notre certification Bronze CAC Patrick. Donc là, si vous voyez les slides, il est marqué Bronze Level, mais je vous rassure, c'est en français comme c'est en anglais, il n'y a pas de souci. Et donc, c'est beaucoup plus facile pour des responsables de formation qui sont en interne ou externe, qui sont pré-hookés par l'évaluation, de passer... Les équipes passent cette certification pour justement favoriser, comme disait Jonathan, le langage commun, avoir la même conviction, un changement de paradigme dans les gens pour se rendre compte sur quoi il faut se concentrer. Plein de bénéfices pour permettre de favoriser justement cet accompagnement au changement au sein de l'organisation. C'est quelque chose que nous, vraiment, on vous propose de le faire au début d'un processus de changement.

  • #1

    n'est-ce pas j'en attendais pas pas à la fin oui complètement oui oui il faut c'est pour avoir déjà vécu le cas contraire moi je me souviens d'une cliente il y a quelques années qui disait oui mais je ne suis pas certain en fait je ne suis pas certain de l'intérêt de suivre la formation j'ai déjà suivi les formations sur l'évaluation etc et donc on a monté un groupe de travail et tout au long du groupe de travail honnêtement on a mis peut-être sérieusement, trois ou quatre fois plus de temps parce qu'il fallait toujours expliquer les choses, il fallait toujours revenir sur le sens des mots, les concepts, etc. Alors que, et elle-même l'a avoué à la fin, elle a dit en fait, oui, je comprends maintenant pourquoi tu disais ça. En fait, on aurait dû se former dès le début. Mais c'est normal, en fait, il faut des grilles de lecture commune, il faut un langage commun, il faut des réflexes aussi, il faut positionner correctement les notions, les concepts, etc. sinon à chaque fois on perd du temps c'est le meilleur investissement que l'on puisse faire c'est de bien démarrer pour ensuite se dire maintenant en plus on a la visibilité sur ce que l'on veut faire, sur ce que l'on peut faire là où l'on veut aller etc mais c'est nécessaire d'avoir ça au début

  • #0

    Si ça vous intéresse, on fait une formation d'entreprise à Paris le 18 et 19 avril. Il y a encore un peu de place. Donc, si vous nous écoutez ou si vous voyez cette présentation, n'hésitez surtout pas à nous solliciter pour prendre place pour cette certification. Vous allez aussi trouver des dates pour le deuxième semestre. Et puis, vous pouvez aussi nous solliciter pour mettre en place. une session en interne chez vous, en intra, pour toute une équipe de chargés ou de responsables ou de formations ou de formateurs même, et puis de responsables pédagogiques et de concepteurs pédagogiques aussi. Merci beaucoup d'avoir écouté ou d'avoir vu la présentation jusqu'à là. Ça fait très, très plaisir avec Jonathan de faire cette enquête. On se demande si on va faire une espèce de baromètre pour les années à venir pour savoir si les choses changent. Mais en tout cas, nous, on est très sécurisés. Je ne sais pas si c'est le bon mot, sécurisés, confortés. Confortés de voir que les choses évoluent dans le métier de la marche de l'évaluation. Et ça nous réjouit pour le futur.

  • #1

    Oui, complètement. Et avec plaisir pour ce baromètre.

  • #0

    Bon, allez, on va le faire. Écoutez, on vous envoie, pour ceux qui s'intéressent, on a des slides, on va travailler aussi sur les infographies, on va partager des posts, donc on va continuer à informer par rapport à cette enquête, ce projet qu'on a fait pour le futur. Merci Jonathan et à très bientôt.

  • #1

    Merci Joss, à bientôt.

  • #0

    Sous-titrage ST'501 Merci.

Description

Dans ce nouvel épisode de Retour sur les Attentes par Evaluationformation.fr, Joss et Jonathan présentent et commentent quelques résultats de l'étude qu'ils ont menée récemment sur les pratiques d'évaluation des formations en 2023.


Entre autres objectifs, cette étude visait à démocratiser les bonnes pratiques en matière d'évaluation des formations et de permettre aux professionnels d'apprendre et de capitaliser sur ces résultats pour améliorer leurs propres pratiques.


Cet épisode est aussi consultable sur Vimeo, dans une version vidéo avec partage du support de présentation : https://vimeo.com/928882775?share=copy


Retrouvez également un article dédié sur notre blog avec plusieurs éléments de réflexion et d'analyse : https://evaluationformation.fr/pratiques-evaluation-formations-2023/


Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.

Transcription

  • #0

    Bonjour tout le monde, bienvenue à cette vidéo et à ce podcast qu'on publie en même temps. C'est sur le panorama des pratiques d'évaluation de la formation selon les quatre niveaux du modèle capatrique. Tout ça, c'est basé sur des enquêtes qu'on a faites fin d'année 2023, début d'année 2024. Je suis là aujourd'hui avec Jonathan Potier. Comment tu vas, Jonathan ?

  • #1

    Très bien, Joss, et toi ?

  • #0

    Moi, je vais très bien. Je suis content. J'imagine comme toi aussi, parce qu'hier, justement, on a présenté les résultats à quelques participants de l'enquête et je trouve que ça s'est très bien passé. Qu'est-ce que tu en as pensé ?

  • #1

    Oui, c'était vraiment super intéressant. vraiment ravi de cette restitution et de cet échange en voyant aussi que voilà on va en reparler mais ce que l'on préconise depuis des années est mis en oeuvre dans certaines entreprises et que ça porte ses fruits donc ça c'est vraiment très très intéressant ça fait du bien ah oui ça fait du bien franchement j'ai passé une excellente soirée une excellente nuit super

  • #0

    Alors, l'objectif aujourd'hui, c'est de présenter ça à tout acteur qui travaille dans la formation et qui est intéressé au sujet de l'évaluation. Du coup, pour vous, aujourd'hui, nous avons trois sections de la présentation. Premièrement, on va vous présenter les résultats des enquêtes, comment on a fait concrètement. Puis les meilleures pratiques par niveau, donc pour les quatre niveaux, quelles sont les bonnes pratiques, quelles sont les méthodes qu'on voit carrément sur le terrain. Et on va finir par comment accompagner les changements au sujet de l'évaluation dans l'organisation, donc au sens plus large, comme les gens le font concrètement. Voilà, donc on va commencer par les résultats. On a eu deux types d'enquêtes. On a eu une enquête quantitative. Alors, on l'a fait à la fin de l'année 2023, début 2024, donc ce n'était pas un moment le plus propice d'avoir beaucoup de réponses. Néanmoins, on est plutôt satisfait avec 68 réponses pour l'enquête quantitative. Donc, il y avait... Une vingtaine de minutes pour répondre à l'enquête avec plein de questions au sujet de l'évaluation. On avait fait avec une petite plateforme de questionnaire. 50% des réponses sont provenues d'entreprises de plus de 1000 employés. Donc ça, c'était vraiment la cible pour nous, parce qu'au niveau organisationnel et au niveau méthode, on voulait vraiment cibler les grosses organisations. C'est là qu'on sait que les gens en ont le plus besoin par rapport au modèle pour les quatre niveaux. Et puis, au niveau d'où les répondants ont été basés, 80% étaient en France. On a eu aussi des réponses en Suisse, en Belgique, en Maroc et aussi au Québec. Donc, on s'est concentré que sur la partie francophone, mais on était content de voir aussi qu'il y a beaucoup de choses qui se passent en dehors de la France. Alors, bien sûr, 97% de la population est française. La plus grande majorité travaille dans la formation, mais on a vu que les gens qui s'intéressent au sujet de l'évaluation sont souvent ceux qui travaillent depuis longtemps. C'est-à-dire que je me fais l'idée qu'on s'intéresse à l'évaluation peut-être normalement un peu plus tard dans la fonction formation, peut-être pas au début. C'est là qu'on voit que tout ce qui est efficacité et impact prend son sens lorsqu'on est là depuis un peu plus de temps. Donc du coup, comme on avait basé le questionnaire sur le modèle, on avait vu que les gens connaissent bien ou très bien le cas Patrick, 70%. et on était très content des résultats et puis après on a complété avec un enquête qualitatif c'est-à-dire qu'on a choisi des répondants et on leur a proposé de faire des enquêtes des entretiens d'à peu près une heure pour mieux explorer ce qu'ils font en interne donc on a eu neuf entretiens en tout d'une heure avec des responsables de formation des grosses organisations pour mieux comprendre les méthodes qu'ils mettent en place, mais aussi au niveau organisationnel, comment ils ont fait, comment ils convainquent les gens, les acteurs, de s'y prendre au niveau évaluation. Et puis, juste pour vous dire, six ont eu une expérience significative avec les formations côté client. Donc, quand je dis côté client, c'est-à-dire que les gens sur le marché, les clients d'entreprises ou des patients, sont vraiment... C'était assez intéressant parce que souvent ils sont là qui sont très intéressés par l'impact aussi des formations. Donc ça, c'est comme on a fait. Après, je passe la main à Jonathan qui va présenter les trois prochains slides au niveau des résultats quantitatifs. Je te laisse la main, Jonathan.

  • #1

    Oui, merci, Joss. Alors, on a un certain nombre de données quantitatives à partager. Ici, on va se focaliser sur quelques éléments, quelques données. assez significatif, quelques résultats. On partagera de manière plus large d'autres données quantitatives dans un support qui sera accessible sur le site évaluationformation.fr. notamment pour remercier les 68 répondants, 68 personnes qui ont participé à l'enquête. On avait une question sur les objectifs visés, alors non pas par la formation, parce qu'on répète sans arrêt, Joss et moi, que... Il est important d'avoir des objectifs clairs lorsque l'on veut évaluer les formations, mais là, on parle des objectifs visés par l'évaluation. Pourquoi évaluer ces formations ? Quels objectifs on peut assigner, attribuer à son système d'évaluation des formations ? et on a listé dans l'enquête une dizaine, dix, je crois précisément, d'objectifs potentiellement visés par les organisations qui évaluent leur formation. Et les trois objectifs arrivés en tête sont ceux-ci. Le premier est donc le fait d'améliorer l'efficacité des formations présentes et à venir. Donc, il y a une vraie logique d'amélioration continue. Ça, c'est très intéressant parce que, je répète, a l'envie qu'évaluer ses formations, ça ne sert à rien. Évaluer pour évaluer, ça ne sert à rien. On doit, à minima, évaluer pour améliorer, pour enclencher des actions, pour s'améliorer en continu. Le deuxième objectif, c'est montrer l'impact des formations sur les résultats de l'organisation. Donc là, il y a une véritable logique en termes de démonstration, justement, de l'impact. des formations. Quand on pense impact et que l'on traduit dans le modèle Kirkpatrick, on est au niveau 4, voire au niveau 3 également. Et le troisième objectif visé dans l'ordre, c'est de démontrer la valeur de la formation. C'est assez lié au second. Et on voit qu'on a vraiment un très fort focus, une très forte orientation sur les questions d'impact des formations, de valeur ajoutée de la formation. Donc encore une fois, on n'est pas scotché au niveau 1 et 2. On est vraiment dans une logique où on cherche à démontrer l'impact des formations sur les individus et sur les collaborateurs, donc niveau 3, et sur leur organisation, donc niveau 4.

  • #0

    Est-ce que, ce n'est pas la première fois que toi tu fais des enquêtes dans l'évaluation, je sais qu'on a fait certaines dans le passé, est-ce que tu as vu des changements justement par rapport à ces objectifs ?

  • #1

    Oui, alors clairement, tu as raison, il y a clairement des changements, c'est vrai qu'il y a un certain nombre d'années, je crois que j'avais commencé en 2010, on voyait que ce qui ressortait c'était… On va dire beaucoup plus focalisé sur la formation elle-même, où on cherchait à, par exemple, améliorer le programme de formation, à mieux sélectionner les prestataires. On voulait faire des... des sortes de trip advisors de la formation où on voulait pouvoir noter ses prestataires, ses formateurs, ses formatrices avec des petites étoiles, etc. C'était ça qui comptait avant tout. Et aujourd'hui, on voit que le curseur s'est déplacé et qu'on est davantage focalisé sur les questions d'impact. Donc ça, c'est une très bonne nouvelle parce que se focaliser uniquement sur les prestataires... Voilà, le prestataire n'est qu'une partie de la réponse, n'est que l'un des éléments qui peut être à l'origine de l'efficacité de la formation, mais ça n'est certainement pas le seul. Donc ça, c'est intéressant de prendre de la hauteur et de s'intéresser aux questions relatives au niveau 3 et 4. c'est super ok donc après on a posé la question sur les obstacles ou des freins ouais tout à fait donc on a les objectifs d'abord et ensuite maintenant qu'est-ce qui empêche les participants à l'enquête d'aller plus loin aussi dans leur pratique d'évaluation des formations et donc en premier on a le manque de temps peu de temps à consacrer à l'évaluation des formations, donc ça c'est un grand classique, et pas uniquement dans l'évaluation des formations on n'a jamais le temps de rien c'est un peu le simple c'est ça donc forcément on a x actions de formation à gérer, on a plein de choses on a pour les personnes concernées on a Calliope, enfin bref il y a énormément de choses et donc l'évaluation se dit quand est-ce que l'on peut y accorder du temps et donc de l'importance. Deuxième obstacle ou frein, c'est le manque d'implication des managers. C'est la même chose, ça c'est un grand classique. Ils ne sont pas suffisamment engagés dans le processus d'évaluation des formations. Les pauvres managers, on leur demande souvent de faire beaucoup, beaucoup, beaucoup de choses. Et on leur rajoute en plus le fait de participer à l'évaluation, d'accompagner leurs collaborateurs dans la formation, etc. Donc on voit que ça, c'est une difficulté majeure. Et le troisième point, c'est toujours étonnant de le constater alors que le marché nous propose beaucoup de choses qui permettraient de lever cet obstacle, ce frein, c'est le manque d'outils appropriés. L'absence d'outils spécifiques ou adaptés qui compliquent la mise en place d'évaluations efficaces. donc ça voilà on le voit dans l'enquête c'est la plateforme LMS qui ne permet pas de faire l'évaluation des formations j'ai pas d'outils,

  • #0

    je fais encore tout sous Excel etc est-ce que ce manque d'outils Ce n'est pas que parce qu'ils ne savent pas que les outils existent. C'est aussi pour des raisons de budget ou de contraintes d'utiliser, comme tu dis, l'NMS ou des problèmes avec l'informatique, etc. Ce n'est pas que ne pas savoir qu'il y a des plateformes qui existent pour l'évaluation.

  • #1

    Oui, tu as raison parce que c'est vrai que c'est fréquemment indiqué dans l'enquête. on a des personnes qui se plaignent de leur plateforme on ne citera pas de nom mais il y a des gens qui reviennent souvent et en disant je voudrais pouvoir utiliser telle ou telle plateforme ou faire ceci ou faire cela donc comme tu le dis tu as parfaitement raison ça n'est pas nécessairement un manque de connaissances quant aux outils du marché c'est aussi des questions de budget, c'est beaucoup aussi de questions liées à la sécurité des données. On sait que la DSI a son mot à dire dans le choix des plateformes, etc. Donc, ça n'est pas simple de mettre en œuvre une plateforme. C'est encore moins simple, donc c'est encore plus compliqué de la changer. Parce qu'une fois qu'on l'a mise en œuvre, on sait à quel point c'était douloureux. Souvent. et donc derrière dire finalement ça ne répond pas exactement aux cahiers des charges en tout cas à nos besoins actuels et donc on va en changer et là on voit que c'est très compliqué donc forcément oui c'est un obstacle et en fait on le comprend assez aisément on va en parler sur les outils un peu après donc après les niveaux de capacité à évaluer Ah oui, alors ça c'est on pose la question j'ai envie de dire un peu pour la forme parce que souvent on s'attend à la réponse et puis bon là c'est un peu la même chose alors je dis pour la forme en rigolant parce que en posant cette question, ça nous permettait d'adapter le questionnaire derrière non pas de l'adaptive learning, mais de l'adaptive evaluation. Voilà, si le répondant coché, voilà, j'évalue les niveaux 1, 2, 3, derrière, tac, on ouvrait les pages de questions sur le niveau 1, 2, 3, etc. Et pas sur le niveau 4, par exemple. Donc ici, on voit que ce qui est surtout évalué, c'est le niveau 1. On est à 87% des répondants, le niveau 2 82%, le niveau 3 57%, alors on voit qu'on trébuche un peu, et puis le niveau 4 31%. Donc c'est un grand classique, c'est-à-dire que plus l'on progresse dans la hiérarchie des niveaux de cœur patrique, moins l'on évalue. Et le grand paradoxe, et si on lit cela avec la question des objectifs que l'on a vus précédemment, c'est que l'on évalue finalement ce qui a... on va dire le moins d'importance, on évalue surtout ce qui a le moins d'importance pour répondre à ces objectifs où l'on parle d'efficacité, d'impact, de valeur, etc. Ce n'est pas au niveau 1 et 2 que l'on a des données à ce niveau. Les niveaux 1 et 2 renseignent surtout sur les éléments pédagogiques liés à la qualité de la formation. Mais ce sont bien les niveaux 3 et 4 qui apportent des données intéressantes quant à l'impact des formations. Donc là, il y a un paradoxe.

  • #0

    ce qu'on voit aussi c'est un grand classique ce qu'on ne voit pas c'est que on essaie de préconiser une grande variété de méthodes par niveau et là on ne prend pas en compte dans ce tableau là la variété, c'est-à-dire que si on fait du niveau 3 avec une enquête à froid, c'est compté. On est d'accord que c'est pour nous en tout cas, quelqu'un qui travaille dans l'évaluation, faire une enquête à froid pour le niveau 3, ça ne suffit pas, mais on compte quand même dans ce visuel-là.

  • #1

    exactement et c'est vrai que tu as raison de souligner ça on le voit dans les données les chiffres sont possiblement un peu optimistes. Ils sont un peu, je pense qu'il y a un biais, ils sont un peu surévalués parce que voir 31% de formation évaluée au niveau 4, donc quasiment le tiers, j'ai envie de dire, waouh, c'est génial. Ça fait déjà des années que j'attendais ça. Lorsque l'on regarde, on voit qu'on n'est pas toujours dans un niveau 4. au sens puriste du terme, avec l'identification d'indicateurs en amont, le fait de les suivre, de les piloter, d'aller démontrer le fait que ces indicateurs évoluent dans le sens attendu en aval de la formation, etc. Même chose pour les niveaux 3. Il n'y a à peu près qu'au niveau 1 et 2 où on voit qu'il y a une correspondance entre les réponses et les moyens mis en œuvre, mais au niveau 3 et 4 où il y a un léger biais.

  • #0

    donc voilà c'est un peu moins en réalité que les chiffres présentés ici le niveau 4 ça peut comprendre quelqu'un qui se renseigne avec un apprenant après la formation pour savoir s'il y a eu un impact ou pas tout simplement ou sinon il y a eu un impact alors que c'est pas franchement mesuré comme

  • #1

    tu disais avec un KPI c'est ça c'est du déclaratif alors c'est mieux que rien c'est mieux que rien c'est carrément mieux que rien nous on préconise même en formation en disant à défaut d'indicateur c'est pas grave planter la graine du doute, aller questionner l'impact en interrogeant les apprenants leurs managers etc mais effectivement on n'est pas dans du niveau 4 classique Kirkpatrick

  • #0

    En tout cas, c'est représentatif des gens qui ont répondu à l'enquête que ce sont des gens qui sont intéressés par l'évaluation. Donc, ce n'est peut-être pas au sens large qu'on va prendre avec toutes les formations sur le marché. Ce n'est pas forcément l'enjeu. L'enjeu, c'est de savoir comment ça se passe pour les gens qui pratiquent l'évaluation.

  • #1

    Oui, exactement. C'est ça. Et puis, nous, derrière, on va en parler après, mais c'était vraiment une enquête en deux temps avec ce volet quantitatif. OK, on prend la température. et après on creuse, on va plus loin en ayant des échanges, donc le volet qualitatif de l'enquête, avec des entreprises qui sont plus avancées, notamment sur les niveaux 3 et 4, pour comprendre comment on évalue l'impact de la formation au niveau 3 et 4 en 2023-2024. Et là, on a eu des retours de pratique quand même très intéressants.

  • #0

    L'objectif étant toujours que vous, qui vous intéressez à l'évaluation, vous pouvez apprendre de tout ça pour mettre en pratique des choses derrière. C'est ça ce que nous, on veut faire pour vous.

  • #1

    Exactement. Démocratiser un peu. Il y a des bonnes pratiques.

  • #0

    C'est ça.

  • #1

    Autant capitaliser sur celles-ci et les partager.

  • #0

    Très bien. Donc là, on va passer aux bonnes pratiques, mais à pratiques par niveau. Donc, qu'est-ce qu'on entend par niveau ? C'est par les quatre niveaux. Donc là, c'est le nouveau modèle de Capatric. Pour ceux qui écoutent, je suis en train de montrer le nouveau modèle avec les composants dedans. Si vous souhaiteriez en savoir plus, on a la certification bronze sur le nouveau modèle que vous pouvez faire avec nous, justement pour comprendre qu'est-ce qui va dans chaque méthode. On va commencer aujourd'hui par le niveau 1, donc réaction. Donc là, je vais présenter les meilleures pratiques que nous, on a tirées du niveau 1 de la part de nos enquêtes. Puis le niveau 2, et puis Jonathan va conclure avec le niveau 3 et le niveau 4. Alors, pour le niveau 1, réaction, on a vu qu'une bonne pratique, c'est de l'observation. Qu'est-ce que c'est l'observation ? C'est qu'on a quelqu'un qui est dédié, qui vient observer ce qui se passe dans la formation. L'observateur peut être un autre formateur, ça peut être un responsable pédagogique, ça peut être quelqu'un qui est dans le service de formation. On peut voir différentes raisons pour lesquelles on veut faire de l'observation. Ça peut être pour regarder comment fait le formateur, mais aussi ça peut être pour évaluer le niveau d'engagement des apprenants pour voir qu'ils sont bien dans le jeu et bien impliqués dans la formation. Donc l'observation, c'est un très bon moyen de voir ce qui se passe en réalité. Plutôt d'apprendre par un feedback après, c'est de voir la réalité comme ça se passe. Si vous ne pouvez pas observer en réel, si vous ne pouvez pas être là, vous pouvez aussi demander qu'il y ait des vidéos qui soient prises pour aussi regarder. Mais en tout cas, l'observation, c'est très bien apprécié. Deuxièmement, c'est l'utilisation d'un OMS. Alors un OMS, c'est un terme que nous utilisons qui veut dire Evaluation Management System, un peu comme un LMS qui est Learning Management System. Donc nous, on a mis le terme Evaluation parce que c'est vraiment pour une plateforme qui est dédiée totalement à l'évaluation. Et pour le niveau 1, le fait qu'il y ait un EMS permet de vraiment mettre en place un système d'évaluation pour le niveau 1 qui permet de personnaliser les enquêtes en fonction du projet de formation, qui permet d'analyser très facilement les données, voire même de créer des rapports pour pouvoir présenter à d'autres et impliquer tous les acteurs dans le système de la formation, les formateurs. les charges de déformation, les prestataires externes, voire les commanditaires pour montrer le niveau de qualité de ce qui se passe dans la formation. Donc, une LMS, c'est un outil que vous pouvez prendre qui peut parfois être en lien avec LMS, mais en tout cas, ça permet d'éviter l'utilisation des enquêtes standards telles que Microsoft Forms ou Google Forms ou SurveyMonkey et les plateformes comme ça. Troisièmement, l'utilisation de l'indicateur NPS. NPS, c'est Net Promoter Score. Je pense que le NPS a vraiment pris une place importante maintenant dans l'évaluation de la qualité des formations, beaucoup plus que dans le passé. C'était quelque chose que Jonathan et toi, avec... ton ancienne équipe chez FormaEva vous avez poussé un petit peu avant et on voit que vraiment ça prend place aujourd'hui alors tu disais hier que les NPS c'est surtout utile lorsque la culture de l'entreprise connaît les NPS c'est ça ?

  • #1

    Oui tout à fait alors ça c'est un merci c'est vrai de rappeler qu'on a poussé cet indicateur à l'époque et c'est vrai qu'on voyait en fait le développement du NPS dans pas mal d'entreprises, dans les services marketing, etc. Et c'est vrai qu'aujourd'hui, on réserve un train, un hôtel, etc. Souvent, on achète une voiture, on nous pose toujours la question de la recommandation, est-ce qu'on recommanderait ce produit, ce service, cette marque à notre entourage, etc. et dans la formation c'est un indicateur on le voit aujourd'hui qui est critiqué et qui est vraiment critiquable aussi parce que oui il n'y a pas du tout la prétention d'être pur c'est pas l'alpha et l'oméga de l'évaluation de la formation mais au même titre que le NPS est critiqué pour la partie satisfaction client on va dire recommandation classique par contre aucun indicateur n'est parfait et moi je vois un grand intérêt à utiliser le nps dans les entreprises il ya déjà cette culture du nps parce qu'il ne faudrait pas que la fonction formation fasse bande à part, si je puis dire, en disant, voilà, vous vous évaluez au marketing, au commerce, à la communication, même dans la partie RH. Est-ce que je recommanderais cette entreprise du point de vue de la marque employeur, en tant que salarié, etc. Et moi, la formation, je déciderais de faire bande à part. Donc là, vraiment, l'idée, c'est de se rattacher, de dire à ce que... à ce que font les autres fonctions, et à avoir aussi son NPS lié à la qualité de ses formations. Moi, j'y vois un intérêt.

  • #0

    Alors, comment ils utilisent l'NPS ? Ils posent une question sur la recommandation dans des enquêtes. Et après, au niveau des résultats, il y a des entreprises, des organisations qui poussent au bout, ils mettent un système de couleurs. Donc, ils ont un objectif de NPS par session de formation. Et ils peuvent dire que, par exemple, au-delà d'un certain pourcentage, la couleur verte veut dire que tout va bien. Puis, entre tel pourcentage et tel pourcentage, c'est orange, il faut faire attention s'il y a plusieurs sessions comme ça. Et puis le rouge, le plus bas niveau, ça ne va pas. Il faut vraiment qu'on fasse un petit point pour savoir ce qui se passe. Et ça permet aussi de faire un peu de benchmarking entre les formateurs, entre les sessions, même entre les formations aussi, pour voir quelles sont les formations peut-être les plus appréciées. et donc du coup ça permet d'avoir une première vue d'oeil sur un système un peu plus industrialisé pour les qualités de la formation il y a même des entreprises qui disent nous on va contacter tous les promoteurs c'est-à-dire tout le monde qui disent qu'ils sont très contents et qu'ils ont mis un note de 9 à 10 et puis tous les gens qui ne sont pas contents en dessous de 6 ou de 7 je veux dire entre 1 et 6 on va les contacter aussi pour savoir pourquoi ils ont mis ce score-là ça permet d'avoir un échange plus qualitatif et donc du coup c'est vraiment un système lié à une pièce Voilà. La quatrième méthode, c'était justement le verbatim. Là, je viens d'illustrer le fait que contacter les gens, c'est utile. Demander les avis, que ce soit dans les enquêtes ou en live, dans les tours de table, ou même après la formation, dans les RECS, dans les retours d'échange. C'est très important parce qu'en fait, les gens qui s'occupent de l'évaluation nous disent pratiquement tout ce que les enquêtes ne disent pas tout. on répond aux enquêtes pour nos propres raisons on peut répondre à une enquête parce qu'on est très content on peut répondre parce qu'on n'est pas du tout content mais parfois on n'est pas du tout content pour des mauvaises raisons et pareil pour si on est très content donc parfois on ne répond pas à une enquête pour des raisons culturelles Donc on nous a dit que par exemple dans certains pays, on a peur de répondre aux enquêtes parce qu'on ne veut pas qu'ils les représaillent. Dans certaines organisations, on ne répond pas aux enquêtes parce qu'on en a trop à répondre et on en a marre de le faire parce qu'on n'a pas de retour en répondant aux enquêtes. Mais derrière, qu'est-ce qui se passe ? Donc ils veulent que si on répond, il y a quelque chose qui se passe par la suite. Donc du coup, le verbatim, demander des retours qualitatifs, c'est très important et c'est très apprécié. de la part des apprenants, voire des managers. On a vu avec une entreprise qui met en place des règles entre une semaine et un mois après la formation pour discuter de la formation, pas forcément le transfert, mais vraiment de la formation, parce que c'est là qu'ils savent qu'il y aura des retours beaucoup plus concrets que simplement remplir une enquête.

  • #1

    Oui, clairement. C'est le fait de poser des questions ouvertes, même dans les questionnaires. c'est une bonne pratique aussi pour venir préciser les réponses données aux questions fermées. Parce que dire je n'ai pas été impliqué dans la formation c'est bien, mais comprendre pourquoi, c'est quand même mieux. Donc c'est vrai que ce soit via les enquêtes, via les questionnaires, via les tours de table, via des redouteurs d'expérience, via des sessions de suivi, des classes virtuelles de suivi, etc. Comme tu dis. il faut aller chercher ces données-là. On ne peut pas tout retrouver uniquement dans des cases à cocher.

  • #0

    C'est quelque chose aussi que Capatric privilégie vraiment. C'est de la variété entre le quantitatif et le qualitatif. Peu importe le niveau.

  • #1

    Tout à fait.

  • #0

    Alors après les deux derniers éléments, ce ne sont pas vraiment des méthodes, mais plus des pratiques au niveau du temps. Donc là, on a mis 24 heures par rapport aux enquêtes. C'est important, je pense, de le signer parce que les gens avec qui on a discuté, eux, ils ont dit que le moment le plus propice de répondre à une enquête pour avoir une qualité de données plus fiable, en fait, c'est juste après l'information. Ce n'est pas dans... la formation même. Alors, forcément, il y a des gens qui demandent de remplir l'enquête à la fin d'une formation, mais il y a beaucoup de responsables qui ont dit que le problème, si on remplit une enquête à la fin d'une formation, c'est que les gens sont souvent fatigués. Ils veulent partir et ils vont dire peut-être des choses d'une manière un peu biaisée en fonction d'où le formateur est, est-ce qu'il est là ou pas, qu'est-ce qu'il demande du formateur. Et du coup, forcément, on est toujours dans la formation, on n'a pas encore fait un lien avec. le poste. Alors que si on répond lorsqu'on est de retour sur le poste de travail, ça permet d'avoir une réaction un petit peu plus à froid, qui permet une meilleure qualité de données, parce que du coup, notre environnement sait le travail, et on va commencer à penser à comment on va appliquer tout ça. Donc certes, il y aura moins de réponses. Donc le souci, c'est le niveau, le temps, le taux de réponse. C'est sûr que si on demande aux gens de répondre après, il va y avoir moins. Mais la qualité des données, c'est quand même beaucoup mieux. Donc on a vu qu'il y a pas mal de gens qui ont dit ça. Après, au niveau temps aussi, temporalité. Les gens qui sont vraiment experts, donc on a eu quelques experts de responsabilisation qui travaillent beaucoup dans le niveau 3 et 4, eux, ils ont dit que le niveau 1 est surtout important au début des dispositifs de formation. C'est-à-dire que c'est là qu'ils font le plus attention lorsqu'on est en train de créer une nouvelle formation. on conçoit et on développe et on réalise une nouvelle formation, peut-être pour une grande population de gens, c'est là qu'on veut mettre plus de moyens, plus de ressources, plus de temps dans le niveau 1 pour savoir s'il faut ajuster la formation ou pas en fonction de ce qui était conçu. Et quand la formation est bien en place, du coup, c'est là qu'on passe un peu... moins de temps et moins de ressources parce qu'il y a juste des petits ajustements à faire, un peu comme on disait avant pour comparer, pour benchmarker. Mais là, on a fait le plus grand travail pour optimiser la formation par rapport au début. Voilà, donc ça, c'est le niveau 1, réaction. On va passer au niveau 2, apprentissage. Donc, qu'est-ce qu'on a appris dans la formation ? Là, un peu moins de bonnes pratiques qu'on souhaiterait vous présenter, mais néanmoins très intéressantes. Premièrement, c'est l'importance de faire des évaluations formatives. Donc souvent lorsqu'on parle d'apprentissage, les niveaux d'or, on pense de faire un test avant, faire un test après, peut-être certifier la formation. Mais on a vu que vraiment, l'importance d'évaluer pendant la formation, ça a son sens. Alors, si c'est à distance, souvent on met des mini-quizzes pour être sûr que les gens ont bien compris. Donc, souvent dans l'e-learning, on a des politiques de conception de formation où si on fait une partie en e-learning, on est obligé d'avoir une quiz à la fin. Mais pas que, on peut avoir des mini-quizzes, des petits tests qu'on peut faire même avec des jeux pédagogiques dans la formation. Surtout, par exemple, au début de la journée. pour savoir ce que les gens ont retenu de la journée précédente. L'évaluation formative, c'est très important à ce niveau-là. Et puis aussi, les jeux de rôle, les jeux de rôle pendant la formation pour travailler sur les compétences et être sûr que les gens, ils ont bien compris ce qu'ils sont censés faire. Jusqu'à un point que la vidéo, donc ça, c'est la deuxième chose, pour filmer les jeux de rôle, devient très, très intéressante parce que ça permet d'avoir un feedback très qualitatif. Les gens nous disaient que le problème avec les jeux de rôle, souvent, c'est que les apprenants ne savent pas ce qu'ils ont fait. Ils n'ont pas vraiment conscience exactement comment ils ont performé dans le jeu de rôle. Et filmer le jeu de rôle et puis leur montrer ce qu'ils ont fait, et aussi donner un feedback, c'est très, très constructif. Les apprenants, ils ont fait Waouh, ah oui, je ne savais pas que j'avais fait ça. Ah d'accord, ok, moi je comprends mieux. et le jeu de rôle qu'on peut faire, ça peut être plus ou moins scénarisé. On peut vraiment avoir des jeux de rôle très formels où on prépare ensemble, comme ça peut être sur le champ. Mais la vidéo permet vraiment d'avoir le retour de la part du formateur aussi là-dessus. Le troisième méthode, c'est la relative actuelle. Jonathan, je sais que tu es... tu vois, des avis tranchés par rapport à tout ce qui est fait sur les métas et tout ça.

  • #1

    Oui, et je peux vraiment que ça soit justifié, encore une fois. Comme tu le sais, c'est... idéalement limités à des environnements qui peuvent être dangereux, où on sait que le coût de reconstitution d'une situation proche de la réalité serait très élevé, etc. Là, je vois bien quel intérêt dans le secteur médical.

  • #0

    Et comme tu dis, je pense que vraiment c'est un intérêt pour des formations à très très fort enjeu, on ne peut pas se tromper. Et là on doit être sûr que ce soit comme tu dis dans le médical, mais aussi peut-être dans l'aéronautique ou dans certains systèmes d'industrie, c'est là qu'on peut dépenser pour être sûr.

  • #1

    Exactement.

  • #0

    Et donc la dernière méthode, c'est la certification. Alors en France, pour ceux qui ont un compte en France, vous connaissez le CPF, vous connaissez le compte personnel de formation, où on peut utiliser notre crédit, on a besoin de certifier la formation. Donc du coup, l'État qui est un acteur... majeurs derrière la formation souhaitent pousser à bout la certification. Mais on a vu aussi qu'il y a monté des plateformes de certification, les plateformes de certification qui permettent justement de créer des badges, créer des certifications internes pour pouvoir formaliser un petit peu les formations, la fin des formations, sur des formations que les grosses organisations ont créées, ont conçues, et ça permet un meilleur engagement. Donc on a vu que la certification aussi prend sa place, que ce soit en interne de l'organisation ou à l'externe par les acteurs. Voilà, ça c'est les niveaux 2. Je passe maintenant à toi Jonathan pour le niveau 3, donc comportement.

  • #1

    Oui, alors là on entre justement de plein pied dans les questions d'efficacité et d'impact, parce que c'est vrai qu'on a pour habitude de distinguer les niveaux 1 et 2 en parlant de qualité de la formation. La formation en tant que produit. et on va chercher à améliorer la satisfaction, l'apprentissage, etc. Mais au niveau 3 et 4, on est vraiment dans l'efficacité. Alors pratique que l'on retrouve assez fréquemment chez les personnes, au sein des entreprises qui évaluent ce niveau 3, c'est le fait de réaliser une enquête dite croisée. Donc par exemple, d'envoyer un questionnaire d'évaluation à l'apprenant et à son manager. Comme ça, on a une co-évaluation. chose qui est intéressante parce que ça permet aussi de contrebalancer l'avis de l'un ou de l'autre, dans un sens comme dans l'autre d'ailleurs. C'est-à-dire que ça n'est pas automatiquement, comme on pourrait l'imaginer, l'apprenant qui va se surévaluer et le manager qui va le sous-évaluer, c'est parfois aussi l'inverse. Donc l'apprenant qui n'a pas l'impression de faire aussi bien qu'il ne pourrait le faire et puis le manager qui va dire non, non, si, si, franchement... Moi, j'ai vu des changements, etc. Donc, il y a aussi une forme d'effet de renforcement et d'encouragement via cette enquête. Là, c'est surtout le croisement apprenant et manager qui est mis en pratique. Là, j'en profite pour préconiser aussi... quelque chose de complémentaire, ça pourrait être aussi d'autres acteurs tiers. Donc d'autres tiers acteurs, mais par exemple, le fait d'évaluer... de faire une co-évaluation avec un collègue, avec un binôme avec qui on a suivi la formation, etc. Là, ça pourrait être intéressant. Et dans certains cas, on serait peut-être plus à l'aise avec l'évaluation que l'on ne peut l'être avec son manager, par exemple. Et le manager qui n'est pas toujours là, d'ailleurs, pour observer le travail. Parfois, on a des managers qui sont distants du fait du métier, du fait de la fonction. évaluer c'est bien avoir des résultats c'est encore mieux donc on voit au niveau 3 la montée en puissance de dispositifs d'accompagnement ou de coaching peu importe comment on les nomme mais dans tous les cas cette partie on va dire d'accompagnement post-formation via des coachs via des accompagnateurs la FEST est beaucoup évoquée donc l'action de formation en situation de travail donc pour nos auditeurs, auditrices c'est très important Basée en France, en tout cas, il et elle connaissent certainement bien cela. L'idée, c'est qu'on puisse apprendre aussi en situation de travail. Évidemment, maintenant, c'est une modalité de formation qui est reconnue aussi par la loi. Donc, elle est parfois aussi utilisée en ce sens pour compléter la formation. via de l'accompagnement post-formation. Dans d'autres cas, on a des dispositifs de coaching sur grand mise en œuvre en se focalisant sur la mise en œuvre d'une compétence précise, de plusieurs compétences suite à la formation, etc. C'est très positif parce qu'on le répète souvent, la formation n'est que le début et certainement pas la fin. Et la formation, au sens de la montée en compétence, n'est réellement terminée qu'une fois que la compétence a pu être mise en œuvre et le coaching doit pouvoir aider à passer de l'intention à l'action, de la formation à la mise en pratique réelle en situation de travail.

  • #0

    Et on a vu que le... Quand on dit coaching, ce n'est pas forcément un coach formé, spécialisé pour être coach, mais ça peut être le superviseur, ça peut être un référent, ça peut être un manager, ça peut être aussi le formateur ou un formateur qui n'a pas fait la formation. Vraiment, ça dépend du dispositif de formation et de comment l'organisation s'organise pour le faire.

  • #1

    Oui, exactement. C'est vrai que ce n'est pas le coach au sens coach de l'ICF, par exemple, au sens coach professionnel. Mais raisonnons plutôt accompagnateur, accompagnement de manière générale.

  • #0

    Et je pense que pour moi, qui ai fait les entretiens qualitatifs, j'ai vraiment senti, j'ai vraiment eu l'impression que pour les gens, justement, les responsables d'information qui se spécialisent un petit peu dans l'évaluation, ils ont dit que cette partie accompagnement post-formation, c'est une partie non négligeable pour réussir l'efficacité et l'impact d'une formation. T'es d'accord avec moi, Jonathan, là-dessus ?

  • #1

    Ah ben, je suis... On ne peut plus d'accord. Enfin, pour moi, c'est vraiment... On dit que le niveau 3, c'est le plus important des 4, parce que c'est le moment où le niveau à partir duquel ce qui a été appris en formation cesse d'appartenir exclusivement à l'apprenant. Et de toute façon, ça n'appartiendra plus à personne, parce que si ça ne mène plus à lui, si ça n'est pas mis en pratique, ça sera perdu tout simplement. Et donc, cet accompagnement est nécessaire. Là, on sait que... c'est vraiment un enjeu majeur et que si on ne prévoit pas cela dans le disability de formation, on va compter sur une toute petite poignée, sur une poignée de personnes qui vont être suffisamment disciplinées pour passer à l'action et on sait malheureusement que ce n'est pas encore la majeure partie des gens.

  • #0

    Alors, plan d'action.

  • #1

    Plan d'action, alors plan d'action, c'est intéressant aussi justement pour passer de la formation à la mise en pratique en situation réelle. Alors, lorsque l'on anime, toi et moi, le programme de certification de Campatric, on insiste beaucoup sur le fait d'avoir au niveau 3 des comportements, comme le nom du niveau l'indique, des comportements concrets, observables, mesurables. Et donc, c'est nécessaire pour que, justement, il y ait ce transfert des acquis, pour que l'on passe à la mise en pratique. Ces comportements... parfois peuvent être communs à tout le groupe de formation. Donc, par exemple, je vais prendre un cas qui parlera à peu près à tout le monde, mais on forme des managers et on les forme, par exemple, à la conduite des entretiens annuels. Et puis, on leur dit, d'abord, il faut commencer par valoriser ce qui a été positif tout au long de l'année, avant de parler des points faibles, des axes de progrès, etc. Bon, voilà, ça concerne tous les managers. On met ça en œuvre. Ce sont des nouveaux managers, des new managers. Ils n'ont jamais été formés à ça. Bon, OK, le comportement peut convenir à tout le monde. Dans d'autres cas, si demain, Joss et moi, on va suivre une formation en gestion du temps et des priorités, eh bien, on ne part pas du même niveau. On n'a pas les mêmes pratiques aujourd'hui. Il y a peut-être des... parce qu'on n'a pas le même quotidien, des pratiques qui seraient plus adaptées que d'autres, etc. Et dans ce cas, ces comportements, au sens de bonnes pratiques à mettre en œuvre, pourraient être individualisés, pourraient être spécifiques à chacun de nous. Et dans ce cas, ça vaudrait la peine d'avoir un plan d'action qui soit travail en formation et idéalement pas travailler uniquement par les apprenants, mais bien travailler avec l'accompagnement du formateur, avec l'accompagnement du groupe. Pourquoi pas ? Je pense à, voilà, les Québécois parlent de modules de TEP, transfert à l'environnement pratique, pratique ou professionnel selon les cas, mais d'avoir une séquence pédagogique dédiée en fin de formation où l'on parle du transfert, et pas juste cinq minutes à la fin, mais par exemple une formation qui se termine à 17h, à partir de 15h30. voilà on discute par exemple après la pause de toutes ces questions de tiens qu'est-ce que je vais pouvoir mettre en pratique quels sont les obstacles auxquels je vais faire face comment je compte y faire face etc etc donc ça c'est très intéressant

  • #0

    De toute façon, lorsqu'on privilégie une séquence d'évaluation spécifique, que ce soit pour un plan d'action ou pour avoir un tour de table ou pour remplir une enquête, c'est vrai que passer un peu de temps exprès là-dessus, ça facilite justement la qualité de l'évaluation des méthodes qu'on met en place.

  • #1

    Exactement, c'est nécessaire. Si on ne le fait pas, on aura des plans d'action qui sont très génériques du type, oui, je vais utiliser ce que j'ai appris en formation. C'est bien. Deux ou trois mois après, on leur posera la question Est-ce que vous avez utilisé ce que vous avez appris en formation ? Ils ne se souviendront même pas de ce qu'ils ont appris. Il faut pouvoir passer du temps. C'est nécessaire si on veut des résultats. Deux types d'ancrages qui sont nécessaires et qui sont parfois confondus. Si on veut justement que ce transfert se fasse, on peut réfléchir à comment on va favoriser à la fois l'ancrage mémoriel, au sens mémoriser les notions vues en formation. Là, classiquement, on va parler des connaissances. Si par exemple, on fait des cours-quizzes, tout à l'heure tu en parlais lors de l'évaluation formative, mais on peut imaginer des quiz qui seraient envoyées par exemple… durant deux mois, toutes les semaines, une ou deux questions toutes les semaines, etc. On va favoriser cet ancrage, on va faire en sorte que l'on puisse retenir les notions clés vues en formation. ça c'est ok ça ne signifie pas par contre que ça va nous faire passer à l'action donc ça on va dire ça garde je vais utiliser cette image mais ça garde un peu notre cerveau au chaud voilà on a toujours ces idées ces notions à l'esprit par contre l'ancrage qui me semble prioritaire à ce niveau, c'est surtout l'ancrage comportemental. Donc voilà, ce n'est pas parce que je sais ou que je me souviens, l'ancrage mémoriel, que je fais ancrage comportemental. Donc là, ça demande de travailler sur la mise en place d'habitudes, donc de comportements, de routines quotidiennes, de rituels, etc., pour vraiment avoir ces réflexes. On entend souvent parler de ce mythe, de ce neuromythe des 21 jours. Il faudrait 21 jours d'un comportement ou d'une habitude répétée pour que cela devienne ancré. en réalité les études montrent qu'il y a une recension qui a été faite ça va de 21 jours à 254 jours c'est pas quand même donc c'est un peu plus que ça ça dépend des personnes ça dépend des comportements je dis souvent en rigolant mais quiconque a déjà essayé d'arrêter de fumer c'est que 21 jours ça n'est pas suffisant à voir de replonger donc ça pose la question de ce que l'on peut mettre en oeuvre pour favoriser cet ancrage comportemental niveau 3 et donc dernier point justement c'est des ressources des ressources qu'est-ce que l'on prévoit alors on a Durant le temps de la formation, on est dans une forme de pocon pédagogique. On a des super supports, qu'ils soient numériques ou imprimés sur papier glacé. On a un magnifique PowerPoint, on a plein de choses, on a des cartes à jouer, on a énormément de choses. Et puis post-formation, souvent. on se retrouve un peu sans rien. Donc, l'idée, c'est de pouvoir fournir aussi, ça, c'est une bonne pratique que l'on observe parfois, fournir aux apprenants des ressources qui vont venir soutenir ce passage à l'action. Donc, des aides-mémoires, des checklists, des modules de learning complémentaires. ça peut être des classes virtuelles de suivi, bref, tout ce qui va aider à favoriser cet ancrage mémoriel et surtout cet ancrage comportemental.

  • #0

    super ça c'est pour le niveau 3 donc des méthodes vraiment très concrètes moi je sais ce qui sort pour moi c'est le coaching, le plan d'action les ancrages mémoriels j'ai vraiment vu les gens qui étaient très très très convaincus de leur importance jusqu'au point que maintenant ils ne conçoivent pas de formation sans justement concevoir ce genre d'accompagnement pour la suite de la formation, ils disent que ça ne sert à rien de le faire sans qu'il y ait cet accompagnement une fois que sur le retour sur le poste de travail ?

  • #1

    Clairement. Je repense souvent aux chiffres de Brinkehoff, Robert Brinkehoff, que l'on présente aussi. dans le programme de certification de cœur Patrick, mais sans cela, en moyenne, on a 15% des apprenants qui vont mettre en pratique. Donc, la poignée ultra-disciplinée dont je parlais tout à l'heure. Mais tout le monde ne fonctionne pas comme ça, tout le monde n'a pas cet état d'esprit. Et donc, la majorité, tout simplement, va retourner à ses vieilles habitudes. Le naturel revient toujours au galop, malheureusement. Malheureusement, en pareil cas, en tout cas. et puis voilà si on ne prévoit pas ça on n'aura pas des résultats on n'aura pas d'impact tout simplement tout simplement ok on va finir avec les méthodes avec les niveaux 4 résultats donc voilà on a mis en pratique maintenant on arrive au niveau 4 et donc la première pratique et bien c'est justement on en parlait un peu tout à l'heure c'est un peu la manière classique et recommandée pour convaincre les commanditaires d'évaluer au niveau 4 c'est de déterminer en anglais, en bon anglais dans le texte, des KPIs, donc des indicateurs clés de performance. Merci, Joss. Donc, à emprunter au sens où ça n'est pas à nous, professionnels de la formation, de construire ces indicateurs. Si on travaille sur des formations à fort enjeu, des formations dites stratégiques, nécessairement, ces indicateurs existent probablement, sinon c'est inquiétant, dans l'organisation. Donc, on va négocier l'accès à ces indicateurs, à ces données, on va les emprunter pour mesurer avant et après la formation à plusieurs reprises pour pouvoir piloter tout simplement l'impact de la formation à différents niveaux et pas se limiter à un indicateur, en choisir plusieurs pour s'assurer en tout cas de déceler des effets. Deuxième élément, c'est la notion d'étude d'impact pour avoir aussi des retours qualitatifs en plus. Donc ça, c'est très intéressant. Je parlais à l'instant de Robert Brinkerhoff. Lui a une méthode qui s'appelle la méthode des cas à succès. Success case method, je pense, en anglais. Et elle consiste à dire, suite à une formation, on n'a pas toujours l'occasion d'être reçu en amont par les commanditaires qui vont prendre le temps. de définir avec nous, d'identifier des indicateurs clés de performance, etc. Mais par contre, on peut très bien avoir, d'ailleurs les deux méthodes ne sont pas exclusives, elles peuvent être complémentaires. mais suite à une formation, je peux très bien aller enquêter auprès de collaborateurs en me focalisant sur les niveaux 3 et 4, en disant, tiens, je vais identifier ceux qui ont mis en pratique le niveau 3 et ceux qui n'ont pas mis en pratique au niveau 3, et puis questionner le pourquoi. Pourquoi ils n'ont pas mis en pratique ? Pourquoi ils ont mis en pratique ? Donc, identifier les freins, identifier les bonnes pratiques, etc. Et puis faire le lien avec le niveau 4 et avoir tout un ensemble de données. y compris qualitatifs qui vont me donner des retours précieux pour améliorer les prochaines sessions, par exemple de ce programme de formation, et pouvoir aller convaincre les commanditaires en disant Regardez, comme par hasard, on a surtout des résultats quand les managers s'impliquent, par exemple. Donc voilà, on va insister davantage sur certaines choses. et ça va permettre de faciliter le changement parce que les commanditaires ont tout intérêt, s'ils veulent davantage de résultats, s'ils veulent donc que le budget de formation soit encore utilisé de la manière la plus efficiente possible, ils ont tout intérêt à venir apporter leur soutien. Et puis d'un pack, donc Business Intelligence, via des rapports, donc on a des entreprises qui mettent en place vraiment une logique, on a des data analysts parfois, des analystes des données, donc voilà, qui vont venir connecter aussi, notamment pour répondre aux... aux impératifs de l'évaluation au niveau 4, vont venir connecter les systèmes d'information de l'entreprise, quels qu'ils soient, et de manière à pouvoir récupérer des données, récupérer des indicateurs, pouvoir analyser, pouvoir resituer ça aussi sur une forme de frise chronologique. On nous en tient, on a donné la formation pour tel groupe à tel moment, on va étudier des variations dans les indicateurs. On ne peut pas faire cela si on n'est pas un minimum équipé, et donc avoir cette logique de... de rapports, de passer par des API qui vont permettre de connecter aussi des solutions, des logiciels, des applications, etc. Et d'avoir aussi des personnes dédiées à cela, qui aient cette compétence de data analysis. C'est vraiment essentiel.

  • #0

    On a eu... peut-être deux populations de data analyst, ceux qui sont là en permanence au sein du peut-être l'équipe de formation ou l'équipe de ressources humaines qui travaille là tous les jours là-dessus, et une autre population où on dit, bon, il faut qu'on mette ça en place, on va prendre quelqu'un, peut-être une prestataire externe, ou on va prendre un alternant qui va vraiment travailler justement les API, les rapports, les visuels, les templates, les modèles de comment on va faire ça, et puis après, à partir de ça, on peut dupliquer par rapport projets de formation donc je trouve que ça pour moi c'est peut-être le côté le plus innovateur de tout ce qu'on a vu jusqu'à là quand je dis innovateur, plutôt au sens technologique dans l'enquête vraiment des évolutions très intéressantes pour lier le business avec justement les efforts de formation

  • #1

    Oui, tout à fait. C'est nécessaire. Ce n'est pas la compétence de mon point de vue la plus simple à acquérir. Non. Parce qu'il faut pouvoir se frotter aux statistiques, se frotter à un certain nombre d'outils informatiques. Ça demande vraiment une compétence qui est précieuse, mais qui, je pense, conseil carrière aux professeurs de la formation, je pense que ça va devenir quelque chose qui va être clé aussi pour se démarquer.

  • #0

    C'est sûr, c'est sûr.

  • #1

    On a le suivi de plan d'action, donc on a un peu déjà parlé aussi précédemment au niveau 3, mais c'est la même chose au niveau 4. L'idée, tu parlais tout à l'heure de formation côté client. Imaginons, on forme des populations plutôt à vocation commerciale. il y a une logique. C'est se dire, suite à la formation, tu vas surtout travailler telle ou telle compétence, tu vas donc mettre en œuvre tel ou tel comportement, tu vas bénéficier d'un dispositif de coaching, etc. Et puis derrière, forcément, on fait le lien en disant, toi, à ton niveau, tu vas surtout te focaliser sur tel et tel indicateur de manière à développer, je ne sais pas moi, le... ton chiffre d'affaires, le nombre de commandes, le nombre de clients que tu as pu contacter, etc. Donc les niveaux 3 et 4 sont toujours très liés dans les plans d'action parce qu'il y a vraiment ce que je fais, ce que je mets en œuvre. au niveau 3 et ce que j'obtiens en conséquence au niveau 4. Le niveau 4 n'est que la conséquence du niveau 3. Et enfin, ce serait dommage de faire tout cela sans aller présenter le fruit de nos efforts aux commanditaires. Quand on parle de commanditaires, pour rappel, on est vraiment au niveau de direction générale, direction opérationnelle, au niveau d'une direction qui a commandité, comme son nom l'indique, un projet de formation à fort enjeu. Ce serait dommage de faire tout cela pour à la fin faire un joli rapport PDF, l'envoyer par email en mettant pour information Non, l'idée, c'est qu'on puisse aller jusqu'à présenter les résultats. Généralement, on préconise aussi de négocier dès le début du projet, voire même de sortir les agendas et de dire, on se voit à quelle date pour présenter les résultats, au moins ça fixe une échéance dans le temps, et d'aller présenter cela tel des avocats qui iraient plaider, qui iraient... défendre la cause d'un projet de formation et de raconter l'histoire de son efficacité, de son impact. Et là, c'est quand même beaucoup plus vendeur.

  • #0

    Ça me rappelle aussi que souvent, on a vu le terme marketer la formation C'est-à-dire qu'on voit que vraiment... La présentation pour moi fait partie un petit peu de comment on fait un lien avec l'objectif, le troisième objectif qu'on avait vu, c'était de démontrer la valeur de l'effort de formation au sein de l'organisation. Et les présentations permettent justement de capitaliser là-dessus. On a eu même hier un participant qui a dit, nous on a fait une présentation. qui était bien apprécié. À partir de ça, on a fait une présentation sur la présentation, sur le projet. C'était qu'on a créé une présentation pour montrer aux autres commanditaires au sein de l'organisation comment nous on fait maintenant les projets de formation en fort enjeu pour les convaincre de notre capacité à mesurer l'impact, à rendre les formations efficaces. Et ça permettait justement de se faire un petit nom au niveau de ce qu'on est capable de faire dans le service formation. et vraiment pour moi ça rejoint ce terme de marketer l'information savoir comment communiquer de nos efforts que ce soit sur l'analyse des données ou sur les business case comme tu as dit pour montrer qu'on a un savoir-faire en formation peut-être que les gens ne savaient pas au préalable

  • #1

    Oui, exactement. Et c'est vrai que c'est dommage. On fait beaucoup de choses à la formation, mais on ne le met pas toujours en avant. Donc là, c'est quand même l'occasion de se rendre justice et d'aller démontrer un peu l'impact de ce que l'on a fait.

  • #0

    Bien, donc là on a fait une présentation sur des méthodes, sur des idées, sur les bonnes pratiques, d'une façon peut-être un peu plus micro, vraiment des idées que vous pouvez prendre pour vous selon les différents types de formations que vous avez, mais après il y a aussi la question du changement. Donc le changement, parce qu'il y a beaucoup de gens qui ont dit que ça ne se fait pas du jour au lendemain, n'est-ce pas Jonathan ?

  • #1

    Ah non, c'est clair. C'est clair. Je répète souvent que l'évaluation de la formation n'est pas un défi technique. C'est souvent et avant tout un défi culturel et organisationnel. C'est comment on embarque différents acteurs dans ce défi, comment on fait passer le message que le succès de la formation n'est pas de la responsabilité des seuls acteurs de la formation, etc. Donc il y a vraiment une question de changement culturel et organisationnel. et ce n'est pas juste le fait de remettre à neuf ces questionnaires d'évaluation, c'est bien plus large que ça

  • #0

    On a eu le cas hier de quelqu'un qui n'était pas au même stade du système d'évaluation, on était plus vers le début que vers la fin, néanmoins il était très intéressé par le sujet très impliqué et puis après on a eu quelqu'un qui était vraiment trois ans après dans le système et il a dit ton système à toi c'est du 5 étoiles on se demande comment on va faire ça et lui il a répondu ça se fait pas au jour du lendemain ça se fait au petit bout on peut pas faire tout ça tout de suite, c'est impossible tout ce que nous on fait là c'est grâce aux efforts qu'on a déployés depuis 3 ans

  • #1

    exactement tout à fait mais c'est ça il faut laisser le temps au temps et il y a cette expression ce proverbe un peu bizarre qui consiste à dire comment mange-t-on un éléphant morceau par morceau et c'est ça et au général hier lors de la masterclass de restitution pour les personnes qui ne participent pas à la phase qualitative de l'enquête il y avait effectivement cette personne qui présentait un système d'évaluation en France on buvait du petit lait avec Joss j'ai dit waouh qu'est-ce que ça fait du bien de voir ça parce qu'on se disait c'est quasiment mot pour mot ce que l'on aurait pu décrire dans nos rêves les plus fous en matière d'évaluation des formations mais effectivement il y a eu un investissement il y a eu du temps, il y a eu le fait de se dire ok on y va étape par étape on a une méga checklist et on va cocher les cases une à une mais on va se donner le temps de faire cela

  • #0

    Donc concrètement, on a vu qu'il y avait des choses qu'on peut faire pour accompagner le changement. Premièrement, par rapport au manque d'outils, qu'est-ce qu'on fait pour le manque d'outils ? Donc on a vu que vraiment il y a des outils internes et externes. Je pense qu'il faut savoir faire la différence entre externes et internes. Si vous pouvez externaliser, si vous pouvez prendre un outil... dédié à l'évaluation, c'est possible. Il y a des acteurs qui existent sur le marché francophone qui permettent de non seulement vous permettre de faire des enquêtes, des questionnaires, de faire des quiz, des tests de connaissances, mais jusqu'à ancrage mémoriel et comportemental. Ces plateformes existent, ils sont bien, voire parfois très bien, et qui peuvent justement être intégrés dans votre nouveau système d'évaluation. Mais par rapport à ça, c'est vrai que ça dépend de votre propre organisation, ça dépend des ressources que vous avez, l'investissement que vous pouvez mettre en termes d'argent et au niveau de temps, parce que ce n'est pas parce qu'on met en place un plat-tombe que ça marche tout de suite, Jonathan.

  • #1

    Ah oui, clairement, oui, oui. C'est, bon, tout à l'heure, on en parlait, l'évolution de toute ou partie du système d'information, c'est un chantier à chaque fois. Et se dire, tiens... Ce qui me semble raisonnable à ce niveau, si il fallait donner un conseil, ce serait de commencer par un pilote. Ce qui permet aussi de tester les plateformes, de tester les applications, de voir si la réalité est aussi belle que la vitrine. On commence par un pilote, on commence par un premier projet, un programme de formation. et puis on voit un peu ce que ça donne, on a des résultats, et puis tranquillement, on va aller, un, on teste la plateforme, et deux, tranquillement, on va aller convaincre aussi d'autres acteurs, d'autres commanditaires. On a toujours des commanditaires, des managers un peu plus pro-formation, et donc un peu plus volontaristes que les autres. On teste ce genre de système, et puis on y va progressivement. Et ça, on peut faire ça pour chaque niveau d'évaluation. Quel est le système que si on utilise des systèmes... des systèmes différents pour aborder l'ensemble des niveaux, qu'est-ce qu'on fait pour le niveau 1, qu'est-ce qu'on fait pour le niveau 2, qu'est-ce qu'on fait pour le niveau 3, qu'est-ce qu'on fait pour le niveau 4, et à la fin, comment on fait du lien entre tous ces niveaux.

  • #0

    Après, si vous ne pouvez pas externaliser, vous pouvez aussi utiliser les outils en interne. On a vu pas mal d'organisations qui ont dit que ce n'est pas possible d'externaliser, donc ils sont obligés de faire avec des outils à bord. C'est vrai que la plupart des organisations, ils ont Microsoft, il ne faut pas se leurrer, ils ont Microsoft, donc ils sont obligés d'utiliser les outils de Microsoft, mais ils peuvent le faire, donc ils peuvent quand même... J'ai envie d'aider à industrialiser un petit peu les outils Microsoft, c'est-à-dire qu'ils peuvent au lieu de juste faire des choses avec un document Word comme questionnaire pour après le mettre dans un fichier Excel qui prend un temps fou. Non, ce n'est pas ça, c'est plutôt utiliser Microsoft Forms, voir jusqu'à un lien des données recoltées avec Power BI, qui est le système d'analyse de données, de recoltes de données chez Microsoft dans les grandes organisations.

  • #1

    complètement et c'est vrai que je vais faire mon mea culpa parce que pendant des années je Pour moi, c'était une forme d'aveu d'échec de dire tiens, j'utilise Microsoft Forms ou Google Forms, etc. parce que je me disais oui, mais c'est vraiment… C'est un peu comme SurveyMonkey, on se disait oui, mais c'est quelque chose qui n'est pas adapté, c'est trop générique, etc. alors c'est vrai qu'on peut l'utiliser comme ça de manière très générique par contre comme tu le dis si on peut profiter de tout l'écosystème Microsoft si on prend l'exemple de Microsoft on pourrait avoir des logiques similaires avec d'autres éditeurs mais on peut avoir Microsoft Forms pour les questionnaires. Donc là, on voit que ça permet quand même de répondre à pas mal de choses au niveau 1, 2, voire 3, voire 4, etc. Enfin, 3 sûrs et voire 4, si on fait aussi du déclaratif. au niveau 4, on collecte les données, on peut automatiser tout cela, donc on a Power Automate de Microsoft qui permet aussi d'avoir des workflows qui permettent d'aller alimenter tout cela, d'aller personnaliser les questionnaires en fonction de données liées aux formations, etc. D'aller ensuite injecter ces données dans Power BI, donc d'avoir des rapports qui soient automatiques, qui puissent être communiqués automatiquement et qui peuvent être utilisés à différents acteurs, différentes parties prenantes. Bref, il y a tout un système à penser. C'est pour ça que tout on parlait vraiment d'une compétence qui est précieuse, mêlant les outils informatiques, l'analyse de données, etc. Mais quand on a quelqu'un, soit en interne, soit sous forme de prestataire qui peut venir réaliser cela, franchement, c'est que du bonheur. Là, on passe à un autre niveau et effectivement, ça ne justifie plus ou en tout cas, ça justifie beaucoup moins le fait de faire appel à des solutions externes. Alors, pour la collecte des données et l'analyse, j'entends. Par contre, pour la partie coaching, ancrage, etc., ce n'est pas ça qui fera le travail.

  • #0

    Oui, oui. Bien, donc vraiment des choses très intéressantes au niveau des outils, que ce soit externe ou interne, on voit des possibilités, que vous soyez bloqué d'un ou de l'autre côté, il y a des choses à faire. Il ne faut pas se dire qu'on ne peut rien faire avec ce qu'on a, non, vous pouvez, et puis après vous avez des solutions externes aussi, là justement si vous avez des possibilités pour vous aider. Alors après, j'ai envie de dire qu'on veut un peu travailler sur les acteurs, les rôles, les gens. Donc au niveau culturel, le changement, forcément, c'est vraiment une question de gens. Donc on a les gens au sein du service formation, on va en parler après. Et puis après, on a des gens autour du service formation, les différents acteurs qui jouent un rôle très important dans la réussite d'une formation. commençons par les commanditaires je pense Jonathan c'est comment travailler avec des gens haut placés au sein d'une organisation qui sont souvent peu connaissants de ce que fait la formation peut-être assez exigeants avec ce qu'ils veulent et puis peut-être aussi pas très aidant je ne sais pas si c'est le mot mais qui n'aide pas beaucoup les efforts aussi des services de formation aussi oui alors

  • #1

    là c'est là c'est clair il n'y a pas de solution miracle pour Déjà, c'est parler le même langage que les commanditaires. Donc, c'est sûr que si on arrive et qu'on leur parle pédagogie, tant mieux pour nous si on tombe sur des commanditaires qui sont intéressés par ces questions. En réalité, ils ont quand même d'autres chats fouettés. Ils ne peuvent pas s'amuser à parler le jargon spécifique de chaque fonction. Donc, forcément, il faut parler stratégie, il faut parler performance, il faut parler business, etc. Et s'intéresser à l'actualité de l'entreprise. Donc, essayer de venir discuter avec eux. partout où cela sera possible, de venir se tenir au courant de l'actualité, de parler des projets en cours, de proposer ces services aussi pour... pour répondre à tel ou tel chantier, tel ou tel projet. Parfois, on a la chance d'être invité au Codire pour défendre cela, pour avoir des données qui vont nous permettre d'avoir un plan de développement des compétences qui tiennent compte d'éléments stratégiques. Parfois non, parfois on va se retrouver dans des groupes de travail. L'idée, c'est de pouvoir les rencontrer le plus possible, d'être dans leur périmètre, on va dire leur écosystème, d'être visible. et d'avoir à la fois des données qui permettent de cadrer nos formations, nos orientations de formation, et aussi de pouvoir leur présenter des données qui les intéressent. Et ce qui les intéresse, ce ne sont certainement pas les niveaux 1 et 2. Donc voilà, il y a à la fois l'amont, comment on peut se rapprocher d'eux pour avoir des informations, pour avoir pourquoi pas leur participation dans certains cas. pour définir des orientations stratégiques en matière de formation et en aval. Il y a aussi qu'est-ce que l'on va leur présenter comme résultat qui les intéresse.

  • #0

    Je pense que justement, s'il n'y a pas de contact entre le service formation et les commanditaires, les parties prenantes, j'ai vu, on avait vu le cas d'une personne qui a dit, moi il y a deux ans, j'ai pris rendez-vous avec les différents membres du COMEX pour demander, j'ai envie de vous rencontrer pour savoir si mes formations, mon offre de formation est en alignement avec votre stratégie. Donc, est-ce qu'on peut prendre rendez-vous pour en discuter, pour voir si j'ai les bonnes formations pour vous. et donc du coup les membres du COMEX ont dit oui ils ont discuté et ça permet de justement ouvrir un peu les chakras ouvrir un peu les vannes pour faciliter la communication ce qui a fait que un an après il est revenu avec justement des éléments plus quantitatifs et qualitatifs par rapport à ce qui se passait les membres du COMEX ils ont beaucoup apprécié après ils ont fait venir les N-1 donc les gens plus en contact avec les apprenants pour participer et ça fait en effet des boules de neige mais tout ça, ça a commencé par l'effort de ce responsable nation qui a fait l'effort de contacter pour vraiment voir si tout allait bien par rapport à son offre à lui exactement c'est courageux et c'est bien mais bon,

  • #1

    c'est courageux parce que la réponse pourrait être pourrait être que non, qu'il y a beaucoup de choses à revoir mais en même temps on le rappelle souvent, il ne faut pas se leurrer, même si on n'est pas aussi courageux que ce responsable formation, l'évaluation de l'intérêt de notre fonction se fait quand même. Et que les dirigeants discutent, etc. Et puis, on ne peut pas mettre la poussière sous le tapis éternellement. Et un jour, on apprend que finalement, on va externaliser toute ou partie de la fonction de formation. donc voilà il vaut mieux avoir un discours clair et se dire je me pose des questions, je veux améliorer les choses j'ai besoin de vous et ça ne pourrait être qu'apprécié forcément

  • #0

    Après, il y avait les managers. Tu en as un peu parlé dans les freins, les freins pour réussir un système d'évaluation. C'est quand même une population très importante.

  • #1

    Oui, tout à fait. Les managers, le grand classique dont on parle souvent et dont je parle dans mon livre, d'avoir des protocoles, des dispositifs du type 505. Le 505, c'est considéré, la première 5 collaborateurs et managers peuvent discuter au moins 5 minutes avant la formation, pour préciser le besoin, les objectifs, dans quel contexte la personne va aller se former, etc. Deuxième chiffre, le zéro, donc zéro minute pendant la formation, faire en sorte que le manager laisse son collaborateur bénéficier, profiter de la formation. donc ne le sollicite pas le troisième chiffre donc 5, 5, 105 le dernier 5 c'est justement de débriefer au moins pendant 5 minutes post formation pour discuter juste en plan d'action qu'est-ce qu'on va pouvoir mettre en oeuvre comment le manager peut être utile etc Donc ça, ça se fait bien, ça se communique, c'est pareil, on commence toujours par les managers pro-formation, et puis progressivement, on augmente la population, on va dire l'échantillon concerné. pour commencer à intéresser un peu tout le monde. Mais il y a tellement de choses à dire sur les managers. Pourquoi aujourd'hui ils n'ont pas le temps ? Est-ce qu'ils sont aussi évalués, promus, rémunérés pour faire ce travail ? Ça peut remettre en cause tellement de variables du système de management que c'est la même chose. Je pense que commencer par un pilote et y aller progressivement, identifier les freins. ensuite aller toquer à la porte de la direction de la direction des ressources humaines commencer à poser des questions aussi sur ce que l'on attend des managers, c'est quoi la charte managériale etc, comment ils sont aujourd'hui évalués ça ouvre le champ des possibles de façon assez importante mais ça sera nécessaire aussi je sens qu'on va faire un épisode du podcast que là dessus ouais franchement ça vaudrait la peine et aussi a-t-on besoin des managers pour l'efficacité des formations parce que voilà moi aussi c'est mon leitmotiv c'est de me dire trop compliqué on peut aussi se focaliser uniquement sur les apprenants ça j'y crois beaucoup ça n'est pas forcément plus simple mais par contre dans certains cas c'est nécessaire

  • #0

    après il y avait donc les formateurs et les prestataires de formation je sais que vous êtes nombreux aussi de travailler au sein de l'organisme mais vous êtes aussi avec des formateurs interne externe des acteurs importants dans l'évaluation ouais clairement

  • #1

    assez... c'est important qu'eux comprennent aussi ce que l'on attend en termes d'évaluation que l'évaluation ne va pas se limiter au niveau 1 et 2 donc justement à ce qui se passe dans la salle de formation qu'elle soit physique ou virtuelle mais voilà que eux comprennent aussi comment on peut qu'est-ce que l'on peut évaluer au niveau 1 et 2 au-delà de la seule satisfaction et de la seule acquisition de connaissances tiens c'est intéressant et on en parlait hier d'ailleurs une responsable formation qui me qui nous faisaient un retour à ce sujet, nous préconisent souvent d'aller évaluer la confiance. Donc la confiance, elle est dans le bout de deux du nouveau modèle Cœur Patrick. Est-ce que je me sens confiant, confiant pour mettre en application, une fois de retour au travail, ce que j'ai appris durant cette formation ? C'est une technique d'évaluation en soi, mais il faut que le formateur, il soit formé, en tout cas qu'il soit préparé à faire ça, voire qu'il soit outillé, parce que ça donne des informations très intéressantes sur les possibles freins qu'il va y avoir au transfert des acquis. Donc, les identifier pendant la formation, aller évaluer cela, aller poser des questions. On a besoin des formateurs pour avoir ces données.

  • #0

    J'ai envie de dire que l'évaluation pour un formateur ou pour un prestataire, ce n'est pas pour juger la qualité de son travail, c'est pour préparer l'apprenant justement pour la suite aussi. On est d'accord ?

  • #1

    Exactement. Oui, tu fais bien de le préciser. D'ailleurs, nous, on se bat contre les évaluations de niveau 1 qui ressemblent à des questionnaires de jugement des formateurs. L'idée, c'est qu'on veut s'assurer que l'évaluation… Pardon. pas l'évaluation, l'apprenant, soit dans les meilleures conditions possibles pour apprendre et donc performer derrière, transférer ses acquis, etc. Et donc voilà, comment le formateur peut être partie prenante de cela ? Parce que je pense qu'il n'y a rien de plus, on va dire, satisfaisant aussi pour le formateur. que de se dire que les apprenants qu'il a pu former, qu'il a pu avoir en formation, ont mis en pratique, ont pu bénéficier de la formation, etc. Donc il faut voir l'évaluation non pas comme un acte de jugement, mais comme un levier pour améliorer l'efficacité des formations que l'on propose soi-même en tant que formateur.

  • #0

    Et les gens qui pratiquent l'évaluation pensent comme ça, justement. Ils pensent que c'est ça qui est le plus important. plus ou aussi important que justement la qualité de ce qui se passait dans l'action. Bien. Et donc après aussi, les apprenants, forcément, il y a les apprenants, quel est le rôle qu'ils jouent dans l'évaluation, que ce soit pendant l'information ou dans les efforts pour la mise en place ?

  • #1

    Oui. Alors, les apprenants, je pense que les apprenants ne sont pas J'ai cet a priori, mais je ne pense pas me tromper. Je considère que les apprenants ne sont pas particulièrement intéressés par l'évaluation des formations. Ce n'est pas ce qui les empêche de dormir la nuit. Donc, il faut quand même pouvoir leur expliquer pourquoi on évalue les formations et surtout, encore une fois, rappeler que l'évaluation en soi ne sert à rien et qu'en fait, on évalue parce que l'on veut maximiser l'efficacité de la formation. Et en tant qu'apprenant, j'ai plutôt intérêt... à participer à une formation, parce que moi-même, je vais y consacrer du temps, de l'énergie, des ressources, etc. J'ai plutôt intérêt à ce que celle-ci porte ses fruits. Donc, leur présenter le dispositif d'évaluation. comme étant intrinsèquement intéressants pour eux, pour qu'ils puissent vraiment bénéficier de la formation. Donc, on fait la formation, et à part il y a une espèce de fil rouge parallèle qui est celui de l'évaluation. Non, l'évaluation est partie intégrante de la formation. Ce sont des séquences pédagogiques dédiées, ce sont des activités pédagogiques. Le fait d'évaluer le niveau 3, d'évaluer le transfert des acquis, c'est une activité pédagogique en soi. et donc leur présenter tout le dispositif comme une forme de turbo pour les moteurs je vais faire cette analogie mais c'est un turbo que l'on vient mettre sur le moteur des voitures pour accroître ses performances donc l'évaluation est un turbo qui vient accroître la performance de la formation je pense qu'il faut l'expliquer via différents médias aux apprenants afin qu'ils prennent conscience de l'importance de l'évaluation

  • #0

    Ça peut être des vidéos, ça peut être des explications par le formateur, ça peut être des présentations au début d'une formation via le commoditaire, le sponsor qui vient. Mais c'est essentiel qu'il y ait cet effort de communication pour que les apprenants comprennent qu'est-ce qu'on attend d'eux dans la formation et aussi par la suite.

  • #1

    Exactement, oui, tout à fait. Et c'est ça, et d'ailleurs, on en parlait précédemment, le formateur, on attend aussi cela de lui, c'est qu'il puisse présenter. Alors, nous, on doit lui fournir les éléments, mais qu'il puisse présenter, rappeler l'importance de l'évaluation, rappeler le fait qu'on n'est pas en train d'évaluer les personnes en tant que telles, que ce n'est pas focalisé sur le formateur, mais qu'encore une fois, on veut s'assurer. que tous les ingrédients d'une recette potentiellement efficace sont réunis.

  • #0

    donc c'est vraiment en ce sens qu'il faut présenter les choses on a eu le cas hier justement une responsable qui disait que elle essaie d'organiser des réunions de mise en application tu te souviens et que en fait en soi elle savait que si les gens ne venaient pas dans les réunions c'est parce qu'ils n'avaient pas mis en application donc rien que se présenter pour être dans la réunion voulait dire qu'il y avait un effort de transfert pour suite à l'information

  • #1

    ouais ouais ouais moi je trouve ça très positif je préfère ça plutôt que le mode entre guillemets école des fans où tout est parfait, on se réunit et puis tout le monde était très content et puis c'est génial et puis en fait on n'en fait rien donc je préfère être exigeant parce que de toute façon l'efficacité d'une formation est exigeante, donc il faut être aussi exigeant avec les apprenants, il ne faut pas croire que ça va se faire sans effort sans investissement sans implication de leur part, et donc s'ils veulent les résultats, c'est comme tout il va falloir aussi qu'ils mouillent la chemise, qu'ils mouillent le maillot si je puis dire donc pour moi je suis complètement à l'aise avec ça

  • #0

    Pour finir sur les acteurs et les gens qui travaillent dans l'évaluation, forcément il y a les équipes de formation. Le service de formation au sein de l'organisation. Ça peut aussi vouloir dire pour les académies en interne, les organismes de formation à l'externe, les charges de formation, les concepts pédagogiques, tout le monde qui travaille dans la formation. et là on a vu qu'il y avait une forte différence entre quelqu'un qui s'occupe de l'évaluation qui est tout seul dans son équipe et lorsqu'il y a une vague de gens qui travaillent tous dans le même sens c'est

  • #1

    radical ça n'a rien à voir on a pu l'expérimenter toi et moi encore récemment je pense à des... à des clients donc pour des sessions intra-entreprise ça n'est pas du tout la même chose lorsqu'on forme 8, 10, 12 personnes et qui ensuite ont un langage commun ont des pratiques en commun situent une communauté de pratiques en interne un groupe de travail avance et puis justement commence à cocher les cases de tout ce plan d'action pour dire voilà dans 3 ans on en est là on a ce système d'évaluation parfait ou quasi parfait et en attendant voilà on refait nos questionnaires d'évaluation, on outille, on a le bon discours vis-à-vis des commanditaires, vis-à-vis des managers, on communique de la bonne manière, on présente les résultats de la bonne manière, etc. Voilà, ça n'est pas du tout la même chose. Il faut des compétences, et puis, oui, il faut y aller en rang serré, de manière... on va dire en collectif et là les résultats sont complètement différents parce qu'on peut voir la résistance de la part des chargés de formation aussi,

  • #0

    il ne faut pas se leurrer il y a des gens qui travaillent dans la formation qui ne voient pas l'utilité ou l'importance des évaluations comme d'autres et donc ça travaille aussi au sein de l'équipe même au sein des groupes en intrat dont tu parles on voit des chargés de formation qui sont un peu résistants

  • #1

    oui en fait comme c'est un changement il y a toujours de la résistance au changement à différents degrés et ça ne concerne pas tout le monde mais nécessairement on va venir bousculer des habitudes on va venir changer des postures ça va demander de renouveler, de changer ses méthodes de travail, ses pratiques c'est déstabilisant mais par contre qu'est-ce que c'est gratifiant derrière on le voit voilà on a des personnes qui sont dithyrambiques, qui sont extrêmement positives et qui se disent Voilà, on a révolutionné la mer de fer. Et qui, sans entrer dans les détails, pour des questions aussi de confidentialité... mais dans des entreprises où il y avait quand même des difficultés économiques, où on avait aussi des personnes qui se posaient des questions, là on ne se pose plus trop la question de l'intérêt de la fonction formation, parce que ça devient vraiment quelque chose qui n'est pas juste un centre de coût, c'est vraiment un centre de profit, mais en tout cas quelque chose qui démontre sa contribution. à la performance de l'entreprise, qui vient en soutien des opérationnels, etc. Donc ça change complètement le positionnement et la posture des gens qui occupent cette fonction.

  • #0

    Nous, on voit un lien très fort entre la professionnalisation des équipes de formation et notre certification Bronze CAC Patrick. Donc là, si vous voyez les slides, il est marqué Bronze Level, mais je vous rassure, c'est en français comme c'est en anglais, il n'y a pas de souci. Et donc, c'est beaucoup plus facile pour des responsables de formation qui sont en interne ou externe, qui sont pré-hookés par l'évaluation, de passer... Les équipes passent cette certification pour justement favoriser, comme disait Jonathan, le langage commun, avoir la même conviction, un changement de paradigme dans les gens pour se rendre compte sur quoi il faut se concentrer. Plein de bénéfices pour permettre de favoriser justement cet accompagnement au changement au sein de l'organisation. C'est quelque chose que nous, vraiment, on vous propose de le faire au début d'un processus de changement.

  • #1

    n'est-ce pas j'en attendais pas pas à la fin oui complètement oui oui il faut c'est pour avoir déjà vécu le cas contraire moi je me souviens d'une cliente il y a quelques années qui disait oui mais je ne suis pas certain en fait je ne suis pas certain de l'intérêt de suivre la formation j'ai déjà suivi les formations sur l'évaluation etc et donc on a monté un groupe de travail et tout au long du groupe de travail honnêtement on a mis peut-être sérieusement, trois ou quatre fois plus de temps parce qu'il fallait toujours expliquer les choses, il fallait toujours revenir sur le sens des mots, les concepts, etc. Alors que, et elle-même l'a avoué à la fin, elle a dit en fait, oui, je comprends maintenant pourquoi tu disais ça. En fait, on aurait dû se former dès le début. Mais c'est normal, en fait, il faut des grilles de lecture commune, il faut un langage commun, il faut des réflexes aussi, il faut positionner correctement les notions, les concepts, etc. sinon à chaque fois on perd du temps c'est le meilleur investissement que l'on puisse faire c'est de bien démarrer pour ensuite se dire maintenant en plus on a la visibilité sur ce que l'on veut faire, sur ce que l'on peut faire là où l'on veut aller etc mais c'est nécessaire d'avoir ça au début

  • #0

    Si ça vous intéresse, on fait une formation d'entreprise à Paris le 18 et 19 avril. Il y a encore un peu de place. Donc, si vous nous écoutez ou si vous voyez cette présentation, n'hésitez surtout pas à nous solliciter pour prendre place pour cette certification. Vous allez aussi trouver des dates pour le deuxième semestre. Et puis, vous pouvez aussi nous solliciter pour mettre en place. une session en interne chez vous, en intra, pour toute une équipe de chargés ou de responsables ou de formations ou de formateurs même, et puis de responsables pédagogiques et de concepteurs pédagogiques aussi. Merci beaucoup d'avoir écouté ou d'avoir vu la présentation jusqu'à là. Ça fait très, très plaisir avec Jonathan de faire cette enquête. On se demande si on va faire une espèce de baromètre pour les années à venir pour savoir si les choses changent. Mais en tout cas, nous, on est très sécurisés. Je ne sais pas si c'est le bon mot, sécurisés, confortés. Confortés de voir que les choses évoluent dans le métier de la marche de l'évaluation. Et ça nous réjouit pour le futur.

  • #1

    Oui, complètement. Et avec plaisir pour ce baromètre.

  • #0

    Bon, allez, on va le faire. Écoutez, on vous envoie, pour ceux qui s'intéressent, on a des slides, on va travailler aussi sur les infographies, on va partager des posts, donc on va continuer à informer par rapport à cette enquête, ce projet qu'on a fait pour le futur. Merci Jonathan et à très bientôt.

  • #1

    Merci Joss, à bientôt.

  • #0

    Sous-titrage ST'501 Merci.

Share

Embed

You may also like