N°100 : Comment analyser efficacement des compétences procédurales ?

/, Industrie e-learning/N°100 : Comment analyser efficacement des compétences procédurales ?

N°100 : Comment analyser efficacement des compétences procédurales ?

EvaluationCheckDéjà le 100ème article du blog !

Pour cet événement exceptionnel, j’aimerais commencer à prendre la plume pour parler d’un sujet qui me paraît faire l’objet de peu d’analyses et sur lequel j’aimerais bien avoir votre avis :

Comment analyser efficacement des compétences procédurales ?

C’est en effet un enjeu essentiel pour de nombreux métiers techniques, où la pertinence du geste est bien plus importante que la profondeur des connaissances théoriques de la personne évaluée.

Ce type d’évaluation est nécessaire aussi bien dans le cadre de la formation initiale (une expérience en chimie, par exemple) que dans celui de la formation professionnelle, tout au long de la vie.

Je propose de concentrer la réflexion de cet article sur ce deuxième champ de la formation continue.

Quelles sont les méthodes utilisées ?

1. Les QCM.

On les retrouve dans la très grande majorité des cas.

Ce type d’outil a fait ses preuves dans de nombreux domaines mais est de part sa nature plutôt approprié à mesurer des connaissances théoriques ou à définir un profil psychologique. Même s’il intègre une dimension de « cas pratique », celui-ci reste conceptuel et nécessite de bonne capacité d’abstraction, ce qui n’est pas chose aisée pour tout le monde.

Ex : Même si quand on fait chaque jour une procédure, devenue mécanique, il est très difficile de l’écrire, étape par étape, sans la réaliser en même temps.

Se pose également le problème de la formulation des questions et des propositions de réponses, souvent directives / suggestives. Le bon sens suffit parfois à répondre correctement à un questionnaire, sans même connaître quoi que soit au sujet.

Enfin, le niveau de maitrise de la langue de la personne évaluée joue également une importance majeure. Une formulation non adaptée au public visé peut avoir un impact significatif sur la performance et ainsi entrainer un fort biais dans les résultats de l’évaluation.

Ce ne semble donc pas être un bon outil pour évaluer des compétences procédurales, qu’il reste « papier / crayon » ou qu’il soit ludifié dans une interface informatique ne change rien.

2. Le test en situation, sur l’outil professionnel.

Concret et applicatif, ce mode d’évaluation permet de mesurer la performance professionnelle lors de cas pratiques issus du travail quotidien. Il permet clairement d’évaluer les gestes professionnels mais pose d’autres problèmes…

Ce test peut se révéler coûteux, car il mobilise à minima un évaluateur pendant une période de temps suffisamment significative qui doit observer, annoter, synthétiser et restituer les résultats de son observation.

Ce test peut se révéler subjectif, car il est le fruit d’une observation humaine. Un mauvais geste peut ne pas être vu, par exemple. La synthèse des résultats notamment, peut engendrer d’énormes biais d’interprétation. Le résultat ne peut être assimilé à une analyse scientifique fiable.

Ce test peut s’avérer compliqué à mettre en place, nécessitant parfois de suspendre une production (usine). Que penser de l’évaluation d’un ouvrier travaillant à la construction d’un building à 600 mètres du sol ?

Ce test peut se révéler très stressant pour la personne évaluée, qui a en permanence une présence humaine à proximité et qui la surveille. Ceci peut clairement l’amener à commettre des erreurs.

Par ailleurs, il ne permet pas d’évaluer plusieurs personnes en même temps et se révèle donc long à réaliser et inapproprié s’il faut évaluer une grande cohorte de personnes.

Enfin ce test ne permet pas de vérifier les connaissances théoriques minimales nécessairement liées à l’évaluation procédurales.

2b. Le test en situation professionnelle, focalisé sur l’observation du résultat final.

Voici une variante du test en situation qui consiste à analyser le résultat du travail et non la conduite d’opération.

L’observation de la réalisation terminée permet parfois de donner des informations fiables sur la qualité et la performance des gestes professionnels réalisés.

On peut prendre l’exemple d’un laveur de vitre. L’observation du résultat permet de se rendre compte de la qualité globale de l’exécution et des gestes opérés (reste-t-il des traces visibles ? quelle est leur orientation ?).

Pour autant, il se peut que la personne évaluée ait développée des méthodes de travail non validées par l’entreprise mais aboutissant parfois/en général à des résultats similaires.  Cela peut engendrer un risque important (non respect des procédures de sécurité par exemple, qui ne se verront pas en observant le résultat final).

On imagine par ailleurs assez bien que ce type d’évaluation ne peut concerner que certaines typologies de métiers et ne peuvent constituer une méthode applicable à tous.

3. La simulation informatique / virtualisation.

Placer la personne évaluée devant un environnement virtuel, reproduisant son univers professionnel quotidien et lui demandant de résoudre des situations-types, permet de mesurer de manière automatique l’ensemble de ses réactions.

Si l’immersion est de bonne qualité, cela devrait même permettre de réveiller en eux des réflexes procéduraux inconscients ; à condition de leur proposer une liberté d’actions maximale.

Selon le cas, une mesure complémentaire de sa performance peut également être réalisée (hésitations, temps de réactions, amélioration entre deux situations proches), au-delà de celle de la qualité de sa réflexion et de sa compétence à appliquer les gestes et procédures appropriées.

Son esprit critique peut également être challengé.

Les champs d’investigations et d’analyses peuvent donc être considérablement plus fins et multidimensionnels.

Enfin, tout ceci peut être réalisé sur un labs de temps court (quelques dizaines de minutes), avec une relève automatique et systématique des erreurs, suivie d’une interprétation scientifique fiable et homogène.

Le résultat peut être directement exploitable et ne nécessite pas d’intervention humaine complémentaire.

Ce mode d’évaluation semble donc idéal.

Pour qu’il soit efficace, il faut cependant également veiller à plusieurs choses :

– Choisir attentivement les indicateurs placés dans la simulation, afin de s’assurer qu’ils soient compatibles avec ce mode d’interaction ;
– Définir un scénario pertinent, entrainant une réelle immersion « réaliste » ;
– Choisir des gameplay appropriés à chaque indicateur et à leur mesure (opérations que l’on conduit soit même / que l’on inspecte/surveille / etc.) ;
– Proposer des modes d’interactions simplissimes, faute de quoi des biais dans l’évaluation peuvent être introduits par les différences de maitrise de l’outil informatique d’une personne à l’autre.

Et vous, qu’en pensez-vous ?

Avez-vous de bons « exemples » à proposer ?

GE

By | 2014-12-08T16:22:02+00:00 mars 7th, 2014|Actualités mise en avant, Industrie e-learning|3 Comments

3 Comments

  1. Michel 07/03/2014 at 23:17 - Reply

    Alors pour commencer je te souhaite un bon 100ème blogue, bravo!
    Je ne suis pas encore rendu à ce niveau, un jour bientôt 😉

    Le sujet est d’actualité, mais aussi souligne plusieurs parcours qui promettaient terminent en queue de poisson à cause de la qualité moins que moyenne des validations – évaluations etc.
    Je n’y ai pas échappé à ces moitiés succès quelle que pouvait être la formation, son média ou sa plateforme.

    Je ne vais pas abonder dans des cas d’utilisations, de technologies de systèmes, je vais simplement partager un regard que plusieurs concepteurs et conceptrices pédagogiques ont tendance à abandonner leur brillant esprit créatif pour les fonctionnalités des outils, pour avoir lu des soit-disant « experts » en la matière, pour avoir trop lu des « 15 trucs pour ci et trente douze trucs pour cela » Rarement et ceci est une observation neutre et après divers sondages sociaux et amicaux, rarement j’ai croisé des experts en formation et conception qui s’étaient arrêté à ce fameux « Pourquoi et comment? »

    Ce que je veux dire ici, c’est au fond de répondre à sa propre question:  » Que fait-on ici? » que veut-on que l’apprenant fasse ou agisse? Mémoriser de l’information? Le pauvre cet apprenant il en aura pour un tube d’aspirine en fin de cours!

    Selon moi et après essais et tests, peu importe l’outil, l’essentiel est de poser la question qui fera « cliquer » l’apprenant!
    Pourquoi pensez-vous que vous devriez activer la vanne de régulation bleue avant la rouge?
    Comment Est-ce que l’on s’y prend lorsqu’on constate que l’ouvrier ne bouge plus sur son siège de buldozer?
    Pourquoi Est-ce que je dois retourner le couvercle du flacon xyz sur la table de travail lorsque je donne les premiers soins?
    La réalité virtuelle est en demande parce que des marketteurs soucieux de vendre le disent et les puristes linéaires dans leurs têtes ne jurent que par les QCM, entre les deux: il ya nous, ceux qui avons à cœur de parler, questionner, écrire, bloguer, partager, se remettre en question…
    Malheureusement nous passons (du moins pour moi) pour des utopistes, philosophes (hehehe j’ai adoré lorsque l’on m’a dit cela)…
    Je suis personnellement convaincu que c’est la personne qui se doit d’être au cœur de toute recherche de solution éducative, évaluation de compétence. Cela s’applique dans tous les domaines même les plus spécialisés comme la recherche scientifique, la médecine, la chirurgie etc.
    Désolé d’avoir été si long, mais le sujet m’a interpelé grandement, je dirai pour conclure que ce dernier est l’histoire de ma vie depuis 35 ans de profession dans le domaine:)

    • whitequest 08/03/2014 at 08:56 - Reply

      Bonjour,

      Je suis apparemment moi aussi un philosophe ! :o)
      En fait, notre travail tourne bien autour du « pourquoi ? ».
      Pourquoi est-ce que cette formation n’est pas suivie jusqu’à la fin ?
      Pourquoi est-ce que ce cours e-learning est barbant ?
      Pourquoi est-ce que des personnes qui obtiennent des scores de 100% à des tests font des erreurs grossières dès le lendemain ?
      Pourquoi est-ce que toute les agences web/elearning disent faire du serious game alors qu’il ne s’agit dans la majorité des cas que de QCM maquillés ?
      Pourquoi est-ce que l’on essaie de mesurer des compétences avec des outils pas adaptés ?
      etc.

      Je vais aussi prochainement consacrer un article sur le sentiment d’auto-efficacité. C’est vraiment très intéressant.
      Un exemple parlant : dans l’industrie pharmaceutique, on forme beaucoup les personnels. Ils obtiennent d’excellents scores aux évaluations. Les autorités de régulation obligent à des évaluations régulières, mais ne consultent jamais le contenu des évaluations. Ils cherchent juste à savoir si des évaluations ont été faites ou non. En regardant les résultats de leurs évaluations, les salariés ont l’impression d’être super forts. Et ensuite, les statistiques indiquent que 70% des problèmes de stérilité des produits viennent d’erreurs humaines. Bizarre, isn’t it ?
      Peut-être que l’on n’évalue pas les bonnes choses, de la bonne manière ? ….

      Guillaume.

  2. Michel 16/03/2014 at 14:16 - Reply

    (En retard) Merci de votre retour, comme j’aime dire vos propos sont « de la musique à mes oreilles »
    Ayant par le passé œuvré dans le monde des pharmaceutiques (enseignement sur les protocoles, les normalisations, développement de contenus de formation, etc.) j’ai rapidement déchanté car observant aussi que ce qui importait n’était guère que l’application des décisions-normes-politiques-règlementations (en deux mots la forme avant la valeur du contenu) durant lequel processus ce n’étaient (comme vous le dites si bien) que le quantitatif du résultat…
    Malheureusement certains « spécialistes » de la relève, pensent, agissent et font autorité encore comme cela!
    Michel

Laisser un commentaire