Et si l'évaluation était le maillon faible de nos ambitions pédagogiques ?
Avec Pascal Detroz, nous avons présenté au 37ème colloque de l'ADMEE-Europe une réflexion sur la transformation des pratiques évaluatives dans l'enseignement supérieur que j'aimerais vous partager afin d'avoir vos avis !
L'évaluation : dernier bastion de la suroptimisation ?
L'arrivée de l'IA générative a été révélatrice car elle a mis en lumière des fragilités qui existaient déjà dans nos dispositifs d'évaluation.
Comme l'ensemble de l'enseignement supérieur, l'évaluation subit de plein fouet la massification, le définancement relatif, l'hétérogénéité croissante des publics, les injonctions multiples. Face à ces pressions, la tentation est grande de se replier sur des solutions standardisées : QCM généralisés, évaluations automatisées, indicateurs chiffrés qui peuvent être rassurants.
En cherchant l'efficacité à tout prix, nous risquons de suroptimiser nos pratiques évaluatives en les rendant certes plus "gérables" à court terme, mais aussi plus rigides, plus fragiles face à l'imprévu.
Or, l'IA s'inscrit elle-même dans un contexte plus large de polycrises : cet entrelacement de crises qui affectent simultanément plusieurs systèmes (écologiques, géopolitiques, sociétales, numériques...).
Dans un tel monde, peut-on continuer à évaluer comme si tout était linéaire et contrôlable ?
Et si on pensait des évaluations robustes ?
En transposant les principes de la robustesse à l'évaluation, nous avons identifié lors de nos ateliers plusieurs dispositifs qui incarnent déjà cette approche :
- Les tests de concordance de script en médecine : ici, l'incertitude n'est pas un bug, c'est la feature. On apprend à raisonner cliniquement dans des situations ambiguës.
- Les feedbacks après examen qui analysent les brouillons et le processus de pensée : on valorise le cheminement intellectuel, pas seulement le produit fini.
- Les projets intégrés avec livrables variés (article, poster, présentation orale) : l'hétérogénéité des formats permet à chacun de démontrer ses apprentissages selon ses forces.
- Les mises en situation éthiques où l'on analyse des cas professionnels : l'incohérence apparente des positions force le débat et la pensée critique.
Ces dispositifs partagent une logique commune : ils acceptent que l'évaluation puisse être lente, redondante, incomplète, incertaine... et que ce ne soit pas un problème, mais une ressource.
La robustesse : une grille de lecture complémentaire ?
Les travaux sur l'évaluation formative, l'assessment for learning, l'évancipation ont déjà largement documenté ces enjeux. La robustesse n'invente rien, mais elle puise dans un autre univers de référence pour peut-être offrir un langage différent.
L'intérêt ? Articuler explicitement les questions d'évaluation avec les tensions systémiques qui traversent l'enseignement supérieur. Et proposer l'idée d'un continuum allant d'évaluations faiblement robustes à des formes hautement robustes et ce, comme outil de dialogue plutôt que comme nouvelle injonction.
Et vous, qu'en pensez-vous ?
Reconnaissez-vous dans vos pratiques des formes d'évaluation qui intègrent déjà certaines de ces caractéristiques de robustesse ?
Quels freins institutionnels ou personnels vous empêchent d'expérimenter des modalités évaluatives plus robustes ?
Et si la vraie question n'était pas que"comment bien évaluer" mais aussi "qu'est-ce qui mérite vraiment d'être évalué dans un monde incertain" ?
Si vous êtes intéressés, voici le lien de la présentation de cette communication : https://orbi.uliege.be/handle/2268/339661
Salut Camille,
une remarque et une question sur le choix des termes pour être sûre de bien comprendre...
"Les mises en situation éthiques où l'on analyse des cas professionnels : l'incohérence apparente des positions force le débat et la pensée critique"
Je suis étonnée du terme choisi ; "incohérence", incohérence laissant supposer que les positions manquent de logique ou de validité, alors que (je crois) que tu veux plutôt souligner leur divergence ou leur pluralité.
Cela touche, au-delà de la précision du mot employé, à ce à quoi nous sommes souvent confronté, en tant qu'"expert" d'une discipline : "il y a plusieurs façons de bien faire". Nos apprenants peuvent avoir des solutions différentes que celles que nous attendions mais aussi intéressantes (voir plus). Dans ce cas, il faut non seulement évaluer le processus de résolution (et donc y avoir accès comme vous le dites plus haut) mais également la justification des choix opérés, et se laisser ébranler par des réflexions nouvelles. Et c'est cela qui est gai. Se demander "quoi", mais aussi "pourquoi" et finalement "pourquoi pas?".
Qu'est-ce que l'évancipation?
Catherine
Merci pour ta remarque Catherine !
Le terme "incohérence" vient effectivement des travaux d'Hamant. Il ne désigne pas un manque de logique, mais plutôt la coexistence de logiques contradictoires au sein d'un même système. Dans le vivant, c'est ce qui crée de la robustesse justement parce que plusieurs stratégies cohabitent sans converger vers une solution unique.
Et tu touches à quelque chose d'intéressant : ce qui peut nous sembler à nous, enseignants, comme de la "divergence" ou de la "pluralité" de positions légitimes, peut être vécu par les étudiants comme une véritable incohérence. Genre : "Mais alors, c'est quoi la bonne réponse?"
C'est précisément ce qui peut devenir formateur. Apprendre à naviguer dans des positions divergentes sans chercher à tout prix LA réponse, comprendre que "plusieurs façons de bien faire" peuvent coexister, développer la capacité à justifier ses choix...
Pour l'évancipation : c'est "une évaluation à visée émancipatrice, déployée au sein d'une institution. Les règles et les normes de l'institution ne sont pas évacuées ou ignorées, mais en permanence débattues, négociées et redéfinies par un processus de référentialisation."
Mais je peux laisser l'occasion à @christophe-gremion de développer s'il passe par là, c'est son ouvrage après tout ! 😊
Merci, j'avais vu mais pas retrouvé tout de suite et... j'ai choisi la facilité !
merci pour ta réponse rapide et source de nouvelles interrogations...
Et si le "système" abandonnait définitivement la note ? Apprenons aussi, en tant qu'enseignant.e.s à donner des feed-backs robustes. Le système de notation n'en est pas un !
Par ailleurs, dans une logique de développement de compétences, l'évaluation par "mises en situation", impliquant la mobilisation de ressources approchées aux cours pour les confronter à la "vraie vie" me semble davantage pertinente.
Je me retrouve bien, personnellement, dans l'idée d'assessment.
Poser un regard ensemble (enseignant-apprenant) sur le chemin parcouru et co-construire l'évaluation me semble aussi un chemin intéressant et robuste à développer. Et si nous faisions ainsi se rencontrer évaluation et auto-évaluation ?
Hello @camille-larcin ,
Pas grand chose à ajouter sur l'Evancipation, tu vends ça très bien ;) En effet, avec Jean-François Marcel, nous avons inventé ce mot pour parler d'une évaluation qui n'est plus "instrument de pouvoir" dans les mains de l'enseignant (école) ou de l'autorité (démarches qualité), mais qui devient "gouvernail" dans celles de l'élève (personne apprenante) ou de l'institution qui souhaite faire évoluer son mode de fonctionnement (organisation apprenante). J'ai eu le plaisir de répondre aux questions d'un directeur d'école, je vous partage le lien si la chose vous intéresse... https://www.youtube.com/watch?v=830myhJ7tpw
Belle journée et merci pour ces échanges fort intéressants !
Christophe
Je vais juste partager l'état de ma pratique dans le Département Social d'HELMo.
A l'issue de l'UE "Pratiquer et utiliser la recherche" (Master en Ingénierie en Action Sociale), les étudiant.e.s devraient maîtriser les enjeux de la recherche pour l'action sociale et les logiques de la recherche. L'UE est aussi pensée comme un marche pied vers le mémoire. Ce qui est très clair, nous ne formons pas des chercheur.e.s, nous voulons que la logique de la recherche soit une compétence qui animera leur rapport au management des organisations à finalité sociale.
Une première question : en quoi nos pratiques d'évaluation tiendraient elles de la robustesse ? L'évaluation, assez soucieuse de la triple concordance, est vue comme un soutien aux apprentissages et à la motivation des étudiant.e.s. Nous pratiquons plusieurs formes d'évaluation. Les étudiant.e.s reçoivent des conseils pour réaliser leurs travaux d'enquête tout au long de l'année dans des séminaire de travaux pratiques. Ils reçoivent une évaluation "formative" à partir d'un travail intermédiaire. Mais, l'évaluation certificative reste un travail écrit individuel.
L'évaluation intermédiaire est dite "formative" parce qu'elle permet de préparer au travail certificatif. Nous savons que les étudiant.e.s sont sous pression à cause des examens, du rythmes des cours (en plus pour l'horaire décalé) et de la masse des travaux. C'est un vrai défi de ne pas augmenter inutilement leur stress au nom d'une pédagogie "de-la-préparation-à-la-vraie-vie-professionnelle". Avec ce travail, et à la condition de la rendre, chaque étudiant.e peut obtenir un bonus pour l'évaluation certificative Ce bonus va de +0 à +2 sur la note finale sur 20. 0 correspond à un travail qui ne rencontre aucun attendus y compris sur la forme (par exemple le respect de la norme bibliographique), +1 correspond à "en voix d'acquissions" et +2 correspond à "conserver les acquis dans le travail final". Rien d'original ....
La robustesse apparaît, parce qu'on y pense et qu'elle permet de relire nos pratiques. Pour le dire simplement, nous faisons un usage très instrumentalisé de l'évaluation. Tous les étudiant.e.s ont finalement +1 hormis ceux qui n'ont pas rendu leur travail, et certian.e.s +2. Il ne s'agi donc pas tellement de mesuré quelque chose, ni d'objectiver des acquis d'apprentissage. Il s'agit plutôt de créer un moment de relation où le feedback n'est pas à craindre car il n'est pas une sanction (punition). Il s'agit aussi de leur montrer qu'ils et elles sont en bonnes voies pour valider l'UE. Bref, il y a avant tout un travail sur l'estime de soi, le sentiment de compétence et la reconnaissance. Dire à une étudiant qu'il est bon n'est pas si anodin et lutter contre la reproduction des évaluations que j'ai connue où les enseignants ne pointaient que les faiblesses pas si facile. Car, même dans le pire des travail, il y a souvent un ou plusieurs éléments intéressants et dont l'étudiant.e.s n'a parfois pas conscience. Dans ce cadre, il est même beaucoup plus facile de pointer les erreurs mèneraient à un échec pour le travail final. A cet effet chaque étudiant reçoit un feedback écrits avec la liste de ces erreurs. On peut donc se tromper sans être sanctionné.
Nous verrons ce que l'ensemble de ce dispositif donnera avec l'évaluation certificative. Mais déjà c'est amusant de voir l'étonnement des étudiants à propos d'une note final qui pourrait dépasser les 20/20, ou de se sentir soulager si jamais il avait une petite faiblesse lors de l'évaluation finale. Est-ce vraiment trop facile de réussir avec ce bonus ? Nous l'avons penser pour que les travaux réellement très faibles ne puissent pas être sauvé même avec un +2 selon notre grille d'évaluation. ET d'un point de vue pragmatique ce bonus correspond au sens de la délibération où des étudiant.e.s peuvent se voir accorder la réussite avec un 9/20.
Robustesse ou pas ? Pour moi, robustesse certainement à cause de la part importante de bienveillance dans l'usage de l'évaluation et d'une posture peut-être fortement inspirée de Rancière. Robustesse aussi pour l'envie de poser un cadre d'apprentissage qui tente de limiter le stress et la performance pour ce concentrer sur les compétences visées par l'UE, avec peut-être l'espoir qu'un apprentissage réalisé dans des bonnes conditions est plus "durable" au niveau de sons sens dans une posture professionnelle. Robustesse aussi pour ce que tout ce dispositif implique de négociations et de discussions entre les enseignants (nous sommes 6), et qui participe au développement de cette culture de l'évaluation "bienveillante" au sein de la formation.
J'y pensais encore ce matin en voiture quand ma fille m'a demandé de "signer un 13/15" ... c'est à la fois peu parlant (voire, plutôt "formatant" pour ce monde du quantifiable... à robustesse douteuse...)
Bonjour,
Je pense que le concept d'incohérence proposé par Olivier concerne moins l'hétérogénéité.
L'incohérence est plutôt ici un mécanisme interne au système, lui évitant l'emballement, la surchauffe. Comme si le système accélérait et freinait en même temps. L'objectif étant d'éviter l'exponentielle. C'est cette incohérence qui permet au système d'osciller, de tamponner la fluctuation. (voir le mécanisme d'un amortisseur de voiture : combinaison d'un piston et d'un ressort. Le piston retourne à son état initial avec lenteur, le ressort lui veut y revenir au plus vite. La combinaison de ces deux mécanismes incohérents (opposé) permet d'encaisser en douceur les fluctuations de la route (sans que soit trop mou, ni trop brutal)
Selon moi, chercher l'incohérence dans nos systèmes, c'est voir où sont les mécanismes d'emballement et donc les boucles de rétroaction auto-freinantes internes qui les empêcheront.
Binne journée, Gatien
@gatien-bataille : Merci pour la clarification...
Bonsoir
Je suis cette discussion avec beaucoup d'intérêt. L'idée d'incohérence (ou de contradiction ?) m'intéresse. Pourriez-vous nous recommander des ouvrages en français ou en anglais sur le sujet ?
Merci
Georges
Bonjour à toutes et tous.
Ces débats autour d'évaluation(s) et robustesse = vraiment passionnant, en effet. Je vais me centrer sur ce § de Gaetan Absil
(Avec cette remarque: si je connais bien l'évaluation dans le 2aire, je connais peu ou prou l'évaluation dans le supérieur et les universités !)
Robustesse ou pas ? Pour moi, robustesse certainement à cause de la part importante de bienveillance dans l'usage de l'évaluation et d'une posture peut-être fortement inspirée de Rancière. Robustesse aussi pour l'envie de poser un cadre d'apprentissage qui tente de limiter le stress et la performance pour ce concentrer sur les compétences visées par l'UE, avec peut-être l'espoir qu'un apprentissage réalisé dans des bonnes conditions est plus "durable" au niveau de sons sens dans une posture professionnelle. Robustesse aussi pour ce que tout ce dispositif implique de négociations et de discussions entre les enseignants (nous sommes 6), et qui participe au développement de cette culture de l'évaluation "bienveillante" au sein de la formation.
... notamment parce que le mot 'bienveillance' y apparaît 2 fois (et que j'ai co-écrit un manuel sur la bienveillance)
NB: mes réflexions sont notamment inspirées d'une étude qui a vraiment changé ma vie pédagogique:
"D"une évaluation en miettes à une évaluation en actes: le cas des universités" de Ardoino et Berger,1989
Ils y distinguent les concepts de CONTROLE >< EVALUATION. (tentative d'insérer un fichier: schéma synthétique et ... systémique :-)
Mais je vais être ici extrêmement simpliste: comment utilisons-nous les mots 'évaluer', 'évaluation' dans la vie de tous les jours ?
Liège ? A la grosse louche, c'est à 1 heure de Rixensart .
Tu évalues à combien le temps qu'il te faudra pour finir ta confiture de coing ?
A combien évalues tu le nombre de bûches (ou de stères) qu'il nous faudra pour passer l'hiver ?
Evaluer, c'est souvent répondre à une question. Evaluer, cela concernant au moins 2 personnes et un truc externe. Mais surtout, évaluer, c'est INCERTAIN; ondamentalement, essentiellement. C'est ... entaché d'approximations, voire d'écarts ou même d'erreurs. Et donc pour moi, le prof, il doit essentiellement EVALUER avec le ou les élèves, le ou les étudiants. Toute évaluation est "une analyse commentée et plutôt prospective entre au moins 2 acteurs" ; mais parfois beaucoup plus: une équipe voire une classe toute entière ou une institution complète. Comme l'évaluation est une discussion-relation bienveillante, elle PREND DU TEMPS, elle est LENTE et REDONDANTE voire répétitive.
Là où le contrôle est l'exercice d'une mesure objective (nous dit-on ! En fait d'un pouvoir qui décide quelles sont les normes, les critères, ...), l'évaluation relève de la RELATION ... démocratique. L'évaluation est robuste parce qu'elle est ... un outil, une méthode, une procédure géniale pour faire face à la fluctuation, aux fluctuations
Quant au concept d'incohérence telle que l'approche Camille, il me semble en effet très fécond comme indicateur de robustesse en évaluation mais aussi plus largement pour l'apprentissage. Affaire à suivre.
Et merci pour ces débats et questions très stimulants
Paul-Benoît