jeudi 31 mai 2012

Seconde édition des Journées pédagogiques « L'évaluation des enseignements et des formations » - 22 mai 2012

La deuxième Journée pédagogique de la Faculté a eu lieu le 22 mai 2012, cette fois sur le thème de l’évaluation : entendre l’évaluation des enseignements, des formations, des maquettes de diplômes. Cette notion, bien ancrée dans l’actualité pédagogique des universités, est à l’œuvre à tous les niveaux d’enseignement. Elle suscite – c’est selon – adhésion, engouement, scepticisme, exaspération : à coup sûr, discussion. Il n’était donc pas inutile de l’interroger et, d’une part, d’examiner ce qui se fait actuellement dans nos formations et à l’UPEC, d’autre part, de se demander ce que l’on en fait et pourquoi.
Cette 2ème Journée a connu un succès loin d’être garanti d’avance, vu la période : mois de mai chargé en comités de sélection, CNU et réunions de toutes sortes pour la préparation de la rentrée 2012.

La matinée a été consacrée aux travaux des équipes pédagogiques. Environ 70 enseignants se sont rassemblés pour une réunion générale sur l’évaluation des enseignements telle qu’elle est pratiquée dans la Faculté.  Après une présentation générale, effectuée par Isabelle Laborde-Milaa, vice-doyenne à la pédagogie, de l’évaluation des enseignements au plan national (évolution des textes institutionnels, qui passent de la préconisation à l’injonction forte), suivie d’un bilan  sur  les pratiques assez diverses des départements en la matière, le débat entre collègues a permis d’échanger librement sur les enjeux de ces évaluations, sur leur utilité, sur leurs modalités. Les points suivants se sont dégagés :
>   Évaluation ou autoévaluation ? Tout d’abord le distinguo à opérer entre l’évaluation et l’autoévaluation par les étudiants, dont on voit bien, du reste, qu’il renvoie à la cote relativement mal taillée que prennent les contenus de ces évaluations. Il s’agit tout autant, selon les enseignants, d’examiner l’implication des étudiants dans leurs études, sans laquelle rien ne peut s’améliorer, que d’évaluer (au sens de juger) la pertinence des enseignements. Cela étant précisé, les questionnaires ne peuvent pas revêtir cette seule fonction. 
>    En témoignent les retours utiles sur l’architecture des maquettes, le sens et les apports des cours, les difficultés des contenus, l’organisation du travail personnel, les travaux demandés, le fonctionnement des cours, leur intérêt (tel qu’il est perçu par les étudiants, faut-il préciser, ce qui renvoie à la manière dont les enseignants expliquent les objectifs de leurs cours), l’organisation des formations, la logistique, etc. Ces retours font émerger de grandes tendances, voilà un lieu de consensus parmi les enseignants.
>      « bricolage » ou « marketing » dans la manière de procéder ? La discussion a fait apparaître sinon deux  positions, en tous cas deux types de perplexité.
-          D’une part, nous, enseignants, ne sommes pas des professionnels de l’évaluation, laquelle demande une analyse et une objectivation des résultats selon des procédures que nous ne possédons pas. Ainsi, à partir de nos questionnaires nous risquons d’accorder un poids démesuré à des données issues d’outils que nous avons « bricolés ». Bref, pour être informatifs et performants, nous faudrait-il adopter une démarche « marketing » ?
-          D’autre part, nous connaissons nos formations de l’intérieur et avons seuls les questions pertinentes, car nous identifions des lieux de problème et d’améliorations possibles. Donc, revendiquons le « bricolage » qui, en réalité, colle le mieux à l’identité des formations.
>  Comment, une fois les questionnaires collectés, établir une synthèse, quels points significatifs sélectionner ? En effet, le bilan de la consultation des étudiants n’a pas à être formaté, de même que personne ne souhaite un formatage des enseignements ni des formations : la prise de risque doit pouvoir être libre.
  >        Les modalités pratiques d’évaluation ont ensuite été passées au crible, à travers plusieurs pistes :
-    Questionnaires comportant des questions qui demandent une rédaction et pas seulement oui/non, pour éviter les effets simplificateurs de la statistique.
-     Eviter de focaliser sur « l’intérêt » du cours avec un choix entre des degrés de satisfaction : d’une part, l’étudiant n’est pas (ou ne doit pas être) un consommateur-client, d’autre part, la perception de cet intérêt est déterminée par de nombreux facteurs disparates, ce qui ne produit pas de conclusions très exploitables.
-    Penser à d’autres manières d’interroger les étudiants que par le classique questionnaire : ne pas oublier les dispositifs autres par lesquels peut passer l’appréciation des enseignements : les enseignants-référents de la L1, qui récoltent de nombreux retours de la part des étudiants, et souvent plus libres ou auxquels les enseignants n’auraient pas pensé ; les délégués de filières, avec qui établir un dialogue régulier. C’est le cas de deux départements de la Faculté, qui organisent cela systématiquement, hors questionnaires.
-       Pratiquement, dans le temps, faut-il évaluer à l’UE/ ECUE ? au semestre ? Toutes les années, du L1 au master ?
-      Il a été rappelé de ne pas oublier les enseignants eux-mêmes : en effet, l’arrêté (Lang) du 26 mai 1992 stipulait que "pour chaque module ou niveau d'enseignement dispensé, une procédure d'évaluation des enseignements, faisant notamment appel à l'appréciation des étudiants, peut être établie par le conseil d'administration de l'établissement ». L’appréciation des enseignants est donc aussi à solliciter, car ils sont au cœur du dispositif pédagogique des enseignements. 
   >     Enfin, le terme même d’évaluation lui-même a été interrogé, car il ne semble pas nécessairement le plus approprié è lui substituer bilan, analyse, regard critique…? En particulier, reste toujours le risque (ou la crainte) de glisser de l’évaluation des enseignements à celle des enseignants

Le colloque de l’après-midi a complété et élargi la réflexion : tout d’abord, un exposé technique de Nathalie Périchon (SSEP) sur la procédure mise en place par l’UPEC et sur ses résultats. Exposé suivi  de l’intervention de Jean-Marc Geib, directeur de la section des formations et diplômes à l’AERES, qui a expliqué de façon détaillée les attentes et les objectifs des experts de l’AERES quand ceux-ci évaluent les dossiers des formations (que nous avons à élaborer pour mai 2013). L’AERES évalue les dossiers de réhabilitation et de cohabilitation, mais ne décide pas de l’avenir d’une formation : c’est le MESR in fine qui a la décision. Sa propre évaluation procède de l’autoévaluation de la formation, elle-même dans le cadre de l’autoévaluation de l’établissement. Les critères essentiels sont les suivants (eux-mêmes déclinés en plusieurs pts) : Projet pédagogique – Insertion professionnelle et poursuite d’études – Pilotage de la formation – Outils de l’accompagnement pédagogique. Pour chacun de ces critères, l’AERES demande un développement écrit  et non pas des items cochés.
Les questions qui ont suivi ont porté sur :
-   La sincérité : comment la vérifier, d’une part, comment l’afficher, d’autre part ? En particulier, l’AERES ne nous donne-t-elle pas, finalement les figures de rhétorique imposées, attendues pour satisfaire à l’évaluation ? Quel degré de réel derrière la « machine à discours » ?
-          Le conseil de perfectionnement qui doit présider à chaque formation : quid des licences générales et des masters Recherche ?
-          La notation (de A+ à C) et les effets des disciplines sur celle-ci
Enfin, nous avons entendu une communication critique d’Isabelle Berrebi-Hoffmann, sociologue au CNRS et au CNAM, qui a dressé un panorama historique des relations entre Etat et professions à travers le prisme des experts (qui évalue, comment, pourquoi et pour quoi ?). Le débat a fait émerger les termes critères, indicateurs, pilotage, évaluation démocratique, action publique, etc.

A l’issue de la journée, plusieurs propositions ont émergé pour une meilleure concertation des enseignants et pour une amélioration de l’évaluation des enseignements à la Faculté :
      -   En octobre, un groupe de travail inter-départements (un représentant de chacun) qui confrontera les questionnaires d’évaluation des enseignements pour apprécier les points communs, les spécificités, les items à conserver ou à laisser pour l’évaluation des formations. Il faudra également intégrer à la réflexion le niveau master et construire des questionnaires/entretiens répondant aux spécificités des formations (recherche et pro).
      -   Même période : faire appel aux collègues intéressés pour réfléchir sur les questionnaires d’évaluation des formations (niveaux Licence et Master dissociés) soumis aux étudiants de l’UFR par le SSEP. Il s’agit de mieux les adapter à la Faculté et d’y insérer des questions ouvertes qui sollicitent davantage les étudiants.
    -   Enfin, prévoir des périodes ou plages horaires pour faire passer ces différentes évaluations : une semaine à chaque fin de semestre pour les enseignements (par ex semaine 10) à l’ECUE ou à l’UE (à déterminer) ; une plage de 2 semaines pour les formations (au 2ème semestre), en fonction justement des calendriers divers des formations. Un principe : faire remplir sur papier, et en cours, autant que possible – seul moyen d’obtenir des pourcentages significatifs. Ce qui implique une organisation concertée bien en amont entre : SSEP, direction Faculté, direction de départements, responsables d’années et de filières.
     -   Une suggestion : soumettre l’évaluation des enseignements en L1 au 2ème semestre seulement > étudiants mieux intégrés à l’université et à sa culture, plus stables, plus à même de prendre du recul par rapport aux enseignements reçus.

Isabelle Laborde-Milaa, Vice-doyen à la pédagogie

P.S.1: les enregistrements sonores des conférences sont dans l'actualité de l'intranet de l'université.