Pourquoi les économistes français se sabordent-ils ?

L'Agence d'Evaluation de la Recherche et de l'Enseignement Supérieur (AERES) vient de publier la répartition des notes attribuées aux unités de recherche de la vague D. Rappelons la loi de programme pour la recherche de 2006 lui a confié la mission d'évaluer les établissements et les organismes de recherche, d'évaluer les activités conduites par les unités de recherche de ces établissements et organismes, d'évaluer les formations et les diplômes d'enseignement supérieur, et de valider les procédures d'évaluation des personnels des établissements et des organismes (mais l'AERES n'évalue pas ces personnels). Chaque année, l'AERES évalue les établissements contractualisés par le Ministère de l'Enseignement Supérieur et de la Recherche (MESR) qui appartiennent à la même "vague" : comme les contrats entre le MESR et les établissements (universités, grandes écoles) ont une durée quadriennale, ces établissements sont répartis en quatre vagues, de taille inégale. Ainsi, la vague B (dont le contrat en cours porte sur la période 2008-2011) comporte 30 établissements qui ont été évalués en 2006-2007, la vague C 37 établissements évalués en 2007-2008, et la vague D 62 établissements, dont l'évaluation vient de s'achever et qui verront leur contrat entrer en vigueur au 1^er janvier 2010.

A propos de l'évaluation par l'AERES

Pour mener à bien sa mission, l'AERES s'appuie sur des "experts" désignés par le Conseil National des Universités et les conseils scientifiques des grands organismes (CSS INSERM, CS INRA, Comité National de la Recherche Scientifique - CoNRS) selon les unités à évaluer : pour les équipes d'accueil (EA) qui sont les unités de recherche sous la seule tutelle du MESR, le CoNRS ne désigne pas d'experts ; en revanche, les Unités Mixtes de Recherche du CNRS, qui sont sous la double tutelle du CNRS et du MESR sont évaluées par des comités comprenant des experts proposés par le CoNRS et le CNU. La taille des comités est variable, mais oscille selon la taille des unités à évaluer, entre 4 et 8 experts enseignants-chercheurs, français ou étrangers (dans les unités de recherche à forte dominante technique, des experts techniciens sont également proposés). Les unités évaluées font l'objet d'une visite de durée également variable selon la taille des unités, entre une demi-journée et deux jours. Les experts sont rémunérés pour leur mission d'expertise, par l'AERES.

Bien que les rapports complets des évaluations ne soient pas encore disponibles, l'AERES a fourni, par grands secteurs disciplinaires, les notes attribuées aux unités de recherche. Ces notes vont de A+ qui caractérise l'excellence, à C qui caractérise des unités en situation précaire (la note C conduit souvent, mais pas toujours, au non renouvellement de son accréditation par le MESR). Elles s'appuient sur une analyse multicritère, les critères utilisés étant : la production scientifique (qualité, quantité, impact), l'attractivité (nationale, internationale), la stratégie (gouvernance, prise de risque…), et le projet. Les experts attribuent des notes allant également de A+ à C pour chacun des critères, et l'AERES formule la note finale (voir la procédure de notation).

Des laboratoires d'économie mal notés

Venons en à nos économistes (et gestionnaires puisque les statistiques et histogrammes élaborés par l'AERES agrègent les deux). Dans la vague C, pour un nombre de 24 unités évaluées, 12,5% ont obtenu la note A+, 4,2% la note A, 41,7% la note B et 41,7% la note C. A titre de comparaison, pour l'ensemble des sciences humaines et sociales (253 unités évaluées), les parts sont respectivement 16% en A+, 29% en A, 40% en B, et 15% en C. Et si on veut se faire un peu plus de mal encore, en sciences dures (181 unités évaluées), 28% en A+, 44% en A, 24% en B et 4% en C…

Comment expliquer une telle disparité dans la répartition des notations ? Les économistes et gestionnaires français sont-ils plus médiocres que leurs collègues des autres disciplines ? La première observation tient à l'échantillon : la vague C concerne les établissements de l'est (Nancy, Metz, Strasbourg), mais également un grand nombre d'universités parisiennes… et l'Ecole polytechnique. Si on admet que l'échantillon est biaisé en faveur des sciences dures, il n'y a rien d'anormal à ce que par exemple, en mathématiques, aucune unité ne soit notée C, et que seules 12,5% soit notées B, avec plus de 56% en A+. Les mathématiciens revendiquent avec une tranquille assurance et une équanime modestie, l'excellence de l'école mathématique française…

Mais, lorsqu'on regarde les résultats de la vague D, le tableau général est le même : en économie et gestion, 16% d'unités notées A+, 16% notées A, 52% notées B et 16% notées C (chiffres approximatifs, déduits de la lecture de l'histogramme ci-dessous ; cliquer sur les images pour les agrandir ; en bleu sombre, les laboratoires notés A+, en bleu le plus pâle, les laboratoires notés C). En SHS, 29% notées A+, 36% A, 27% B et 8% C ; en sciences dures : 30% A+, 42% A, 24% B, 4% C. On pourrait objecter de nouveau que l'échantillon n'est pas significatif, mais à force d'agréger les vagues, on finira bien par obtenir l'ensemble de la population, et il est à craindre que le panorama reste inchangé : les économistes et les gestionnaires s'évaluent plus sévèrement que leurs collègues des autres disciplines.


Pourquoi les économistes français ont-ils si peu d'estime pour eux mêmes ?

Comment expliquer ce comportement ? Des expériences en laboratoire montrent que les économistes ont un comportement moins coopératif que les non économistes : dans un jeu de partage, les économistes sont plus enclins à maximiser leur gain personnel, quitte à ce que ce gain soit moindre que s'ils s'entendaient avec leur partenaire de jeu (Gizmo n'a pas sous la main la référence, mais elle compte sur ses fidèles lecteurs pour l'indiquer). Dans le domaine des SHS, les économistes ont été parmi les premiers à s'engouffrer dans la voie de la bibliométrie, dans le sillage des sciences dures et des sciences de la vie. Mais ils l'ont fait avec la foi du nouveau converti, sans véritable démarche scientifique (ce qui est un comble), avec la publication d'un classement des revues en économie et gestion par la section 37 du CoNRS. Le premier classement attribuait des étoiles aux différentes revues, sur la base d'une consultation sauvage des pairs, de une étoile (moins bonne cote) à cinq étoiles (meilleure cote, réservée aux revues anglo-saxonnes du blue ribbon). Comme les chercheurs et enseignants-chercheurs commençaient à prendre l'habitude de résumer leur liste de publications personnelles en indiquant leur nombre total d'étoiles (ce qui est une hérésie, puisque la cotation est fortement non linéaire : il est évidemment plus difficile de publier un article dans une revue 5*, que cinq articles dans une revue 1*), un second classement a été proposé, de la catégorie 1* (meilleure cote), à la catégorie 4 (pire cote). La grande confusion entre bibliométrie et évaluation était en marche… Parallèlement, des experts mandatés par l'AERES ont établi des classements de revues pour la grande majorité des disciplines, non sans réticence dans certaines d'entre elles (l'histoire et le droit notamment). Et en économie, le classement AERES est venu concurrencer celui du CoNRS.

L'engouement des experts AERES (mais également des experts CNU et CoNRS qui évaluent respectivement les carrières des enseignants-chercheurs et des chercheurs) pour ces classements de revues a rapidement pénalisé les unités de recherche qu'ils évaluaient. A l'origine, le classement des revues CoNRS était destiné à évaluer les chercheurs CNRS, avec une visée normative incitative. Puis, le classement a été utilisé pour évaluer les enseignants-chercheurs, et la production scientifique des unités de recherche, avec l'illusion que la quantification du nombre de publications dans des revues à comité de lecture est un indicateur pertinent de la production scientifique. Illusion car on oublie qu'en dehors des articles dans des revues à comité de lecture, la production scientifique utilise d'autres supports : livres, rapports, communications à colloques et séminaires. Or, le classement CoNRS, et dans une moindre mesure le classement AERES, surpondère les revues anglo-saxonnes d'excellent niveau, par rapport à la production moyenne effective des membres des unités de recherche. Si effectivement, 70% de la production évaluée d'un laboratoire relève de la catégorie 3 ou 4 (classement CoNRS) ou de la catégorie C (classement AERES), une certaine logique pourrait conduire à classer ce laboratoire en catégorie C également. Pour autant, il est possible que certaines de ces contributions soit de très grande qualité, notamment lorsqu'elles portent sur des thèmes qui ne trouvent pas facilement de débouchés de publication dans des revues anglo-saxonnes. La quantification des seules publications n'est en rien un exercice contrôlé de bibliométrie, ni même un exercice d'évaluation des unités de recherche : d'autres critères, notamment les citations, sont utilisables (voir ce passionnant article de Daniel Bertaux sur l'évaluation des UMR de sociologie, via l'excellent blog d'Enro).

Economistes du sport, changez de section CNU...

Est-ce à dire que les économistes sont plus mauvais, par exemple que les enseignants-chercheurs en Sciences et Techniques des Activités Physiques et Sportives (STAPS) ? On voit que le raisonnement est vicié : c'est parce que le classement des revues est biaisé à l'origine, que le classement des laboratoires suit. Pour s'en convaincre, il suffit de consulter le classement des revues dans le champ des Sciences et Techniques des Activités Physiques et Sportives (STAPS). Passons sur le fait que les STAPS ne sont pas constituées en discipline unifiée (le classement renvoie à une dizaine de sous-disciplines telles que la physiologie, les neurosciences, mais aussi le droit, et l'économie-gestion). Le classement des revues STAPS ne ressort que deux cotes : A+ et A. Mais ce qui frappe, c'est de constater qu'un certain nombre de revues du champ économie-gestion n'ont pas la même cote, lorsqu'on se réfère au classement de l'économie-gestion ou au classement des STAPS : par exemple, la Revue économique est cotée A+ en STAPS, mais B en économie-gestion.

Fascination perverse pour une bibliométrie mal maîtrisée ? Fascination pour la science économique anglo-saxonne et ses modes successives (voir l'engouement dans les années quatre-vingt dix pour la théorie des cycles réels) ? Complexe à considérer que les économies européennes, et l'économie française en particulier, sont des terrains d'étude pertinents ? Volonté, pour chaque expert, de se signaler auprès de ses pairs comme un expert compétent (la sévérité étant assimilée à la compétence) ? Ou bien volonté collective, inconsciente mais délibérée, de discréditer la production scientifique de tous les laboratoires autres que quelques grands centres de recherche (effet de club) ? Probablement un peu de tout cela.

De l'équilibre partiel à l'équilibte général...

Alors, est-ce grave ? Autrement dit, l'auto-flagellation des économistes n'est-elle qu'un biais comportemental bénin, qui n'attirerait in fine que le regard amusé et commisératif des autres scientifiques ? Hélas, les économistes pour qui l'équilibre général concurrentiel devrait être un objet familier ne se rendent pas compte qu'avec un tel comportement, ils signent leur propre mort. En effet, le modèle d'affectation des moyens aux universités (le modèle SYMPA - non, Gizmo ne cèdera pas à la plaisanterie facile) contient des critères d'activité, mais aussi des critères de performance. Les critères d'activité reposent sur des données quantitatives (nombre d'étudiants, d'enseignants-chercheurs par exemple), tandis que les critères de performance reposent sur des évaluations plus qualitatives, dont la cote AERES des laboratoires en matière de recherche. Or les universités reçoivent une dotation ministérielle globale pour la recherche, à charge pour elles de répartir cette dotation entre les laboratoires, selon des critères qu'elles auront-elles-mêmes établi. Sachant que le modèle SYMPA utilise les cotes AERES pour déterminer la dotation globale de telle université, il est légitime pour cette université d'utiliser ces mêmes critères pour l'affectation des dotations par laboratoire. Dès lors, on comprend que si les laboratoires d'économie-gestion sont systématiquement plus mal notés que les autres laboratoires (toutes choses égales par ailleurs), leurs dotations vont se réduire par rapport aux laboratoires des autres disciplines, ce qui réduira leurs chances d'attirer les meilleurs doctorants, docteurs, collègues, et de produire dans les meilleures conditions. Encore une fois, peut-être est-ce le but recherché : n'assurer une formation en master et en doctorat d'économie-gestion que dans quatre ou cinq laboratoires de recherche en France. Dans ce cas, il faut avoir le courage de le dire. Et d'assumer toutes les conséquences d'une telle politique, en matière de gestion des ressources humaines (organiser la mutation ou la reconversion d'environ 1 200 enseignants-chercheurs, à la grande louche), mais également un resserrement des objets et des méthodes de recherche, autour des thématiques phares de ces grands laboratoires. Un comble quand on sait que la science économique dominante aujourd'hui ne se conçoit pas sans modéliser des agents… hétérogènes.