Pages

dimanche 9 octobre 2011

Alerte enlèvement !

La section 37 du Comité National de la Recherche Scientifique (CoNRS, à ne pas confondre avec le Centre National de la Recherche Scientifique - CNRS) a livré en octobre 2011, sa dernière version de la liste des revues en économie et gestion servant de référentiel pour l'évaluation des chercheurs CNRS et des laboratoires soutenus par le CNRS. La nouvelle liste est précédée d'un long préambule précisant l'usage à faire de la liste et les changements notables par rapport à la version précédente. La nouvelle liste a été adoptée à une majorité absolue de la section (9 pour, 4 contre et 3 abstentions).

Gizmo a déjà eu l'occasion de dire combien les économistes français aiment à s'auto-flageller. En l'espèce, le toilettage de la liste a conduit à la disparition du Journal of Pension Economics and Finance. C'est une revue relativement jeune, spécialisée dans la publication d'articles sur l'économie des retraites,  le vieillissement de la population, les fonds de pension, l'assurance vie et l'actuariat. Elle publie des articles académiques, ainsi que des articles plus policy-oriented. Quand on regarde la liste des membres du comité éditorial, on se dit qu'il n'y a pas que des peintres... Dans le classement précédent, le JPEF était répertorié dans la catégorie 3 en Finance et assurance. Et, là, pfuit... il a disparu ! Même pas répertorié en catégorie 4 ! Il est évidemment loisible de considérer que la soutenabilité des régimes de retraite par répartition, la faillite des fonds de pension, le sous provisionnement des fonds de réserve pour les retraites, le coût anticipé de la dépendance sont des thèmes de peu d'importance, notamment par rapport à la place accordée aux revues de recherche opérationnelle ou de systèmes d'information. C'est sûr que le Central European Journal of Operations Research, coté rang 4 en recherche opérationnelle, a sa forme de beauté...

Tout ceci serait de peu d'importance si cette liste était restée à l'usage exclusif du CoNRS, pour l'évaluation des chercheurs CNRS. Mais comme le souligne Philippe Askenazy, l'actuel président de la section 37, la liste est utilisée par d'autres instances d'évaluation, voire pour servir d'input dans l'élaboration d'indices bibliométriques. Ainsi, très souvent au sein du Conseil National des Universités (instance en charge de la gestion des carrières des enseignants-chercheurs des universités françaises), les rapporteurs égrènent la liste des publications des personnes sur lesquelles ils sont rapporteurs : "il/elle a 3 articles dans des revues de rang 2, 5 articles dans des revues de rang 3, et 4 articles dans des revues de rang 4". Insidieusement, pour la qualification aux fonctions de professeurs, une norme implicite s'est instaurée, selon laquelle si l'impétrant ne justifie pas d'au moins un article dans une revue de rang 2, son dossier n'est pas qualifiable... Idem pour les promotions. Parmi les dangers d'une liste de revues, on a souvent souligné son caractère normatif : on  incite les chercheurs à publier dans les revues les mieux cotées, et à délaisser les revues non cotées Alors, lorsqu'une revue est retirée de la liste, comment comptabiliser la publication dans le cursus d'un chercheur ? La comptabiliser en "coût d'acquisition" (cote au moment de la publication) ou en "mark to market" (cote au moment de l'évaluation du chercheur) ? Et que dire aux jeunes chercheurs qui viennent de soumettre un article au JPEF ? D'écrire au comité éditorial pour retirer leur soumission et soumettre à une revue mieux cotée mais de moindre audience pour les spécialistes des retraites ? Et un directeur de laboratoire doit-il exclure de son laboratoire un chercheur qui, ayant publié dans une revue désormais déclassée, se retrouve "non publiant" ? Gizmo n'aimerait pas être économiste universitaire en France aujourd'hui...


9 commentaires:

  1. Ce commentaire a été supprimé par l'auteur.

    RépondreSupprimer
  2. Ah oui, c'est assez irritant comme situation. Et ça semble en contradiction avec le fait que la liste a plutôt tendance à s'ouvrir (nouvelles rubriques + apparition de nouvelles revues).

    C'est peut-être une erreur ? Vous devriez vous fendre d'un petit courrier de demande d'explication.

    RépondreSupprimer
  3. Si ca peut vous rassurer, à peu près personne ne lit les revues de rang 2, et a fortiori, ne les cite.
    Et que réussir à publier dans des revues de rang 2 soit un critère minimal pour devenir professeur me paraît bien laxiste...
    Cela confirme la faiblesse de la sélection des chercheurs en économie en France.

    RépondreSupprimer
  4. Aucun rapport, mais 9 sur 16, c'est pas une majorité absolue ?

    Allez, je m'en vais...

    RépondreSupprimer
  5. @Cimon : corrigé (après m'être couvert la tête de cendres).

    RépondreSupprimer
  6. Ce classement n'est pas un bon reflet de la réalité, et cela depuis bien longtemps. Il est la conséquence de guerre de chapelles et de lobbying. On peut y relever, très facilement, de nombreux biais.

    Les premiers sont intergroupes.
    Par exemple, donner une valeur identique à des revues de santé (type Health Economics) et des revues généralistes de théorie (JET), d'économétrie théorique (Journal of Econometrics) est tout simplement ridicule.

    Les seconds sont intergroupes.
    Prenons pour exemple le seul groupe Economie Publique. Journal of Public Economics est de loin la meilleure revue. Public Choice et Social Choice and Welfare ont eu leur heure de gloire, mais même à cette époque elles n'ont jamais été du niveau de leur grande soeur. Il suffit de regarder le nombre de soumissions et le taux de rejet de ces 3 revues pour qu'un non-initié se fasse une idée précise. Quand au contenu de ces revues, les mettre sur un plan d'égalité est, en toute honnêteté, absurde. Bien sûr on pourra toujours opposer à ma critique qu'il ne faut pas entrer dans un niveau de détail trop précis pour ces classements. Sauf que Journal of Public Economic Theory (rang 2) est du même niveau, voir meilleur, que Public Choice et Social Choice and Welfare, qui encore une fois sont loin de celui de Journal of Public Economics. Ce ne sont que des exemples, mais il est facile d'en trouver des dizaine de ce type.

    Les troisièmes sont des mensonges scientifiques.
    Je ne sais pas pour votre revue de finance et retraite, mais les revues qui ont un processus d'arbitrage tout en acceptant plus de 90% des articles soumis ne devraient pas être dans cette liste. Je pense notamment à quelques revues françaises dont je tairais le nom. Elles y figurent uniquement pour faire plaisir à certains, pour ne pas dire leur permettre une reconnaissance de façade (d'où un accès à des primes et des promotions).

    Tout cela ne me semble pas bien sérieux.

    PS: @ALC. Les revues de rang 2 ne sont ni citées ni lues? Faites un tour sur IDEAS-REPEC, vous devriez changer d'avis sur les citations et les téléchargements de ce type de revues (bien que le téléchargement soit in signal bruité de la lecture, mais il faut bien un indicateur). Exemple : Economics Letters, qui en devrait pas être classée rang 3, est particulièrement citée dans tous les domaine.

    RépondreSupprimer
  7. @Anonyme
    Je ne sais pas pour vous, mais je ne vois quasiment jamais de citation pour des revues de rang 2et inférieure ... Et je ne les lis quasiment jamais (je me rappelle d'avoir lu seulement un article dans Econometric Journal, rien de plus).
    Par ailleurs, je suis d'accord avec le reste de votre commentaire. Le classement est rempli de biais.

    RépondreSupprimer
  8. Bien par exemple en regardant la liste des 1% papiers les plus cités, déflatés par le nombre d'années de publication, on trouve des revues comme Economic Theory, Journal of African Studies, etc (voir le lien ci-dessous). Un article de Skaperdas dans ET a plus de 140 citations. Je peux sans trop chercher trouver 10 articles dans Economics Letters avec plus de 15 citations, 10 dans Economic Theory avec plus de 50 citations. Pour Econometric journal, ce n'est pas mon field donc cela m'est difficile. Par ailleurs je crois que cette revue est assez récente.

    http://ideas.repec.org/top/top.item.discount.html#repec:spr:joecth:v:7:y:1996:i:2:p:283-290

    RépondreSupprimer
  9. Remarque : la revue mentionnée est toujours dans le classement de l'AERES, donc cela ne remet pas en cause le statut de publiant, comme suggéré à la fin du billet.

    RépondreSupprimer