7,280 citiri

Évaluation de la recherche en droit. L’impossibilité de quantifier le qualitatif

ESSENTIALS-Valerius-CiucaPréface

Motto: Scientia nihil dignus est in humanis[1]

Introduction

L’appréciation de la valeur en soi de toute création, de chaque forme de créativité humaine est un acte de justice qui doit être traité sous le signe de l’équité et sous celui de l’universalisme, qui complète, quand même, l’esprit équitable. C’est depuis toujours notre aspiration commune, notre vision humaniste sur la valeur de la recherche juridique qui peut déceler le juste de l’injuste, le bon sens de l’inacceptable, ce qui est certain de douteux[2], donc la manière de concevoir l’épistémologie juridique, la science du droit.

On présente l’évaluation des chercheurs, de leurs institutions et de leurs productions comme une nouveauté apparue au XXe siècle. Dans chaque colloque scientifique, toutes disciplines confondues, dans chaque nouvelle livraison d’une revue scientifique, ou presque, on trouve une ou plusieurs communications, ou un ou plusieurs articles sur ces thèmes. À chaque fois, ils nous présentent une technique aussi nouvelle que révolutionnaire et sûre pour parvenir à l’évaluation des chercheurs. L’imagination est au pouvoir et donne des modalités mathématiques considérées comme suffisamment objectives pour permettre de gommer les défauts du système utilisé jusqu’à présent. À y regarder de près ces «nouveautés» ne font guère que répéter ce que nous ont appris les grands maîtres de l’Antiquité en nous expliquant ce qu’est et devrait être l’activité scientifique, évaluation comprise, et son lien indispensable avec l’activité pédagogique. Plus sûre que des modèles mathématiques dont la validité est loin d’être démontrée, la relecture des écrits de ces grands anciens en unifiant Bartolus et Erasmus nous paraît la voie à suivre.

Bartolus, symbole de la rigueur scientifique de type scholastique, nominaliste, et Erasmus, symbole de la créativité de type humaniste, moderniste. Ils mêlent à eux deux, tradition et innovation, mais une innovation non expérimentaliste, calme, en gardant les conquis de la recherche scientifique consacrés en matière de didactisme et de pédagogisme. Le domaine juridique s’y prête bien.

L’évaluation de la recherche juridique, comme pour bien d’autres disciplines de sciences humaines, a une caractéristique majeure: l’impossibilité de quantifier le qualitatif. Pourtant, actuellement, l’évaluation de la recherche, y compris en sciences humaines et en droit, est caractérisée par la tentation du chiffre (I). On sait aussi que, dans un domaine proche du nôtre, puisqu’un jugement, surtout lorsqu’il s’agit d’une affaire juridiquement complexe, commence par une activité de recherche juridique, une administration – la justice française – pourtant généralement qualifiée de poussiéreuse et rebelle à toute modernité et innovation a depuis maintenant plusieurs dizaines d’années ouvert la voie du contrôle quantitatif de l’activité juridique, en commençant par celle des juges. Il est maintenant possible d’en analyser les résultats (II). Selon des juridictions internationales prestigieuses, ils ne sont guère encourageants[3].

I. La tentation du chiffre

Délaissant, relativement, les autres problèmes liés à la recherche et à son évaluation, nous ne nous pencherons que sur ce que peut générer une évaluation de la recherche juridique limitée au quantitatif et à ses conséquences sur la pédagogie et l’évolution de la matière juridique elle-même.

A. La recherche des moyens objectifs d’évaluation: essai par la quantification

L’évaluation de la recherche en droit, comme dans les autres sciences humaines, a longtemps été, et est encore largement fondée sur l’évaluation qualitative par les pairs. Ce système certes n’est pas sans défaut. Les propositions pour le remplacer affluent. Elles non plus n’en sont pas dénuées, notamment celles qui proposent de passer de l’évaluation qualitative par les pairs à une évaluation quantitative.

Dans la plupart des sciences dites «dures», et même aussi de plus en plus dans les sciences humaines, les chercheurs communiquent les résultats de leur travail par des articles dans des journaux scientifiques et certains y voient «le but essentiel de leur activité»[4]. Cet aspect de la vie scientifique a servi à son évaluation qui de qualitative devient quantitative.

Devant les difficultés pour parvenir à un système juste et objectif d’évaluation de la recherche et les défauts du système qualitatif actuel: il a été tentant de se tourner vers l’outil mathématique[5]. Des propositions ont été faites en ce sens. Elles s’appuient sur les possibilités de recensement et de quantification d’une activité.

On a vu la mise au point d’indices et de lois permettant de quantifier cette activité et leur systématisation «scientifique» par le recours à bibliométrie: application des mathématiques et des méthodes «statistiques» aux livres, articles et autres moyens de communication[6], scientométrie (analyse quantitative de l’activité et des réseaux scientifiques), infométrie, «…métrie » qui présentent toutes les mêmes défauts majeurs: laisser l’administratif prendre le pas sur la science et cela avec un instrument de mesure de l’activité de recherche limité au quantitatif, ce qui en soit n’est pas pertinent, et dont la fiabilité reste encore à démontrer. Jusqu’à présent ce qui a pu être clairement démontré ce sont les effets pervers d’un tel système, qui fait une place assez réduite, voire nulle, à la qualité de ce qui est recensé. Cela est plus grave en droit que dans les autres sciences humaines où les effets sont aussi dévastateurs. Comme le rappelait la brochure de présentation du colloque de février 2014, la recherche juridique a été traditionnellement évaluée au sein des différents ordres juridiques nationaux, et cela en dehors de toute compétition internationale. De plus, la recherche juridique est largement liée à des techniques herméneutiques assez différentes, selon la tradition, des logiques juridiques particulières, et selon les visions socio-philo-sophiques assez différentes. Subissant l’influence des sciences dites exactes, les juristes semblent tentés de suivre le modèle évaluatif de ces dernières. Or une telle évolution ne va pas de soi. Il n’est pas certain qu’elle soit souhaitable, ni même possible du point de vue scientifique. La science juridique s’est fortement internationalisée et européanisée, notamment dans le cadre de l’Union européenne[7]. Dès lors, le cadre national et régional du droit interne semble, pour certains, constituer un frein puissant à une concurrence entre chercheurs à l’extérieur des frontières nationales. Cette concurrence est-elle une nécessité? C’est loin d’être sûr. Comment insérer dans cette démarche des chercheurs qui, comme les auteurs du présent texte, sont rattachés à plusieurs laboratoires relevant de pays différents? Nous y préférons l’émulation, qui scientifiquement est bien plus productive. Nous ferons donc des propositions pour tenter d’y parvenir. Nous pensons à la création d’une session intensive de droit privé européen, pour permettre un échange, sans compétition, entre les professeurs titulaires de chaires européennes et les directeurs de thèses doctorales au niveau européen, selon le modèle de la January Session de Harvard. Aussi, à une proposition, complémentaire à la première : la création d’un manuel commun de droit privé matériel européen pour toutes les facultés de droit de l’Union. Aussi, à l’introduction de la discipline d’histoire du droit privé européen dans toutes les facultés de droit de l’Union. Cela pouvant se faire sur la base de l’exemple donné par l’Université «Alexandru Ioan Cuza» d’Iasi (Roumanie) qui expérimente l’introduction d’une discipline de master de philosophie du droit européen. Ainsi, on parvient à une internationalisation capable de prendre en compte les particularismes des sociétés nationales qui ont tant contribué et contribuent encore à la création du droit même dans un contexte de plus en plus international. En effet, il faut garder à l’esprit que le droit est ancré dans la société dont il émane et qu’il construit[8]. Le droit est le produit de l’histoire, de la sociologie, de la politique, de la culture d’un peuple et de tous les éléments de civilisation de chaque société[9] qui sont largement liés à la souveraineté même si dans le cadre de grands ensembles tels l’UE elle peut être partagée[10], ce qui rend vaines des compétitions internationales entre chercheurs provenant de sociétés trop différentes les unes des autres.

L’internationalisation si elle veut garder un sens ne doit pas chercher à faire disparaître certains particularismes locaux, régionaux, nationaux qui sont l’âme des peuples et souvent un moyen de préserver la cohésion nationale, qui se retrouvent dans ses institutions juridiques. Que l’on pense aux difficultés d’acculturation[11] qui ont existé dans les pays qui, pour entrer dans l’Union européenne ont dû, parfois non sans mal, intégrer dans leur droit préexistant l’acquis communautaire[12].

L’internationalisation à outrance risque de faire disparaître des pans entiers de recherche et pose le problème de la survie d’institutions juridiques ancrées sur le plan local. Comment, dans un tel contexte, justifier des recherches sur des particularismes locau[13], tel en France le droit local applicable en Alsace Moselle[14] et dans d’autres pays, les règles juridiques applicables pour la protection des minorités nationales? Ainsi, en Roumanie, toutes les minorités nationales représentent environ 7% de la population roumaine soit sur 21 millions d’habitants environ 1,47 millions de personnes c’est-à-dire l’équivalent de la métropole lilloise, ou sept fois la ville de Genève. Allez expliquer aux intéressés que les revues ne mentionnent pas les études qui leurs sont consacrées car ils sont quantités négligeables. Il n’est pas sûr qu’ils partagent un tel point de vue. Les critères d’évaluation quantitative sont établis notamment à partir de cette internationalisation forcenée dont on peut douter de l’utilité. Ils ont déjà un impact négatif sur la formation juridique. Ils servent à des classements internationaux, que compliquent singulièrement les visions trop internationalistes privilégiant une langue véhiculaire: l’anglais très mal adapté à la traduction des concepts latins qui sont à l’origine des droits romano-germaniques qui sont encore le fondement du droit d’aujourd’hui dans la plupart des sociétés européennes contemporaines en matière juridique. Ce qui plus que le recours à l’anglais comme langue de diffusion de la recherche juridique justifiera l’ouverture nouvelle vers le droit romain et le latin juridique, base de la culture et de la science juridique universelle.

De ce point de vue, il est intéressant de noter qu’à la Cour de justice de l’Union européenne, qui comprend un juge par pays de l’Union, alors que tous sont capables de s’exprimer en anglais, la langue de procédure est celle choisie par le requérant parmi l’une des langues officielles de l’UE et la langue du délibéré est le français. Ce qui justifie largement la préférence du français lorsqu’il s’agit de commenter ses décisions.

Cependant, les problèmes linguistiques de tout genre, au niveau vernaculaire et communicationnel, seront résolus techniquement, une fois introduits dans le circuit commercial des appareils d’interprétariat instantané, ce qui était déjà attendu pour 2010. C’est un simple retard d’ordre technique. Sous l’aspect communicationnel, donc, l’humanité est préparée à franchir les derniers obstacles.

Ce type de dispute sera définitivement éradiqué grâce à la technologie qui va universaliser toutes les langues maternelles, dans une démocratie linguistique planétaire. Aucune lingua franca ne sera dominante: purement et simplement, la compétition noétique sera placée dans la zone naturelle de la genèse des idées créatrices. La créativité pure va compter, pas les langues qui vont devenir un produit purement culturel, gardant leur signification majeure (toutes les langues) seulement sur le plan identitaire et maternel.

Cela a amené à la mise en place de classements d’établissements qui en général sont passablement contestables, et encore plus dans le domaine juridique. Ils sont aussi manipulables et manipulés. «Ils sont établis à partir de méthodes de référencement qui ne se limitent pas au page rank: bookmakings; curation; protocoles et standards. On sait qu’en associant ces méthodes, il est possible grâce au principe de la folksonomie qui régit les moteurs de type Google de modifier le référencement»[15]. Elle risque aussi de mener vers une uniformisation de la langue de diffusion productrice de contresens sur le fonds.

Ces classements semblent être de nature à favoriser les activités de recherche au détriment de celles d’enseignement ce qui est une régression, tant une recherche de qualité se nourrit de la pédagogie et inversement. Mais c’est là une maigre consolation pour ceux qui, en queue de ces classements ont néanmoins la satisfaction, en voyant la réussite intellectuelle humaine et professionnelle de leurs étudiants, de se dire qu’ils ont grandement contribué à la science juridique et peut être même plus que ceux qui sont en tête. Ce qui justifie l’introduction dans ces classements, si l’on décide de les garder, ce qui est loin d’être une nécessité, pour le progrès de la science, de critères forts de didactique pour les professeurs en droit contre les fallacieux critères «scientifiques» d’ordre purement comptable et fictionnel (articles d’une codification douteuse et trompeuse… détrônant uniquement les seuls véritablement universels ISBN et ISSN).

Par ailleurs, même si celui-ci prend une importance parfois démesurée, les enjeux de l’évaluation de la recherche et des chercheurs ainsi que des méthodes mises en œuvre pour y parvenir ne se réduisent pas à l’aspect financier, mais il n’est pas sans conséquence. Les méthodes et les critères seulement quantitatifs utilisés pour évaluer l’impact de la recherche sont de nature à influencer, négativement, la recherche elle-même tant dans son contenu que dans sa nature même. Cela pourrait conduire à un formatage en articles au détriment des livres ou des manuels d’enseignement, privilège de la recherche académique, qui est dans certains domaines du droit indispensable à la maîtrise de la matière à traiter. Comment initier sérieusement à l’herméneutique juridique[16] dans le cadre restreint d’un article, de même comment analyser la pensée du juge pourtant au cœur de la science juridique[17] s’il n’y a plus personne pour expliquer, dans un traité, livre ou manuel, comment on procède pour y parvenir[18]? Dans le domaine juridique, les distinctions faites dans d’autres sciences entre recherche académique et recherche appliquée sont-elles véritablement pertinentes? D’ailleurs, les revues juridiques ne pratiquent pas cette distinction. Comment dans un commentaire d’arrêt d’une juridiction distinguer le pratique du théorique[19]? Dans un commentaire d’un arrêt de la Cour de justice de l’Union européenne peut-on vraiment distinguer l’immédiat pratique du long terme plus théorique[20]? Exempli gratia, au moment où il a été rendu, pensait-on que le premier des arrêts Defresne[21] serait suivi par tant d’autres qui modifieraient profondément le droit de la non-discrimination[22] dans l’Union européenne et la place de la femme dans la société européenne[23]? Les juristes vont être conduits à expliciter, à nouveau, la méthodologie spécifique à leur matière[24] qui d’ailleurs explique largement qu’elle soit si rebelle à l’utilisation des méthodes d’évaluation, y compris quantitatives, utilisées par les autres disciplines.

Toute mesure de citation suppose des choix méthodologiques. Il faut prendre en compte des éléments tels que le cadre temporel de calcul, le décompte par an citant, l’année citée, la période synchrone, la fenêtre temporelle de citation, la longueur de la période où l’on dénombre les citations après la parution de l’article avec des compromis inévitables entre l’intérêt d’une fenêtre maximale, notamment pour les disciplines lentes, et les impératifs d’une mesure raisonnablement rapide. Ceci n’étant que difficilement applicable à la matière juridique où cohabitent le temps court et le temps long[25].

Ainsi, en France, en 2013, les articles de commentaires de la loi relative au mariage pour tous[26] vont faire l’objet de très nombreuses citations qui s’évanouiront très vite à mesure que l’on constatera que tous les problèmes générés par cette question sont réglés soit par l’application de la loi elle-même, soit grâce au raisonnement par analogie[27] rendant largement inutiles les commentaires de cette loi qui tomberont peu à peu dans l’oubli et dont les citations perdront leur intérêt où n’existeront quasiment plus. Dans le même temps, les textes relatifs à la théorie générale du droit, qui même très anciens gardent toujours leur actualité, ne sont guère cités[28].

B. Observations critiques

Les systèmes quantitatifs d’évaluation sont peut-être pertinents pour des sciences dures pour lesquelles l’aspect quantitatif peut jouer un rôle important, encore que même dans ces domaines des précautions sont nécessaires pour que l’outil soit efficient[29].

La pensée juridique est réflexive. Notre système continental-européen est un système purement épistémologique ce qui le rend rebelle à la quantification.

Dans les sciences humaines en général et pour le droit en particulier, les outils d’évaluation quantitative peuvent s’avérer inefficients, voire même dangereux tant il est difficile de quantifier du qualitatif et que de telles sciences sont par nature rebelles aux phénomènes de quantification. Sans compter les effets pervers qu’ils peuvent produire. Par exemple, pour un article critique d’un autre on pourrait être tenté de ne pas en citer l’auteur, le citer étant lui donner des points positifs dans le système, alors que l’on vise justement l’inverse et il y en a bien d’autres tout aussi pervers.

1. L’évaluation: le frein invisible

Dans un système fortement codifié comme le système éducatif français, la question de l’évaluation sous ses diverses formes est centrale. Dans une visée sommative, c’est elle qui conditionne l’acquisition d’un grade de titulaire de l’enseignement. Dans une visée plus formative, il est obligatoire que les candidats puissent faire le point sur leur parcours. Cependant, le système est, plus que jamais, caractérisé par une pluralité d’enjeux et de pilotes; chacun d’eux, malgré des modalités institutionnelles de concertation, développe ses politiques spécifiques et élabore ses propres normes, marquant ainsi son territoire d’action. Ce qui a notamment pour conséquence de très grandes difficultés pour faire prendre en compte des travaux relevant de plusieurs champs disciplinaires différents. On donnera l’exemple d’une thèse, pourtant brillante, d’un juriste et économiste, qui pour des raisons administratives a été soutenue en économie, et dont le contenu est en même temps un regard de juriste sur l’économie et un regard d’économiste sur le droit. Elle se trouve rejetée par les économistes et aussi par les juristes qui y voient un travail d’économiste, car elle a été soutenue en économie[30]. Le fait que postérieurement des publications identifiées comme correspondant clairement et seulement à l’un des deux champs[31]: le droit, ne changeant rien à l’appréciation première.

Pouvons-nous affirmer que derrière l’acte d’évaluation se cachent des enjeux et des stratégies, que des mécanismes perceptifs, cognitifs et socio-émotionnels, souvent inconscients et subliminaux de l’évaluateur, peuvent constituer des obstacles? Face à un cadre où action et évaluation sont concomitantes et pour parties liées, la souveraineté radicale de l’évaluateur est-elle illusoire?

Après s’être heurté à plusieurs reprises aux divers obstacles et plafonds de verre, bon nombre de candidats sont persuadés qu’ils ne sont jugés ni sur leurs mérites ni sur leurs qualités individuelles comme l’exige le principe démocratique fondamental d’égalité des chances. À l’heure où les questions d’évaluation deviennent centrales, s’interroger sur la posture de l’évaluateur est essentiel. Cela d’autant plus que les organismes chargés de l’évaluation font souvent l’objet de critiques.

Ainsi, l’Agence nationale d’évaluation de l’enseignement supérieur et de la recherche (AERES), l’Autorité administrative indépendante (AAI) française, chargée de l’évaluation de l’enseignement supérieur et de la recherche publique, créée par la loi de programme pour recherche[32] si critiquée[33] pour les conditions de nomination de ses membres, son fonctionnement et les résultats de celui – ci qui par exemple conduit à une sous-évaluation de la valeur des articles publiés dans des revues spécialisées[34] qui sont pourtant le lieu logique de publication d’un article scientifique de grande valeur, que sa suppression avait été un moment envisagée, finalement elle sera maintenue sous une autre forme et avec un autre fonctionnement espéré[35].

Il faut aussi se poser quelques questions sur l’évaluation et les modalités qui sont proposées pour y parvenir. Le jugement par les pairs n’est naturellement pas à l’abri de dérives, notamment en situation d’évaluation ou d’expertise par jurys ou commissions (biais de spécialisation, effets de groupe, conflits d’intérêts). Il n’est pas certain, loin de là, que les systèmes d’évaluation quantitative permettent de remédier à ces défauts.

L’évaluation surtout lorsqu’elle utilise les méthodes quantitatives, a pour conséquence que les chercheurs subissent, pour publier, une pression de plus en plus forte, aggravée par le fait que les supports disponibles sont limités en nombre et dans les volumes qu’ils peuvent offrir à la publication, des travaux scientifiques qui leurs sont proposés, ce qui est de nature à avoir des conséquences sur une évaluation des chercheurs fondée sur l’utilisation exagérée de données quantitatives.

2. Quelques observations sur les limites du système quantitatif

L’évaluation sur la base de critères quantitatifs est à la fois utilisée et très critiquée[36]. Quelques observations et mises en garde à propos des indices en général paraissent utiles[37]. On sait que les systèmes d’analyse de citations[38] révèlent quelques pièges et qu’il existe des raisons pour lesquelles une bonne publication n’est pas forcément citée[39] et son auteur non reconnu alors que pourtant il le mériterait.

Les évaluations quantitatives de l’activité de recherche calculée sur la base des citations s’appuient sur des systèmes qui en général ne se préoccupent que des périodiques scientifiques et ne contiennent ni comptes-rendus de conférences (proceedings), ni rapports techniques, ni thèses, ni brevets, ni livres. Or ces types de publications sont aussi très importants pour les scientifiques, notamment dans le domaine juridique. Les citations qui ne se réfèrent pas à des articles de périodiques au sens strict, mais à d’autres types de documents, sont difficiles à reconnaître. De plus, pour la plupart d’entre eux, ils ne dépouillent essentiellement que la littérature anglophone. Ce qui exclut l’essentiel des publications juridiques, car le plus souvent elles sont rédigées dans une autre langue que l’anglais.

L’exactitude des références n’est pas toujours vérifiée lors de l’intégration dans les bases de données. Or, une proportion non négligeable d’articles contient des erreurs de références. Autant de citations qui peuvent être difficiles à retrouver lors d’une analyse.

Lorsqu’on évalue le nombre de citations qu’un auteur obtient, il n’est souvent pas fait mention de certains points pourtant bien utiles.

Y a-t-il, parmi ces citations, des autocitations? Encore qu’il ne soit pas inutile de distinguer l’autocitation «gratuite» dont le seul but pour l’auteur est d’augmenter son score bibliométrique et l’autocitation faite à l’appui d’un raisonnement démontrant la continuité de pensée de l’auteur ou de textes portant sur un problème pour lequel l’auteur est le seul ou presque à traiter la question, ce qui, dans le domaine juridique, arrive souvent[40].

Comment se répartit la provenance des citations? Même laboratoire, même institution, même université, ce type de citations ayant tendance à se développer pour avoir un effet quasi-identique à celui de l’autocitation mais de façon moins voyante, ou audience internationale? Or, dans le domaine juridique, l’audience internationale n’est pas forcément un gage de grande qualité. Les articles traitant du droit français applicable en Alsace-Moselle, ou ceux consacrés dans d’autres pays au droit destiné à la protection de minorités linguistiques[41] ou ethniques [42] ont une visibilité internationale quasi nulle et sont pourtant d’une très grande utilité et souvent aussi d’une excellente qualité et d’une très grande profondeur de réflexion. Il faut aussi savoir pour quelles raisons l’article est cité. Le fait d’être souvent cité n’est pas forcément synonyme de qualité: un article très controversé peut être souvent cité, justement en raison de la controverse qu’il suscite. De même, un article de “review” qui en soi est une compilation et une synthèse, et non pas un travail de recherche en tant que tel, obtient souvent des scores très appréciables au regard des évaluations quantitatives fondées sur les citations.

L’évaluation a-t-elle été faite sur la base de la liste de publications de l’auteur, ou s’est-on contenté de regarder les citations pour des articles dont l’auteur est premier auteur? Notion qui en droit, compte tenu de l’habitude de citer les co-auteurs par ordre alphabétique, n’a pas véritablement de sens. Selon les domaines, les pays, voire les supports, la notion de premier auteur varie: ordre alphabétique, auteur principal, chef de groupe.

Il peut aussi exister un homonyme qui publie dans le même domaine. Les homonymes peuvent être difficiles à repérer. L’adresse étant susceptible de changer car au cours de sa carrière, le même auteur peut être rattaché à différents organismes.

Selon les domaines, les habitudes de citations sont extrêmement différentes. Il n’est pas rare en physique nucléaire, de même en droit, de voir plus de 30 références citées par article (parfois même plus de 100), il en va tout autrement dans d’autres domaines. Il s’agit donc de ne pas comparer des personnes ne travaillant pas sur le même sujet.

L’utilisation des indices quantitatifs a servi pour les classements d’universités qui dans leur principe même sont largement contestables, de même que les éléments qui ont servis pour les obtenir. On peut distinguer deux types de classements avec pour chacun des variantes. Les classements de réputation fondés par exemple sur les taux de satisfaction des employeurs de diplômés ou des étudiants. Les classements de performance où l’on compte les résultats scientifiques obtenus par les universités: nombre de publications et leur impact, doctorats, brevets, etc.

Généralement, les classements pondèrent plus ou moins bien ces critères, penchant tantôt plutôt du côté de la réputation, tantôt plutôt du côté de la performance ou d’autres éléments, d’ailleurs pas toujours avouables. De ces différences de critères peuvent résulter sur des classements tout à fait hétéroclites et donnant ainsi lieu à critiques.

Les deux classements internationaux les plus célèbres sont le classement académique des universités mondiales par l’Université Jiao Tong de Shanghai, dit classement de Shanghai, et le classement du journal Times Higher Education. Ils ne prennent pas en compte certains éléments pourtant fondamentaux de l’activité universitaire ni la spécificité de certains domaines scientifiques, tel le domaine juridique. Ainsi, le classement académique des universités mondiales par l’Université Jiao Tong de Shanghai, dit classement de Shanghai utilise six critères qui sont:

1. Nombre de prix Nobel et de médailles Fields parmi les anciens élèves

2. Nombre de prix Nobel et de médailles Fields parmi les chercheurs

3. Nombre de chercheurs les plus cités dans leurs disciplines

4. Nombre d’articles publiés dans Nature et Science

5. Nombre d’articles indexés dans Science Citation Index, et Arts & Humanities Citation Index

6. Performance académique au regard de la taille de l’institution (la somme pondérée des cinq indicateurs précédents divisée par le nombre de chercheurs (équivalent temps-plein)).

Sur ces six critères, quatre (soit les 2/3) ne sont pas applicables à la matière juridique pour laquelle il n’existe ni prix Nobel ni médaille Fields, les prix et distinctions étant décernés dans des cadres nationaux, ni publications dans Nature et Science, quant aux deux autres ils ne peuvent l’être que de manière très relative et imparfaite. D’ailleurs, le droit, dans les systèmes et civilisations traditionnelles confucéennes et Zen, est dépassé en importance par la morale, l’herméneutique morale est forte, celle juridique, moins significative. On y constate l’absence d’un élément pourtant fondamental pour les usages le niveau des droits d’inscription et on n’y voit aucun ratio permettant de mesurer la pertinence et l’efficacité de l’usage qui en est fait. D’autres critères sont parfois pris en compte:

L’enseignement: nombre d’étudiants; nombre de filières offertes; nombre d’étudiants par enseignant.

La recherche: nombre de brevets; puissance de calcul informatique; index h de l’université.

La qualité des enseignants: nombre de publications ; nombre de citations; nombre de prix (Nobel, Fields, Descartes, Abel et Lomonosov).

La capacité financière: budget global par étudiant.

L’activité internationale: nombre de chercheurs affiliés à une communauté internationale; pourcentage d’étudiants étrangers.

La visibilité sur le web: nombre de pages web; popularité sur Google; page rank.

Tous ces classements ont en commun d’arriver à des résultats globalement très imparfaits et, pour la matière juridique, d’utiliser des critères qui ont pour résultats de ne la prendre en compte que d’une manière telle qu’elle est soit exclue de ces classements soit classée en mauvaise place, comme si tous les juristes de la planète étaient de mauvais chercheurs doublés de piètres enseignants, à moins que pour les auteurs de ces classements le droit, qui régit les sociétés depuis l’Antiquité[43], ne soit pas une science, mais seulement un art… C’est un immense paradoxe, surtout en Europe, où le droit forme une épistémologie d’une complexité incroyable, selon le modèle instauré par le droit romain classique, et confirmée par le droit de Justinien (Institutionum sev elementorum, Codex Justinianeus repetitae prae-lectionis, Pandectae sive Digesta & Novellae Constitutiones).

Plus que l’application quasi-mécanique de critères quantitatifs, il vaudrait mieux envisager l’augmentation de l’autonomie universitaire en ce qui concerne la définition de l’élite académique selon les standards propres à chaque université. On s’apercevrait alors très vite que la plupart d’entre elles en arriveraient à désigner la même élite.

Les auteurs du classement de Shanghai admettent l’existence d’un biais en faveur des pays anglophones. Ce qui en matière juridique est un non-sens. Pour ne prendre qu’un seul exemple: celui de la flexibilité. Cela donnera en anglais «flexibility for factory and flexibility for law are necessary». Mais en français: «la souplesse pour l’entreprise et la moindre impérativité de la règle de droit d’ordre public sont nécessaires». Ce qui n’est pas du tout la même chose. Le texte anglais parle de souplesse pour l’entreprise et de souplesse dans l’application de la règle de droit ce qui n’a rien de nouveau. Le texte français propose une révolution juridique consistant à pouvoir déroger à la règle de droit d’ordre public[44] dont la caractéristique majeure est justement l’interdiction d’y déroger[45]. Les auteurs de ce classement admettent aussi un biais en faveur des institutions de grande taille, qui sont rares dans le domaine juridique, ainsi que les difficultés à définir des indicateurs adéquats pour classer les universités spécialisées dans les sciences sociales[46].

L’usage des facteurs seulement quantitatifs pour l’évaluation individuelle des chercheurs est de plus en plus controversé compte tenu de l’imperfection des indicateurs. Il en résulte que l’évaluation individuelle n’a de valeur que si l’on respecte certaines conditions majeures qui ne sont pas toutes applicables au domaine juridique. Ces classements sont aux antipodes de la vision humboldienne et eminescienne sur les études en général: facteur de culture, science et civilisation. Nos élèves en droit sont des «citoyens» avec le même droit «à» dans la République universelle des lettres.

Nous favorisons, en droit, le caractère interactif, socratique, des cours et séminaires. L’accent doit être mis sur le séminaire, qui représente pour nous le véritable «Autel» de l’université. La dotation des salles multimédias, avec la possibilité d’accéder instantanément à toute base de données ou un autre champ d’intérêt favorise cette approche socratique; en d’autres termes, l’information devenant relativement moins chère, nous sommes penchés sur l’herméneutique juridique.

Un autre facteur: les études de droit, par tradition, sont des études doctorales per se (comme en médecine, ou en architecture); cela signifie que les étudiants doivent provenir du milieu des diplômés des autres facultés à travers un examen d’admission sur la base, surtout, des disciplines comme: la philosophie, l’histoire, l’économie politique, la grammaire, etc. Il s’agit là d’éléments qui ne sont pas et ne peuvent pas être pris en compte par ces classements ce qui en limite beaucoup l’intérêt.

L’évaluation doit porter sur les articles et non sur les revues. D’ailleurs, en droit, les éditeurs de bon nombre de revues juridiques de haut niveau refusent ces classements y préférant la notoriété générée par le nombre d’abonnés. De même, dans d’autres disciplines, les classements de revues ont été suffisamment contestés pour être revus[47].

La qualité des données, la normalisation, la significativité des écarts et la robustesse des indicateurs doivent être validées. L’évaluation ne doit comparer entre elles que des personnes de la même communauté disciplinaire, pendant tout leur parcours.

Or ces éléments ne sont que partiellement utilisables pour la matière juridique. Si, quelles que soient les options idéologiques de son auteur, l’exégèse de la table de Pythagore donnera toujours 2*2 = 4. L’interprétation du même texte de loi pourra donner des résultats très différents en fonction des options idéologiques revendiquées[48], ou cachées par l’auteur ou les auteurs du texte ou d’un courant de pensée[49], sans pour cela que la qualité des écrits de l’un soit bonne et celle de l’autre médiocre[50]. De plus, rien n’interdit d’évoluer dans sa pensée. L’évaluation, même celle qui utilise des facteurs quantitatifs, ne peut pas se résumer à des nombres, mais doit être accompagnée d’un examen approfondi des données, et des articles eux-mêmes.

Les indices ne peuvent pas être utilisés de la même façon selon l’objet de l’évaluation: recrutements, promotions, contrats, distinctions, etc. Il faut tenir le plus grand compte, lorsque cela est possible, de la place et de la contribution de l’auteur dans l’article considéré, mais il faut aussi tenir compte du fait que dans les sciences humaines, en général, et spécialement en droit, certains articles cosignés sont véritablement une œuvre collective dans laquelle la part personnelle de chacun n’est pas identifiable tant l’article abouti est le résultat d’une réflexion collective. Il ressort de tout cela que malgré les défauts de cette dernière, qui demandent à être pris en compte et corrigés, les critères bibliométriques, quantitatifs, ne sauraient remplacer l’évaluation par les pairs, qualitative[51].

Un usage abusif des indicateurs est facilité par la nature chiffrée du résultat qui introduit la possibilité d’établir dans l’urgence toutes sortes de statistiques, sans se préoccuper d’en analyser la qualité et le contenu, et en occultant l’examen d’autres éléments de la vie scientifique comme, par exemple, l’innovation et le transfert intellectuel et industriel.

Les indicateurs ne donnent qu’une vue partielle et biaisée de certains aspects de la vie scientifique. Ils doivent donc être complétés, corrigés par des spécialistes du domaine s’ils sont utilisés dans le cadre d’une évaluation ou d’une prise de décision.

Les indicateurs chiffrés sont très facilement manipulables par les individus, les institutions et d’autres acteurs de la vie scientifique (comme les journaux).

Le risque le plus grand est certainement l’extrême adaptabilité du monde de la recherche – la pression à la conformité avec un système de mesure ou de récompense figé et inadéquat.

Des scientifiques de premier plan, malgré leur influence considérable sur la science, échappent aux indicateurs quantitatifs. Par exemple, sur les quatre tomes des Dits et Écrits de Michel Foucault, il n’y a peut-être pas cinq articles publiés dans des revues classées A[52].

Il existe des processus de filtrage successifs avant la publication d’un article[53], qui passent par l’évaluation par les pairs (comités de revues, etc.), ainsi, une fraction variable des manuscrits arrive à publication, un sur dix ou un sur vingt, parfois moins. À l’inverse, malgré leur mauvaise qualité scientifique, certains articles passeront sans problème à travers tous ces filtres. On pense, par exemple, à un article d’un thésard d’un des membres les plus influents du comité scientifique d’une revue. Aussi à un texte proposé par le principal bailleur de fonds d’une revue au moment où l’imprimeur explique au directeur de publication que pour s’aligner sur la concurrence il va multiplier ses prix par deux, voyez comme il est alors facile de refuser le texte proposé. Cela variant d’ailleurs selon les supports. Les évaluations quantitatives ne tiennent pas compte de ces éléments que d’ailleurs elles ne peuvent ni connaitre ni déceler.

3. Quelques dérives possibles du système d’évaluation quantitative

Enfin, par une série de processus sociaux que l’on connaît fort mal, un article publié peut parvenir à être cité et dans ce cas pas toujours pour sa valeur. Sans compter que certaines revues exigent pour le publier que le texte contienne des citations d’articles antérieurement publiés dans celle-ci[54] et que de plus, bien des auteurs, dans l’espoir de voir leur texte accepté, se plient d’eux-mêmes à une telle exigence, même si elle n’est formulée ni explicitement ni implicitement et même si elle ne fait pas partie de la politique éditoriale de la revue.

Par ailleurs, l’évaluation quantitative fondée sur les citations d’articles ne peut prétendre qu’à l’analyse d’une faible partie des facettes du métier d’enseignant-chercheur. Elle laisse de côté l’enseignement, la vulgarisation, les services à la cité, la valorisation ou encore les services à la communauté (participation à des jurys, à des comités de lecture, etc.). De nombreux facteurs peuvent donc expliquer un faible nombre de publications.

Un chercheur qui travaille beaucoup dans le cadre de contrats en relation avec des industriels peut avoir du mal à publier autant qu’il le souhaiterait; cela pour des raisons de confidentialité. Il sera alors pénalisé par ce système d’évaluation quantitatif, même si son activité et son apport à la science sont considérables.

C’est aussi le cas de ceux qui ne publient pas, car ils sont submergés par les tâches administratives qui permettent justement aux autres membres de la même unité d’avoir une importante activité de publication.

Le risque est ici que les chercheurs, éventuellement avec l’appui de leur laboratoire, se préoccupent plus d’étoffer leur palmarès de publications, qui détermine leur carrière: possibilités de promotion, mais aussi, dans certains cas, paye ou continuité de leur emploi, que de réaliser des travaux scientifiquement intéressants. L’important alors n’est plus de faire mais de faire savoir. On peut ainsi augmenter artificiellement le nombre de publications sans que cela saute aux yeux des évaluateurs. Il y suffit d’un peu d’adresse et de méthode. Dans cette optique le personnage le plus important du laboratoire n’est plus son directeur ou son chercheur le plus brillant mais… son communiquant. Où est le progrès de la science?

Profitant du fait que les évaluateurs des différentes publications n’ont pas forcément lu ses travaux précédents, ou que les responsables de publication y voient un intéressant moyen pour lutter contre la concurrence, le chercheur publie la même idée dans plusieurs «papiers».

La même idée est découpée en plusieurs tranches, chacune publiée séparément. L’autocitation malicieuse, l’auteur au lieu de se citer lui-même cite allégrement des membres de son laboratoire ou de réseaux avec lesquels il entretient de bonnes relations, qui ensuite lui renverront l’ascenseur en le citant dans leurs propres travaux…

Il est erroné de conclure qu’un article publié dans un journal à fort facteur d’impact est forcément de meilleure qualité qu’un papier dans un journal à facteur d’impact plus faible. La politique éditoriale de certains journaux renommés met en jeu des critères extra scientifiques, comme le côté «sensationnel» d’une publication. L’usage du nombre de citations favorise les publications «dans l’air du temps». D’une manière générale, un journal consacré à des sujets originaux ou émergents mais qui ne seraient pas « à la mode » est défavorisé[55].

L’accès aux outils permettant l’évaluation quantitative de l’activité de recherche est payant et élevé. Pour certaines institutions ce coût peut être prohibitif.

II. Des résultats déjà connus dans un domaine proche

L’activité d’enseignant-chercheur en droit est proche de celle de juge. L’élaboration du jugement, surtout en matière civile, au sens large, mais pas seulement, tant au moment du délibéré, s’apparente par bien des aspects à une réunion de laboratoire d’enseignant-chercheurs, puis dans sa rédaction, qui par bien des côtés est assez proche de la rédaction d’un article. Dès lors qu’il s’agit d’une affaire complexe elle commence par une phase de recherche juridique. Il est dès lors intéressant de comparer l’évaluation quantitative de l’activité de chercheur à ce qui a déjà été fait dans un domaine proche. La justice française nous en donne l’occasion.

A. La justice française a ouvert la voie

Celle-ci jugée trop lente est suffisamment hiérarchisée[56] pour que des gardes des sceaux aient pu mettre en place des systèmes d’évaluation quantitative de l’activité des magistrats. Ils sont suffisamment anciens pour que l’on puisse en juger les effets. Ils montrent que transformer la justice française en justice statistique aboutit à la négation de la justice[57] ce qui lui a valu des condamnations par les juridictions internationales. Il y a là de quoi faire réfléchir à deux fois pour ceux qui pour l’évaluation des enseignants-chercheurs devraient s’engouffrer dans la voie ouverte par l’institution judiciaire.

La mission perpétuelle de l’administration publique est d’être au service de la société. Il en est de même pour la justice où cette notion d’être au service de la société revêt une importance particulière. En France, elle a donné lieu et donne encore lieu à quelques confusions des concepts et à des innovations destinées à transformer la justice en entreprise performante, qui sont moins positives que ce qui avait été imaginé et pourra faire réfléchir les tenants de l’évaluation quantitative de la recherche.

Il y a maintenant 25 ans, le ministre de la justice mettait en place dans les tribunaux français un plan de modernisation, suivi depuis par bien d’autres allant dans le même sens, qui eux aussi posent la question de leur efficacité destiné à transformer la justice française en entreprise performante. Dès le premier plan, certains avait fait part d’observations, doutes, critiques et scepticisme sur l’efficacité des mesures proposées[58].

Près d’un quart de siècle après le premier plan, d’ailleurs suivi plus tard par d’autres dans le même sens, il est aujourd’hui possible d’en évaluer les effets.

Pour y parvenir il s’agira donc de mesurer l’efficacité du premier plan de rationalisation de la justice française destiné à la transformer en entreprise performante et de se poser quelques questions sur leurs effets en prenant comme étalon la jurisprudence des juridictions internationales. Ce qui nous amènera à un retour sur un plan de modernisation de la justice au sens sapientogenum (1) et aux évolutions suivantes (2).

Il y a maintenant près d’un quart de siècle, la justice française était globalement considérée comme chère, lente, complexe et inefficace. Surfant sur la mode de l’efficacité[59], y compris en ce qui concerne les services de l’état[60] et les services publics[61], le garde des sceaux de l’époque avait fait quelques propositions pour accélérer le mouvement et tendant à faire de cette justice trop lente une entreprise performante capable de rendre rapidement des décisions, dont il n’est plus certain qu’elles puissent véritablement être qualifiées de judiciaires[62]. L’essentiel des propositions étaient centrées sur la justice civile jugée beaucoup trop lente.

1. Plan de modernisation de la justice au sens sapientogen

On avait alors vu dans les juridictions l’entrée massive de moyens bureautiques et d’un système informatique si performant qu’il permettait un contrôle quantitatif de l’activité du juge, qui s’est aujourd’hui amplifiée, de nature à mettre en place dans les tribunaux un système dans lequel la justice est remplacée par un mécanisme informatisé, rationalisé, productiviste caractérisé par la frénésie de l’évacuation des affaires qui la réduit à une simple question de rotation rapide des stocks[63]. Mais la justice ne semble pas en avoir été améliorée et sa lenteur reste un problème récurrent.

2. Les évolutions suivantes

L’entrée massive dans les tribunaux d’un matériel informatique de plus en plus performant et centralisé a permis l’établissement d’un instrument de mesure de l’activité quantitative du juge de plus en plus fin et performant permettant de compléter l’évaluation quantitative de l’activité du juge par une prime de rendement assise sur la quantité du travail fourni[64]. Ce qui du point de vue de la stricte technique juridique pourrait facilement être copié pour les enseignants-chercheurs.

Les magistrats français sont maintenant soumis à un véritable harcèlement statistique. Au point que la statistique quantitative de leur activité devient l’élément essentiel de leur notation toujours aussi déterminante pour leur avancement[65]. On peut résumer l’activité du juge par cette boutade: faites n’importe quoi mais faites le très vite. Ce qui n’est guère propice à un travail de qualité et innovant.

Il est vrai que les juges bénéficient maintenant de l’informatique documentaire qui leur donne un accès très facile au site informatique de la Cour de cassation qui a bien compris tout le parti qu’il est possible d’en tirer puisqu’en sus de son activité judiciaire elle mène une véritable politique de communication. Elle accompagne d’un communiqué de presse les décisions qu’elle souhaite voir reprises par les autres juges. On voit la pression à laquelle sera alors soumis le juge qui voudra rendre un jugement allant dans le sens contraire. Une telle pression ressemble à celle que commencent à connaître les chercheurs soumis à des évaluations quantitatives, qui, dans leur domaine sont un frein à l’innovation assez comparable à celui que subit le juge qui serait tenté de trop souvent s’écarter de l’air du temps et de proposer des textes innovants.

Et puis, les chercheurs en droit et professeurs doivent faire face à une quantité d’informations gigantesques; leur matériel documentaire suppose des volumes impressionnants de temps de lecture; en droit, aujourd’hui, mais même par tradition, toute documentation est pantagruélique. Ce n’est pas le domaine de la spontanéité et de l’inspiration; c’est le domaine d’un travail herculéen, souvent de Sisyphe. La paix sur la planète c’est, d’abord, aujourd’hui, un domaine juridique; de même, les juristes sont ceux qui doivent nettoyer les écuries d’Augias… Par quels moyens? Par ceux de la science, bien sûr… Une science presque non reconnue par la scientométrie

Les justiciables «bénéficiaires» de ce plan obtiennent-ils des décisions judiciaires rendues dans un délai raisonnable conformément au droit du justiciable à un procès équitable[66] et à l’accès au juge[67]? Il n’est pas certain que si on leur pose la question les juridictions internationales, comme l’a déjà fait le conseil constitutionnel français[68], y répondent par l’affirmative. Elles ont déjà donné quelques indications en ce sens.

B. L’efficacité de la justice performante mesurée à l’aune de la jurisprudence des juridictions internationales: les juridictions internationales condamnent

1. La Cour européenne de justice

La Cour de justice de l’Union européenne, et avant elle la Cour de justice des communautés européenne et son Tribunal de première instance ont consacré au bénéfice des citoyens européens de nombreux droits fondamentaux dont le droit à une protection juridictionnelle effective[69], dont le droit à l’accès au juge[70] est un aspect. Si elle était saisie de ce problème, au vu de la jurisprudence qu’elle a déjà rendue, il n’est pas certain qu’elle considère comme conforme au droit à l’accès au juge cette justice quantitative.

2. La Cour européenne des droits de l’homme

La Convention européenne des droits de l’homme garantit au justiciable le droit à un procès équitable[71] que la Cour européenne des droits de l’homme s’attache à faire respecter. La Cour a souligné l’importance qui s’attache à ce que la justice ne soit pas rendue avec des retards propres à en compromettre l’efficacité et la crédibilité[72], mais la crédibilité c’est aussi une décision de qualité[73], exactement le contraire de ce que produit un système fondé sur l’évaluation quantitative de l’activité de ces intervenants.

Conclusion

Tous ces «rankings» sont des illusions trompeuses qui servent pour les «administrateurs», mais en tout cas pas pour les sages, les professionnels, les philosophes et les chercheurs. C’est le signe d’une épidémie d’ignorance, sous le nom prétentieux d’une «métrie», qui a la valeur d’une grippe porcine. Comme toutes les modes, cela devrait logiquement très vite s’évanouir. Il faut l’espérer. La justice a montré la voie à suivre. Et la justice est le suprême trésorier de la valeur humaniste de toujours: l’équité, la merveilleuse équité. C’est-à-dire ne pas traiter des situations différentes avec la même mesure et les situations semblables avec des mesures différentes (selon une exceptionnelle et sage définition de la part de la Cour de justice de l’UE)[74].

La justice, lorsqu’elle a été tentée par le stakhanovisme, a été inefficace et condamnée. Les mêmes causes produisant les mêmes effets, l’évaluation seulement quantitative de l’activité des chercheurs risque elle aussi d’aboutir à l’inefficacité.

Certes, pour les chercheurs et les bénéficiaires de la recherche, il n’existe pas dans les textes internationaux d’équivalent à celui qui garantit au justiciable le droit à un procès équitable, encore que de ce point de vue une lecture de la Charte des droits fondamentaux de l’UE proposée à la Cour de justice de l’Union européenne, qui a déjà montré sa capacité d’innovation, pourrait receler des surprises.



[1] «La science est digne de l’homme», paraphrase au Livre IV. Infinité de l’univers et de ses constituants De la nature des choses, de Titus Lucretius Carus, selon Ioan Inocentiu Micu-Klein, Illustrium poetarum flores. Livre de sagesse latine, Edition de Florea Firan et Bogdan Hancu, Ed. Stiintifica, Bucarest, Roumanie, 1992, p. 449.
[2] Voy. Titus Lucretius Carus, De natura rerum, Liber quartus, 1: «Nam nihil egregius, quam res est cernere apertas/Ab dubiis, animus quas ab se protinus abdit», apud Ioan Inocentiu Micu-Klein, op. cit. p. 448
[3] Voy. V. M. Ciuca, B. Mankou et M. Richevaux, «La justice française: de la justice statistique à la négation de la justice», Cahiers ISAM n° 6/2013, Chisinau; voy. aussi, in integrum, V. M. Ciuca, Vagant prin ideea europeana. Fulguratii juridico-filosofice, Editura Fundatiei Academice AXIS, Iasi, Roumanie, 2011, ISBN: 978-973-7742-84-1.
[4] B. Latour, S. Woolgar, La Vie de laboratoire. La production des faits scientifiques, Paris, La Découverte, 1996.
[5] Y. Le Coadic, «Mathématique et statistique en science de l’information et en science de la communication: Infométrie mathématique et infométrie statistique des revues scientifiques», Ci. Inf., décembre 2005, Vol. . 34, N° 3, pp. 15-22, ISSN: 0100-1965.
[6] A. Pritchard, «Statistical Bibliography or Bibliometrics», Journal of Documentation, 25, 4, pp. 348-349, 1969.
[7] J.-C. Gautron, Droit européen, Paris Dalloz, 1997, p. 138.
[8] J. Gicquel, Droit constitutionnel et institutions politiques, XVe édition, Montchrestien, Paris, 1997.
[9] G. Vrabie, S. Popescu, La théorie générale du droit, Ed. Ştefan Procopiu, Iaşi, Roumanie, 1993, p. 186.
[10] C. Verga, «Le partage de compétences entre l’Union Européenne et ses états membres», Annales, Université de Târgovişte, Roumanie, 2007.
[11] Budeanu, Antonia, Duţescu Oana, «La souveraineté nationale et l’in-tégration européenne: l’évolution des valences du concept de la souveraineté», in La souveraineté nationale et l’intégration européenne, Ed. Polirom, Iaşi, Roumanie, 2004, p. 264.
[12] C. Mătușescu, «La souveraineté nationale dans processus d’intégration européenne», Annales de la faculté de droit, Université Valahia Târgoviște, Année I, N° 2(2) – Novembre 2004, Roumanie.
[13] États, régions et droits locaux, Actes du colloque des 6 et 7 juin 1996, édité par l’Institut Du Droit Local Alsacien-Mosellan, 1996.
[14] Le Guide du droit local 2002, édité par l’Institut Du Droit Local Alsacien-Mosellan; Le droit applicable en Alsace et en Moselle de A à Z, 3e éd. 2002.
[15] B. Roussel, «Identité numérique – Identité professionnelle», Séminaire, Réseau Européen pour les politiques d’Orientation tout au long de la vie, Toulouse, 14 et 15 novembre 2011.
[16] V. M. Ciucă, Lecții de hermeneutică juridică, éd. Fundației Academice AXIS, Iași, Roumanie, 2005.
[17] Montesquieu, De l’esprit des lois, 1748.
[18] C. Mouloungi, Droit. Notions fondamentales, L’Harmattan, 2009.
[19] H. Capitant, Les grands arrêts de la jurisprudence civile, Dalloz, 1934, régulièrement réédité depuis.
[20] V. M. Ciucă, «Les sources du droit dans l’activité» du Tribunal de pre mière instance des communautés européennes », Revue européenne du droit social, n° 2, avril 2008/55.
[21] CJCE, 25 mai 1971, Defresne I aff 80/70 rec. p. 445.
[22] M. Richevaux, «L’évolution de la législation visant à lutter contre les discriminations à l’égard des femmes», Le travail des femmes, axes d’émancipation, sous la direction S. Boutillier et B. Lestrade Économie et innovation l’esprit économique, L’Harmattan, 2004.
[23] S. Boutillier et B. Lestrade Le travail des femmes, axes d’émancipation économie et innovation l’esprit économique, L’Harmattan, 2004.
[24] F.-J. Pansier, Méthodologie du droit, Lexis-nexis, 2009.
[25] D. Top et M. Richevaux, Les grands principes du droit communautaire du travail, L’Harmattan, 2007.
[26] LOI n° 2013-404 du 17 mai 2013 ouvrant le mariage aux couples de personnes de même sexe (1), JO du 18 mai 2013, p. 8253.
[27] M. Richevaux, «Quelques principes théoriques relatifs à l’interprétation de la loi», Dr. puvr. 1991, pp. 39 et s.; M.-L. Hrestic, «L’interprétation des normes juridiques dans le processus de réalisation du droit», Revue européenne du droit social, n° 2, avril 2008.
[28] E. Speranţia, Les principes fondamentaux de philosophie juridique, Cluj, 1936, p. 8; J. Carbonnier, Flexible droit – Pour une sociologie du droit sans rigueur, 10 e édition, Paris: L  .G. D. J., 2001, hors collection, p. . 496; M. Van de Kerchove, F. Ost, Le système juridique entre ordre et désordre, P.U.F., Paris, 1988, p. 101.
[29] Académie des sciences, Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs, 2011.
[30] J.-M. Wailly, La contribution du droit de l’environnement à la protection de la santé au travail et ses conséquences sur l’entreprise polluante, Thèse, ULCO, 11 février 2008.
[31] C. Mouloungi, Droit. Notions fondamentales, L’Harmattan, 2009, spécialement son chapitre consacré à la doctrine et à sa construction.
[32] Loi n° du 18 avril 2006, JO du 19 avril 2006, p. 5820.
[33] Barbara Cassin, «On classe les chercheurs comme Google classe les sites», sur Rue89, 9 février 2009.
[34] ANCMSP (Association nationale des candidats aux métiers de la science politique), «Note sur le classement des revues AERES en science politique», 5 septembre 2008.
[35] Assemblée nationale – 1re lecture Projet de loi relatif à l’enseignement supérieur et à la recherche, n° 835, déposé le 20 mars 2013 (mis en ligne sur le site de l’assemblée nationale le 21 mars 2013 à 16 heures 15).
[36] L. Leydesdorff, The  Challenge  of  Scientometrics: The Development, Measurement and Self-Organization of Scientific Communications, Universal, p. 344; P. Weingart, «Impact of Bibliometrics upon the Science System: Inadvertent Consequences?», Scientometrics, 2005, pp. 62, 1, 117-31; A . Van Raan, «Measuring Science», in H. Moed, W. Glänzel et U. Schmoch (Eds), Handbook of Quantitative Science and Technology Research, Kluwer, 2004, pp. 19-50; M. Zitt, E. Bassecoulard, «Challenges for Scientometric Indicators: Data Demining, Knowledge Flows Measurements and Diversity Issues», Theme sec-tion/section thématique: The Use and Misuse of Bibliometric Indices in Evaluating Scholarly Performance, Ethics in Science and Environmental Politics, 2008, pp. 8, 1, 49-60; B. Lepori, R. Barré, G. Filliatreau, «New perspectives and challenges for the design and production of S&T indicators», Research Evaluation, 2008, pp. 17(1), 33-34.
[37] Académie des sciences, «Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs», 2011.
[38] Hirt Doris, «Bibliométrie, scientométrie,  infométrie: quels  dangers  y a-t-il à utiliser des méthodes quantitatives pour évaluer un travail scientifique?», Flash EPFL, 11 février 1997, p. 12.
[39] Garfield, Eugene, «Citation Data is Subtle Stuff: a Prime on Evaluating a Scientist’s Performance», The Scientist, Vol. 1(10), 6 avril 1987, p. 9; Garfield, Eugene, «Opting Out of the Numbers Game: on the Need to Emphasize Quality in Peer Review», The Scientist, Vol. 1(7), 23 février 1987, p. 9.
[40] C. Mouloungi, Droit. Notions fondamentales, L’Harmattan, 2009, spécialement le chapitre consacré à la construction de la doctrine.
[41] R. Breton, «Les langues minoritaires sont-elles condamnées  à dispa raître?», Communication au Symposium international, Centre de Recherche sur le plurilinguisme, Université Catholique de Bruxelles, Krisis, n° 22, Paris, mars, 29 mai 1997, pp. 181-190.
[42] R. Breton, «Communautés linguistiques et communautés ethniques: analogies, discordances et interdépendances», Communication au Congrès International Ethnos e communità  linguistica, un confronto metodologico-interdisciplonare, 5-7 décembre 1996, Udine, in R. Bombi et G.  Graffi, éd., Forum, Udine, biblio, 1 schéma, pp. 39-61.
[43] Voy. Socrate, Aristote, Platon et bien d’autres.
[44] G. Lyon-Caen, «  La bataille truquée de la flexibilité», Droit social, 1985, pp. 801-810.
[45] Art. 6 Code civil.
[46] N.C. Liu et Y.Cheng, «Academic Ranking of World Universities – Methodologies and Problems», HigherEducation in Europe, 30, 2, 2005; M. Zitt et G. Filliatreau, «Big is (made) Beautiful», Première Conférence internationale sur les universités de classe mondiale, Shanghai, juin 2005.
[47] «L’ERIH retire son classement par lettres des revues», 22 janvier 2009; Sauvons l’Université (avec lien vers Index of journals scraps controversial grades), The Times of Higher Education, 22 janvier 2009.
[48] X. Dupre deBouloi et F. Rolin, «Le Revue Progressiste de Droit Français: une lecture engagée du droit dans les années 1950», Revue du droit public et de la science politique en France et à l’Étranger, n°4, 1er  juillet 2008, p. 1137.
[49] F. Saramtio, «De la faible audience du droit social dans l’université française», Dr. ouvr., 1984, p. 169.
[50] A. Jeammaud, et al., Le Droit capitaliste du travail, PUG, Grenoble, 1980 aux textes que l’on peut trouver sur Medef.fr.
[51] Institut national de recherche en informatique et en automatique (INRIA), Que mesurent les indicateurs bibliométriques?, document d’analyse de la Commission d’évaluation de l’INRIA, préparé par A-M. Kermarrec, E. Faou, J.-P. Merlet (rapporteur), P. Robert, L. Segoufin. Validé par la Commission d’Évaluation du septembre 2007.
[52] O. Boulnois, «L’évaluation automatisée en sciences humaines», 22 octobre 2008.
[53] L. Coutrot, «Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique», Bulletin de méthodologie sociologique, no 100, octobre 2008, pp. 45-50.
[54] E. Gaming, « The Impact Factor Puts Journal  », in Time-out.
[55] «Que disent les indicateurs?», entretien avec Jean-Pierre Merlet, animateur du groupe de réflexion sur les indicateurs de la commission d’évaluation de l’INRIA, Lettre d’information de l’INRIA, no 59, mai 2007.
[56] J. P. Royer et al., Être juge demain, PUL, 1983, spécialement les chapitres consacrés à la notation et à l’avancement des juges.
[57] V. M. Ciucă, B. Mankou, M. Richevaux, «La justice française, de la justice statistique à la négation de la justice», Cahiers ISAM, Chisinau, n° 6, 2013, p. 58, Colloque organisé par L’Institut de sciences administratives de la République de la Moldavie, Chisinau, 12/14 octobre 2012.
[58] M. Richevaux, «Les limites d’une entreprise performante: justice à propos de la modernisation de la justice», La pensée, février 1986, pp. 78-84.
[59] J. Fayolle, «Efficacité  rentabilité  et  société»,  La  pensée,  mars  avril 1985, pp. 1 et s.
[60] A. Le Pors, L’état efficace, Robert Laffont, 1985.
[61] Propositions faites par l’Union européenne, .
[62] M. Richevaux, «De l’allègement à la disparition des motifs jugements ou apparences?», Cass. civ. 11 mars 1985, Dalloz, 1986, p. 591.
[63] M. Richevaux, «De la justice à la gestion des stocks», Droit ouvrier, août 1987, p. 295.
[64] Décret n° 2011-913 du 29 juillet 2011 modifiant le décret n° 2003-1284 du 26 décembre 2003 relatif au régime indemnitaire de certains magistrats de l’ordre judiciaire; Arrêté du 29 juillet 2011 modifiant l’arrêté du 3 mars 2010 pris en application du décret n° 2003 -1284 du 26 décembre 2003 relatif au régime indemnitaire de certains magistrats de l’ordre judiciaire; Circulaire du 9 août 2011 relative à la mise en œuvre de la revalorisation du régime indemnitaire des magistrats de l’ordre judiciaire, Bulletin officiel du Ministère de la Justice et des Libertés.
[65] J.P. Royer, La notation des magistrats dans être juge demain, PUL, 1983.
[66] CEDH, art. 6.
[67] Art. 27 Charte des droits fondamentaux UE, art. 16 Déclaration des droits de l’homme et du citoyen.
[68] Cons. Cont. déc. 2010-614 DC 4, nov. 2010.
[69] CJCE, 29 oct. 2009 Pontin C-63/08, Rec. p. I-10467.
[70] D. Top et M. Richevaux, Les grands principes du droit communautaires du travail, L’Harmattan, 2007.
[71] CEDH, art. . 6.
[72] CEDH, 24 oct. 1999, H c. France.
[73] N. Mole et C. Harby, Le droit à un procès équitable : précisions sur les droits de l’homme, n° 3, Conseil de l’Europe.
[74] V. M. Ciuca,EURONOMOSOFIA. Periplu filozofic prin dreptul european organic, Vol. I, Prolegomene la o opera in esafodaj, Editura Fundatiei Academice AXIS, Iasi, Roumanie, 2012, in integrum.


Valérius M. CIUCA
Professeur, Faculté de droit, Université Alexandru Ioan Cuza, Iasi

Marc RICHEVAUX
Maître de conférences, Laboratoire Redéploiement Industriel et Innovation, Université du Littoral Côte d’Opale, Dunkerque

Bruno ROUSSEL
Chargé de Mission «  Orientation – Insertion  » Doctorants et Docteurs UPS, Université Paul Sabatier, Toulouse

Jeanne-Marie WAILLY
Directrice des études de l’ISCID-Co Saint-Omer, Université du Littoral Côte d’Opale, Dunkerque