2011 - Académie Des Sciences - Du Bon Usage de La Bibliometrie Pour L'évaluation Individuelle Des Chercheurs

DU B ON USAGE DE LA BIBLIOMETRIE POUR L'VALUATION INDIVIDUELLE DES CHERCHEURS
Rapport remis le 17 janvier 2011 Madame la Ministre de l'Enseignement Suprieur et de la Recherche
SOMMAIRE
Rsum ............................. p. 01 Recommandations ............ p. 05 Introduction du rapport gnral ....................... p. 08 I. Dfinition et objectifs de la bibliomtrie ......... p. 09 II. Place respective de la bibliomtrie et de l'valuation qualitative par les pairs ... p. 10 II.1 Les faiblesses de l'valuation par les pairs ....................................... p. 10 II.2 La bibliomtrie, comme outil pour l'valuation ........................................... p. 11 II.3 Les cueils de la bibliomtrie ...........................................p. 12 III. Diversit des habitudes et pratiques des diffrentes disciplines .........p. 13 IV. Les auteurs et l'importance de leurs contributions respectives .. p. 15 V. Le choix des indicateurs et bases de donnes ......... p. 18 V.1 Les bases de donnes ....................................................................... p. 18 V.2 Le facteur d'impact ...................................................................................... p. 19 V.3 Le nombre total de citations .............................................p. 20 V.4 Les nouveaux indicateurs, en particulier H, G, et autres ......... p. 21 V.5 Conclusion sur le choix des indicateurs ...........................p. 22 VI. Comment utiliser la bibliomtrie pour l'valuation individuelle des chercheurs ...p. 22 VI.1 Quels sont les indicateurs utiliser ? ............................................................... p. 22 VI.2 Comment calculer et valider les indices ? ....................................................... p. 22 VI.3 Quelles sont les erreurs ne pas commettre dans l'usage de la bibliomtrie pour l'valuation individuelle des chercheurs? .............. p. 23 VI.4 Qui peut utiliser les indices? ...............p. 24 VI.5 Comment utiliser ces indices? ........ p. 25 VI.6 Les indices bibliomtriques doivent-ils apparatre systmatiquement dans les dossiers de candidatures ? ................................................................. p. 25 VI.7 Aller au-del des nombres : les notices bibliographiques ...................... p. 26 VI.8 L'importance de replacer les citations d'un article dans la distribution des citations des articles de la revue considre .............................................. p. 26 VII. Importance d'une rflexion nationale sur l'amlioration des indicateurs ......p. 26 VII.1 Tests rtrospectifs ..............................................p. 27 VII.2 Mise au point de critres pour dtecter les valeurs d'originalit, d'innovation, de rayonnement, et de cration d'cole de pense ..........p. 27 VII.3 tudes pour affiner les indicateurs existants ......................... p. 27 VII.4 Fabrication de nouveaux indicateurs .........................p. 27 VII.5 tablissement des rgles de bon usage de la bibliomtrie pour l'valuation des chercheurs .......................................................... p. 28 VIII. Conclusion ...........p. 28
Rapport de lAcadmie des sciences - 17 janvier 2011
Annexe 1 : Composition du groupe de travail et personnalits auditionnes ...p. 30 Annexe 2 : Rsum et recommandations du Rapport 2009 de l'Acadmie sur l'valuation individuelle des chercheurs et des enseignants-chercheurs en sciences exactes et exprimentales ................................................... p. 32 Annexe 3 : Pratiques bibliomtriques selon les diffrentes disciplines ........... p. 38 Annexe 4 : L'thique de la publication des travaux scientifiques - Les critres de Vancouver ..................................................................................................... p. 50 Annexe 5 : Glossaire ........................................................................................................ p. 67
Du bon usage de la bibliomtrie pour lvaluation individuelle des chercheurs
Rsum
Lvaluation individuelle des chercheurs reste trs subjective et soumise de nombreux biais potentiels. LAcadmie a souhait se pencher sur les pratiques bibliomtriques quantitatives censes tre plus objectives, et mettre un certain nombre de recommandations sur lusage de la bibliomtrie qui pourrait, moyennant le respect de rgles rigoureuses, aider lvaluation qualitative. Ces rgles devraient tre reconnues un niveau au moins europen. Le problme est dautant moins simple que lvaluation bibliomtrique fait dbat, avec des avis souvent tranchs pour ou contre son utilisation, dpendant en grande partie, mais pas seulement, des disciplines.
I - Importance de lvaluation par les pairs et ses limites

I - 1 Importance de lvaluation par les pairs Lvaluation par les pairs a t longtemps la seule faon dvaluer les chercheurs. Elle garde une valeur irremplaable pour apprcier la contribution scientifique dun chercheur en termes doriginalit de pense, de qualit de travail, dinnovation conceptuelle et technologique, de cration dcole et de rayonnement dune faon gnrale. I - 2 Limites de lvaluation par les pairs Nanmoins, cette valuation pose des problmes pratiques lis la lourdeur dun examen approfondi des dossiers, amplifi par le nombre excessif des valuations demandes de toute part. En outre, on peut reprocher dans de nombreux cas lvaluation par les pairs une certaine subjectivit, aggrave par la comptence parfois insuffisante de certains valuateurs ainsi que par des conflits ou communauts dintrt potentiels, effets de groupe ou favoritisme quelconque. Lensemble de ces questions dontologiques devrait faire lobjet dune dclaration crite des valuateurs, comme cela a t propos par lAcadmie dans son rapport la Ministre du 8 juillet 2009. Il nen reste pas moins que la bibliomtrie ne peut en aucun cas se substituer lvaluation qualitative par les pairs, cest--dire par des experts de la discipline qui pourraient cependant lutiliser avec toutes les prcautions ncessaires comme un outil daide la dcision.
II - Fondements de la bibliomtrie
La bibliomtrie procde du calcul de divers indicateurs (nombre de citations, facteurs intgrs H, G, ou autres) partir de bases de donnes bibliographiques couvrant la quasi totalit de la littrature scientifique et de leurs citations dans la plupart des disciplines.
II - 1 Les principaux indicateurs Plusieurs indicateurs bibliomtriques sont couramment utiliss. Le nombre de publications a relativement peu de valeur, car il ne tient pas compte de la qualit de ces publications. Le nombre total de citations est plus intressant mais souffre de certains biais, en particulier limportance exagre que peuvent prendre un ou deux articles qui ne sont pas ncessairement les plus importants. Les facteurs intgrs, tels que le facteur H, le plus utilis aujourdhui, et le facteur G, peuvent utilement complter le nombre de citations. Quant au facteur dimpact qui sadresse aux revues et non pas aux chercheurs, il est nanmoins souvent pris en compte pour valuer la qualit dun article. Cette pratique, trs utilise dans certaines disciplines comme la biologie et la mdecine, est dangereuse car les revues les plus prestigieuses, facteur dimpact trs lev, contiennent un pourcentage significatif darticles de qualit moyenne, mme sil reste vrai que la publication dun article dans ces grandes revues reprsente un indice de notorit, condition que le chercheur considr ait jou un rle prdominant dans le travail en question. Il faut par ailleurs noter, et cela a une relle importance, quil existe des critres quantitatifs dvaluation qui ne sont pas proprement parler bibliomtriques tels que les confrences invites, les grands contrats, les distinctions, les brevets, les logiciels, etc. Cette remarque est particulirement importante pour la recherche applique dont limpact nest pas toujours bien apprci par la bibliomtrie. II - 2 Les bases de donnes Les bases de donnes actuelles sont de bonne qualit et en constante progression pour la plupart des disciplines, sachant nanmoins que toutes les disciplines ne sont pas couvertes (notamment les SHS). Encore faut-il veiller ce que les personnes calculant les indices bibliomtriques aient accs aux meilleures bases et dans leur intgralit. Les bases de donnes pourraient toutes tre utilement compltes par des bases descriptives des articles en rfrence comme la base Mathreviews des Mathmatiques (fichier bibliographique avec commentaires). II - 3 Avantages et drives potentielles de la bibliomtrie La bibliomtrie est apparemment facile dusage et fournit des nombres attrayants pour un valuateur en raison de leur simplicit et de leur nature factuelle. Nanmoins, elle comporte de trs nombreux biais et il est important de mentionner que pour tre ralise de faon incontestable, elle ncessite du temps, de la rigueur, et une certaine exprience. Il est indispensable de rappeler quaucun indicateur ni aucun ensemble dindicateurs ne peuvent rsumer eux seuls la qualit de la production scientifique dun chercheur. Par ailleurs, limportance prise par la bibliomtrie dans certaines disciplines peut mme inciter certains chercheurs adapter lorientation de leurs recherches aux domaines ou aux technologies privilgis par les revues haut facteur dimpact dans lesquelles il souhaitent publier, au dtriment de loriginalit et de linnovation. II - 4 Validation des donnes Le calcul des indicateurs peut donner lieu de nombreuses erreurs comme en tmoignent leurs variations selon les bases de donnes. Le rapport prsente les principales dentre elles et la faon de les viter. Dans lidal, ce devrait tre le chercheur concern, suppos tre le meilleur expert de son propre cas, qui calcule ses indicateurs (dans les disciplines o les bases sont disponibles) avant de les soumettre une validation par des personnes en ayant la charge au niveau dun organisme de recherche ou dune universit. Lide dun identifiant par chercheur est une piste quont retenue certaines bases de donnes. De plus, les chercheurs devraient fournir au jury les fichiers lectroniques pdf des principaux articles prsents dans leurs
dossiers de faon ce que lutilisation ventuelle de la bibliomtrie soit complte par la lecture des travaux eux-mmes. II - 5 Distribution et valeurs de rfrences Les indicateurs de la bibliomtrie nont pas de valeur intrinsque. Ils doivent tre replacs dans la distribution des indicateurs de la discipline en tenant compte de lge des chercheurs concerns. II - 6 Notion dauteur (authorship) La place du chercheur valu au sein des signataires dun article peut avoir, dans certaines disciplines et en particulier en biologie, une importance considrable par rapport sa contribution personnelle et en consquence la notorit quil peut en tirer. Des efforts importants doivent alors tre faits pour ne pas mettre au mme niveau, dans les calculs bibliomtriques, tous les articles dun auteur indpendamment de sa place parmi les signataires, tout en reconnaissant la difficult dintgrer cet lment dans ces calculs. Plus gnralement, il serait utile que les listes de publications prcisent la contribution exacte de chaque auteur, en tout cas pour ce qui concerne les listes courtes produites par les candidats. Cette question devrait faire lobjet dune rflexion approfondie ultrieure.
III - Quand et comment utiliser ou ne pas utiliser la bibliomtrie

III - 1 Quand utiliser/ne pas utiliser la bibliomtrie Pour les jurys mono-disciplinaires ayant gnralement une bonne connaissance de tous les candidats, le recours la bibliomtrie est souvent utilis pour un rapide tour dhorizon sans que les rsultats ne constituent un lment dcisif. Dans le cas de jurys traitant de plusieurs sous-disciplines, il peut tre utile dy avoir recours pour effectuer un premier tri car cela peut faire gagner du temps, mais condition que le jury soit constitu dexperts conscients des diffrences considrables qui peuvent exister entre elles et avec prise en considration de la distribution des indicateurs dans chacune des sousdiscipline. En revanche, les indicateurs bibliomtriques nont pas de valeur au dbut de la carrire scientifique et ne doivent donc pas tre utiliss pour les recrutements, sauf lorsquil sagit du recrutement de seniors. III - 2 Comment utiliser la bibliomtrie La bibliomtrie doit exclusivement tre utilise en association avec une valuation qualitative ( lexception des premiers tris mentionns plus haut). De faon plus gnrale, il faut moduler les indicateurs par la dure de la carrire, leur valeur augmentant avec lge de faon cumulative, en sachant toutefois tenir compte dventuels changements de productivit ou dorientation thmatique au cours de la carrire. Les indicateurs utiliser ne sont pas les mmes ou sont affecter de poids diffrents selon lobjet de lvaluation : recrutement, promotion, contrat, distinction. Il est ncessaire, conformment aux usages internationaux, dassocier aux donnes bibliomtriques gnrales, lexamen approfondi des 5, 10 ou 20 meilleures publications (selon les disciplines), au choix du candidat et en fonction de lanciennet scientifique. Ainsi, les instances dvaluation ne doivent pas se contenter des nombres issus de la bibliomtrie, elles doivent consulter lintgralit des notices bibliographiques associs aux publications choisies par le candidat.
Dans le cas o la dcision finale prise par les jurys de pairs ne correspondrait pas aux indices bibliomtriques, une argumentation des raisons de cette dcision devrait tre fournie pour expliquer les raisons pour lesquelles un travail est jug trs important en dpit dun faible nombre de citations. En tout tat de cause, tous ces indicateurs devraient tre systmatiquement prsents dans les dossiers de candidature comme un outil daide lvaluation si ncessaire.
IV - Spcificits par disciplines

Les disciplines, voire les sous-disciplines, ont chacune leurs spcificits en matire de publication et dusage de la bibliomtrie. Il sagit-l dun biais potentiel majeur dont il faut tenir compte dans lvaluation dun chercheur, mettre en lien galement avec la taille de la communaut. La bibliomtrie ne permet donc absolument pas de comparer des chercheurs de disciplines et mme de sous-disciplines diffrentes. Outre la taille de la communaut et donc du nombre global de citations dans la discipline, il convient de noter quelques spcificits importantes en particulier labsence de bonnes bases de donnes en sciences humaines et sociales, la rticence de lensemble des mathmaticiens vis--vis de la bibliomtrie, et des diffrences majeures dans les pratiques pour le nombre et lordre des auteurs dans les articles.
V - Etudes pour amliorer la bibliomtrie

Bien utilise, la bibliomtrie pourrait devenir un outil utile entre les mains des pairs. LAcadmie recommande de prvoir les tudes suivantes en vue damliorer lutilisation trop souvent officieuse de la bibliomtrie : V - 1 Tests rtrospectifs pour comparer les dcisions effectivement prises par des jurys de pairs (CNRS, IUF, ERC) avec les rsultats quauraient pu donner une valuation bibliomtrique des candidats. Il serait bon de consulter les tudes de ce type dj conduites en France par le CNRS et de les prolonger, ainsi que celles menes ltranger, notamment par les Acadmies. V - 2 Etudes pour affiner les indicateurs existants et dfinition de standards bibliomtriques pertinents sorientant vers lvaluation individuelle qui est un usage relativement rcent de la bibliomtrie. Rflexion approfondie sur la notion dauteur. Formation dun comit de pilotage de la bibliomtrie individuelle dans le cadre de lObservatoire des Sciences et Techniques (OST). V - 3 Mise au point de critres pour dtecter les valeurs doriginalit, dinnovation, de rayonnement et de cration dcole de pense, notamment travers lhistoire des grandes dcouvertes rcentes dans le contexte de la bibliomtrie (mdailles Fields, prix Nobel, mdailles dOr et dArgent du CNRS, etc.) V - 4 Etablissement de rgles de bon usage de la bibliomtrie pour lvaluation des chercheurs, en rponse la demande de lAERES qui a parmi ses missions la validation des procdures dvaluation des chercheurs.
Du bon usage de la bibliomtrie pour lvaluation individuelle des chercheurs
Recommandations
Recommandation n 1 : Lutilisation des indicateurs bibliomtriques pour lvaluation individuelle na de valeur que si lon respecte certaines conditions majeures : - Lvaluation doit porter sur les articles et non sur les revues. - La qualit des donnes, la normalisation, la significativit des carts et la robustesse des indicateurs doivent tre valides. - Lvaluation bibliomtrique doit ne comparer entre elles que des personnes de la mme communaut disciplinaire, pendant tout leur parcours. Il est en effet indispensable de replacer les donnes bibliomtriques dans la distribution des chercheurs du mme domaine, en tenant compte galement de lge dans la carrire. - Les utilisateurs de la bibliomtrie doivent tre capables de s'en expliquer : cela les obligera cultiver une bonne expertise. Il est par ailleurs important de prendre conscience quel point certains chercheurs adaptent leur travail scientifique dans lobjectif de publier leurs articles dans une revue facteur dimpact lev, au double risque daltrer loriginalit de leur travail et de ne pas avoir la continuit thmatique souhaitable pour tout chercheur, au moins sur quelques annes. Enfin, dans la mesure o lvaluation repose sur les pairs, la question se pose de savoir sil ne serait pas utile de les soumettre eux aussi aux mmes tests dvaluation bibliomtrique. Recommandation n 2 : La bibliomtrie ne peut pas se rsumer des nombres, mais doit tre accompagne dun examen approfondi des donnes bibliomtriques et bibliographiques, et si possible des articles eux-mmes Il est indispensable de rappeler que tant en Mathmatiques quen Physique et Chimie, certains laurats de Prix Nobel et de Mdailles Fields franais ont des indices bibliomtriques fort modestes. - Lvaluation bibliomtrique doit tre troitement associe lexamen direct des travaux, en particulier pour ce qui concerne leur originalit qui ne ressort pas de ltude bibliomtrique. - LAcadmie recommande, dans toute valuation individuelle mais surtout quand lvaluation ne dbouche pas sur un consensus, dexaminer les donnes bibliomtriques des 5, 10 ou 20 articles les plus cits du chercheur concern (ou choisis par lui), ainsi que les fichiers bibliographiques associs. Cette slection accompagne des fichiers pdf
correspondants fournis par les candidats faciliterait grandement lexamen approfondi des travaux. On pourrait envisager de comparer, dans un journal donn, les citations dun article dun chercheur avec le nombre moyen de citations dans ce mme journal durant une priode donne, ce qui valoriserait les articles trs cits dans des journaux de faible facteur dimpact. On pourrait aussi comparer le nombre de citations dun article par rapport aux rsultats statistiques dun article de mme anciennet dans la mme discipline. Il serait intressant de savoir comment se situe un article parmi les articles les plus cits de la discipline : dans les 0,01%, 0,1%, etc. ? La sous-base Essential Science Indicators de ISI (voir Additional Resources) permet de faire facilement ce travail par grandes disciplines. Une analyse plus fine en sous-disciplines pourrait savrer ncessaire. Dans les fichiers bibliographiques dISI, il est aussi possible de regarder comment les citations ont volu dans le temps et qui a cit larticle. Une bibliomtrie qualitative (et semi quantitative ) serait utile pour certaines valuations approfondies consistant tudier ou quantifier la qualit des citations reues : savoir par quels articles (ou types d'articles) un article (ou une personne) est cit(e), montre qui vous a donn son vote, mais sert aussi pour apprcier l'interdisciplinarit, la dure, la porte, et l'cart de temps. Concernant lanalyse bibliographique, lexemple de la base de donnes Mathematical Reviews devrait tre tendu aux autres disciplines et encourag.
Recommandation n 3 : Les indices bibliomtriques ne peuvent pas tre utiliss de la mme faon selon lobjet de lvaluation : recrutements, promotions, contrats, distinctions, etc. - Il ne faut pas utiliser les indicateurs bibliomtriques pour les chercheurs ayant moins de dix annes de carrire afin dviter la chasse aux domaines fort taux de citations, ce qui handicaperait la crativit ds le dbut de la carrire. - Il faut galement exclure le recours la bibliomtrie pour le recrutement des jeunes. Au niveau CR2 ou Matres de Confrences, les travaux dun candidat examiner sont gnralement modestes en quantit. Le jury doit plus quailleurs lire et sefforcer de comprendre les textes qui lui ont t proposs par le candidat. - Dans le cas de recrutement dans des postes seniors, les indicateurs peuvent tre consults par les pairs comme pour les promotions (cf. ci-dessous). - Pour les passages DR2, DR1 et DRE et les quivalents pour les enseignants-chercheurs, le recours aux indicateurs et la bibliomtrie peut devenir une aide pour dblayer le terrain en tablissant la distribution de tous les candidats et en liminant ceux dont les performances sont manifestement trop faibles au vu de la distribution. - Le recrutement au niveau DR2 ou PR2, DR1 ou PR1 sassimile plus au cas prcdent qu celui des jeunes. Donc lcrmage prliminaire par la bibliomtrie est possible dans le cas dun trs grand nombre de candidats.
- Dans le cas o la dcision finale ne correspondrait pas aux indices bibliomtriques, une argumentation explicite des raisons de cette dcision devrait tre fournie. - Les valuations bibliomtriques des chercheurs candidats un contrat de recherche ou une distinction (prix, mdailles, Acadmies, etc.) doivent tre abordes de faon particulire en fonction du contexte et de lge des chercheurs concerns, en donnant une grande importance loriginalit du travail souvent mal prise en compte par la bibliomtrie. Recommandation n 4 : Il faut tenir le plus grand compte, lorsque cela est possible, de la place et de la contribution de lauteur dans larticle considr Lorsquun article est sign par plusieurs auteurs, il est frquent que la contribution au travail et la publication diffre pour chaque auteur, ce qui est souvent rvl par sa place dans lordre des signataires. Le problme se pose diffremment selon le nombre dauteurs et selon la discipline (dans certaines disciplines lordre des auteurs est alphabtique, dans dautres il relve de la hirarchie des contributions selon des modalits variables et complexes). - Il est essentiel de ne pas mettre au mme niveau de notorit pour un auteur donn, les articles dans lesquels il a jou un rle dterminant et ceux pour lesquels il na t quun collaborateur. - La notion dauteur demande une clarification. Il pourrait tre utile de recommander aux revues de toutes disciplines lutilisation des critres dauthorship de Vancouver (cf. annexe 4). - Il pourrait tre galement rvlateur de sinformer sur les co-auteurs dun article. Recommandation n 5 : Lvaluation bibliomtrique doit tre lobjet de recherche pour en amliorer la valeur. La France doit participer cette rflexion Toutes les prcdentes recommandations ne constituent que quelques suggestions qui demandent tre approfondies. LAcadmie recommande cette occasion la formation dun Comit de pilotage de lvaluation individuelle bibliomtrique, par exemple dans le cadre de lObservatoire des Sciences et Techniques (OST) qui est un oprateur public ayant dj une longue expertise en matire de bibliomtrie. Il serait constitu dun petit groupe dexperts reprsentant diverses disciplines et divers organismes, ayant en charge ltude des limites et lamlioration des indicateurs et de leur utilisation. Ce groupe devrait engager des recherches et fournir des directives concrtes, valides un niveau au moins europen, en sappuyant sur diffrents tests et tudes : test rtrospectifs, mise au point de critres pour dtecter les valeurs doriginalit, dinnovation, de rayonnement, et de cration dcole de pense, tudes pour affiner les indicateurs existants, etc
DU BON USAGE DE LA BIBLIOMETRIE POUR LEVALUATION INDIVIDUELLE DES CHERCHEURS
Introduction
La bibliomtrie a acquis une place croissante dans lvaluation des chercheurs, tant au niveau des individus dont il sera seulement question ici, que des quipes et des institutions. Cette place est explique par la simplicit de son utilisation et par laccs quelle procure des informations factuelles et relativement synthtiques sur la carrire des chercheurs. En mme temps, il sest rvl lusage que la bibliomtrie ntait pas toujours bien utilise, et surtout, pouvait tre lobjet de graves dviances lorsquelle tait utilise isolment. Dans son rapport du 8 juillet 2009, lAcadmie des Sciences a souhait raffirmer que les pairs doivent jouer le rle dcisif dans lvaluation individuelle des chercheurs (cf. annexe 2). Malheureusement, de nombreux cas de mauvais fonctionnement de lvaluation qualitative par les pairs sont observs : conflit dintrt, favoritisme disciplinaire ou autre, localisme, effet de groupe, insuffisance de comptence des valuateurs, examen trop superficiel des dossiers, etc.. La question sest donc pose de savoir comment s'assurer d'un meilleur fonctionnement de l'valuation par les pairs. Afin de pallier ces dysfonctionnements, lvaluation de limpact des travaux des chercheurs base sur une analyse quantitative, cense apporter un avis plus factuel, a t propose dans certaines disciplines comme outil daide lvaluation qualitative par les pairs. Cest cet usage qui est couramment appel bibliomtrie. Toutefois, la bibliomtrie nest pas ncessairement objective et souffre de nombreux biais. Elle est gnralement rduite quelques nombres et ainsi utilise dune manire considrablement rductrice, mme si les bases de donnes actuelles permettant dtablir ces indicateurs reclent une quantit dinformations qui, une fois bien prises en compte par des experts, pourraient devenir une aide significative pour lvaluation qualitative. Cest sur lusage des listes de publications et des indicateurs fonds sur les citations de ces publications que porte ce rapport, qui tentera tout la fois de faire le point de la situation prsente et douvrir des pistes pour son amlioration.
I.
Dfinition et objectifs de la bibliomtrie
On entend gnralement par bibliomtrie, mais il vaudrait mieux dire valuation bibliomtrique, lensemble des procdures qui contribuent lvaluation de la production scientifique dun chercheur (ou dun ensemble de chercheurs) partir du nombre de ses publications, du prestige des revues dans lesquelles elles ont t faites, et des citations auxquelles elles ont donn lieu. En tout tat de cause, la bibliomtrie ne mesure pas la qualit dun chercheur mais seulement ses citations, sans prjuger des raisons qui lont amen tre cit. Comme on le verra dans ce rapport, plusieurs indicateurs ont t proposs pour servir de base lvaluation individuelle par la bibliomtrie. Il est important de dire demble quaucun de ces indicateurs ne peut, lui seul, permettre une valuation acceptable de lactivit dun chercheur et que mme la prise en considration de plusieurs indicateurs ne peut pas non plus assurer cette valuation. On peut mme regretter que le terme bibliomtrie inclue le radical mtrie qui implique la notion de mesure, alors que l'unit de mesure bibliomtrique varie suivant les disciplines et les sous-domaines de recherche. Chacun saccorde reconnatre que toute activit scientifique doit, terme, donner lieu une diffusion convenable des observations ralises, sous forme habituellement de publications dans des revues scientifiques comit de lecture, mais aussi selon les disciplines sous dautres formes (archives ouvertes, confrences, livres, etc.), qui tmoignent de la participation du chercheur concern aux progrs scientifiques dans son domaine. Il est galement apparu avec le temps que la hirarchie entre les revues scientifiques amne les chercheurs soumettre leurs articles de faon prfrentielle celles qui ont le plus grand prestige. On conoit ds lors que publier dans ces bonnes revues devienne un objectif et en retour un indice de notorit. Assez naturellement et niveau gal, les articles publis dans ces revues sont plus souvent cits que ceux publis dans dautres revues moins prestigieuses. Paralllement, et de faon troitement intrique au point prcdent, les meilleurs articles donnent le plus souvent lieu un nombre lev de citations que les moyens informatiques actuels permettent de dnombrer de faon prcise, ce qui a conduit lhypothse que plus un article tait cit un grand nombre de fois, plus il tait important. Ce sont ces concepts qui sont la base de la pratique bibliomtrique, qui lorigine avait t conue pour dfinir des domaines scientifiques, puis pour lvaluation des revues elles-mmes. La bibliomtrie a suscit un grand engouement dans une bonne partie de la communaut scientifique parce que son utilisation apparaissait aise et permettait une "valuation" plus rapide et donc moins coteuse de lactivit dun chercheur que ltude qualitative de ses travaux. Nanmoins, en raison mme de cette facilit, il est apparu au cours des annes que la bibliomtrie tait utilise de faon excessive, parfois cache, souvent incorrecte en raison de la mconnaissance des nombreux piges auxquels elle expose, sans validation des donnes, au dtriment de lvaluation qualitative.
Cest de lensemble de ces sujets que traite ce rapport en tentant de prendre le recul ncessaire pour mettre la bibliomtrie en perspective dans lvaluation scientifique, et en proposant des recommandations pour son meilleur usage et lamlioration technique de ses modalits d'utilisation.
II.
Place respective de la bibliomtrie et de lvaluation qualitative par les pairs
Il est important de savoir valuer les travaux scientifiques et du mme coup la qualit de la production des chercheurs lorigine de ces travaux. Cela est essentiel pour les recrutements, les promotions de chercheurs et denseignants-chercheurs et lattribution de distinctions ou de prix. Cela est galement fondamental pour dcider du niveau des subventions individuelles de recherche. Cela est enfin trs utile pour apprcier la qualit des auteurs dune recherche ou dun article. Ce grand nombre dobjectifs pose dailleurs un problme en soi dans la mesure o il conduit la rptition incessante dvaluations des chercheurs, source de perte de temps et dnergie pour les valuateurs et les valus, surtout si lon y rajoute lexpertise des manuscrits par les revues. Pendant de nombreuses annes, avant quil ait t possible de recourir la bibliomtrie, lvaluation quantitative se limitait la prise en compte du nombre de publications dont on verra ultrieurement les biais. Elle tait -et elle reste heureusementcomplte par lanalyse qualitative des travaux, le plus souvent sur la base darticles scientifiques, parfois sur la prise de brevets, ou sur limpact des dcouvertes ralises au niveau fondamental ou appliqu. Dans la majorit des cas, lvaluation scientifique est effectue par des experts de la mme discipline, des pairs , runis dans un jury ou un comit. Ce nest pas le lieu ici de discuter des modalits de cette valuation qualitative qui doit, en outre, prendre en compte, lorsquil sagit de lvaluation dindividus, dautres critres que les travaux scientifiques proprement parler (notamment lenseignement et la participation aux tches collectives). LAcadmie a publi en 2009 un rapport dtaill sur ce sujet (http://www.academie-sciences.fr/actualites/textes/recherche_08_07_09.pdf). Il convient de rappeler que certains de ces autres critres comportent un lment quantitatif, notamment le nombre de brevets (modul par lobtention dune licence dans lindustrie), le nombre de confrences invites ou de contrats internationaux obtenus, les logiciels pour les informaticiens, auxquels on pourrait ajouter dsormais les invitations changer de laboratoires, le Transfer Market, trs dvelopp aux USA (par exemple loccasion du fameux March Meeting en Physique) et dans les pays anglo-saxons en gnral, autant dindicateurs quantitatifs qui ne relvent pas de la bibliomtrie. Le vrai problme est celui de la place respective de lvaluation qualitative par les pairs et de lvaluation bibliomtrique. II. 1 Les faiblesses de l'valuation par les pairs Il convient, ce stade, de remarquer que l'mergence et l'usage de la bibliomtrie sont en partie dus aux insuffisances de lvaluation qualitative, au moins dans certaines disciplines. Le premier rapport de lAcadmie cit plus haut, dont les conclusions sont rappeles en
10
annexe, prsente les manquements frquents concernant la qualit des valuateurs, leur thique personnelle, lobjectivit, la transparence, la qualit de leurs valuations, et lanalyse trop superficielle des travaux examins lie en partie au nombre excessif dexpertises demandes aux meilleurs scientifiques. En dautres termes, sil est ncessaire de nuancer limportance de la bibliomtrie en en vitant tout usage excessif, il est important de garder lesprit la ncessit damliorer les valuations qualitatives. En fait, le problme est complexe. En premier lieu, la valeur de lvaluation qualitative est trs variable selon les disciplines et selon les institutions. En outre, elle inclut lvidence, au moins dans certaines disciplines, de faon directe ou indirecte, consciente ou inconsciente, des lments de bibliomtrie. Il nen reste pas moins, comme cela a dj t dit plusieurs reprises, que lvaluation fondamentale doit tre qualitative, mme si elle utilise la bibliomtrie comme outil, ce qui est le plus souvent justifi. La vraie difficult sur laquelle lon reviendra, est quen raison mme de la variabilit de sa qualit qui vient dtre mentionne, il est difficile de dire quand une valuation qualitative est vraiment satisfaisante, ce qui rend trs dlicat son utilisation comme rfrence pour valider lvaluation bibliomtrique. En bref, il convient paralllement damliorer, lorsque cela est ncessaire, lvaluation qualitative en liminant en particulier les risques de conflit dintrt et dincomptence des valuateurs, et dy intgrer la bibliomtrie la plus pertinente possible dans les disciplines o cela sy prte. II. 2 La bibliomtrie, comme outil pour l'valuation La bibliomtrie a des avantages vidents. Elle est apparemment simple raliser et fournit des lments d'information factuels quand elle est utilise correctement. Elle a linconvnient considrable de rsumer par des nombres, de faon potentiellement biaise, la production scientifique des chercheurs, sans tenir compte des aspects multiples et complexes de lapprciation de l'originalit et de la qualit dun travail scientifique. Sy ajoutent, lon y reviendra en dtail, dnormes diffrences dans la pertinence et en consquence dans lutilisation de la bibliomtrie pour les diffrentes disciplines ou sousdisciplines. Ces remarques importantes expliquent que toute valuation srieuse doit rester fonde sur lvaluation qualitative par les pairs. Il convient, ce stade, de remarquer que les membres du groupe de travail ont converg sur laffirmation que la bibliomtrie ntait pas la panace mais seulement un outil utiliser avec discernement par les pairs. Ces derniers utilisent dj les outils bibliomtriques de faon consciente ou inconsciente, cache ou non cache, par exemple lorsque des lettres de recommandations souvent bases sur des critres bibliomtriques sont fournies au dossier dun chercheur. En tout tat de cause, les valuateurs examinent la liste des publications en connaissant la qualit des revues o sont publis les articles et il faut esprer quils examinent aussi les articles eux-mmes. Quelles que soient les rticences que lon peut avoir vis--vis de la bibliomtrie, il faut reconnatre quelle a droit de cit dans de nombreuses disciplines (pas dans toutes, notamment en mathmatiques et en SHS, lon y reviendra plus loin). Nier son intrt est la fois injustifi
11
et de toute faon inutile car elle continuera tre utilise. Il parat plus opportun den cerner les limites et den prciser le bon usage. Notons que, pour ce qui concerne lvaluation de la production scientifique dune institution, dune communaut scientifique, dune rgion, ou mme dun pays, il y a moins de souci avec le quantitatif. Lutilisation de la bibliomtrie peut mme savrer trs utile, voire indispensable. La seule exigence est que l'indicateur soit suffisamment pertinent. II. 3 Les cueils de la bibliomtrie Avant dentrer dans les dtails un peu techniques de la pratique bibliomtrique, il est important de souligner que le concept gnral consistant prendre en considration de faon quantitative limportance des travaux scientifiques par le nombre de citations auxquelles ils ont donn lieu, est un raccourci. Il convient, en effet, de raliser combien lapparition dune rfrence dans un article qui sera utilise comme citation a des origines trs diverses, pas toujours corrles avec la qualit du travail. On sait bien que si les articles importants sont cits prfrentiellement, les rfrences sont trs souvent choisies plus avec opportunisme quen fonction de la qualit stricte du travail cit. Ainsi les articles publis dans les grands journaux sont privilgis qualit gale par rapport ceux publis dans les journaux de notorit moyenne (lauteur peut avoir le sentiment que son article est bonifi par la nature des revues dont sont issues ses rfrences). Dans certains cas, on peut penser, mme si cela reste prouver, que lutilisation de rfrences darticles publis dans le journal o est soumis le manuscrit, peut aider. Cette pratique que lAcadmie rprouve est encourage dans certaines disciplines par les diteurs scientifiques eux-mmes. Sy ajoutent les biais crs par les auto-citations, les citations de collgues en vue (potentiels rapporteurs de l'article soumis) ou avec lesquels lauteur de larticle a des relations ou collaborations personnelles, les non-citations de collgues concurrents, ou mme des phnomnes de rseaux assurant des citations privilgies au sein dun groupe de scientifiques. On peut aussi mentionner le cas, peut-tre anecdotique mais significatif, des articles fortement cits pour souligner les erreurs de rsultats ou dinterprtation quils contiennent. De plus, selon les cultures, un avantage peut tre donn aux citations de scientifiques du mme pays, ou au contraire aux scientifiques dautres pays, notamment amricains, comme cela est souvent le cas en France, ou encore aux articles crits en anglais plutt quen franais dans les disciplines o le problme se pose (Mathmatiques, SHS). Par ailleurs, des articles peuvent ne pas tre cits parce quils sont des quasi-classiques, ou parce quils sont trs originaux. Un autre danger de la bibliomtrie est limportance sans doute excessive qui lui est donne dans certains domaines scientifiques, par exemple en biologie et mdecine. Un article est important parce quil est publi dans une revue prestigieuse, Nature ou Science, alors que lon sait trs bien que ces revues, par ailleurs tout fait excellentes, peuvent contenir des articles de moindre envergure et peu cits (plus de 50% des publications dans Nature ont reu, depuis 2008, zro ou au mieux une seule citation). Plus grave encore est la tendance de certains chercheurs organiser leur travail et leur politique de publication en
12
fonction des revues dans lesquelles ils souhaitent publier leur article, en vue damliorer leurs performances bibliomtriques au dtriment de loriginalit et de laudace. Publier dans la revue vise devient parfois plus important que lobjectif scientifique de leur travail. Il en dcoule un avantage bibliomtrique en faveur de ces professionnels de la publication, une tendance malheureuse qui nest pas exceptionnelle. Il peut tre intressant de savoir que daprs Physics World (Novembre 2010), le travail qui est lorigine des deux prix Nobel de physique 2010 a t refus deux fois par Nature avant dtre publi par Science. Des travaux de premire importance peuvent ne pas avoir t publis par Nature ! Enfin, comme cela a t soulign dans le premier rapport de lAcadmie, la bibliomtrie ne prend pas en compte un certain nombre dlments importants pour l'valuation des chercheurs et enseignants-chercheurs, notamment loriginalit de la recherche, linnovation conceptuelle, les applications de la recherche, leur utilit scientifique et industrielle. Il faut y rajouter le rayonnement dune faon gnrale et la cration dune cole de pense qui est dailleurs elle-mme valuable par ltude bibliomtrique des collaborateurs forms par le chercheur considr. Tous ces cueils sont srieux. Sy ajoutent, comme voqu plus bas, de nombreuses causes derreurs dans lutilisation de la bibliomtrie. Tout ceci constitue un ensemble dlments qui doit inciter une grande prudence dans son usage. Il faut le redire, il est impossible dvaluer un chercheur uniquement par de simples indices quantitatifs. Il suffit pour sen convaincre dobserver que certains trs grands chercheurs, notamment des laurats de prix Nobel, ont des indices bibliomtriques relativement faibles et qu linverse certains chercheurs ayant des indices extrmement levs nont pas de contribution la hauteur de ces indices par comparaison au reste de la communaut scientifique. On peut mentionner cet gard lexemple des deux mdailles Fields 2010, Cdric Villani cit 1520 fois par 629 auteurs et Ng Bo Chu cit 102 fois par 52 auteurs, alors quaucun mathmaticien au monde ne se risquerait y voir une disparit de niveau. De nombreux exemples pourraient tre cits montrant comment des travaux de grande importance ont t peu cits, au moins pendant les premires annes suivant les publications et reparaissent sur le devant de la scne ultrieurement.
III.
Diversit des habitudes et pratiques des diffrentes disciplines
Il faut noter demble que nous navons pas connaissance, ltranger, dune utilisation officielle de la bibliomtrie pour lvaluation individuelle des scientifiques, mme si lon sait quil en est fait un trs large usage en pratique. Toutefois, de nombreux pays anglo-saxons utilisent dj officiellement la bibliomtrie au niveau de lvaluation des performances des universits et organismes de recherche, et les tudes sur la bibliomtrie ont donn lieu un dveloppement considrable avec un nombre de
13
publications sur ce sujet augmentant de faon majeure durant ces 20 dernires annes, comme en tmoigne lintrt quun journal comme Nature lui porte (voir Nature 17 Juin 2010 et 8 Juillet 2010 pour ne retenir que les numros les plus rcents). Au niveau individuel, la lecture des rsultats dun sondage effectu par Nature auprs de 150 chercheurs, enseignants-chercheurs ou responsables de dpartements (volume 465, p 860, 17 juin 2010) fait ressortir que 70% des sonds pensent que les considrations bibliomtriques sont utilises pour le recrutement et les promotions, mais que 63% dentre eux jugent lutilisation des mesures quantitatives inadquates. Tout cela dmontre bien que dans tous les pays, lutilisation de la seule bibliomtrie en vue dune valuation est loin dtre perue comme satisfaisante. Dans les universits et organismes de recherche amricains ou britanniques, il semble que pour les embauches et les promotions, le curriculum vitae, lentrevue et les lettres de recommandations comptent davantage que les considrations bibliomtriques. Toutefois, la bibliomtrie a t largement utilise pour lembauche dans les universits chinoises et asiatiques en gnral, mais une volution vers une plus grande utilisation des lettres de recommandations se fait actuellement sentir. Les pratiques bibliographiques et bibliomtriques varient considrablement selon les disciplines, voire les sous-disciplines. Cela vaut autant pour lutilisation de la bibliomtrie que pour la qualit des bases de donnes. Ces diffrences, auxquelles il faut ajouter lnorme disparit de taille des communauts concernes, doivent inciter ne pas gnraliser toutes les disciplines les commentaires que lon peut faire sur la bibliomtrie, et surtout, sinterdire de comparer les indicateurs bibliomtriques entre des chercheurs appartenant des disciplines ou des sous-disciplines diffrentes. Les pratiques bibliomtriques dans les principales disciplines sont prsentes en annexe 3. Il faut signaler ici cependant la diffrence considrable observe en mathmatiques et en sciences humaines et sociales o la bibliomtrie est peu ou pas prise en considration pour lvaluation des chercheurs, par rapport aux autres disciplines, en particulier la biologie et la mdecine, o elle est largement utilise. Dautres diffrences importantes mritent dtre notes, en particulier le nombre et lordre des auteurs. Comme on le reverra dans le chapitre suivant, cet ordre est alphabtique dans certaines disciplines alors quil tient compte de la contribution de lauteur dans dautres, et les exigences de participation effective dun auteur au travail publi varient sensiblement selon les communauts. Enfin, la propension citer est galement un trait culturel qui diffre dune communaut lautre et qui se traduit par exemple dans le nombre de citations admises par les journaux en fin darticle dans chaque discipline Ces commentaires doivent inciter toujours replacer les indicateurs bibliomtriques dans le contexte de la discipline, avec une rfrence la distribution des indicateurs dans cette discipline.
14
IV.
Les auteurs et limportance de leurs contributions respectives
Le problme des auteurs est une fois de plus trs dpendant des disciplines. Les habitudes et les pratiques en matire de rdaction et de signature darticles varient considrablement dune discipline, voire dune sous-discipline, lautre. Cest en biologie que le problme est le plus aigu car les sciences du vivant ont une culture bibliomtrique intensive, notamment en France. Dans ce champ disciplinaire, la moyenne du nombre de signataires dun article varie entre 5 et 10, mais parfois plus. La pratique est que le premier signataire est ltudiant ou le post-doc qui a fait la manipulation, le deuxime est la personne qui lui est la plus proche, puis lon passe au dernier qui est le directeur de thse et en remontant, le directeur du groupe, le directeur du laboratoire, etc.. La difficult rside surtout pour les signataires du milieu dont la contribution a t moins importante mais qui, dans les indicateurs, sont comptabiliss de la mme manire que les autres. Cela cre une confusion entre auteur et collaborateur et souvent une sur-cote pour certains dans les indices de citations, et peut devenir un facteur de perversion grave. Se rajoute cela la question des auteurs correspondants qui communiquent des informations pas toujours exactes sur les contributions respectives des auteurs. Ce problme est galement trs important en sciences mdicales. Il faut savoir que lactivit de recherche des hpitaux a des consquences financires sur leur budget et que cette activit est mesure travers les publications de leurs chercheurs par un systme de validation par points en fonction de leur place dans la liste des auteurs des articles. En mathmatiques, en revanche, le problme nexiste quasiment pas car plus de la moiti des articles nont quun seul auteur, moins de 10% dentre eux en ont trois, et une trs faible proportion en a plus. Lordre est strictement alphabtique. En mathmatiques fondamentales, il est rare que les chercheurs publient avec leurs tudiants, contrairement aux mathmatiques appliques. En physique et dans ses sous-disciplines, les habitudes sont trs varies. Le cas de la physique exprimentale des particules et des hautes nergies est particulier, avec souvent des articles runissant des centaines dauteurs dont les contributions respectives sont dlicates identifier. Dans ces domaines, le fait dtre reconnu comme auteur dun papier ne joue ni sur lobtention de crdits pour le laboratoire ni sur la carrire des chercheurs. La physique thorique ne pose pas de problme particulier. Par contre, les articles exprimentaux en physique de la matire condense ou molle commencent compter un grand nombre de signataires (dpassant parfois la dizaine), surtout si les travaux font usage de grands instruments. La signature systmatique dun article par le chef de laboratoire nest plus une pratique courante chez les physiciens.
15
En gosciences, les articles comme en biologie ont en gnral moins de 10 auteurs et encore assez souvent moins de 5. L'ordre est en gnral assez li l'importance (dcroissante) des contributions. Le premier auteur est normalement celui qui a effectu le plus gros du travail, de plus en plus souvent le doctorant concern, mais parfois le chercheur confirm qui est le "principal investigator" ou qui a eu l'ide essentielle. Il arrive, mais rarement, que le dernier auteur soit l'un des patrons de l'quipe concerne. De plus en plus frquemment, les principaux ingnieurs de recherche ayant collabor sont co-auteurs. En chimie, la bibliomtrie nest pas utilise de manire officielle, mais les indicateurs habituels (le facteur H, le nombre total de citations et le nombre de citations par article) sont largement mentionns lors de discussions prliminaires de manire importante lorsquil sagit dvaluer les carrires ou les mrites de chercheurs ayant plus de dix douze annes dactivit de recherche. La taille de la communaut et la diffusion internationale des travaux permettent lutilisation de ces indicateurs avec pertinence de la part dvaluateurs de qualit. Dans la pratique, les sections de chimie du comit national du CNRS ou du CNU vitent la prise en considration des indicateurs bibliomtriques. En sciences conomiques, les auteurs apparaissent par ordre alphabtique, ce qui rendrait trs difficile lidentification de la contribution de chaque auteur. Le nombre dauteurs est cependant limit (souvent un seul auteur et moins de 5% des articles ont plus de quatre auteurs) et la tradition consiste considrer que chaque auteur a contribu de manire identique au travail. En sociologie et dans nombre dautres disciplines de SHS, les professeurs duniversit utilisent trop souvent les travaux de leurs tudiants sans leur donner le statut dauteurs. La pratique est en train dvoluer : les travaux signs par plusieurs auteurs sont moins rares, mais les rticences des diteurs douvrages conduisent rduire le nombre de signataires. Le problme ne se pose pas dans les revues scientifiques. Cependant, lordre des auteurs est galement presque systmatiquement alphabtique, ce qui ne donne aucune indication sur la participation des diffrents auteurs. En sciences humaines, les publications peuvent prendre des formes trs diverses comme des ouvrages un seul auteur ou des ouvrages collectifs. A cette liste, sajoute le cas particulier de certains secteurs de la recherche, notamment les disciplines mergentes, qui peuvent agrger des quipes entires, et dans lesquels il arrive souvent que les articles soient signs par une multitude dauteurs. Tout ceci ramne la question de la notion dauteur. Qui peut ou doit tre considr comme auteur ? Celui sans lequel la publication ne pourrait pas se faire (selon les critres dauthorship noncs par Guy Ourisson), celui qui est capable de dfendre devant ses pairs le contenu de la publication, ou encore dautres critres ?
16
Et quand a t dfini le ou les auteurs, il faudrait que soit prcis de faon explicite et claire qui a fait quoi, ce qui est dj le cas dans certains journaux anglo-saxons (par exemple PNAS et Nature). On pourrait aussi dcider de se calquer sur le systme pratiqu sans aucune contestation pour les brevets, qui attribue aux auteurs un pourcentage en fonction du niveau de leur participation, mais cela peut se rvler assez compliqu et parfois injuste dans la pratique, surtout lorsquils sont nombreux. Il est sans doute bon, par ailleurs, de rappeler que si un travail exprimental est le plus souvent collectif, lide originale du travail est par contre gnralement personnelle. Dans ce contexte, il serait sans doute intressant de rappeler les critres dauthorship de Vancouver (http://www.icmje.org/ethical_1author.html) (joints en annexe 4) malheureusement peu connus, qui ont dict des rgles concernant les auteurs darticles en mdecine mais gnralisables dautres disciplines, et de demander quils soient respects. Quelques remarques enfin pour terminer ce chapitre. Le problme des auteurs pourrait tre trs minimis dans le cas dune prise en compte de quelques articles prfrentiels par les valuateurs. Ces articles, au nombre de 5, 10 ou 20 suivant le contexte, devraient tre proposs par les chercheurs concerns, quils tiennent compte ou non de limportance du journal ou du nombre de citations. Il est intressant ici de noter que lERC demande la liste des 10 meilleures publications dans lesquelles le candidat est lauteur senior. Il faudrait ensuite croiser les informations bibliomtriques concernant ces articles (facteur dimpact de la revue, nombre de citations, discipline, ou mme qualit des auteurs de ces citations) avec les indicateurs globaux dont il sera question plus bas. Enfin, il pourrait tre intressant de connatre le ou les co-auteur(s) dun candidat valu. La question reste pose de savoir comment grer la valeur dune citation dun article pour un auteur situ dans les places du milieu, quand on sait que le rle de cet auteur dans la conception de la ralisation du travail est souvent modeste. Le problme est particulirement aigu lorsquun auteur se trouve souvent dans cette situation. On pourrait imaginer, mais cela mritera une rflexion complmentaire, dapporter un facteur correctif la citation. Plus simple est de laisser aux jurys le soin dexaminer la liste des principales publications de lauteur concern en examinant sa place parmi les auteurs et en en tenant compte dans la considration des indicateurs. Un autre problme est celui de la signature darticles par les ingnieurs et les techniciens qui se retrouvent souvent au milieu des auteurs. Il y a l un vritable problme, au-del de lhommage rendu ces personnels, surtout quand leur organisme de rattachement considre leurs publications pour leur promotion. La contribution de ces personnels devrait faire lobjet dune discussion spcifique. Plus gnralement, de rares exceptions prs, tout signataire dun article a eu une contribution significative, et il est normal de faire apparatre sa signature qui traduit la reconnaissance du laboratoire son gard. Il nen reste pas moins que ne pas
17
faire de diffrence entre les contributions de chacun est injuste pour ceux qui ont jou un rle dterminant.
V.
Le choix des indicateurs et bases de donnes
Il faut prciser que le terme indicateur auquel il est fait rfrence dans ce rapport nest pas du tout celui du dictionnaire Robert daprs lequel lindicateur est celui qui dnonce un coupable ou qui se met la solde de la police pour la renseigner . Dans le sens bibliomtrique du terme, l indicateur doit tre considr comme une aide pour les comits de slection et mme comme un guide pour les chercheurs, permettant de situer limpact de leur travail vis--vis de celui de leurs collgues de la mme discipline. Comme cela a t voqu, les indicateurs bibliomtriques les plus utiliss actuellement sont fonds sur le nombre d'articles publis et de citations auxquels ces articles scientifiques donnent lieu, que lon considre selon les cas les citations dun auteur ou dun groupe dauteurs particulier ou les citations darticles parus dans une revue donne pendant une priode dfinie. V. 1 Les bases de donnes Plusieurs bases de donnes peuvent tre aujourdhui utilises pour calculer les indices bibliomtriques. La plus couramment utilise est la Web of Knowledge (WoK) de ISIThomson Reuters, mais il faut aussi citer la base SCOPUS de Elsevier. Toutefois, cest gnralement la base Wok de ISI que lon se rfrera dans ce rapport dans la mesure o tous les chercheurs du CNRS, des UMR, et de la plupart des organismes de recherche publics ont accs la base complte ISI grce un abonnement institutionnel pris par lINIST. Ces bases sont, dans lensemble, de bonne qualit, en particulier pour les disciplines chimie, physique, biologie et mdecine quelles couvrent 90%, mais elles doivent tre utilises avec prcaution. Certaines incluent les rsums darticles (abstracts) comme Mathreviews ou les lettres lditeur, dautres pas. A noter cependant, qu lheure actuelle, ces bases de donnes ne sont pas appropries pour les SHS, ce qui limite de trs rares domaines les perspectives effectives dutilisation de la bibliomtrie dans ces disciplines. Il faut aussi mentionner lexistence de bases disciplinaires daccs libre, comme la base ADS gre par le Smithsonian Astrophysical Laboratory, Harvard, et le Centre de donnes astronomiques de Strasbourg qui concerne lastronomie, lastrophysique et la physique (http://cdsads.u-strasbg.fr/). Il faut cependant noter que la base ADS ne couvre essentiellement que lastronomie et lastrophysique et partiellement la physique. Pour les chercheurs dont les travaux sont pluridisciplinaires, il est impratif de recourir des bases compltes en ce qui concerne les disciplines. De faon plus gnrale, le problme se pose de savoir sil faut considrer de la mme faon les diffrents types darticles cits dans les bases de donnes, autres que les articles 18
originaux. Les rsums ne devraient pas tre pris en considration, mais l encore, les pratiques sont diffrentes selon les disciplines car en mathmatiques par exemple, le fait pour un jeune dbutant quil soit un reviewer actif sur la base Mathreviews est trs apprci des comits. Les lettres lditeur, les revues gnrales et les ditoriaux certes ne sont pas des articles originaux, mais on peut considrer quils reprsentent un indice de notorit et quil vaut mieux les conserver dans lanalyse bibliomtrique, ce qui est par ailleurs plus simple pour le calcul des indicateurs. On pourra toutefois remarquer que la base Web of Knowledge permet de faire le tri entre les diverses formes de publications dun auteur, articles, lettres, commentaires, livres, comptes rendus de confrences, etc. Il est sans doute utile de rappeler quun article mme trs court peut tre porteur dinnovation importante. Le prix Nobel PG. de Gennes avait souvent comme coutume la publication de courtes Notes aux Compte Rendus de lAcadmie des Sciences. Lanciennet des articles cits varie dune base lautre. Les articles les plus anciens (par exemple avant 1975) ne sont pas toujours pris en compte. En fait, dans la base WoK de ISI, pratiquement tous les articles sont pris en compte dans la mesure o la revue est rpertorie dans la base. Le problme est plutt que labonnement de certains chercheurs ne donne droit qu une consultation partielle de la base WoK de ISI, ce qui peut pnaliser lvaluation des chercheurs seniors, et qui peut tre gnant quand ceux-ci demandent certains contrats (exemple de lERC). Enfin certaines donnes peuvent manquer. Ainsi, pendant certaines priodes, les articles comportant plus de dix auteurs nincluaient pas les auteurs au-del du dixime. V. 2 Le facteur dimpact Le facteur dimpact (FI) des revues scientifiques fut le premier indicateur connatre une large publicit. Il tait destin lorigine aux professionnels de ldition. Son rle a t dtourn de sa fonction initiale par les chercheurs. Il est dfini par le nombre moyen de citations attribu chaque revue, pendant une priode donne, des articles publis dans cette revue. Le FI est en premire approximation en bonne corrlation avec la qualit de la revue, la rserve prs que la priode prise en compte pour son calcul est probablement trop courte (deux ou cinq ans dans la base JCR de ISI) ce qui ne donne pas de place aux articles donnant lieu des citations pendant de trs nombreuses annes (souvent les articles qui ont eu le plus dimpact sur le progrs scientifique). Il convient, en outre, de remarquer que les facteurs dimpact peuvent tre lobjet de manipulations par certaines grandes revues. En effet, les maisons ddition sont trs dsireuses de voir augmenter leur facteur dimpact ce qui leur permet damliorer le prestige de leur journal et, en consquence, le nombre de leurs abonns ou souscripteurs darticles individuels. On peut noter, parmi les stratgies dveloppes par certaines dentre elles pour augmenter leur FI, par exemple la diminution du nombre d'articles accepts, ou le fait de favoriser certaines revues gnrales ou des disciplines la mode qui donneront lieu plus de citations que dautres.
19
Un facteur dimpact faible ou moyen peut discrditer de faon tout fait anormale certains journaux respectables contenant un certain nombre dexcellents articles, par un simple effet de dilution par des articles srieux mais marginaux et peu cits. A titre dexemple, le Journal of Immunology qui est la revue de la Socit Amricaine dImmunologie contient un pourcentage lev dexcellents articles qui auraient toute leur place dans des revues plus prestigieuses mais qui en ont t exclus pour des raisons diverses. Le FI de cette revue sest pourtant abaiss de faon considrable au cours de ces dernires annes par la dilution de ces articles importants par des articles peu cits. Il ne faut pas oublier, en effet, que le FI est par dfinition une moyenne qui ninclut pas la distribution des valeurs individuelles autour de la moyenne. Il est difficile dintervenir sur la pratique des maisons ddition qui sont prives pour la plupart dentre elles. Tout au plus peut-on noter avec satisfaction le succs de certaines revues gres par des socits savantes ou par des entreprises non lucratives. Il est trs regrettable que le FI soit devenu la mesure de la qualit des revues, au point que nombre de chercheurs sont amens considrer le FI du journal dans lequel ils publient leurs articles comme la mesure de la qualit de leur travail. La quasi-totalit des membres du groupe de travail ainsi que les experts trangers consults se sont montrs daccord pour dire quil ne fallait pas intgrer le FI des revues dans lesquelles les articles sont publis, dans lvaluation de la production scientifique dun chercheur, lexception peut-tre des trs jeunes chercheurs pour lesquels le nombre de citations nest pas encore utilisable. Mme dans ce cas, le FI ne doit pas avoir la place qui lui est trop souvent donne dans les recrutements de jeunes chercheurs : un chercheur est frquemment recrut vie sur la base dune ou deux publications dans une revue fort FI, dans beaucoup de disciplines. Il arrive malheureusement que les chercheurs ainsi recruts dont la responsabilit personnelle dans les articles en question est souvent incertaine, ne confirment pas les espoirs placs en eux. Ici aussi, il faut insister sur limportance de prendre en considration, avant les facteurs dimpact, la qualit du travail et la capacit du candidat le prsenter ou le discuter au mieux au cours d'une audition. V. 3 Le nombre total de citations Le deuxime indicateur utilis en bibliomtrie est le nombre total de citations obtenues par lauteur. Cest un indicateur intressant, biais nanmoins par deux lments majeurs : la place de lauteur dans larticle qui nest pas prise en compte dans cet indicateur (voir plus haut le chapitre sur les auteurs), et le fait que certains articles peuvent avoir un indice de citations considrable pour des raisons parfois sans rapport avec limportance de la contribution qui lui est associe (par exemple la description dune technique, dun ractif ou dun OGM, ou encore un ouvrage didactique).
20
V. 4 Les nouveaux indicateurs, en particulier H, G, et autres Rcemment, de nouveaux indicateurs bibliomtriques orients vers lvaluation des chercheurs ont t produits pour rpondre aux objections qui viennent dtre prsentes concernant le FI et le nombre total de publications. Ces nouveaux indicateurs sont des sousproduits des bases de donnes rpertoriant les articles ainsi que les citations de ces articles. Les indicateurs bibliomtriques ont t mis en place sans modle thorique sous-jacent et leur utilisation courante repose sur des hypothses qu'il serait utile de solidifier par des tudes systmatiques. Pour l'instant, il y a d'un ct des bibliomtres qui raffinent les proprits de leurs indicateurs, et de l'autre des utilisateurs qui se disputent coup d'exemples et contre-exemples cits en vrac sans relle validation. Lindicateur le plus populaire est le facteur H (H pour Hirsch, auteur de cet indice). Le facteur H est dfini de la faon suivante : il est calcul en classant les publications par ordre dcroissant en fonction du nombre de citations auxquelles elles ont donn lieu. Le rang de la publication pour lequel le nombre de citations est gal ce rang est le facteur H. Ainsi un chercheur ayant un facteur H de 47 a publi 47 articles ayant chacun t cits au moins 47 fois. Le facteur H dont le niveau moyen dpend beaucoup des disciplines, lon y reviendra, est intressant mais souffre de plusieurs faiblesses. Il avantage les chercheurs seniors ayant une activit de recherche reconnue sur le long terme (le facteur H augmente rgulirement avec lge), et les normalisations - par exemple la division par le nombre dannes de carrire - sont artificielles et peu utilisables. Fait intressant, il a t montr (P. Jensen et-al Scientometrics, Vol. 78, No. 3 (2009) 467479) que le facteur H normalis par le nombre dannes de carrire passe par un maximum au-del duquel il dcrot dans le temps pour des chercheurs trs seniors. Comme pour le nombre total de citations, le facteur H intgre certaines publications dans lesquelles lauteur concern a jou peu ou pas de rle. Le facteur H ne fait pas la diffrence pour un article se situant dans les H premiers articles les plus cits entre celui qui a reu peine plus de citations que H et celui qui en a reu beaucoup plus. Cet indicateur ne valorise pas les articles trs gros impact et en particulier impact durable dans le temps (cest--dire continuant tre largement cits). Le facteur G a t introduit par L. Egghe pour pallier certains dfauts de lindicateur H et distinguer lexcellence dans la productivit. Un chercheur aura par exemple un facteur G de 83 si ses 83 articles les plus cits totalisent au moins 6889 citations, cest dire G au carr. Ce facteur prsente lavantage de valoriser les articles trs cits qui ont un temps de vie lev. Ces articles contribuent faire crotre G dans le temps alors quils ne modifient pas H. On peut aussi envisager tous les drivs possibles de G afin de mieux cerner la forme de la distribution du nombre des citations en fonction des articles les plus cits. Lindice G est aujourdhui moins connu et moins utilis que lindice H, peut-tre en partie par le fait que sa signification est moins vidente en premire lecture et que son accs est moins rpandu. Cependant, un outil informatique simple tel que (http://pasquier.claude.free.fr/publications/publisdata.php) permet de le calculer partir des fichiers bibliomtriques de la base ISI.
21
Une dernire approche consiste tenir compte, dans les citations, du facteur dimpact de la revue citant les articles du chercheur considr, ou de la notorit des auteurs citant le travail en question (mais quel auteur choisir sils sont multiples ?). Cette pratique comporte de nombreux biais, en particulier celui de renforcer en boucle leffet de levier des facteurs dimpact levs de certaines revues, en quelque sorte une double peine . V. 5 Conclusion sur le choix des indicateurs Aucun de ces indicateurs, en fait, nest compltement satisfaisant. Il parat indispensable dans la pratique, de ne jamais utiliser lun dentre eux, isolment. Lune des difficults est de ne pas rendre trop complexe des indicateurs qui pourraient alors paratre sotriques et peut-tre sources derreurs conceptuelles qui deviendraient difficiles identifier en raison de cette complexit. Plus gnralement, il convient de continuer amliorer lutilisation des indices bibliomtriques par une rflexion, voire une vritable recherche, approprie. Le rapport y reviendra dans le chapitre VIII. En tout tat de cause, les indicateurs que lon pourrait proposer devraient tre connus et adopts au niveau international, au moins pour lensemble de la communaut europenne.
VI.
Comment utiliser la bibliomtrie pour lvaluation individuelle des chercheurs
VI. 1 Quels sont les indicateurs utiliser ? Aucun indicateur nest satisfaisant isolment. Il faut utiliser un ensemble dindicateurs, par exemple, le facteur H (ou G) et le nombre total de citations, ou alors, il faudrait produire plusieurs nombres (nombre de publications ayant plus de 10, 30, 100, 300, 1000 citations). Il est important dassocier la bibliomtrie la liste des 5, 10 ou 20 meilleures publications slectionnes par le chercheur lui-mme suivant la discipline et la sniorit, avec leur nombre respectif de citations et le facteur dimpact de la revue concerne, tenant compte nanmoins de toutes les rserves mentionnes plus haut ce sujet. En revanche, la considration isole des facteurs dimpact des revues est dangereuse et doit tre vite. Sagissant du nombre total de publications, il peut tre intressant de savoir si le chercheur concern appartient aux 1%, 5%, ou 10% des chercheurs les plus cits dans la discipline ou si un article appartient aux 0,01%, 0,1%, etc, des articles de la discipline les plus cits des 10, 15, etc. dernires annes (except pour les SHS o les bases de donnes ne sont pas fiables). Ces nombres pourraient dailleurs tre utilement illustrs par des graphiques qui donnent une vision plus riche de la carrire. VI. 2 Comment calculer et valider les indices ? Le calcul des indices ne doit pas tre laiss des non-spcialistes (notamment ladministration) qui utiliseront de faon trop sommaire les donnes rapidement accessibles.
22
En raison du grand nombre derreurs matrielles possibles, il est impratif de valider les indicateurs. Il faudrait mme sen tenir au fait quun indice non valid na pas de valeur. En premier lieu, il est important que la liste des donnes (publications) de chaque auteur soit vrifie par le chercheur concern, comme cela est fait dans les CHU. En fait, on pourrait demander aux candidats de produire leurs propres indicateurs dans la mesure o un vademecum de calcul leur est accessible. Encore faudrait-il valider leurs calculs car de nombreux chercheurs peuvent faire des erreurs quelles soient en leur faveur ou en leur dfaveur. Le problme se pose de savoir qui doit assurer ces validations. On pourrait imaginer, linstar de ce qui se passe dans certaines universits ou organismes comme lERC, que certains personnels soient habilits faire ces validations. On peut penser que, grce lexprience quacquerraient ces personnels, la charge de travail et les dpenses ainsi occasionnes, qui de toute faon ne concerneraient que les disciplines o la bibliomtrie peut avoir un sens, resteraient relativement lgres. VI. 3 Quelles sont les erreurs ne pas commettre dans lusage de la bibliomtrie pour lvaluation individuelle des chercheurs ? Il y a deux types derreurs qui peuvent nuire gravement lutilisation de la bibliomtrie : - Erreurs conceptuelles Dans ce cadre, il faut mentionner les erreurs suivantes : utiliser la bibliomtrie isolment ; ne pas tenir compte de la discipline ; ne pas tenir compte de la place de lauteur dans les articles auteurs multiples o lordre nest pas ordre alphabtique ; utiliser un seul indice ; ne pas utiliser les bonnes pratiques permettant dviter les erreurs matrielles (voir paragraphe suivant) ; utiliser le facteur dimpact de la revue pour valuer la qualit dun article ; utiliser des moyennes sachant que ces moyennes peuvent prsenter de fortes disparits suivant les disciplines et pnalisent les scientifiques publiant des articles didactiques peu cits qui abaissent les moyennes de faon artificielle. Il faut revenir sur les limites des indicateurs qui ne sont pas normaliss pour la dimension disciplinaire (c'est le cas de lindice H) et qui exigent de ne comparer entre elles que des personnes de la mme communaut disciplinaire, et pendant tout leur parcours. Il faut juger de l'intrt de l'indicateur en fonction de l'objectif que lon a : par exemple, il y a une contradiction vouloir favoriser la mobilit thmatique en utilisant tels indicateurs qui la servent mal. - Erreurs matrielles Le calcul des indicateurs bibliomtriques ne pose pas de problme important dans la mesure o la personne qui le ralise a tous les instruments pour le faire et y a t forme. Il faut cependant bien dire que ce calcul demande un certain nombre de vrifications qui exigent du temps et de lexprience. On ne peut pas se contenter de la consultation directe dun site o le nom du chercheur considr est introduit.
23
Il est important dinsister sur le fait que nombre danalyses bibliomtriques sont errones en raison dun mauvais recueil des donnes (il peut y avoir des variations de facteur 3 entre une base de mauvaise qualit et une base srieuse), derreurs dans le calcul des indicateurs, ou dune interprtation inexacte. De nombreuses erreurs matrielles peuvent se glisser dans la pratique de la bibliomtrie. Plusieurs dentre elles sont bien connues de tous, mais nanmoins pas toujours bien prises en compte. Les principales erreurs viter sont les suivantes : - Les homonymies : la question se pose de faon aigu pour les noms de famille trs courants. Trs souvent linitiale ne suffit pas identifier le chercheur concern. Lassociation du nom la ville o travaille le chercheur peut aider mais les chercheurs changent souvent de lieu de travail. - Les changements de nom pour les femmes aprs leur mariage ou la variation dans lutilisation des initiales. - Lutilisation de bases de donnes incompltes, ne couvrant pas toutes les revues dune discipline, ne remontant pas suffisamment loin dans le temps, ou mme dont laccs a t limit pour lutilisateur en fonction de son contrat. Lutilisation dun identifiant par chercheur dj propose par la socit ISI-Thomson ou au Brsil avec linitiative de la base Lattes (http://lattes.cnpq.br/english/index.htm, lune des bases les plus propres existant actuellement), gnralise toutes les bases de donnes, permettrait dj dviter un grand nombre derreurs et serait une norme amlioration pour la fiabilit des informations. Il faudra cependant un certain temps pour que cette pratique se gnralise si elle doit le faire, et soit utilisable. VI. 4 Qui peut utiliser les indices ? L'indicateur doit tre exact et utilis de manire approprie dans les conditions dfinies cidessus, deux conditions difficiles remplir. C'est pourquoi il ne suffit pas de dire que les indicateurs doivent tre utiliss par les pairs, il faut aussi que les pairs aient t sensibiliss et/ou soient expriments. Pour les disciplines qui sen servent, les indices devraient tre seulement utiliss par les comits de pairs qui ne les examineraient que dans le contexte dune valuation gnrale essentiellement qualitative. La bibliomtrie sera alors un outil utile. Les pairs qui s'en servent doivent tre capables de s'en expliquer : cela les obligera cultiver une bonne expertise. Dans la pratique, nanmoins, il ne faut pas se cacher que ces indices sont utiliss dans dautres contextes, parfois de faon cache, par exemple par les prsidents duniversit ou les directeurs dorganismes pour les recrutements ou les promotions. Si ces derniers ne sappuient pas sur lavis de commissions mono ou pluridisciplinaires, il y a l un trs grand danger, la mme valeur dun indice ayant des significations trs diffrentes selon les disciplines et les sous-disciplines. De plus, les erreurs matrielles sont alors frquentes (la validation est rare) et la bibliomtrie nest associe aucune valuation qualitative.
24
Ces indices pourraient tre utiles pour les jurys pluridisciplinaires avec des candidatures trs htrognes impossibles apprcier par des non-spcialistes. La bibliomtrie peut alors tre heureusement utilise pour faire un premier tri, condition dtre utilise par des experts et de bien tenir compte de la variabilit des distributions dindicateurs selon les disciplines. Si elle est beaucoup moins utile dans des jurys mono-disciplinaires o les membres sont censs connatre les candidats, elle permet quand mme deffectuer un premier tri par les pairs dans le cas dun trs grand nombre de dossiers. Enfin, ces indicateurs peuvent tre intressants pour le chercheur lui-mme, pour le pousser publier, pour le positionner dans sa discipline, pour savoir si ce quil fait est reconnu, et par qui. De faon plus gnrale, il faut rappeler que lvaluation devrait avoir comme rle principal non pas de sanctionner un chercheur, mais de linciter, si besoin est, amliorer sa faon de travailler. VI. 5 Comment utiliser ces indices ? En raison des nombreux biais possibles, il ne faut jamais utiliser ces indices pour les chercheurs ayant moins de 10 ans de carrire (thse comprise) o seule lvaluation par les pairs, laudition, et la lecture directe des publications sont prendre en compte. Il serait souhaitable que les indicateurs soient clairement mentionns dans les curriculum vitae des chercheurs et enseignants-chercheurs seniors avant lvaluation par les pairs lors de promotions importantes (passage PR2 PR1, PR1 PRCE, DR2 DR1 et DR1 DRCE) dans les disciplines o leur calcul est possible. Par ailleurs, les critres sont variables en fonction de lobjectif de lvaluation (recrutement, promotion, contrats, prix, recherche fondamentale ou recherche applique), en fonction de la discipline bien sr, mais aussi en fonction de lanciennet dans la carrire et de lvolution dans le temps. Il faut aussi avoir lesprit lvolution gnrationnelle des comportements des auteurs. Dune faon gnrale, les donnes bibliomtriques doivent absolument tre compares leur distribution au sein de la discipline et mme au sein du milieu homogne dans lequel elles sont utilises. Il faut viter lutilisation de la bibliomtrie dans les champs disciplinaires donnant lieu peu de citations (mathmatiques et de nombreux domaines des sciences humaines et sociales), et les utiliser avec la plus grande prcaution dans le cas de chercheurs interdisciplinaires. On pourrait envisager de demander que ces lments bibliomtriques figurent aussi sur les curriculum vitae des valuateurs. VI. 6 Les indices bibliomtriques doivent-ils apparatre systmatiquement dans les dossiers de candidature ? Les pratiques varient selon les organismes. Certains dentre eux comme lERC demandent dj la prsentation des donnes bibliomtriques dans les dossiers. Quand ce nest pas le cas, il arrive souvent que les rapporteurs cherchent calculer ces indices avec toutes les causes derreurs possibles voques plus haut.
25
Il parat dsormais prfrable de demander aux chercheurs de prsenter eux-mmes leurs donnes bibliomtriques (nombre total de publications, facteur H ou tout autre indicateur par exemple G, les x publications les plus cites avec le facteur dimpact des revues) et de les faire figurer dans leurs dossiers. Cela nexclut pas bien sr quils fournissent la liste des 5, 10 ou 20 de leurs publications quils jugent les meilleures, indpendamment de leur nombre de citations. Le nombre de publications soumettre au comit dexperts pourra dpendre du but de l'valuation et de lge du chercheur mais dans tous les cas il devrait tre demand lvalu de joindre son dossier les fichiers pdf des publications concernes. Cette exigence est aise satisfaire pour les valus et allgerait de manire substantielle le lourd travail des experts. VI. 7 Aller au-del des nombres : les notices bibliographiques Les notices bibliographiques partir desquelles sont calculs les indicateurs bibliomtriques reclent des information importantes sur la publication et les auteurs : qui sont les coauteurs, quelle est lvolution des citations dans le temps, par qui larticle a-t-il t cit, et quels sont les autres domaines sur lesquels larticle a eu un impact ? La bibliomtrie doit tre complte chaque fois que cela est possible par la consultation des fichiers bibliographiques des quelques articles slectionns par les valus. VI. 8 Limportance de replacer les citations dun article dans la distribution des citations des articles de la revue considre En se basant sur les donnes de la base JCR de lISI, il est possible de situer le taux de citations dun article dune discipline donne dun journal par rapport la moyenne des citations de la discipline dans ce journal. Cette information peut tre fort utile pour ne pas pnaliser et mme au contraire favoriser des auteurs ayant publi des travaux trs cits dans les journaux FI modeste. Cela permettrait lauteur dtre jug sur le contenu plutt que sur le contenant pouvant mme conduire une forme de discrimination positive. Mais la question de la dfinition des limites dune discipline ou sous-discipline nest pas si simple et reste un problme.
VII.
Importance dune rflexion nationale sur lamlioration des indicateurs
LAcadmie suggre dengager une rflexion nationale sur lvaluation bibliomtrique des chercheurs et enseignants-chercheurs et de prvoir diffrentes tudes qui pourraient tre menes par un petit groupe reprsentatif dexperts, en liaison troite avec des partenaires dj utilisateurs de la bibliomtrie, en particulier lOST, pour en amliorer son utilisation.
26
VII. 1 Tests rtrospectifs pour comparer les dcisions effectivement prises par des jurys de pairs (CNRS, INSERM, IUF, ERC, etc.) avec les rsultats quauraient pu donner une valuation bibliomtrique des candidats, et avec ce que sont devenus ces candidats. - Analyse rtrospective sur une population de chercheurs promus et qui nauraient pas d ltre selon les indices bibliomtriques, et vice et versa, partir des donnes du CNRS, pour aboutir une base de donnes des annes 2004-2010. Cette analyse pourrait tre double dune enqute auprs des membres du Comit national qui ont dlibr, et auprs de candidats heureux et malheureux. - Recherches analogues celles faites sur des chantillons du CNRS, partir de jurys dexcellence tels que lIUF, lERC, etc., pour comparer les dcisions de ces jurys aux indicateurs bibliomtriques. Cela pose deux problmes difficiles : identifier les jurys les plus incontestables et obtenir la liste des dossiers rejets. On pourrait, en outre, comme pour le CNRS, interroger certains membres de ces jurys. - Examen de la distribution des indicateurs de rcipiendaires de grandes rcompenses. Un groupe de travail pourrait raliser cette tude grande chelle sur les Prix Nobel, les Mdailles Fields, les Mdailles dOr et dArgent du CNRS, les acadmiciens de lAcadmie des sciences ou dautres grandes Acadmies trangres, ou mme sur lhistoire des grandes perces scientifiques rcentes, la lumire de la bibliomtrie. - Suivi des indicateurs de chercheurs de rfrence sur le long terme pour dceler les toiles filantes , examiner le cas de chercheurs ayant chang dorientation au cours de leur carrire et valuer le pouvoir prospectif des indicateurs utiliss. - Analyse des discordances entre lvaluation bibliomtrique et lvaluation qualitative par les pairs, en essayant de quantifier les lments qui y ont amen : localisme gographique ou disciplinaire, effets de rseau et damiti, influence du genre, prise en compte de facteurs autres que bibliomtriques, limites des indicateurs (publications techniques trs cites, travail de groupe, etc.). Il serait bon de vrifier si de telles tudes nont pas dj t menes par des universits trangres et dans le cas positif entrer en contact avec elles (en Sude, Universit de Lund par exemple). VII. 2 Mise au point de critres pour dtecter les valeurs doriginalit, dinnovation, de rayonnement, et de cration dcole de pense, un peu dans lesprit des indicateurs la carte. Il serait intressant cet gard, comme cela a t propos plus haut, dtudier lhistoire des grandes dcouvertes rcentes dans le contexte de la bibliomtrie (Mdailles Fields, Prix Nobel, Mdailles dOr ou dArgent du CNRS, etc.). VII. 3 Etudes pour affiner les indicateurs existants et dfinition de standards bibliomtriques pertinents sorientant vers lvaluation individuelle qui est un usage relativement rcent de la bibliomtrie. Rflexion approfondie sur la notion dauteur. VII. 4 Fabrication de nouveaux indicateurs. Fabriquer de nouveaux indicateurs est intressant considrer devant les insuffisances des indicateurs discuts dans ce rapport. Le
27
sujet nest pas simple pour autant car proposer de nouveaux indicateurs ajoutera encore la complexit et labsence de lisibilit de lvaluation bibliomtrique. Il serait souhaitable que la cration et la publication dindicateurs ne fasse pas lobjet dun enjeu commercial comme cest le cas actuellement avec les bases ISI (Thomson-Reuters) et SCOPUS (Elsevier). Les domaines de lastronomie-astrophysique et de la physique ont montr que cela tait possible avec la base ADS gre par le Smithsonian Institute sans but lucratif (cf. chapitre V.1). Linitiative pourrait-elle tre tendue dautres disciplines beaucoup plus vastes telles la chimie ou la biologie, ce qui serait nanmoins un travail gigantesque ? LAcadmie nest pas pour linstant en mesure de rpondre cette demande. Une telle ralisation ne serait pensable qu lchelle europenne. VII. 5 Etablissement de rgles de bon usage de la bibliomtrie pour lvaluation des chercheurs, en rponse la demande de lAERES qui a parmi ses missions la validation des procdures dvaluation des chercheurs.
VIII.
Conclusion
Grce au dveloppement continuel des bases de donnes en constante volution, la bibliomtrie prend une place croissante comme aide lvaluation individuelle des chercheurs. Cela est expliqu par lapparente facilit et la rapidit de consultation des indicateurs contrastant avec la lourdeur de lvaluation qualitative par les pairs, aggrave par le nombre probablement excessif de ces valuations. En outre, la bibliomtrie fournit des lments factuels sur les publications des chercheurs et les citations auxquelles elles ont donn lieu, alors que lvaluation qualitative est soumise une plus grande subjectivit. Les indicateurs bass sur les citations des articles et associs lexamen des notices bibliographiques dun nombre restreint de travaux choisis par le candidat seraient susceptibles dclairer et de faciliter le travail des experts. En revanche, la bibliomtrie prsente de nombreux inconvnients qui ont pouss certaines disciplines en restreindre lusage ou mme ne pas y recourir, notamment les mathmatiques et les sciences humaines et sociales. En premier lieu, contrairement une ide largement rpandue, la bibliomtrie ne mesure pas la production scientifique dun chercheur ni son impact, mais ne donne quune valuation chiffre des citations de chacun dentre eux. Or, quel que soit lindicateur, mme si on utilise un ensemble dindicateurs plutt quun seul, la bibliomtrie peut donner lieu de graves erreurs dapprciation comme en tmoignent les faibles valeurs dindicateurs observes chez certains trs grands scientifiques reconnus par les distinctions les plus prestigieuses. Enfin, la bibliomtrie incite souvent les chercheurs adapter leur comportement de publication et de citations leurs performances bibliomtriques au dtriment de lesprit doriginalit et dinnovation, modifiant ainsi la corrlation entre qualit scientifique et citation qui est la base mme des indicateurs bibliomtriques.
28
Tout en reconnaissant lutilit de la bibliomtrie dans certaines disciplines surtout pour raliser le premier tri ncessaire dans lvaluation comparative de nombreux chercheurs, il apparat important dtre conscient de ses limites. Son usage doit tre strictement rserv aux pairs, seuls capables de la mettre en perspective avec lvaluation qualitative. En particulier, les pairs devraient se justifier de conclusions qui seraient loignes des rsultats de critres bibliomtriques Il faut aussi que les valeurs obtenues soient exclusivement considres par rapport la distribution de ces valeurs dans la discipline considre. Enfin, il faut sassurer que les valeurs utilises sont correctes, ce qui ncessite une validation en particulier par le chercheur lui-mme. Aprs une dizaine dannes de pratique, la bibliomtrie doit prendre la place quelle mrite dans lvaluation des chercheurs, pour une utilisation la plus pertinente et la plus transparente possible et une limitation des excs auxquels elle peut conduire, en particulier lorsquelle est utilise isolment hors du contexte de lvaluation qualitative par les pairs, et sans rfrence la discipline. Cette volution ncessite la poursuite dune rflexion approfondie aux niveaux national et international. Des efforts importants doivent tre faits pour mieux apprcier lapport de la bibliomtrie dans lvaluation des chercheurs, dans lesprit dune amlioration globale de cette valuation qui doit tre la fois qualitative et quantitative (en sachant quil existe dautres critres quantitatifs que la bibliomtrie tels que les confrences invites, les grands contrats et les distinctions), en supprimant autant que possible tous les conflits dintrt directs et indirects. Un groupe de pilotage devrait tre mis en place auprs de lOST qui serait charg, avec les moyens adquats, de faire progresser cette rflexion dont les principaux axes de recherche apparaissent dj clairement. La question est dimportance majeure pour lvaluation individuelle des chercheurs, mais pourrait galement avoir des implications pour lvaluation des quipes et des institutions, notamment pour les grands classements internationaux.
_______________
29
ANNEXE 1 COMPOSITION DU GROUPE DE TRAVAIL

ET PERSONNALITES AUDITIONNEES
Membres de l'Acadmie Jean-Franois BACH (coordonnateur) Secrtaire Perptuel de lAcadmie des sciences Professeur mrite lUniversit Ren Descartes Denis JROME (coordonnateur) Directeur de recherche mrite au CNRS - Universit Paris-Sud Jean-Michel BONY Professeur l'cole Polytechnique Pierre BRAUNSTEIN Directeur de Recherche au CNRS - Universit de Strasbourg Catherine CESARSKY Haut Commissaire l'nergie Atomique Jean DALIBARD Directeur de recherche au CNRS - Professeur l'cole Polytechnique Christian DUMAS Professeur l'Ecole Normale Suprieure de Lyon Jacques FRIEDEL Professeur mrite l'Universit Paris-Sud Etienne GHYS Directeur de recherche au CNRS - Ecole Normale Suprieure de Lyon Michel LE MOAL Professeur mrite l'Universit Victor Sgalen de Bordeaux Bernard MEUNIER Prsident-directeur gnral de PALUMED Olivier PIRONNEAU Professeur l'Universit Pierre-et-Marie Curie
30
Andr SENTENAC Conseiller scientifique la Direction des sciences du vivant Commissariat l'nergie Atomique Alain-Jacques VALLERON Professeur l'Universit Pierre-et-Marie Curie
Personnalits extrieures Ghislaine FILLIATREAU Directrice de l'Observatoire des Sciences et Techniques Pierre GLORIEUX Directeur de la Section des Units de Recherche de l'AERES Pablo JENSEN Directeur de recherche CNRS - Ecole Normale Suprieure de Lyon - Reprsentant le CNRS Axel KAHN Prsident de l'Universit Ren Descartes - Reprsentant la CPU Claire LEMERCIER Charge de recherche CNRS - Centre de Sociologie des Organisations Laurent LINNEMER Professeur dEconomie lEcole Polytechnique et au CREST Florence WEBER Directrice du Dpartement de Sciences Sociales - Ecole Normale Suprieure
Personnalits auditionnes Dr. Jonathan ADAMS Director Research Evaluation, Evidence Thomson Reuters - Leeds (Grande-Bretagne) Pr. Sir Richard FRIEND Professor - Cavendish Laboratory - Cambridge (Grande-Bretagne)
Coordination de la rdaction Brigitte dARTEMARE Chef de Cabinet - Acadmie des sciences
31
ANNEXE 2 RAPPORT 2009 DE LACADEMIE

LVALUATION INDIVIDUELLE DES CHERCHEURS ET ENSEIGNANTS-CHERCHEURS EN SCIENCES EXACTES ET EXPERIMENTALES
(http://www.academie-sciences.fr/actualites/textes/recherche_08_07_09.pdf)
Rsum et Recommandations
Dj pratique depuis longtemps au niveau des units de recherche et des chercheurs, lvaluation est dsormais considre comme naturelle par lensemble de la communaut scientifique et sa gnralisation est devenue dactualit, notamment en raison de la loi LRU qui confre un pouvoir nouveau aux tablissements lchelle locale. Elle sinscrit dans le difficile contexte universitaire li lhtrognit des conditions de travail des enseignantschercheurs qui concerne aussi bien les infrastructures et les quipements universitaires que le niveau des tudiants et des filires de formation. Dans ce contexte particulier, lAcadmie a jug important de formuler des recommandations qui sappuient sur trois grands principes : comptence, transparence et thique.
1. Les rgles de dontologie et dthique

La dure du mandat des valuateurs devrait tre courte (3 ans) avec renouvellement des membres des comits par tiers chaque anne. Un regard extrieur la discipline est souhaitable ainsi que le recours des experts extrieurs ltablissement et ventuellement trangers, dans des proportions trs significatives (la loi LRU prcise 50% pour les recrutements). La procdure et les critres utiliss pour lvaluation individuelle doivent tre publis, avec des adaptations propres chaque discipline ou sous-discipline, tant au niveau national quau niveau de chaque tablissement ou organisme. Un effort particulier doit tre fait pour identifier les conflits ou les communauts dintrt qui ne sont pas immdiatement apparents, et tout problme de dontologie doit tre dclar lavance. Chaque membre dun comit dvaluation doit conserver une stricte obligation de confidentialit, seul son prsident tant habilit donner des indications plus prcises en cas de contestation.
32
Les rapports doivent tre transmis dans leur intgralit aux intresss, sans modifications, sachant que la confidentialit vis--vis de lauteur sera prserve par le Comit dvaluation et son prsident. Un vritable engagement dthique personnelle doit tre sign par chaque valuateur. Tout manquement aux rgles de dontologie sera considr comme une faute professionnelle grave.
2. Les critres et outils de lvaluation de lactivit de recherche

Lvaluation de la recherche doit intgrer plusieurs niveaux danalyse. 2. A - Evaluation qualitative Fonde sur lanalyse directe des travaux scientifiques, ventuellement complte par une audition ralise dans des conditions de temps adquates, lanalyse qualitative est llment essentiel de lvaluation approfondie. Les indicateurs bibliomtriques et autres critres quantitatifs ne peuvent pas se substituer cette valuation assure par les pairs mais peuvent, une fois bien dvelopps et compris, devenir un lment daide la prise de dcisions. 2. B - Evaluation quantitative Les indicateurs bibliomtriques peuvent se rvler trs utiles lorsquils sont bien utiliss, replacs dans le contexte de la discipline, et intgrs lvaluation qualitative. - Les indicateurs bibliomtriques ne peuvent pas tre utiliss isolment pour effectuer un classement. - Il faut donner plus dimportance aux citations des articles quau facteur dimpact des journaux o ils sont publis (sauf pour le cas des jeunes chercheurs). Les index H et G, fonds sur les citations, sont utiles mais ont leurs limites et demandent tre complts par de nouveaux indicateurs. - Il faut tenir compte, dans chaque citation, du nombre dauteurs et, dans les disciplines o lordre des auteurs nest pas alphabtique, de la place de lauteur considr. - LAcadmie propose dengager une rflexion inter-organismes et inter-disciplinaire, en liaison avec lOST et lAERES, qui devra se pencher sur lutilisation des outils bibliomtriques et la cration de nouveaux indicateurs. Il faudrait valider les outils actuellement utiliss, par des tests rtrospectifs. 2. C - Autres critres de notorit La qualit scientifique d'un chercheur peut tre value sur de nombreux autres critres que ceux fonds sur la bibliomtrie, en particulier la capacit organiser, coordonner, diriger des recherches, la rdaction de livres, la rdaction douvrages de vulgarisation, le nombre de langues dans lesquelles ils sont traduits, les invitations en tant que confrencier en sances plnires, la direction de programmes internationaux ou la prsidence dune union scientifique internationale, la participation des comits ou agences internationales, les postes de rdacteur en chef de revues internationales, lattribution de contrats importants, la
33
reconnaissance par des prix ou distinctions nationales ou internationales, les lections des acadmies franaises ou trangres et dautres distinctions telles quune nomination lIUF, lorganisation dcoles dt, de symposiums et de congrs internationaux de haut niveau, etc.. 2. D - valuation des applications de la recherche Contrairement ce que lon constate ltranger, et bien que des progrs aient t faits dans ce domaine, les ralisations et applications industrielles sont insuffisamment prises en compte dans lvaluation des chercheurs en France. - La valorisation doit devenir un critre essentiel dvaluation pour ceux qui sy consacrent et tre un facteur de promotion au mme titre que les publications. - Il serait important de construire la grille dvaluation en mettant en bonne place la question de la pertinence de la recherche. - Il faudrait aussi dfinir des critres dvaluation pour les ralisations de la recherche qui ne comportent pas dapplications immdiates directes comme par exemple les logiciels ou les prototypes, mais qui nen sont pas moins importantes. In fine, il revient aux comits de pairs de faire la synthse des lments d'valuation qui viennent d'tre mentionns, en privilgiant l'analyse directe des travaux partir des articles originaux ou d'auditions. Cette valuation doit bien sr intgrer les indicateurs quantitatifs mais aussi pleinement prendre en compte l'originalit de la recherche et sa pertinence.
3. Les critres dvaluation des activits denseignement

La loi LRU et le rcent dcret du 23 avril 2009 fixant les dispositions statutaires applicables aux enseignants-chercheurs instaurent lobligation dvaluer leurs trois types dactivits : recherche, enseignement et activits dintrt collectif. Ceci savre dautant plus ncessaire que limportance relative de ces trois activits peut varier au cours de la carrire. Concernant lvaluation de lenseignement sous toutes ses formes, lAcadmie prconise les recommandations suivantes : - Lvaluation des activits denseignement peut tre ralise selon plusieurs approches conduisant la production dune grille d'valuation aux niveaux national et local, en sachant que le niveau local est videmment le plus pertinent. Un critre important est lapprciation des tudiants sur les enseignements, en tenant compte du fait quelle peut exposer des effets pervers. - Lvaluation des activits denseignement doit aussi intgrer certains critres - objectifs comme le contenu et l'originalit de l'enseignement (publications caractre pdagogique, ouvrages dits, mise en ligne de cours ou TD-TP, expositions, etc.).
34
- Un relev des charges annuelles d'enseignement doit tre publi chaque anne par chaque tablissement, les ventuelles dcharges d'enseignement devant tre clairement mentionnes et justifies. - L'tablissement doit publier, chaque anne, le pourcentage de succs et le devenir des tudiants par niveau d'tude (L1, L2, L3, M1, M2, doctorat), les dbouchs des tudiants par filire et l'issue de la thse. Ces lments devront tre pris en compte, dans la mesure du possible, pour lvaluation individuelle des enseignants-chercheurs. - Les meilleurs Matres de Confrences qui sinvestissent trs fortement (en formation initiale et en formation continue) et sont unanimement reconnus pour leurs qualits pdagogiques, devraient pouvoir tre candidats des promotions locales comme la Hors Classe, ou bnficier dune prime exceptionnelle lchelle de chaque tablissement. A linverse, ceux qui ngligent leurs tches denseignement devraient en subir des consquences.
4. Lvaluation des charges dintrt collectif

- Les charges administratives et dintrt collectif doivent tre prises en compte dans lvaluation des enseignants-chercheurs et des chercheurs, conformment aux dispositions des nouveaux textes en vigueur, notamment celles qui impliquent de vritables responsabilits (coordonnateur de 1 re anne L1, responsable dUFR, missions de coopration internationale, orientation et insertion professionnelle des tudiants, coopration avec les entreprises, valorisation, diffusion de la culture scientifique et technique, etc.). - Un relev des charges annexes devrait tre publi par l'tablissement pour chaque enseignant-chercheur. - Cependant, dans ltat actuel, il nexiste pas de critres objectifs pour les valuer. Il faudrait donc laborer une grille de critres dvaluation cet effet.
5. La frquence et la forme des valuations

La frquence actuelle des valuations est trop grande. LAcadmie fait plusieurs recommandations : - Il faut distinguer les valuations approfondies des valuations de suivi. - Le nombre et la frquence des valuations approfondies doivent tre rduits aux seules tapes importantes de la carrire dun chercheur ou dun enseignant-chercheur, savoir les recrutements et les changements importants de grade ou de corps. - Le recrutement est une tape cl du dispositif, compte tenu du statut de fonctionnaire dEtat des personnels recruts. *Il faut gnraliser un systme deux tours avec une admissibilit sur dossiers et une admission lissue dune prsentation orale significative et dun entretien approfondi. Les
35
critres de crativit et d'originalit des recherches requis pour un recrutement tant difficiles apprcier par le simple jeu d'une analyse bibliomtrique ou d'une audition prpare l'avance, l'examen approfondi par les pairs doit jouer pleinement ce rle. Laptitude lenseignement doit galement tre teste laide de sminaires adapts. - Les listes de qualification nationales cres pour pallier lhtrognit de niveau des thses et des HDR ne sont pas pleinement satisfaisantes. Lautonomie des tablissements doit conduire une importante redfinition des critres ncessaires leur obtention et aux rles essentiels que doivent jouer les coles doctorales d'une part, les conseils scientifiques d'tablissement de l'autre. Ces recommandations doivent aboutir rapidement la dlivrance de grades reconnus par leur qualit. *Quatre tapes dvaluation, lies aux inscriptions pralables sur les listes de qualification, sont ncessaires au passage comme professeur. Ceci est comparer aux deux tapes requises dans les pays comparables au ntre. Une rflexion globale ce sujet doit tre ralise. - Limiter les valuations de suivi au Contrat quadriennal dtablissement, sur la base dune fiche simplifie destine au suivi normal de lactivit des personnels.
6. Les valuateurs
- La qualit scientifique des valuateurs est fondamentale. LAcadmie propose pour chaque catgorie dvaluateurs, la publication de pr-requis qui pourraient tre prpars par lAERES. - Des mesures importantes doivent tre prises pour assurer la motivation des meilleurs valuateurs en leur facilitant la tche, en rduisant la dure des mandats et en prvoyant la prise en compte de cette activit dans les charges administratives ou dintrt collectif - Tous les valuateurs devront tre valus pour garantir leur comptence. - Les comits dvaluation propres chaque universit doivent tre grs localement mais inclure une fraction significative de membres extrieurs (comme le demande la loi LRU pour le recrutement). - Bien mettre en perspective le rle de lvaluation nationale (essentielle pour lactivit de recherche) et de lvaluation locale (la mieux place pour lvaluation de lenseignement et des charges dintrt collectif).
7. Lutilisation de lvaluation
- Une des difficults majeures du systme dvaluation est labsence frquente de consquences de lvaluation. Il faut donc veiller ce quelle ne soit ralise que lorsquelle peut conduire une promotion ou une rorientation.
36
- Il faut dissocier lvaluation de la qualit dune activit, de la gestion des carrires et ne pas mlanger valuation et r-orientation. - Un suivi de la carrire devrait tre fait grce un Comit ad-hoc qui devrait jouer le rle dun coordinateur de carrire. Ce dispositif de bonne gestion des ressources humaines devrait tre mis en place l'chelle de chaque tablissement. - Les tablissements devraient afficher leurs orientations scientifiques et pdagogiques de manire ce que les appels candidatures ne soient pas biaiss.
____________
37
ANNEXE 3 PRATIQUES BIBIOMETRIQUES

SELON LES DIFFERENTES DISCIPLINES
Comme cela a t dit plusieurs reprises dans le rapport, les conditions dvaluation bibliomtriques diffrent beaucoup selon les disciplines, et mme les sous-disciplines. Il est apparu utile de prsenter en annexe, de faon un peu plus dtaille que dans le chapitre III du rapport, une brve description de la pratique bibliomtrique dans les grandes disciplines scientifiques. Cette prsentation a t ralise partir des contributions fournies par les reprsentants de ces disciplines au sein du groupe de travail.
La bibliomtrie en Mathmatiques Les mathmaticiens sont trs rticents quant l'utilisation des outils bibliomtriques pour l'valuation des chercheurs. Il ne s'agit pas d'une position spcifique aux mathmaticiens franais, mais d'une position commune aux mathmaticiens du monde entier. Lextrait des conclusions d'un rapport circonstanci de l'Union Mondiale des Mathmaticiens (http://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf) dispose : "While numbers appear to be "objective", their objectivity can be illusory. The meaning of a citation can be even more subjective than peer review. The sole reliance on citation data provides at best an incomplete and often shallow understanding of research an understanding that is valid only when reinforced by other judgments. Numbers are not inherently superior to sound judgments." Pour les mathmaticiens, cela ne tient pas un quelconque refus de mthodes qui seraient plus "modernes", mais plutt au fait quils disposent d'outils beaucoup plus efficaces que ceux que fournit et que pourrait fournir la bibliomtrie, et quils les utilisent systmatiquement pour l'valuation. Les raisons tiennent deux spcificits : la communaut mondiale des mathmaticiens est relativement rduite (~40000 dans le monde dont ~4000 franais), et les mathmaticiens ont su s'organiser au plan mondial depuis longtemps (on peut dire deux tiers de sicle). Il existe deux bases de donnes mathmatiques : Zentralblatt Math (de l'European Mathematical Society) et MathSciNet (Mathematical Reviews on the web de l'American Mathematical Society). La seconde, la plus utilise, contient les rfrences de tous les articles
38
mathmatiques publis dans le monde depuis 1940 et fournit pour chacun d'eux une analyse critique des rsultats, signe d'un mathmaticien et non de l'auteur, allant d'une demi-page trois pages pour les plus importants. Destine en premier lieu tre une aide la recherche, cette base de donnes est systmatiquement utilise par quiconque doit valuer des mathmaticiens (recrutement, promotion, prix, etc.). Elle fournit pour chacun d'eux la liste de leurs publications, leur analyse, leurs citations (par qui et dans quels articles). Le problme des homonymies est ainsi rsolu. Depuis longtemps, la communaut mathmatique toute entire travaille l'laboration de ces bases de donnes remarquables qui ne se limitent pas des tableaux de nombres. On peut se demander s'il ne faudrait pas s'inspirer de ce succs pour encourager la cration de bases de donnes analogues dans d'autres disciplines. On peut bien sr aussi en extraire des donnes bibliomtriques. On jugera de leur pertinence sur l'exemple des deux rcentes Mdailles Fields franaises : Cdric Villani est cit 1520 fois par 629 auteurs, et Ng Bo Chu est cit 102 fois par 52 auteurs, alors qu'aucun mathmaticien au monde ne se risquerait y voir une disparit de niveau. En conclusion, la taille relativement modeste du monde mathmatique, l'unit fondamentale de cette discipline, et l'existence de bases de donnes remarquables font que les mathmaticiens privilgient l'valuation qualitative par les pairs, fonde pour l'essentiel sur la lecture des articles. La bibliomtrie en mathmatiques ne peut tre qu'un aspect trs marginal de l'valuation individuelle des chercheurs.
La bibliomtrie en Physique Au Comite National de la Recherche Scientifique (CoNRS),cinq sections sont concernes par la discipline Physique sans compter les multiples collaborations engages avec les sections de biologie mais aussi de chimie par le biais des sciences des matriaux. Pour les Professeurs, lvaluation est pratique lchelon national par le CNU o les performances en recherche, comptabilit du nombre de publications, du nombre de confrences-invites, du nombre de thsards et du facteur H, jouent un rle dterminant. A l'chelon local, l'investissement dans la vie de l'universit entre aussi en ligne de compte pour lvaluation. Dans ce cas, la considration du facteur H est moins importante. Pratiquement tous les candidats lvaluation font apparatre dans leur CV et liste de publications, dabord les articles publis dans Nature et Science, puis ceux publis dans Physical Review Letters, et enfin dans Physical Review, souvent sans fournir le nombre de citations reues par ces articles. Les candidats omettent parfois de mentionner les articles publis dans des revues quils jugent de moindre prestige comme les journaux de socits
39
savantes europennes, redoutant un effet ngatif sur le jury. Ainsi, cest le facteur dimpact de la revue tant dcri dans ce rapport qui bien souvent joue encore un trop grand rle dans les dcisions concernant lvaluation dun chercheur. En rgle gnrale, lorsque des indicateurs sont utiliss, cest au niveau le plus primaire quils le sont encore actuellement, alors que la base de donnes ISI offre une trs bonne couverture des journaux en physique, mme pour des articles publis en franais. Les compte rendus de confrences publis par les journaux commencent aussi tre pris en compte dans cette base. On peut donc considrer que la base ISI couvre de 80 100% des publications pertinentes en physique. Il reste toutefois les livres encore peu prsents. La croissance du nombre des auteurs commence devenir problmatique, et lon peut craindre que ce soit dans le but sans doute de gonfler le nombre de citations de chacun. Le positionnement dans lordre des auteurs nest pas aussi significatif que dans les disciplines bio-mdicales mme si une volution dans le mme sens commence se dessiner. Le transfert des connaissances en physique se fait essentiellement par les publications dans les journaux scientifiques, avec une prdisposition marque pour les revues anglo-saxonnes. Il est rare que des connaissances nouvelles, non publies au pralable, apparaissent dans des confrences, sauf des rsultats prliminaires prsents en posters par des thsards. Les physiciens font aussi largement appel aux serveurs du type arXiv ou Hal, soit pour des articles avant ou en cours de soumission, soit encore pour des travaux publis pour lesquels les directeurs de la publication donnent leur accord pour tre placs sur ces serveurs dans la mesure o le format ditorial de la revue nest pas utilis. Il faudrait encourager sinon obliger lutilisation du serveur Hal (TEL) pour la mise en ligne des thses, une excellente initiative du CNRS permettant daccrotre considrablement la visibilit du travail complet des thsards. Mme si russir publier dans une revue de prestige nest pas blmable en soi, il est permis de sinterroger sur une pratique qui conduit un certain formatage des articles et mme des sujets (lorsque le rdacteur en chef de la revue souhaite privilgier certains domaines pour des raisons commerciales), et en fin de compte une perte doriginalit et de crativit. En conclusion, il est souhaitable que le systme dvaluation de la recherche, en physique comme ailleurs, tienne plus en compte linnovation, la pertinence et la visibilit (les citations) des travaux que le simple prestige de la revue ou du magazine dans lesquels ils sont publis. Une contribution contrle de la bibliomtrie et des fichiers bibliographiques pourrait y contribuer.
40
La bibliomtrie en Sciences mcaniques, Informatique et Mathmatiques appliques La France est centralise dans ce domaine et le nombre de chercheurs est suffisamment petit (moins de 5000 en France dans chacune des 3 branches) pour que lon puisse avoir de bonnes informations sur un chercheur sans avoir recours la bibliomtrie. Le problme se pose surtout pour les jeunes et pour lvaluation de lactivit des chercheurs en temps rel, par exemple sur une priode de 4 ans comme le demande le systme des promotions. Les jeunes chercheurs sont valus principalement par oral loccasion dune invitation faire un sminaire. Savoir si un chercheur est actif sur une priode de 4 ans est plus problmatique et il est effectivement difficile de trouver dautres critres que sa liste de publications. Toutefois, les responsabilits administratives lies la recherche et l'animation de la recherche (organisation de confrences, responsabilits ditoriales, etc.) sont des facteurs importants dans l' valuation. Ces informations sont en gnral disponibles sur la page personnelle du chercheur sur internet. Il est donc important pour les chercheurs de maintenir un site internet attractif et jour de leurs activits scientifiques, publications comprises. En mcanique et en mathmatiques appliques, le transfert des nouvelles connaissances se fait moiti par publications et moiti par confrences dans des colloques internationaux. En informatique, le transfert se fait essentiellement par des confrences-invites si possible dans les grands colloques internationaux reconnus dans la discipline (SIGGRAPH par exemple pour l'informatique graphique). Ces colloques ne publient en gnral pas dactes (proceedings) mais ont souvent des archives sur leurs sites internet. Cest seulement pour une petite partie de linformatique thorique que les publications dans des revues ont un rle. Tout cela tant dit, la communaut nest pas particulirement hostile aux indices bibliomtriques mais elle les utilise en complment, et certainement pas comme critre principal. Sur une longue carrire, ces indices donnent des indications fiables sur la renomme dun chercheur pour savoir sil est trs connu ou pas du tout, mais ils ne permettent en aucun cas un classement prcis. Leur utilisation par des personnes incomptentes dans le domaine du chercheur est considre comme trs dangereuse et dsapprouve par la communaut.
La bibliomtrie en Astrophysique En astrophysique, la bibliomtrie est utilise couramment pour lvaluation des chercheurs, pour les embauches, les promotions et les attributions de bourses. La NASA tient jour un rpertoire bibliographique libre daccs (ADS) qui ne prtend pas tre parfait ou complet, mais qui donne les citations des articles, et tout le monde lutilise pour compter les citations et/ou pour dterminer le facteur H. Par exemple, lESO (European Southern Observatory),
41
pour les promotions des niveaux plus levs dans la partie scientifique de la carrire, on demande aux candidats davoir au moins un certain nombre de citations et/ou un certain nombre darticles fort taux de citations. De mme dans les jurys de lERC, on dispose du nombre de citations des candidats, et parfois du facteur H (il est facile de les obtenir avec ADS quand les candidats ne les donnent pas), tous lments utiles dans les discussions. Il est cependant important de garder en mmoire quune base comme ADS ntant pas complte peut pnaliser lourdement les performances bibliomtriques dun chercheur pluridisciplinaire. Tout le monde comprend bien quil ne sagit que dindicateurs. Un certain nombre de corrections sont ncessaires : - Lorsque le candidat nest quun parmi de trs nombreux auteurs darticles trs fort taux de citations, il est ncessaire de comprendre quelle est la part quil a prise llaboration de larticle, ce qui se fait en gnral en interrogeant les auteurs seniors du mme travail. - Le nombre de citations doit tre jaug laune de la sous-discipline correspondante, par exemple les articles de cosmologie obtiennent, valeur gale, bien plus de citations que des articles en physique solaire. Tous les bons jurys savent comment faire cette correction, de faon plus ou moins qualitative. - Certains articles, de valeur moyenne, peuvent nanmoins obtenir dnormes taux de citations, par exemple sils attribuent une valeur un paramtre ncessaire pour dautres travaux, qui prennent ensuite cette valeur en rfrence. L encore, les bons jurys ne sy trompent pas. - Certains articles excellents qui rsolvent un problme sont peu cits car ils ferment le sujet. A linverse, des articles faux peuvent obtenir beaucoup de citations car ils provoquent un trs grand nombre de dmentis. Une fois ces corrections faites, on peut constater quil y a une bonne corrlation entre le taux de citations et le facteur H dune part, et les vrais critres de jugement, savoir profondeur, originalit, productivit, dautre part. Les astrophysiciens savent en gnral utiliser les indicateurs bibliomtriques bon escient. Mais une importance plus grande est gnralement donne la teneur des cinq ou dix principaux articles que lvalu doit avoir signals.
La bibliomtrie en Gosciences En gosciences, les articles comme en biologie ont en gnral moins de 10 auteurs et encore assez souvent moins de 5. L'ordre est en gnral assez li l'importance (dcroissante) des contributions. Le premier auteur est normalement celui qui a effectu le plus gros du travail, de plus en plus souvent le doctorant concern, mais parfois le chercheur confirm qui est le "principal investigator" ou qui a eu l'ide essentielle. Il arrive, mais rarement, que le dernier auteur soit l'un des patrons de l'quipe concerne. De plus en plus frquemment, les
42
principaux ingnieurs de recherche ayant collabor sont co-auteurs. La bibliomtrie est de plus en plus utilise par les sections du CNRS concernes et les commissions de recrutement d'enseignants-chercheurs, surtout pour les promotions de rang B en rang A (MCF PR, CR DR) et au-del. Elle le sont peu pour les chercheurs dbutants (moins de 10 ans thse comprise).
La bibliomtrie en Chimie En chimie, la bibliomtrie nest pas utilise de manire officielle, mais les indicateurs habituels (le facteur H, le nombre total de citations, et le nombre de citations par article) sont utiliss lors de discussions prliminaires de manire importante lorsquil sagit dvaluer les carrires ou les mrites de chercheurs ayant plus de dix douze annes dactivit de recherche. La taille de la communaut et la diffusion internationale des travaux permettent lutilisation de ces indicateurs avec pertinence de la part dvaluateurs de qualit. Dans la pratique, les sections de chimie du Comit national du CNRS ou du CNU vitent la prise en considration des indicateurs bibliomtriques. Il serait souhaitable que les indicateurs soient clairement mentionns dans les CV des chercheurs et enseignants-chercheurs seniors avant lvaluation par les pairs lors de promotions importantes (passage DR2 DR1 et DR1 DRCE).
La bibliomtrie en Biologie La bibliomtrie est trs largement utilise en biologie comme en mdecine. La plupart des chercheurs font tout leur possible pour publier leurs articles dans le petit nombre de revues trs prestigieuses, quil sagisse avant tout des revues gnralistes, comme Science, Nature ou moindre degr PNAS, ou dans les ttes de file des revues spcialises. La situation est telle que le succs dun chercheur est autant dtre accept dans ces revues de haut niveau que davoir ralis des observations vraiment originales. Le problme est compliqu par le fait que les travaux de trs grande qualit, surtout quand ils utilisent des technologies plus modernes, sont plus volontiers accepts que les autres dans ces grandes revues. Dans ce contexte, on voit combien le facteur dimpact de la revue a une grande importance, plus grande dans lesprit de beaucoup que les index bibliomtriques. La situation est galement complique par la position du chercheur concern dans la liste, souvent longue, des auteurs dun article. Cest le jeune chercheur, ou ltudiant, qui a fait le travail la paillasse qui est en 1 er ou 2me auteur. Cest le directeur de la thse, de lquipe ou du laboratoire qui occupe la dernire place. Les signataires du milieu ont un rle souvent plus accessoire mme sils bnficient de la publication en question au mme titre que les premiers ou derniers auteurs. Cette situation, sans doute excessive, a conduit les grands groupes de
43
revues, en particulier Nature, Science et Cell, a crer des journaux de spcialit ayant leur label : par exemple Nature Immunology ou Science Translational Medicine. On arrive aussi une situation assez manichenne dans laquelle seuls sont considrs comme excellents les articles publis dans les revues fort facteur dimpact, ce qui pnalise nombre darticles trs intressants qui ont t refuss par ces revues soit parce queffectivement ils ntaient pas parfaitement excellents ou modernes, soit parce quils ont t la victime des alas de lexpertise trs discriminante de ces revues prestigieuses. La situation est telle que dans certains cas limportance de la revue puisse orienter le travail de certains chercheurs pour quils se donnent de meilleures chances de publier dans ces revues, au-del de loriginalit de leur travail qui nest pas toujours prise en compte par les experts de ces grandes revues. Un dernier point est celui des sous-disciplines. Le facteur dimpact des revues et le nombre de citations dpendent beaucoup de la taille de la communaut associe chaque discipline ou sous-discipline. Il est en consquence trs important de comparer les indicateurs bibliomtriques dun article ceux de la mme discipline ou sous-discipline. Les revues gnralistes incluent en thorie toute les disciplines mais privilgient certaines dentre elles ou certaines mthodologies.
La bibliomtrie en Biologie vgtale Historiquement, cest--dire environ jusquau milieu du XXe sicle, la biologie vgtale (versus botanique), avec la biologie animale (versus zoologie) et la mdecine, constituait un des piliers de la biologie au sens large. Cette sous-discipline de la biologie est elle-mme trs htrogne et compose de nombreuses spcialits depuis la biologie cellulaire et la gntique (puis la gnomique), la biologie du dveloppement ou la pathologie en passant par la physiologie, la biochimie, ou encore lcologie. Cette dernire, regroupe avec la partie animale, est devenue une discipline part entire dans les annes rcentes. On distingue les chercheurs qui ont une approche assez descriptive et qui sappuient beaucoup sur des corrlations pour effectuer des dmonstrations (cologie, biologie des populations) de ceux qui ont une approche mcaniste utilisant la biochimie et la gntique molculaire, en particulier. Ils sont regroups dans plusieurs sections diffrentes du CNU et du CNRS (ou de lINRA) pour les valuations. La taille de la communaut en France est trs approximativement de lordre du millier de chercheurs, sachant quelle est difficile valuer du fait quelle est rpartie entre les universits, lINRA, le Musum dHistoire Naturelle et le CNRS pour la plus grande part, mais aussi pour une petite partie le CEA, lIRD, etc.. Les scientifiques les plus connus appartiennent sans aucun doute des quipes associes un EPST ou un EPIC.
44
Comment seffectue lvaluation individuelle ? Au niveau national, CNU, CNRS ou INRA par exemple, on distingue les chercheurs connus (gnralement des seniors, DR ou PR, et quelques juniors, CR ou MdC) de ceux qui ne le sont pas ou pas encore (les juniors, en particulier). - En gnral, on regarde la liste des publications et la qualit des journaux dans lesquels ces chercheurs publient. On voit mme fleurir, ici ou l, des dossiers dans lesquels les journaux sont affects de leur facteur dimpact. Certains journaux sont, plus ou moins juste titre, considrs comme prestigieux (Nature, Science, PNAS, Cell, ou encore Plant Cell, le journal spcialis le plus cot dans la discipline). Y publier est donc un gage de reconnaissance avre ; les travaux ncessaires pour accder de tels journaux sont souvent raliss en 2-4 ans par plusieurs personnes. - La recherche en sciences exprimentales est une activit intellectuelle de comptition, caractre individuel, mais qui se pratique en quipe. La biologie est tributaire de nombreuses techniques et mthodologies ncessitant des collaborations ce qui rend difficile lvaluation individuelle. - Il convient de bien distinguer les chercheurs innovants, ne suivant pas toujours la mode du moment, de ceux qui sont moins innovants mais dexcellents techniciens (plutt ingnieurs de recherche que chercheur) et qui peuvent publier beaucoup, y compris dans dexcellents journaux. Trs souvent, en France, les recrutements sont orients de manire privilgier ce type de profil destin complter les capacits dune quipe de recherche. - Le positionnement dun chercheur dans lordre des auteurs est un lment important comme dans toute la biologie : le premier auteur, thsard ou post-doc le plus souvent, est celui qui a ralis la plus grande partie de lexprience ; lauteur senior est celui qui a dirig le travail partir dune ide quil a propose et, le plus souvent, des rsultats prliminaires quil a obtenus pour en tester la validit. Les autres ont contribu de manire souvent mineure, en particulier dans les cas, nombreux, de collaborations techniques ponctuelles (utilisation de plateaux techniques, par exemple). - Le rayonnement dun chercheur est un lment trs souvent pris en compte dans lvaluation : capacit faire progresser une discipline, former une cole de pense, accueillir des chercheurs de nationalit trangre en sjour sabbatique, etc. En conclusion, dans ltat actuel, les indicateurs bibliomtriques sont encore assez peu utiliss de manire automatique par les instances dvaluation. Il convient, dans les recommandations, que soit prcis le rle prcis jou par chacun des signataires des publications, tous les signataires devant tre capables dexpliquer compltement le contenu de larticle quils ont co-sign et de prciser leur rle (conceptuel, mthodologique, technique, fourniture de matriel biologique, etc.) dans ce travail.
45
La bibliomtrie dans les Sciences mdicales Le paysage de lvaluation dans les sciences mdicales est fortement influenc par la prise en compte explicite de lactivit de publication scientifique dans le financement des hpitaux, suite la rforme de 2004. Les hpitaux sont en effet financs en fonction de leur activit de soins, aprs codification. Laccomplissement de certaines activits dintrt gnral, et notamment de lactivit de recherche -majoritairement effectue dans les hpitaux universitaires- ne rentrait pas dans ce modle et fait donc lobjet dune ligne budgtaire particulire (lenveloppe MIGAC ). Lactivit de recherche est comptabilise notamment grce au recensement systmatique des publications effectues dans les hpitaux, classes en 3 catgories de qualit. Lactivit de recherche dun individu ou dun service est mesure par un nombre de points uniquement dtermin en multipliant lindice de la revue (8 points pour une revue A, 4 points pour une revue B, 1 point pour une revue C) par un indice fond sur le rang de signature (4 points pour un 1 er signataire, 2 points pour un second ou dernier signataire, 1 point pour les autres). Le score varie donc de 1 32, et le financement (touch par lhpital de faon globale) est obtenu en multipliant ce nombre de points par la valeur du point. Ce systme a forcment une influence sur les modes dvaluation des instances universitaires qui disposent dun outil simple, et mis jour (le logiciel SIGAPS). Cette volution peut tre favorable en forant mettre en vidence, plus clairement que ce ntait fait dans beaucoup de sections du CNU, les activits de recherche objectives des candidats. Il est bien vident cependant que lautomatisme ne doit pas tre la rgle. Lanalyse des dossiers individuels est ncessaire pour identifier les publications o le chercheur valu a eu linitiative de la recherche - ou y a tenu un rle essentiel - de celles, nombreuses dans les disciplines mdicales, o il nest quun signataire parmi dautres ayant apport lusage dun plateau technique, ou fourni un certain nombre des patients analyss. De ce point de vue, les rapporteurs ont comme guide les critres de Vancouver pour juger de la relle contribution des auteurs. Notons aussi que le logiciel SIGAPS ne fait pas de distinction entre une lettre un journal, un article de revue, ou un article original. Certaines sections mdicales ont bien conscience de lensemble de ces problmes et ditent des guides publics lattention de candidats. Ceci devrait tre encourag. Par exemple (section 4604 du CNU) : Le postulant doit dmontrer sa capacit d'intgration, d'animation, de participation une quipe de Recherche au sein de l'universit dans laquelle il sera nomm, la fois sur les activits de publication passes ou en cours, et sur les projets dfinis en accord avec la Direction de la Recherche Clinique du CHU (contrats, PHRC, STIC). Le niveau de publications minimum requis est de 5 articles originaux en premier, deuxime ou dernier auteur dans des revues internationales, facteur d'impact significatif de la discipline, rangs A ou B SIGAPS ou classification quivalente. La liste de publications permet d'analyser l'intgration du candidat au sein d'quipes de recherche, et de juger de sa capacit de publications. Lanalyse individuelle SIGAPS jour permet danalyser le profil de production scientifique
46
du candidat. L'originalit des travaux, leur pertinence, la dynamique personnelle sont pris en compte ainsi que l'investissement dans la discipline (participations aux Congrs Nationaux et Internationaux). et Internationaux). Au moment du recrutement ou de la promotion des professeurs, il est galement utile dvaluer la production de seconde gnration (cest dire elle des lves du candidat. Les dossiers peuvent donc utilement faire apparatre la production de ceux-ci.
La bibliomtrie en conomie Ce point de vue ne saurait rsumer lensemble des points de vue qui existent au sein de la communaut des conomistes. La population mme des conomistes est difficile cerner. Lintitul de la section 37 du CNRS est, en effet, Economie et Gestion (excluant par exemple les statistiques qui sont dans la section 1 : Mathmatiques). En revanche, le CNU distingue : Sciences conomiques (section 5), Sciences de gestion (section 6) et les statistiques sont dans Mathmatiques appliques et applications des mathmatiques (section 26). Certains conomistes sont par ailleurs la frontire avec dautres disciplines comme la gographie, lhistoire, ou la sociologie, pour nen citer que quelques unes. Au sens de la section 37 du CNRS et de la section 5 du CNU, le nombre dconomistes en France est de lordre de 2 800. Comme dans les autres disciplines, le recrutement et les promotions sont bass sur lvaluation par les pairs. Toutefois, des indicateurs bibliomtriques sont apparus pour aider les valuateurs. Il sagit essentiellement de la publication (en 2003, rvise en 2008) par la section 37 du CNRS dune liste de 690 revues avec pour chacune une note 0 4 (0 tant la meilleure note1). Lusage de cette liste sest rpandu. La section 37 du CNRS, la section 5 CNU, lAERES, ainsi que les rcents jurys dagrgation (passage de MCF PR) utilisent cette liste afin de faciliter les comparaisons entre les profils de publications des chercheurs quils doivent valuer. Bien que cette liste soit incomplte 2, et que tous les conomistes ne soient pas daccord avec son contenu, son apparition et son utilisation (parmi dautres critres) semblent donner des incitations (notamment aux jeunes chercheurs) publier davantage et le mieux possible.
Cette note est issue dune valuation qualitative des revues par le Comit national de la section 37 et non pas dune application mcanique dindices bibliomtriques comme le impact factor , par exemple. En Allemagne lassociation allemande dconomie a publi une liste similaire en 2008. 2 Par exemple, la base de lAmerican Economic Association (EconLit) contient 1050 journaux. De nombreux journaux de statistiques sont exclus des deux listes (CNRS comme EconLit).
47
Un lment important est que, en moyenne, les conomistes ne publient pas beaucoup 3 (sans que cela soit considr, ici, comme bien ou mal). Par exemple, les 1% des 2 800 conomistes qui publient le plus ont de lordre de 30 articles (dans la base EconLit). Pour tre dans le top 5% il faut 13 articles, et 8 articles suffisent pour tre dans le top 10%. Cela change avec lge, les jeunes chercheurs publiant plus que ceux des gnrations qui vont partir la retraite. En revanche, lusage dindicateurs de citations ne semble pas tre entr dans les m 4. urs Rcemment, la section 5 du CNU a t divise sur lusage dun seuil minimum de publications dans de bonnes revues pour la qualification de MCF (passage PR la voie longue). Un seuil a t appliqu mais certains membres du CNU ont protest contre un usage exclusif du critre des publications. Une double conclusion merge : dune part les indicateurs bibliomtriques (quil sagisse de nombre de publications pondres par la qualit moyenne des revues, ou dun indicateur directement bas sur le nombre de citation des articles) sont surtout utilisables pour les chercheurs les plus productifs (en dessous dun certain dcile, tous les chercheurs ont un profil trs similaire). Leur usage peut donc venir clairer de manire pertinente les choix pour certaines promotions (comme le passage la premire classe pour les PR ou le passage de CR1 DR2 au CNRS). Dautre part, si pour les plus jeunes les indicateurs bibliomtriques sont insuffisamment discriminants, leur usage (mme partiel) donne de bonnes incitations ces chercheurs pour amliorer leur dossier. Deux remarques pour finir. Tout dabord, il semble important de produire des chiffres (la valeur dun indicateur donn pour un chercheur donn) avec un contexte permettant de le comprendre, en essayant de les replacer dans un cadre (une distribution) plus large. Par exemple, lindicateur I du chercheur C vaut x, et cela le place parmi les n meilleurs chercheurs de sa gnration, dans son domaine. Ensuite, toute valuation devrait se faire selon une grille danalyse pr-tablie, transparente, et devrait faire lobjet dun compte rendu transmis la personne concerne.
La bibliomtrie en Sciences humaines et sociales Les sciences humaines et sociales prsentent une trs grande diversit de situations selon les disciplines. On peut toutefois faire quelques constats et propositions de porte gnrale leur sujet.
3
Un lment dexplication peut tre les dlais trs longs qui existent dans le processus de publication. Un document de travail nest publi dans une revue que deux ou trois ans aprs sa rdaction (parfois plus). 4 Par exemple, seules 300 revues (environ) dconomie sont dans la base des citations SSCI dont une seule en franais (or de nombreux conomistes privilgient encore le franais) et lusage de Google Scholar semble relativement dlicat. De plus, la distribution des citations est encore plus ingalitaire que celle des publications.
48
Il n'est pas possible et il ne sera pas possible brve chance de raliser des calculs de citations de qualit suffisante pour qu'ils soient utiliss dans un processus d'valuation, quel qu'il soit. Les divergences normes rencontres pour des calculs faits sur les mmes chercheurs suivant la base de donnes utilise (ISI Web of Science ou Google Scholar) en tmoignent. Ces bases sont la fois trop peu et trop inclusives et ne peuvent pas reflter efficacement l'activit scientifique en SHS ce que confirment d'ailleurs les responsables de Thomson Reuters. Plusieurs raisons l'expliquent : des formes de publication nombreuses en dehors des articles, avec, pour les ouvrages, une quasi-impossibilit de tracer des frontires entre ouvrages scientifiques et grand public ; une quantit totale de publications relativement faible pour chaque chercheur professionnel mais norme pour chaque discipline ; des publications qui ne se font pas seulement en anglais (ni en franais), pour des raisons lgitimes ; des citations plus nombreuses d'articles anciens (avant 2000, voire avant 1980). Il serait donc absurde d'utiliser des indicateurs bibliomtriques pour l'valuation individuelle en SHS a fortiori pour le recrutement, point nodal des difficults des SHS en matire d'valuation. En revanche, l'issue des discussions du groupe de travail, quelques recommandations peuvent tre formules pour amliorer l'valuation individuelle, y compris dans ses aspects bibliographiques, sinon bibliomtriques : - standardiser les prsentations des CV des chercheurs (discipline par discipline), quel que soit le type d'valuation auquel ils doivent servir et l'institution concerne, en distinguant en particulier les publications soumises lvaluation par des pairs et les autres, y compris en matire d'ouvrages ; - comme cela se fait pour les revues, faire labelliser et le cas chant subventionner par le CNRS (labellisation par les sections du CoNRS) les collections d'ouvrages scientifiques ; - encourager la cration d'un portail web de signalement des comptes rendus en SHS, l'chelle franaise ou de prfrence europenne, voire mondiale (projet partiellement en cours sous le nom de recensio.net) ; - favoriser la prsence dans les jurys d'au moins deux scientifiques issues d'autres disciplines (des SHS, voire hors SHS lorsque le profil des candidats le justifie), qui peuvent amener les pairs au sens plus strict expliciter leurs critres de jugement et viter certains phnomnes de favoritisme. Les recommandations gnrales proposes dans le prsent rapport s'appliquent galement aux SHS.
49
LETHIQUE DE LA PUBLICATION DES TRAVAUX SCIENTIFIQUES LES CRITERES DE VANCOUVER
ANNEXE 4
Publication Ethics : Sponsorship, Authorship and Accountability International Committee of Medical Journal Editors
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
ANNEXE 5 GLOSSAIRE
ADS AERES CNRS CEA CHU CNU CoNRS CPU CR (2, 1) CREST DR (2,1,E) EPIC EPST ERC ESO FI G H INIST INRA INSERM IRD ISI IUF JCR LRU MdC ou MCF NASA OST PNAS PR (2,1,E) SCOPUS SHS UFR UMR
Astrophysics Data System Agence dvaluation de la Recherche et de lEnseignement Suprieur Centre National de la Recherche Scientifique Commissariat l'nergie Atomique Centre Hospitalier Universitaire Conseil National des Universits Comit National de la Recherche Scientifique Confrence des Prsidents d'Universit Charg de Recherche Centre de Recherche en conomie et Statistiques Directeur de Recherches (classe 2, 1, exceptionnelle) tablissement Public caractre Industriel et Commercial tablissement Public caractre Scientifique et Technologique European Research Council European Southern Observatory Facteur d'Impact Indicateur de Eghhe Indicateur de Hirsch Institut de l'Information Scientifique et Technique Institut National de Recherche Agronomique Institut National de la Sant et de la Recherche Mdicale Institut de Recherche pour le Dveloppement Institute for Scientific Information Institut Universitaire de France Journal Citation Reports Loi relative aux Liberts et Responsabilits des Universits Matre de Confrences National Aeronautics and Spatial Administration Observatoire des Sciences et des Techniques Proceedings of the National Academy of Sciences Professeur (classe 2, 1, exceptionnelle) Base de donnes Elsevier Sciences Humaines et Sociales Unit de Formation et de Recherche Unit Mixte de Recherche
67

2011 - Académie Des Sciences - Du Bon Usage de La Bibliometrie Pour L'évaluation Individuelle Des Chercheurs

Enviado por

Dados do documento

Título original

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

2011 - Académie Des Sciences - Du Bon Usage de La Bibliometrie Pour L'évaluation Individuelle Des Chercheurs

Enviado por

Direitos autorais:

Formatos disponíveis

DU B ON USAGE DE LA BIBLIOMETRIE POUR L'VALUATION INDIVIDUELLE DES CHERCHEURS

Rapport remis le 17 janvier 2011 Madame la Ministre de l'Enseignement Suprieur et de la Recherche

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Du bon usage de la bibliomtrie pour lvaluation individuelle des chercheurs

I - Importance de lvaluation par les pairs et ses limites

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

III - Quand et comment utiliser ou ne pas utiliser la bibliomtrie

Rapport de lAcadmie des sciences - 17 janvier 2011

IV - Spcificits par disciplines

V - Etudes pour amliorer la bibliomtrie

Rapport de lAcadmie des sciences - 17 janvier 2011

Du bon usage de la bibliomtrie pour lvaluation individuelle des chercheurs

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

DU BON USAGE DE LA BIBLIOMETRIE POUR LEVALUATION INDIVIDUELLE DES CHERCHEURS

Rapport de lAcadmie des sciences - 17 janvier 2011

Dfinition et objectifs de la bibliomtrie

Rapport de lAcadmie des sciences - 17 janvier 2011

Place respective de la bibliomtrie et de lvaluation qualitative par les pairs

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Diversit des habitudes et pratiques des diffrentes disciplines

Rapport de lAcadmie des sciences - 17 janvier 2011

Les auteurs et limportance de leurs contributions respectives

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Le choix des indicateurs et bases de donnes

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Comment utiliser la bibliomtrie pour lvaluation individuelle des chercheurs

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Importance dune rflexion nationale sur lamlioration des indicateurs

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

ANNEXE 1 COMPOSITION DU GROUPE DE TRAVAIL

Rapport de lAcadmie des sciences - 17 janvier 2011

Coordination de la rdaction Brigitte dARTEMARE Chef de Cabinet - Acadmie des sciences

Rapport de lAcadmie des sciences - 17 janvier 2011

ANNEXE 2 RAPPORT 2009 DE LACADEMIE

1. Les rgles de dontologie et dthique

Rapport de lAcadmie des sciences - 17 janvier 2011

2. Les critres et outils de lvaluation de lactivit de recherche

3. Les critres dvaluation des activits denseignement

Rapport de lAcadmie des sciences - 17 janvier 2011

4. Lvaluation des charges dintrt collectif

5. La frquence et la forme des valuations

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

ANNEXE 3 PRATIQUES BIBIOMETRIQUES

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011

Rapport de lAcadmie des sciences - 17 janvier 2011