PUBLICATIONS EUA

ASSURANCE QUALIT :
RFRENTIEL PARTAG DINDICATEURS ET DE PROCDURES DVALUATION
PAR FRANOIS TAVENAS
POUR ELU (EUROPE LATINE UNIVERSITAIRE)

ASSURANCE QUALIT: R F R E N T I E L PA R TA G D I N D I C AT E U R S E T D E P R O C D U R E S D VA L U AT I O N

R A P P O R T P R PA R PA R

Franois Tavenas Recteur honoraire de lUniversit Laval, Qubec Recteur fondateur de lUniversit de Luxembourg Pour le compte dELU, regroupement informel des universits des pays latins dEurope dans le cadre de lAssociation europenne de lUniversit

AVRIL 2003

Copyright 2004 par lAssociation Europenne de lUniversit (EUA) Tous droits rservs. Cette information peut tre cite librement et copie dans un but non commercial, moyennant mention de la source ( Association Europenne de lUniversit). Des copies supplmentaires peuvent tre obtenues raison de 10 par document. Pour plus dinformations, contactez-nous publications@eua.be ou crivez : Association Europenne de lUniversit Rue dEgmont 13 1000 Bruxelles, Belgique Tl. : +32-2 230 55 44 - Fax : +32-2 230 57 51 Ce rapport est galement disponible gratuitement sur www.eua.be

TABLE DES MATIRES

Avant-propos Remerciements Prface INTRODUCTION
........................................................................................................................................................................................................................................................................... ..............................................................................................................................................................................................................................................

7 8

Mise en contexte

Objectifs de ltude ........................................................................................................................................................................................................................................8 Principes fondateurs .....................................................................................................................................................................................................................................9

Partie I
INDICATEURS DE PERFORMANCE
..........................................................................................................................................................................................................................................

11

1 - Pratiques actuelles dans le monde .............................................................................................................................................................................. 12 1.1 Les indicateurs de lUNESCO.......................................................................................................................................................................... 12 1.2 Les indicateurs de lOCDE .................................................................................................................................................................................. 12 1.3 Situation en Europe ................................................................................................................................................................................................... 13 2 - Problmes mthodologiques et limitations dans lusage............................................................................................................. 18 3 - Types possibles dindicateurs de performance ........................................................................................................................................... 21 3.1 Qualit des tudiants et de leurs performances ...................................................................................................................... 21 3.2 Qualit de la recherche ......................................................................................................................................................................................... 23 3.3 Indicateurs du niveau de ressources consacres la formation et la recherche............................... 25 3.4 Indicateurs relatifs aux pratiques de gouvernance et de gestion ....................................................................... 26 4 - Autres approches possibles.................................................................................................................................................................................................... 29 4.1 Approche par enqutes sociologiques ................................................................................................................................................ 29 4.2 Approche du Centrum fr Hochschulentwicklung .............................................................................................................. 30 4.3 Approche de Swissup .............................................................................................................................................................................................. 31 4.4 Lapproche normative ISO : lexprience italienne .............................................................................................................. 32 5 - Utilisation des indicateurs de performance..................................................................................................................................................... 34 5.1 Pour les fins de gestion interne des tablissements ............................................................................................................ 34 5.2 Dans le cadre des relations avec les autorits de tutelle................................................................................................ 35 5.3 Pour les relations avec le grand public ............................................................................................................................................... 35 5.4 Pour des analyses compares aux niveaux europen et international ......................................................... 36

Partie II
PROCEDURES DEVALUATION DE LA QUALITE ...................................................................................................................................................................................................... 37 1 - Les procdures en place ou envisages dans les pays de lELU ............................................................................................ 38 1.1 La situation en Belgique francophone................................................................................................................................................. 38 1.2 La situation en France ............................................................................................................................................................................................. 38 1.3 La situation en Italie................................................................................................................................................................................................... 39 1.4 La situation au Luxembourg ........................................................................................................................................................................... 40 1.5 La situation au Portugal ........................................................................................................................................................................................ 40 1.6 La situation en Suisse ............................................................................................................................................................................................... 42 1.7 Conclusion ............................................................................................................................................................................................................................ 42 2 - Le modle qubcois ...................................................................................................................................................................................................................... 43 2.1 Evaluation des enseignements...................................................................................................................................................................... 43 2.2 Evaluation des programmes lors de leur cration ................................................................................................................. 44 2.3 Evaluation priodique des programmes ........................................................................................................................................... 45 2.4 Commission des Universits sur les Programmes .................................................................................................................. 46 2.5 Evaluation de la recherche................................................................................................................................................................................. 46 3 - Autres approches possibles.................................................................................................................................................................................................... 48 3.1 Les approches anglaises........................................................................................................................................................................................ 48 3.2 Les approches amricaines................................................................................................................................................................................ 48 3.3 Autres initiatives internationales ................................................................................................................................................................. 49 4 Rgles de bonne pratique dvaluation proposes.............................................................................................................................. 50 4.1 Favoriser la responsabilisation des tablissements................................................................................................................ 50 4.2 Lauto valuation premire tape essentielle ......................................................................................................................... 50 4.3 Lvaluation par les pairs fondement du systme ............................................................................................................ 51 4.4 La publicit des rsultats fondement de la crdibilit ............................................................................................... 51 4.5 Respecter la diversit condition essentielle au dveloppement ...................................................................... 51

AVANT-PROPOS
Je suis particulirement heureux de prsenter cette tude prpare par ELU, regroupement informel au sein de lAssociation europenne de lUniversit (EUA), initialement form par les confrences nationales des recteurs et des prsidents duniversits de la communaut franaise de Belgique, de la France, de lItalie, de lEspagne, de la Suisse et du Portugal. Ce groupe, qui a t rapidement rejoint par le Luxembourg, souhaitait dbattre de diffrents sujets dintrt commun lis au travail de lEUA et la mise en place de la dclaration de Bologne. Parmi les thmes de discussions abords, ELU sest pench ds le dbut sur les indicateurs de performance et les procdures dvaluation. Etant donn lintrt suscit par le sujet, ELU a confi au professeur Franois Tavenas (Recteur Emeritus de lUniversit de Laval, Qubec, et recteur fondateur de lUniversit de Luxembourg) la responsabilit de prparer un rapport portant la fois sur les pratiques existantes dans les diffrents pays reprsents au sein dELU et celles dveloppes dans un cadre international. LEUA est aujourdhui ravie dapporter un soutien ce travail en publiant cette tude qui offre une vue dtaille des procdures de qualit dans diffrents pays dEurope et les compare avec les pratiques nordamricaines. Ce document contient galement une approche thorique et conceptuelle de la dlicate notion dindicateurs. Par ailleurs, bien que partant du contexte europen de la dclaration de Bologne, nous considrons que cette tude, qui inclut le potentiel et les limites dune harmonisation de lenseignement suprieur, peut galement enrichir les discussions au niveau international sur llaboration dun cadre global de lassurance qualit. Malheureusement, alors que le manuscrit tait prt pour publication, nous avons t pein dapprendre la disparition brutale du professeur Franois Tavenas, le 13 fvrier 2004. Outre cette tude pour ELU, il tait impliqu dans de nombreuses activits de lEUA. La communaut acadmique regrettera son exprience incomparable des systmes universitaires des deux cts de lAtlantique et son apport inestimable lenseignement suprieur europen.

Eric Froment Prsident, EUA

REMERCIEMENTS
Cette tude est le rsultat du travail du professeur Franois Tavenas1, en collaboration avec les reprsentants du groupe ELU2. Dans la prparation de ce document, le professeur Tavenas a bnfici de lapport des partenaires dELU qui lui ont transmis les informations ncessaires relatives aux pratiques nationales. Ils ont galement apport leurs commentaires sur les diffrentes versions du rapport, qui a t dbattu et amend lors de la rencontre tenue Genve les 15 et 16 janvier 2003. Le texte final a t adopt par les membres du groupe Lisbonne lors de la runion des 29 et 30 avril 2003. Lauteur tient remercier Jean-Pierre Finance, Dlgu gnral de la CPU, pour avoir t lorigine de cette tude et pour son appui constant tout au long de son droulement. Il remercie galement pour leur collaboration la rdaction de certaines sections du rapport Mmes Emanuella Stefani, directrice de la CRUI et Andre Sursock, secrtaire gnrale adjointe de lAssociation europenne de luniversit, Monsieur JeanRichard Cytermann, inspecteur gnral de lEducation nationale, ainsi que les reprsentants des confrences nationales de recteurs.

1 2

Recteur honoraire de lUniversit Laval de Qubec et recteur fondateur de lUniversit de Luxembourg ELU, un regroupement informel au sein de lEUA, qui inclut les confrences nationales des recteurs et des prsidents duniversits de la communaut franaise de Belgique, de la France, de lItalie, de lEspagne, de la Suisse, du Luxembourg et du Portugal. Les reprsentants espagnols ont toutefois peu eu loccasion de participer aux travaux aprs la premire runion.

PRFACE
En octobre 2002, le groupe ELU (Europe Latine Universitaire) compos des Prsidents et de permanents des confrences de Prsidents et de Recteurs suisse, italienne, portugaise, belge francophone et franaise a dcid dentreprendre un travail collectif sur lvaluation du systme universitaire. Sappuyant sur une tude comparative des pratiques de leurs diffrents pays, llaboration de familles dindicateurs permettant de mieux comprendre et matriser la ralit des universits europennes a t confre au Professeur Franois Tavenas, Recteur honoraire de lUniversit Laval Qubec et Recteur de lUniversit de Luxembourg. Ce rapport, publi avec le concours de lAssociation de lUniversit Europenne (EUA) dont ELU est un groupe de travail, propose dune part une analyse comparative de diverses pratiques en matire dindicateurs de performance et dautre part une typologie et un mode dutilisation dune famille dindicateurs disposition des responsables dtablissements. Ce travail, document et riche, apporte une contribution dcisive un besoin ressenti unanimement en Europe, savoir rendre plus efficaces, plus pertinents, plus attractifs et plus dynamiques les systmes nationaux denseignement suprieur et de recherche. Il permet galement de faire merger la richesse des modles universitaires europens favorisant ainsi le croisement des diffrentes cultures. Llaboration dinstruments de mesure et de comparaison est en effet aujourdhui une part de passage oblig dans la construction dun espace europen denseignement suprieur et de recherche attractif, diversifi et dynamique. Le groupe ELU remercie trs sincrement Franois Tavenas pour la pertinence et lexcellence de ce travail, il remercie lEUA et en particulier Andre Sursock pour la publication en franais et en anglais de ce rapport.

Jean Pierre FINANCE Dlgu Gnral de la Confrence des Prsidents dUniversit franaise

INTRODUCTION

MISE EN CONTEXTE
Le 24 septembre 1998, le Conseil de lUnion europenne adoptait la recommandation 98/561/EC visant assurer la qualit de lenseignement suprieur par la mise en uvre de mcanismes dassurance qualit dans tous les pays de lUnion et par la coopration entre les instances nationales dassurance qualit. Le 19 juin 1999, les Ministres de lducation des pays de lUnion europenne adoptaient la dclaration de Bologne visant crer, dici 2010, un espace europen intgr denseignement suprieur dans lequel tous les tablissements offriraient des programmes structurs sur le modle des Baccalaurats Matrises Doctorats composs de cours donnant lieu loctroi de crdits capitalisables et transfrables (systme ECTS). Lobjectif affirm de cette dclaration de Bologne est de faciliter la mobilit des tudiants entre les universits des pays europens. Cest dans ce contexte que les responsables des confrences de recteurs et prsidents des universits des pays latins de lEurope, runis dans le cadre du groupe ELU, ont convenu de travailler au dveloppement dun rfrentiel partag dindicateurs et de procdures dvaluation. La ralisation de ces objectifs ncessite, bien videmment, la mise en place de mcanismes permettant dassurer une homognit de qualit des programmes universitaires. Aussi, lors de la runion de suivi de la dclaration de Bologne, en mai 2001 Prague, les Ministres de lEducation ont invit les universits, les agences nationales et le European Network of Quality Assurance (ENQA) collaborer ltablissement dun cadre de rfrence commun et la dissmination des meilleures pratiques dassurance qualit.

OBJECTIFS DE LTUDE
Dans le contexte de lconomie du savoir et du rle accru que les universits sont appeles jouer dans le dveloppement culturel, conomique et social, il importe que les universits se donnent les moyens de mieux planifier leur dveloppement et de mieux suivre leurs propres actions de formation et de recherche. La dfinition et lutilisation dindicateurs appropris de leurs activits permettra aux tablissements et leurs gestionnaires de disposer daides la dcision et au pilotage stratgique des tablissements. Le partage de ces indicateurs entre tous les tablissements de lELU leur donnera les moyens de procder, entre eux, des analyses comparatives ( Benchmarking ) conduisant une amlioration de leurs performances. Par ailleurs, et conformment aux dcisions des instances de lUnion europenne, la mise en uvre de procdures dvaluation partages entre les universits du groupe ELU devrait assurer un haut degr dhomognit dans la qualit des programmes denseignement suprieur des pays concerns et, ainsi, servir de base une mobilit facilite des tudiants entre ces universits. Enfin, la mise disposition dindicateurs objectifs et de systmes dvaluation reconnus permettra aux tablissements de dvelopper un discours rationnel sur la dfense du service public denseignement suprieur et sur la promotion dun secteur dont le rle est central dans les socits Lutilisation dindicateurs objectifs dactivit, de ressources et de performance permettra galement aux tablissements de dvelopper un dialogue inform et constructif avec leurs autorits de tutelle et avec tous les partenaires bailleurs de fonds, les systmes partags dvaluation et dassurance qualit leur permettant dassurer les autorits de la qualit des programmes et, partant, de lefficience de linvestissement public dans les tablissements denseignement suprieur. Grce ces dveloppements, les universits du groupe ELU seront mieux en mesure de rpondre aux attentes, de la population en gnral et des tudiants en particulier, en matire dinformation sur les programmes, leurs ressources, leurs produits et leur qualit au moment o ils doivent faire des choix dtudes ou de stages dans le cadre des changes europens.

lheure de lconomie du savoir globalise.

PRINCIPES FONDATEURS
Le dveloppement dun rfrentiel partag dindicateurs et de procdures dvaluation doit, pour tre constructif, respecter un certain nombre de principes fondateurs de lenseignement suprieur en Europe. En tout premier lieu, et conformment la dclaration de Bologne, le systme partag mettre en place devra respecter la diversit culturelle qui fait la richesse de lUnion europenne. Il devra donc se garder dimposer des normes rigides, mais bien plutt proposer des faons de faire qui pourront tre adaptes aux diffrents contextes nationaux. Il devra, de fait, respecter les logiques nationales, dans une dmarche europenne harmonise. Dautre part, la force et la vitalit de luniversit trouvent leur fondement dans larticulation consubstantielle de lenseignement et de la recherche. Le rfrentiel propos devra permettre de dcrire et de mettre en valeur cette articulation. En particulier, les mcanismes dvaluation devront sintresser simultanment aux deux facettes essentielles de la mission universitaire et la faon dont les tablissements articulent ces deux activits pour quelles senrichissent mutuellement. Par ailleurs, la tradition dautonomie des universits et de libert acadmique, reconnue par la Magna Charta Universitatum de 1988 et raffirme par les conclusions de la Confrence Mondiale de lEnseignement Suprieur de lUNESCO en 1998 et par la dclaration de Bologne, devra tre la base du systme dvaluation propos. En particulier, le respect de lautonomie des universits devrait se traduire par le choix de mthodes favorisant la responsabilisation des tablissements dans laccomplissement de leur mission. De fait, lvaluation de la qualit des programmes de formation et de recherche devrait tre partie intgrante de la mission de chaque universit, les systmes nationaux ou internationaux dassurance qualit se concentrant sur la vrification de la qualit et de la rigueur des processus dvaluation mis en place par les universits.

INDICATEURS DE PERFORMANCE

PARTIE 1

1. PRATIQUES ACTUELLES DANS LE MONDE

La pratique des indicateurs dactivit et de performance des tablissements denseignement suprieur est diversement dveloppe aujourdhui dans le monde. Cette diversit reflte dans une large mesure la diversit des structures organisationnelles et des modes de financement des systmes denseignement suprieur. Nous ne tenterons pas de faire ici un inventaire exhaustif des pratiques, mais plutt de souligner les caractristiques de quelques uns des principaux systmes dindicateurs dactivit et de performance ainsi que de dcrire la situation des pays reprsents au sein du groupe ELU.

1.2 Les indicateurs de lOCDE.

LOCDE publie, depuis de nombreuses annes, un recueil annuel dindicateurs dactivits en enseignement, enseignement suprieur et en recherche des pays membres. Ces indicateurs couvrent lensemble du systme dducation des diffrents pays concerns et visent quantifier quatre grands objets : la production de diplms et limpact de lducation ; les ressources financires et humaines consacres lducation ; la participation de la population aux tudes ; lorganisation des coles. Les activits de niveau universitaire sont couvertes par certains des indicateurs, mais un tel niveau dagrgation quon ne peut en tirer des informations que de faon globale pour des comparaisons entre les Etats ; et mme l, les diffrences dans les structures nationales et locales dorganisation et de financement de lenseignement suprieur rendent ces comparaisons difficiles. Ceci dit, les indicateurs de lOCDE sont les seuls actuellement disponibles qui permettent des comparaisons inter-tatiques en matire de frquentation universitaire et de financement de lenseignement suprieur. Il sera donc appropri dy faire rfrence.

1.1 Les indicateurs de lUNESCO.

En 2001, lUNESCO a produit une importante tude sur les indicateurs de performance de lenseignement suprieur, dans les suites de la Confrence mondiale sur lenseignement suprieur quelle avait organise en octobre 1998. Cette tude, ralise par John Fielden et Karen Abercromby du Commonwealth Higher Education Management Service (CHEMS)3, avait pour but de fournir aux Etats membres un cadre danalyse et de donnes statistiques pour les aider dans la formulation et le suivi de leurs politiques denseignement suprieur. Cette tude prsente une liste assez exhaustive des indicateurs qui peuvent tre pris en considration au niveau des Etats aussi bien que des institutions. Ltude donne galement les sources dindicateurs primaires, essentiellement lUNESCO et lOCDE, qui peuvent tre utiliss dans une perspective de comparaisons internationales. En ce sens, il sagit dun excellent document de rfrence, mme si on peut lui reprocher de ne pas prsenter une discussion des limitations des diffrents indicateurs proposs.

12

John Fielden & Karen Abercromby, Accountability and International Cooperation in the Renewal of Higher Education, UNESCO Higher Education Indicators Study, 2001. Le texte de cette tude peut tre trouv sur le site web de lUNESCO: www.unesco.org

1.3 Situation en Europe

Situation en Belgique Lutilisation de critres de performance, en particulier les tudes comparatives, nest pas trs rpandue en Belgique. De nombreuses donnes statistiques sur les diffrents aspects du systme denseignement suprieur (recrutement des tudiants, diplmes, ressources disponibles) sont disponibles sans que pour autant cette information soit rcolte pour mesurer une performance ou laborer une srie dindicateurs permettant dvaluer le systme dans son ensemble. Bien que les autorits universitaires disposent doutils de gestion interne, elles sont rticentes utiliser ces donnes statistiques pour comparer les institutions entre elles. Situation en France4 La construction dun systme cohrent et complet dindicateurs en France sest heurt un certain nombre de difficults, principalement lies la qualit du systme dinformation statistique sur lenseignement suprieur. Les raisons en sont multiples : diversit des produits de gestion informatise des tudiants dans les universits, multitude denqutes avec des rsultats incohrents, prescriptions de la Commission nationale informatique et liberts qui rendent difficiles le suivi des parcours des tudiants ; domaines mal couverts par les statistiques comme les cots de lenseignement, les conditions dencadrement des tudiants et leur insertion. Ces difficults sont accentues par la dispersion de la fonction statistique dans diffrentes directions des ministres de lducation nationale et de la recherche. La direction en charge des statistiques na que depuis dix ans le monopole des statistiques sur les tudiants et elle ne traite pas les statistiques sur les personnels, ni les donnes financires, ni une partie des informations relatives la recherche et en particulier celles de bibliomtrie. Un rle de coordination gnrale du traitement et de la diffusion de linformation statistique lui est nanmoins reconnu.

Dans le mme ordre dide, des indicateurs potentiellement trs intressants posent de redoutables problmes mthodologiques. Labsence de comptabilit analytique et de dcompte du service des enseignants rend trs difficile le calcul de cots par cycle et discipline denseignement, dautant plus que lobservatoire des cots, rponse partielle cette question, a t supprim en 1997. Il nexiste pas dans lenseignement suprieur dpreuve nationale normalise de contrle des connaissances et donc les taux de russite aux examens ne reprsentent quune mesure interne et doivent dans une logique comparative, tre interprts avec prcaution. Compte tenu de la multiplicit des diplmes, il est difficile davoir des rsultats prcis ou exhaustifs sur linsertion des tudiants aprs leur diplme. Les observatoires qui se sont crs dans beaucoup duniversits napportent que des rsultats trs partiels et arrivent difficilement avoir une mthodologie homogne. Un indicateur global sur luniversit naurait pas beaucoup de sens. Les seuls rsultats disponibles sur linsertion sont des rsultats nationaux, obtenus sur un chantillon reprsentatif. Une deuxime srie de raisons tient lorganisation de lenseignement suprieur et de la recherche en France. Limbrication des universits et du CNRS, la coexistence sur un mme site de plusieurs universits ayant des laboratoires communs rend difficile, voire non significative, lattribution une universit de donnes comme les contrats de recherche, la production de brevets ou les indicateurs de notorit scientifique travers lanalyse des publications. Dans une logique de comparaisons internationales, cest presque la production dun site quil faudrait analyser plutt que celle de chacune des institutions prsentes sur le site. On ne dpendrait pas ainsi du choix conventionnel quont fait le CNRS et les universits sur le gestionnaire des contrats ou de la valorisation pour leurs units communes. Dans le mme sens joue le fait que les universits naient pas sous leur responsabilit et encore moins dans leur budget la totalit des moyens de

Ce texte est d, dans une large mesure, Mr Jean-Richard Cytermann.

13

la politique universitaire la diffrence de ce qui se passe ltranger. On vient de parler des personnels des organismes de recherche. On peut citer galement le cas de la vie tudiante dont les moyens et la politique dpendent d institutions spcialises extrieures aux universits (CROUS). Ceci empche que la totalit des moyens dune universit figure son budget, mme en y rintgrant les salaires pays sur le budget de lEtat et donc de comparer directement les moyens des universits franaises et trangres. Une troisime srie dobstacles a tenu sans doute labsence sinon dune volont politique, tout au moins dacceptation dune transparence que permet un systme dindicateurs communs et largement accessibles. En 1996 la publication dindicateurs par la direction de lvaluation et de la prospective sur les taux daccs en second cycle na pas t bien accepte dans le milieu universitaire. Ainsi encore, la Confrence des prsidents duniversits a souhait que la base de donnes INFOSUP , fournissant des donnes statistiques sur chaque universit, ne soit pas accessible entirement lensemble des universits. Par ailleurs, lors de la rflexion sur la refonte du systme de rpartition des moyens SANREMO , la direction de lenseignement suprieur na pas dsir rendre publics les tableaux donnant le budget consolid par tudiant, craignant daviver les revendications. Depuis deux ou trois ans, cependant ltat desprit des diffrents acteurs semble avoir volu dans un sens favorable la production dindicateurs sur les universits. Plusieurs facteurs y ont contribu, dont lexistence dune demande sociale analogue celle qui a pu se produire pour les lyces ; le choix est alors de laisser la presse publier des palmars sans grande rigueur scientifique, ou faire en sorte de produire un travail srieux. A linstar de ce qui avait t fait pour les indicateurs de performance des lyces, la DPD a choisi la deuxime solution et dcid de publier par universit et par grande discipline, des taux de russite au DEUG. Ces taux constats par universit taient compars ce quaurait t un taux attendu, compte tenu des caractristiques de la population tudiante ( ge et srie de baccalaurat) pour faire apparatre une

valeur ajoute de ltablissement. La publication qui en est rsulte, na pas suscit de fortes ractions dopposition et a, au contraire, provoqu des dbats intressants au sein de quelques universits. Le rle positif dune revue comme Vie Universitaire, qui sort chaque mois un dossier chiffr, mettant en valeur les statistiques ministrielles, montre bien cette attente de donnes communes. Il est vraisemblable aussi que, dans une certaine logique de comptition internationale et dvaluation, les universits franaises ressentent le besoin de pouvoir prsenter leurs rsultats, travers quelques indicateurs bien choisis. Cette importance nouvelle donne lvaluation est un des points cls de la rnovation pdagogique autour du LMD. Enfin la rforme de la loi organique relative aux lois de finances est fonde en partie sur la mesure de la performance. Le second lment a t sans doute le souhait du ministre de la recherche de disposer de donnes communes aux corps de chercheurs et denseignants chercheurs pour prparer le plan pluriannuel de recrutement de lemploi scientifique et qui sest appuy sur une dmarche de production coordonne dindicateurs . Cette dmarche a t mene avec succs par lObservatoire des sciences et techniques (OST ), groupement dintrt public, qui runit lEtat et les principaux organismes de recherche. Le troisime facteur rsulte de la volont commune de la CPU, sous limpulsion de son premier vice-prsident et de son dlgu gnral, et de la DPD davancer sur cette question des indicateurs. La Direction de la programmation et du dveloppement souhaitait valoriser les progrs du systme dinformation sur le suprieur en ralisant une publication analogue lEtat de lcole et Gographie de lcole, deux publications fondes sur le principe dune diffusion large de 30 indicateurs dactivit, de cots et de rsultats. Le principe dune telle publication a t arrt en 2001 et devrait sortir dans le premier semestre 2003. Le principe dun tel travail a fait lobjet dun accord densemble.

14

Trente indicateurs sur les universits franaises. Ces trente indicateurs ou groupes dindicateurs ont t prcisment dfinis et sont presque tous chiffrs lheure actuelle. Ils peuvent tre regroups, selon la typologie suivante : Le premier ensemble sintresse lvolution dmographique et aux caractristiques de la population tudiante : volution des effectifs sur cinq ans, rpartition par sexe, age et srie de baccalaurat des entrants luniversit, rpartition par catgorie socio-professionnelle et pourcentage de boursiers. On y ajoutera des indicateurs que lon peut considrer, comme indices de lattractivit des universits : le pourcentage dtudiants trangers, et dtudiants ne venant pas de la zone naturelle de recrutement de l universit (premier cycle) ou dune autre universit (deuxime ou troisime cycle). Le second ensemble sintresse loffre de formation : rpartition par cycle et par discipline des tudiants, part des formations professionnalises, mesure de diversification de loffre de formation. Ce dernier type dindicateur peut tre dinterprtation difficile : il peut tout aussi bien reflter une politique positive de professionnalisation des diplmes quun parpillement de cette offre. Le troisime ensemble concerne la structuration de la recherche : pourcentage denseignants chercheurs oeuvrant dans des quipes reconnues nationalement, pourcentage de chercheurs temps plein et dingnieurs et techniciens provenant des organismes de recherche. Le quatrime ensemble traite des personnels : indicateurs purement dmographiques illustrant le besoin de renouvellement, indicateurs de qualification des populations enseignantes et non enseignantes. Sy ajoutent des indicateurs illustrant la politique de ltablissement ou ses contraintes : turnover des personnels enseignants, effort de redploiement.

Le cinquime ensemble vise mieux cerner les carts de dotation entre tablissements : emplois/tudiant, m/tudiant, budget consolid par tudiant, part des ressources propres, richesse des bibliothques. Le sixime ensemble enfin prsente des indicateurs de rsultats avec toutes les limites et les difficults mthodologiques dcrites prcdemment. Ces indicateurs concernent la russite aux examens, la production de thses et limportance des contrats de recherche, la mesure de lactivit de formation continue et de validation des acquis professionnels. Il nest pas possible ce stade de produire des indicateurs pertinents sur linsertion. Pour rendre plus pertinente la comparaison, les indicateurs seront prsents en utilisant la typologie des tablissements gnralement admise : universits pluridisciplinaires avec ou sans sant, universits dominante scientifique et mdicale, universits dominante littraire, universits dominante juridique ou conomique. Il est clair enfin que : La production dindicateurs sur les universits est totalement trangre une logique de palmars. Un seul indicateur ne saurait dcrire un phnomne et la lecture et linterprtation des indicateurs ne peut se faire quavec une connaissance du contexte des universits. Cette production dindicateurs npuise pas le sujet. Les universits, dans leur dialogue interne, ont besoin dautres indicateurs que ceux utiliss au niveau national ; la logique des contrats EtatUniversit implique des indicateurs au contrat. Situation en Italie5 La Conferenza dei Rettori delle Universit Italiane (CRUI) a publi - de 1992 1998 - des indicateurs de lactivit universitaire qui couvrent de faon globale tous les aspects du fonctionnement et de la performance des universits (nombre, qualit et succs des tudiants, ressources humaines et

Cette section a t prpare avec laide de Mme Emanuella Stefani.

15

matrielles disponibles, niveau et produits de la recherche, etc.). En 1996 la CRUI a mis jour les indicateurs qui avaient t utiliss depuis 1992 : ces indicateurs restent toutefois relatifs la situation pr-rforme du systme universitaire italien ; pour cette raison, partir de 2001, dans le cadre du projet CampusOne, la CRUI a commenc une nouvelle rvision des indicateurs dj proposs. Depuis sa cration en 1999, le Comitato Nazionale per la Valutazione del Sistema Universitario (CNVSU) produit des indicateurs dactivit pour les universits italiennes ; le site internet du CNVSU prsente ces donnes6. Par ailleurs, depuis 1999 une Metodo di evaluazione della ricerca svolta presso strutture scientifiche nellambito del macro-settore scientifico-disciplinare prevalente a t introduite par ltat, qui fait rfrence 22 indicateurs defficacit, defficience et de qualit de la recherche et qui sert de base au calcul et lallocation des ressources de soutien la recherche dans les universits italiennes. La pratique des indicateurs de performance est donc bien tablie depuis une dizaine dannes dans le systme universitaire italien. Situation au Portugal Au Portugal, lvaluation porte sur deux aspects: la recherche et les programmes dtudes.

les instituts polytechniques et les institutions prives. Cependant, le Conseil national pour lvaluation de lenseignement suprieur ne fut tablit quen 1998 et ce ne sera quau cours de lanne acadmique 2000/2001 que lentiret du systme denseignement suprieur portugais pourra tre valu. Les lignes directrices publies par le Conseil ne contiennent pas dindicateurs, bien quil se rfre une liste de points prendre en compte systmatiquement. Toutefois, il est envisag de dfinir de tels indicateurs dans lavenir en collaboration avec le gouvernement et le Conseil est en train de dvelopper une proposition contenant une srie dindicateurs qui permettront de mesurer la qualit des institutions et leurs programmes dtudes. Cette proposition est cruciale pour mettre en place la nouvelle lgislation, qui instaure lobligation dvaluer tous les programmes de formation afin de leur attribuer une note de qualit, pralable ncessaire son accrditation ou son rejet. Toutefois, la dfinition dindicateurs nen est pour linstant qu ses balbutiements et la seule mention officielle apparat dans la loi de 1996 concernant le financement des institutions denseignement suprieur. Il y est mentionn que les paramtres suivants doivent tre introduits: Proportion enseignants/tudiants dans chaque programme, Proportion personnel acadmique/non-acadmique, Indicateurs qualitatifs concernant le personnel enseignant, Indicateurs qualitifs concernant le personnel non-enseignant, Motivations pour chacune de ces catgories de personnel pour amliorer leurs comptences,

Lvaluation de la recherche est mene par une agence La gouvernementale, dvaluer indpendamment les programmes des institutions de lenseignement suprieur. responsabilit dtudes repose quant elle sur des institutions reprsentant le secteur (universits et instituts polytechniques). Lvaluation est base sur des lignes directrices dessines par une agence de coordination (le Conseil national pour lvaluation de lenseignement suprieur) dont les responsabilits et la composition ont t dfinies par une lgislation spcifique. Le processus dvaluation a commenc en 1994 linitiative des universits publiques. La mme anne, le gouvernement approuvait le texte de loi introduisant une valuation pour
6

Structure du budget et en particulier, comparaison entre le cot estim du personnel et son cot rel.

16

www.cnvsu.it/_library/downloadfile.asp?ID=10788

Beaucoup reste donc faire pour dfinir des indicateurs procdure prcis, utiles pour de la renforcer qualit une des dvaluation

Le dveloppement dinformations comparables sur les universits suisses fait actuellement lobjet de plusieurs efforts dont les principaux sont la mise en place dune comptabilit analytique11 qui pourrait produire ses premiers rsultats cette anne encore et, plus rcemment, la cration dun systme dindicateurs de formation pour les hautes coles suisses dont le confrence universitaire suisse (CUS), organe commun de politique universitaire de la Confdration et des cantons, a approuv le principe en juin 2002.

institutions portugaises. Toutefois, il est important de noter que les universits publiques ont charg un ancien ministre de lEducation dvaluer la procdure existante et que parmi ses nombreuses recommandations, figure une srie dindicateurs qui pourra contribuer au travail du Conseil national pour lvaluation de lenseignement suprieur. Situation en Suisse7 Les indicateurs universitaires disponibles en Suisse lchelle nationale sont le fait de lOffice fdral de la statistique (OFS). Celui-ci a notamment pour tche de tenir, en troite collaboration avec les hautes coles, un fichier des tudiants, un fichier du personnel, une statistique des finances ainsi quun relev sur la recherche et le dveloppement dans le secteur tertiaire et une enqute auprs des diplms. LOFS en tire des publications rgulires ainsi quun ensemble de 30 Indicateurs des hautes coles universitaires accessibles sur son site web8. A ct de cette utilisation informative, les donnes de lOFS servent de base au financement des universits cantonales par le biais des contributions pour les tudiants venant dautres cantons ainsi que pour les contributions fdrales prvues par la loi fdrale sur laide aux universits. Dautres instances proposent diverses informations quantitatives sur les universits suisses, notamment le Centre dtudes de la science et de la technologie (CEST) qui publie des donnes bibliomtriques,9 ou le bureau des constructions universitaires, qui tient un inventaire des surfaces10.

7 8 9

Cette section a t produite par Mr Raymond Werlen. www.statistik.admin.ch/stat_ch/ber15/indik_hsw/ind15f_men.htm www.cest.ch www.cus.ch/Fr/F_Publika/F_Publika_Themen/S_Publika_Them_FHB.html www.cus.ch/Fr/F_Projekte/F_Projekte_Koop/S_projets3_coope_comp.html

10 11

17

2. PROBLMES MTHODOLOGIQUES ET LIMITATIONS DANS LUSAGE

La dfinition et lutilisation des indicateurs de performance de lenseignement suprieur sont associes de multiples difficults et ce, quel que soit le niveau de lanalyse tablissement, rgional, national, international ou lusage envisag. La premire difficult est associe la disponibilit, la reprsentativit et la fiabilit des donnes statistiques de base. Cette difficult est videmment fonction du niveau de lanalyse. Au niveau de ltablissement, on peut penser que tout tablissement universitaire moderne est en mesure de gnrer les donnes statistiques pertinentes son fonctionnement et sa gestion stratgique. Ceci ne veut pas dire que de telles donnes sont disponibles immdiatement, mais bien quelles peuvent tre colliges si ltablissement le juge utile. Ds quon dpasse le niveau de ltablissement la situation se complique srieusement. Il faut alors tenir compte de questions comme les diffrences dans les structures organisationnelles, dans les missions, etc. qui complique la comparabilit des donnes. Il faut aussi avoir des mcanismes de collecte et de validation des donnes. Dans bien des pays, plusieurs organismes colligent des donnes statistiques sur les divers volets dactivit de lenseignement suprieur pour leurs besoins propres (financement, reddition de comptes publics, etc.) ; se pose alors la question de la cohrence de ces donnes. Au niveau international, viennent sajouter les effets de structures organisationnelles diffrentes, de mcanismes de financement diffrents. Dans ces conditions, lutilisation et linterprtation Ainsi, il faut sattendre ce que les indicateurs de performance de lenseignement suprieur soient diffrents selon le niveau danalyse envisag. Il faut aussi sattendre ce que les indicateurs soient de plus en plus globaux lorsque le niveau danalyse slve de ltablissement la rgion, lEtat ou linternational. Une difficult subsidiaire cette premire problmatique vient du lien entre le niveau dagrgation des donnes et leur signification. Plus les donnes sont agrges, au niveau national ou international, plus elles effacent des informations significatives, limitant ainsi la capacit dinterprtation des rsultats et leur utilisation un niveau infrieur en particulier. Les indicateurs doivent, de prfrence, tre associs la caractrisation et au suivi des orientations stratgiques de ltablissement ou du systme universitaire observ. Les indicateurs statistiques de toute activit universitaire doivent tre considrs comme des lments de soutien au jugement plutt que comme des faits objectifs ; Les indicateurs doivent tre utiliss en faisceaux complmentaires, de manire donner une image pointilliste de lactivit concerne ; des indicateurs de performance doivent tre exerces avec une trs grande prudence. En particulier : Il convient donc dtre prudent dans lanalyse et linterprtation dindicateurs rfrant des donnes agrges et de tenir compte des relations qui peuvent exister entre niveau dagrgation et signification des donnes de base utilises. Il nexiste malheureusement pas dindicateur objectif global de la valeur ajoute dune activit universitaire. La pratique tablie un peu partout dans le monde consiste donc dfinir une srie dindicateurs ponctuels des diffrents volets de chaque activit universitaire, en tentant de choisir ces indicateurs pour avoir, au total, une reprsentation aussi complte que possible de lactivit. Les indicateurs lmentaires visent habituellement caractriser certains intrants ressources mises disposition, provenance et qualit des tudiants, fonds de recherche, etc. ; certains lments dorganisation espaces disponibles, groupes de recherche, ressources informatiques ou de bibliothque, etc. ; ou certains extrants diplmes dcerns, nombres de publications, brevets, etc. Il est essentiel de raliser que chaque indicateur, pris isolment, ne donne pas une image objective de la performance de ltablissement ou de lactivit reprsente. De fait, dans la quasi-totalit des cas, un indicateur dactivit peut tre interprt de deux faons opposes. Ainsi, un taux de diplomation lev peut tre d une organisation pdagogique suprieure et un encadrement efficace des tudiants, ou au contraire un laxisme dans lvaluation.

18

Un troisime problme est issu de la diversit des pratiques disciplinaires. Lenseignement et la recherche sont fortement influencs par ces pratiques. Il importe donc, dans le choix des indicateurs de performance, de tenir compte de cette diversit : on nvalue pas de la mme faon une activit universitaire en philosophie et en biologie molculaire ! Une autre consquence est que la diversit des disciplines reprsentes dans un tablissement ou un systme va avoir un effet direct sur les valeurs de la plupart des indicateurs de performance agglomrs au niveau de cet tablissement ou ce systme. Lanalyse des indicateurs de performance, quelque niveau que ce soit (tablissement, systme rgional, systme national), devra donc faire intervenir linformation sur la diversit disciplinaire en terme de nature et de poids relatif. Ceci dit, il faut en mme temps tre attentif la question, de plus en plus importante compte tenu de lvolution de la Science, de la reprsentation et de la mise en valeur des activits inter- et multidisciplinaires. Des indicateurs de performance trop fortement ancrs dans la diversit disciplinaire portent un risque ce propos ; lutilisation dindicateurs applicables des grands regroupement disciplinaires tels que sciences pures, sciences appliques, sciences de la vie, sciences humaines et lettres permet dattnuer ce risque. Par ailleurs, il serait bon dinclure des indicateurs spcifiques aux activits inter- et multi-disciplinaires. Un quatrime problme est reli certains risques dans lutilisation des indicateurs de performance des fins dvaluation et de financement des tablissements. Lorsquon formule certains indicateurs de performance et quon les appliquent de faon uniforme une srie dtablissements universitaires, on fait lhypothse implicite que tous les tablissements de ce systme ont des missions et des objectifs semblables. Si cest effectivement le cas, il ny a pas de consquence fcheuse. Si, au contraire, les tablissements concerns ont des missions ou des objectifs diversifis, lutilisation dindicateurs uniformes aura pour consquence une ngation et, partant, une attnuation de cette diversit du simple fait de la raction naturelle des systmes et des personnes la publication et lutilisation de ces indicateurs uniformes.

Lutilisation dindicateurs de performance uniformes nest justifie dans un systme universitaire que si tous les tablissements de ce systme ont des missions et des objectifs semblables. Dans le cas contraire, lutilisation de tels indicateurs porte en elle un grand risque duniformisation terme du systme et de perte de diversit ; cette utilisation doit donc tre lobjet dun choix rflchi et concert. De faon plus gnrale, la publication dindicateurs de performance pose le problme des comportements induits au niveau des personnes et des organisations. Il faut partir du principe que tout indicateur amnera un observateur intress ragir dans le sens dune amlioration de sa propre condition. Il sagit alors de prvoir ces ractions et dagir en consquence. Ainsi, certains indicateurs auraient avantage tre usage restreint si les ractions prvisibles, par exemple de la part des tudiants, pouvaient conduire une dstabilisation de ltablissement ou du systme. Il faut accepter comme un fait inluctable que la publication dindicateurs amne les utilisateurs de ces indicateurs ragir dans le sens dune amlioration de leur position. La formulation et la diffusion des indicateurs doit tenir compte de ces effets induits. Dans plusieurs pays sest dveloppe rcemment une pratique dlaboration de classements des tablissements universitaires, limage du classement publi depuis plusieurs annes par US News & World Report. Ces classements sont, dans la plupart des cas, le fait de journaux ou revues et leur succs indique quils rpondent une attente du grand public. Les mthodologies utilises pour tablir ces diffrents classements font appel principalement des indicateurs statistiques dintrants et dextrants dans les activits de formation, combins selon une formule tablie par lditeur pour en arriver un classement. Il importe de raliser que la formule choisie dtermine le classement obtenu ; en dautres termes, le classement reflte plus les choix de leur diteur que la vritable qualit relative des tablissements. Ces formes de classements sont proscrire car elles peuvent induire en erreur leurs utilisateurs, tout particulirement les tudiants la recherche dune aide lorientation.

19

Les classements du type league ranking sont tous affects de vices de forme srieux, dont le principal est que le classement reflte essentiellement les choix de leur auteur en matire de pondration et de combinaison des paramtres de base pris en considration ; ils devraient tre vits dans la mesure o ils risquent dinduire leurs utilisateurs en erreur. Certaines pratiques de classement font intervenir des sondages dopinion auprs des tudiants, des professeurs ou des employeurs des diplms des universits considres. De tels classements peuvent prsenter un intrt, sous rserve que des mthodes rigoureuses de conduite des sondages et danalyse des rsultats soient mises en uvre. Lapproche idale serait cependant de mettre la disposition du public, non pas un classement global qui refltera toujours dune certaine faon les prjugs de celui qui les publie, mais bien une base de donnes objectives (indicateurs statistiques) et subjectives (rsultats de sondages dopinion) que chaque utilisateur pourra interroger en fonction de ses intrts personnels ou de ses objectifs spcifiques. On retrouve un modle de cette approche idale en Allemagne. Le Centrum fr Hochschul-entwicklung a mis au point une base de donnes trs complte faisant intervenir une combinaison de donnes statistiques fournies par les universits ou par les autorits de tutelle et de sondages dopinion auprs des tudiants et des professeurs. Les comparaisons entre tablissements qui peuvent en tre dduites sexercent au niveau des grands champs disciplinaires plutt que des tablissements pris globalement. Lexprience allemande du Hochschulranking semble trs positive jusquici et elle est maintenant bien accepte par les tablissements. Nous y reviendrons dans la section 4.

Pour conclure cette section, il nest pas inutile de rappeler certains faits : Tout ce qui peut tre mesur nest pas ncessairement un bon indicateur de performance ; Tout ce qui devrait tre valu nest pas ncessairement mesurable de faon simple ; La qualit des activits universitaires se mesure normalement plus sur le long terme, par les carrires que les diplms dveloppent ou par les retombes de la recherche sur le dveloppement de la socit ; les indicateurs disponibles sont au contraire gnralement dfinis dans le court terme ; Lorsquune activit complexe est rsume dans quelques indicateurs statistiques simples, une certaine quantit dinformation est perdue ; il peut en rsulter une image distordue de lactivit ; Ltre humain a tendance se laisser impressionner par les chiffres et croire limage que ces chiffres projtent ; lexprience montre que des indicateurs de performance , une fois publis, acquirent une vie propre . Et finalement, comme le soulignait le British University Granting Council en 1986 : The use of performance indicators is an aid to good judgment and not a substitute for it. The numbers will not and never can speak for themselves. Mere inspection is not enough; interpretation is always necessary.12

20

12 Lutilisation dindicateurs de performance est une aide la prise de dcision, ils ne se substituent pas elle. Les chiffres ne peuvent tre interprts hors contexte. Une simple inspection nest pas suffisante, linterprtation est toujours ncessaire .

3. TYPES POSSIBLES DINDICATEURS DE PERFORMANCE

Dans ce qui suit, les indicateurs qui peuvent tre envisags pour dcrire lactivit et la performance des universits en matire denseignement et de recherche sont discuts avec lobjectif den identifier, le cas chant, les qualits, les limites et les problmes de mise en uvre. Le choix final des indicateurs qui devraient constituer le rfrentiel partag entre les universits des pays latins de lEurope devra tre fait en tenant compte: de la disponibilit des donnes de base ncessaires, de la comparabilit des structures ou des activits dcrites par ces donnes, de la pertinence de linformation pour les utilisateurs potentiels, des objectifs poursuivis par les universits en matire de reddition de comptes. Compte tenu des rserves exprimes dans la section 2 quant la reprsentativit et aux limitations dans lutilisation de tout indicateur, il serait prfrable denvisager la constitution de listes diffrencies dindicateurs en fonction des utilisations possibles ou des publics cibls comme utilisateurs. Il existe des diffrences substantielles entre disciplines dans lorganisation et les besoins de la formation et de la recherche universitaire. Il est de pratique courante, pour plusieurs indicateurs lis la formation et la recherche, de dfinir ces indicateurs dactivit par grands champs disciplinaires plutt que pour un tablissement pris globalement. Cette pratique devrait tre adopte dans toute la mesure du possible pour le rfrentiel partag des universits des pays latins dEurope, en intgrant des indicateurs propres mettre en valeur les activits pluridisciplinaires et en conservant des indicateurs globaux par tablissement pour certains grands paramtres lis ladministration et aux ressources. Il conviendra de vrifier la disponibilit des donnes de base par secteur et de sentendre sur la dfinition des secteurs considrer.

3.1 - Qualits des tudiants et de leurs performances

La qualit des tudiants et leur performance dans les programmes sont des indicateurs centraux dans lapprciation des activits de formation universitaire. Idalement on devrait chercher mesurer la valeur ajoute par la formation universitaire, cest dire la diffrence entre la qualit des tudiants leur entre dans le programme choisi et la qualit des diplms. Une telle mesure globale de valeur ajoute reste malheureusement impossible de faon simple pour une population tudiante prise dans son ensemble, dans ltat actuel des connaissances en mesure et valuation. En labsence dune telle mesure globale de valeur ajoute , tous les indicateurs de performance envisageables ne donnent quune reprsentation partielle de lactivit considre ; ils doivent donc tre utiliss avec prudence et, de prfrence, en faisceaux dindicateurs connexes pour obtenir une image pointilliste de lactivit, le choix et la multiplicit des indicateurs ayant un impact direct sur la qualit de limage ainsi obtenue. On peut envisager les indicateurs suivants : Qualit des tudiants lentre 1) Notes ladmission. Bon indicateur si tous les tudiants proviennent dun mme systme dducation antrieur. Si on veut analyser une population tudiante plus diversifie, il est cependant prfrable dutiliser une forme normalise rangeant les tudiants par dcile ou centile dans leur groupe de rfrence. Compte tenu de la diversit des systmes ducatifs nationaux cette forme normalise est sans doute prfrable. 2) Origine sociale des tudiants. Cet indicateur est important pour caractriser le degr de diversit sociale et donc, dans une certaine mesure, de diversit culturelle du corps tudiant de ltablissement. Plusieurs pays europens disposent de cette information. Ce paramtre permet danalyser avec plus de justesse les autres indicateurs, dont les taux de succs ou la dure moyenne des tudes.

21

3)

Proportion dtudiants hors bassin naturel de recrutement . Cet indicateur est un excellent indice du pouvoir dattraction dun tablissement et donc de sa qualit perue. Dans le contexte europen, cet indicateur pourrait sexprimer de plusieurs faons : recrutement national hors rgion ; recrutement europen ; recrutement international hors Europe. Il faudrait faire la distinction entre les tudiants inscrits de plein droit dans les programmes et les tudiants en mobilit . 7)

rtention dans le programme initial ou rtention dans ltablissement sans considration du programme ; les deux choix sont galement justifis, la seconde approche faisant une place probablement lgitime aux tudiants qui se rorientent pour mieux atteindre leurs objectifs de formation. Mesures spciales daccueil et daccompagnement des nouveaux tudiants. Dans le cas o la lgislation ou les pratiques nationales obligeraient les tablissements admettre sans condition tous les tudiants faisant la preuve de qualifications minimales, les taux de rtention en fin de premire anne sont fortement influencs par lexistence ou non de programmes spciaux daccueil et daccompagnement pdagogique des nouveaux tudiants les moins bien prpars. Lexistence de tels programmes et leurs caractristiques sont un bon indicateur de limportance que ltablissement accorde sa mission denseignement et la russite de ses tudiants.

4)

Taux dadmission. Le rapport entre le nombre dtudiants effectivement inscrits dans un programme universitaire et le nombre de candidats linscription ce programme est un bon indice de la slectivit du programme et, partant, de la qualit des tudiants qui le frquentent. On peut gnralement observer une relation directe entre taux dadmission et taux de rtention ou de diplomation.

5)

Taux dinscription. Dans le cas de programmes universitaires contingents ou admission contrle, un bon indice de la qualit dun tablissement est fourni par sa capacit attirer les tudiants qui il formule une offre dadmission. Le taux dinscription, cest dire le rapport entre le nombre dtudiants inscrits et le nombre doffres dadmission formules est un bon descripteur de qualit et dattractivit. 8) Taux de diplomation. Le taux de diplomation est frquemment utilis pour mesurer la productivit des programmes universitaires. Cet indicateur doit tre utilis avec beaucoup de prudence, en tenant compte de facteurs tels que la composition sociale et les conditions de vie du corps tudiant, le march du travail auquel le programme donne accs. Ceci dit, il ne fait pas de doute quun taux de diplomation faible est indicateur dune inadquation entre les exigences du programme et les attentes des tudiants et, partant, dun certain gaspillage des fonds publics et, surtout, du capital humain. La mme remarque que prcdemment sapplique quant la dfinition du taux de diplomation dans le programme initial ou dans un programme de ltablissement. Enfin, il convient de rappeler propos de cet indicateur en particulier, que son observation en soit ne peut en aucune faon permettre de conclure quant la qualit de la formation donne par ltablissement ; ainsi, un taux relativement faible, dans un tablissement trs accessible peut tre le reflet dune bien meilleure performance quun

Performance des tudiants 6) Taux de rtention en fin de premire anne dtudes. Le taux de rtention en fin de premire anne peut tre un bon indicateur de la qualit dun programme et de lencadrement offert aux tudiants par ltablissement. Il faut cependant raliser que, dans bien des systmes universitaires, une slection sexerce de faon systmique en fin de premire anne, comme alternative la slection ladmission. Lutilisation de cet indicateur doit donc faire lobjet dune bonne rflexion pralable quant aux objectifs poursuivis. Par ailleurs, il convient de sentendre sur la dfinition de la rtention :

22

taux lev dans un tablissement exerant une forte slection ladmission.

3.2 Qualit de la recherche

La qualit de la recherche dans un tablissement

9)

Dure moyenne des tudes. La dure moyenne des tudes est un bon indicateur de la qualit de lencadrement offert aux tudiants, en particulier au niveau du troisime cycle et de la recherche. La dfinition de cet indicateur peut poser des problmes mthodologiques en lien avec les pratiques administratives dinscription (obligation ou non dinscription continue toutes les sessions ou annes) et le statut des tudiants (temps partiel ou temps plein). Noter que, dans le contexte universitaire nord-amricain, il existe une corrlation inverse forte entre dure des tudes et taux de diplomation au niveau de la matrise et du doctorat, les abandons ayant tendance tre plus importants vers la fin dtudes trop longues ; il en rsulte un gaspillage de ressources humaines et financires trs problmatique du point de vue de la socit.

universitaire ou dans ses composantes est, en apparence au moins, plus facile apprhender objectivement que la qualit de la formation. De fait, de nombreux indicateurs statistiques sont disponibles, aux niveaux local, national ou international pour appuyer cette valuation de qualit. Il faut cependant raliser que la qualit et la pertinence sociale dune recherche universitaire doivent, pour tre pleinement comprises, svaluer sur des horizons de temps variables selon la nature de la recherche et les attentes socitales en lien avec les rsultats. Il est utile de rappeler que les produits de la recherche universitaire sont, par ordre dimportance pour la socit : la formation de futurs chercheurs qui entretiendront la capacit de recherche du pays (lvaluation de cette activit est relativement simple), le dveloppement des connaissances fondamentales dans tous les domaines du savoir qui permettra la recherche applique et au dveloppement technologique, conomique et social de se raliser (lvaluation de cette activit est plus complexe et devrait tre faite avec une perspective de plus long terme), et la participation au dveloppement technologique et au transfert des connaissances sur lesquels sappuie tout dveloppement conomique (lvaluation est ici relativement simple et avec une perspective de court terme). Luniversit a gnralement une mission exclusive en ce qui concerne les deux premiers produits de la recherche qui viennent dtre mentionns; son activit doit donc tre value en portant une attention particulire ces deux produits. De plus en plus, dans le contexte de lconomie du savoir, les gouvernements et les acteurs conomiques attachent une grande importance au troisime de ces produits et aux indicateurs qui le caractrisent. Il importe de bien dfinir les objectifs de lvaluation avant de choisir les indicateurs pertinents. On peut envisager les indicateurs suivants : Niveau dactivit de recherche 11) Proportion de professeurs actifs en recherche. Dans toute unit universitaire, la proportion du nombre de professeurs actifs en recherche est un bon indice du ni-

10) Taux de placement aprs lobtention du diplme. Cet indicateur est dusage de plus en plus frquent dans les pays de lOCDE. Il est obtenu partir denqutes auprs des diplms un, deux ou cinq ans aprs lobtention du diplme. Il faut cependant raliser que cet indicateur est affect par bien des facteurs qui sont indpendants de laction de luniversit : vitalit de lconomie, situation du domaine disciplinaire ou du secteur conomique, pratiques locales de mobilit de la main duvre, etc. Ceci dit, le taux de placement reflte aussi la pertinence de la formation, la qualit des diplms et la rputation de ltablissement. Ce dernier facteur est plus ou moins marqu selon les cultures nationales.

23

veau dimplication en recherche. Il sagit cependant davoir une bonne dfinition de ce quest un professeur actif en recherche. Une pratique courante consiste considrer trois indicateurs dactivit : le fait de diriger des tudiants inscrits au doctorat, le fait de recevoir des subventions et contrats de recherche et le fait de publier ; le problme reste cependant de dfinir un seuil partir duquel ces indicateurs sont significatifs dune activit de recherche tablie. Il faut galement sentendre sur la population de rfrence : professeurs occupant un poste universitaire; tout personnel acadmique associ lunit et apte faire de la recherche ; autre en fonction des statuts et de lorganisation nationale de la recherche ?

14) Nombre ou proportion de chercheurs temps plein. En France et dans plusieurs autres pays, il existe un corps professionnel de chercheurs temps plein financs par des organismes nationaux tels que le CNRS. Pour une universit ou pour une unit lintrieur dun tablissement, le nombre de chercheurs temps plein est un bon indicateur du niveau dactivit de recherche dans le domaine considr. La proportion de tels chercheurs dans le corps professoral de lunit est un indicateur de lintensit de recherche. Il faut cependant considrer que la prsence de chercheurs temps plein est variable selon les domaines disciplinaires et, surtout, dun pays lautre en Europe. 15) Montant des contrats de recherche/

12) Ratio tudiants inscrits au doctorat/ professeur. Cet indicateur est reli ce qui constitue la premire mission de la recherche universitaire. Il devrait normalement ne faire intervenir que les professeurs occupant un poste permanent et les tudiants inscrits temps plein. En ce qui concerne les tudiants on peut envisager dutiliser des moyennes mobiles sur trois ans. Linterprtation dun tel indicateur doit sexercer avec beaucoup de prudence ; il doit en effet exister une valeur optimale de ce ratio au-del de laquelle on peut se poser des questions sur la qualit de lencadrement fourni par le professeur ou par lunit. Cette valeur optimale peut varier, bien entendu, en fonction de lorganisation de la recherche dans lunit, des ressources financires et matrielles disponibles, de la qualit et du degr dautonomie des tudiants et de la capacit de travail des professeurs. 13) Ratio Fonds de recherche/professeur. La pertinence de cet indicateur dpend directement des mcanismes nationaux en place pour le financement de la recherche. Cet indicateur est particulirement utile dans un systme o la recherche est finance sur la base de subventions obtenues par les chercheurs individuels ou par quipes, dans le cadre de comptitions avec adjudication par des jurys de pairs.

professeur. Les universits sont de plus en plus appeles participer leffort collectif de recherche applique et, dans une certaine mesure, aux activits de dveloppement technologique en collaboration avec les entreprises. Les activits de recherche sous contrat sont un bon indicateur du niveau dimplication de luniversit ou de lunit dans cette mission de soutien au dveloppement conomique et social. Bien entendu, il faut sattendre des variations substantielles de cet indicateur selon les secteurs disciplinaires de mme que dun pays lautre en fonction des pratiques locales et des structures conomiques. Productivit de lactivit de recherche 16) Ratio diplmes de doctorat/professeur. Cet indicateur donne une bonne ide de lefficacit de lentreprise de formation par la recherche. Il est prfrable, pour tenir compte de la variabilit invitable de cet indicateur dans le temps, de travailler avec des moyennes mobiles sur trois ans. 17) Ratio nombre de publications/professeur. Cet indicateur est un des moyens habituels de mesure de la production de recherche. Il convient de dfinir convenablement ce quon entend par publication, en tenant compte des pratiques diversifies dans les diffrents secteurs disciplinaires :

24

articles dans des revues avec comit de lecture ; articles dans des confrences avec comit de lecture ; monographies. 18) Citation indexes . Les informations produites par ISI prtendent mesurer limpact des publications. Ces donnes doivent tre utilises avec la plus grande prudence. Les problmes mthodologiques associs ces citation indexes sont maintenant bien connus : couverture disciplinaire trs ingale ; faiblesse relative de la couverture des revues en langues autres que langlais ; sur-pondration des articles dcrivant des mthodes exprimentales ; absence de diffrenciation entre les rfrences positives et les rfrences critiques un article ; etc. Dans le contexte des pays latins dEurope, il nest pas vident que les citation indexes seraient un bon indicateur objectif dimpact de la recherche universitaire. Ceci dit, il faut noter que, dans certaines conditions, les citation indexes peuvent servir de base danalyse comparative si cette analyse permet dviter les biais systmatiques de ces index ; ainsi, la comparaison des performances entre tablissements dans un mme pays et pour une discipline donne peut permettre de tirer certaines conclusions significatives alors que des comparaisons entre tablissements au niveau international risquent dtre entaches de limitations importantes.

core au nombre dentreprises (Start-up) cres pour exploiter les rsultats de la recherche universitaire. Il conviendrait dexaminer si ce type dactivit a atteint un niveau suffisant pour justifier lusage de tels indicateurs. 20) Prix et distinctions. Plusieurs universits publient, titre dindicateur de la qualit de leurs chercheurs, la liste des Prix et Distinctions reues au cours dune anne. Cet indicateur prsente un certain intrt mme sil nest pas des plus fiables dans la mesure o il reflte, au-del de la qualit des chercheurs, leur capacit et celle de ltablissement faire un lobbying efficace auprs des organisations qui dcernent ces prix.

3.3 Indicateurs du niveau de ressources consacres la formation et la recherche

Les indicateurs de niveau de ressources mis la disposition des programmes de formation et de recherche universitaire sont dusage trs frquent ; ils ne sont pas pour autant dpourvus de problmes au niveau de leur dfinition ou de leur utilisation. En effet, ces indicateurs se prsentent gnralement sous la forme de ratio entre indicateurs primaires, compliquant dautant leur dtermination. Les indicateurs les plus couramment utiliss sont

19)

Ratio nombre de brevets/professeur. Cet indicateur nest videmment pertinent que dans les domaines disciplinaires o les rsultats sont brevetables, soit essentiellement en sciences pures, sciences appliques et certains domaines des sciences de la sant. Le volume de brevets tant normalement limit, il convient dutiliser une priode dobservation prolonge (3 5 ans). Noter que les revenus de licences sur brevet ne sont pas un bon indicateur pour fins de gestion et de comparaisons entre tablissements; il suffit en effet dun seul brevet succs un tablissement pour bien paratre mme si sa performance en matire de brevets est par ailleurs trs quelconque. Dautres indicateurs des activits de transfert technologique commencent merger, en particulier dans le contexte nord-amricain ; on peut penser entre autres au nombre de licences dexploitation de brevets ou en-

les suivants : 21) Ratio tudiants/professeur. Le ratio entre tudiants inscrits et professeurs est un bon indicateur du niveau de ressources et du niveau dencadrement mis en uvre dans les programmes de formation. Divers problmes de dfinition, qui peuvent se poser et doivent tre clarifis, sont lis : au calcul du nombre dtudiants : personnes inscrites ou quivalents temps plein ; au statut des professeurs pris en compte ; la rpartition du temps consacr par les professeurs laccomplissement des diffrents volets de leur mission enseignement dans les diffrents programmes et cycles, recherche, service la collectivit ;

25

 au lien tudiants-professeurs-progammes ; la prise en compte de certaines catgories dtudiants auditeurs libres, tudiants dautres programmes, etc. 25) 22) Ratio tudiant/personnel auxiliaire denseignement. Le personnel auxiliaire denseignement joue un rle important dans lencadrement des tudiants. Sa composition et son rle sont cependant trs variables selon les pays et les tablissements. Il serait important de pouvoir dfinir un tel indicateur, mais lexercice peut savrer difficile dans la mesure o il faudrait dabord sentendre sur une dfinition commune des statuts des personnels prendre en compte. 23) Personnel technique et de soutien/ professeur. Cet indicateur du niveau de ressources en appui aux professeurs est important dans les secteurs des sciences pures et appliques et des sciences de la sant et, de faon gnrale, dans les programmes de recherche o les activits de laboratoire jouent un rle important. Se pose l encore un problme de dfinition des catgories de personnel prendre en compte. 24) Ratio budget de fonctionnement/ tudiant. Dans plusieurs systmes publics denseignement suprieur, cet indicateur sert en fait de base au financement des tablissements universitaires. Il prsente, dans tous les cas, une image comptable du cot de lenseignement et peut, par comparaison, servir dindicateur de lefficience relative des tablissements universitaires. Considrant les diffrences substantielles quon peut observer entre les systmes universitaires nationaux, que ce soit en terme de structures administratives, de modes de financement ou de pratiques comptables, cet indicateur est cependant loin dtre facile dfinir et utiliser au niveau international. Il serait essentiel, pour les universits europennes, den arriver une dfinition partage des lments de cot prendre en compte avant de produire et dutiliser un tel indicateur. Il convient aussi de raliser les problmes politiques que peut soulever

lusage de cet indicateur dans des comparaisons entre tablissements dun mme systme national et, plus forte raison, dans des comparaisons au niveau international. Ratio ressources physiques/tudiant. On peut caractriser les infrastructures mises la disposition des tudiants par une srie de ratio reliant le nombre dtudiants aux espaces denseignement et de recherche (superficie des salles de cours, des laboratoires, des espaces dtude), aux infrastructures informatiques (nombres dordinateurs par tudiant), aux bibliothques (nombre de monographies par tudiant, budget dacquisition des collections par tudiant, accs des collections informatises).

3.4 Indicateurs relatifs aux pratiques de gouvernance et de gestion

Une bonne gouvernance et des pratiques de gestion efficaces sont des lments essentiels au bon fonctionnement dune universit. Les indicateurs ce niveau ne sont pas tant quantitatifs que qualitatifs ; ils ne devraient pas tre ignors pour autant. Il faut cependant raliser quil sagit l dun domaine dans lequel les lgislations nationales sont souvent dterminantes ; la volont de respecter ces lgislations doit donc tre prise en compte dans la dcision dinclure ou non ce type dinformation dans le rfrentiel partag par les universits du groupe ELU.

26

On pourrait envisager la collecte dinformations du type suivant : 26) Composition des instances dcisionnelles. Prsence, nombre et mode de nomination de reprsentants des professeurs, du personnel, des tudiants, de reprsentants des diplms ou des milieux socioconomiques au conseil dadministration, au conseil acadmique, aux commissions des tudes et de la recherche. 27) Mcanisme de reconnaissance de la participation tudiante. La participation tudiante aux instances dcisionnelles et la vie de luniversit constitue un aspect de leur formation qui peut tre important dans la perspective dune formation complte de citoyen en mme temps que de spcialiste disciplinaire. Dans le contexte de la mise en place du systme ECTS, les universits pourraient dcider daccorder des crdits la participation, quitte en dfinir les modalits pour assurer que cette participation sest bien traduite par une formation citoyenne. Plusieurs universits canadiennes ont une exprience positive dune telle pratique depuis plusieurs annes. 28) Mcanismes dallocation des ressources budgtaires. Une gestion efficace de la qualit passe par des mcanismes slectifs dallocation des ressources en fonction dobjectifs de dveloppement stratgique adopts par les instances de luniversit. Ltablissement possde-t-il de tels mcanismes et a-t-il de faon gnrale le contrle de lallocation de lensemble de son budget. 29) Diversit des sources de financement. Tout tablissement universitaire peut avoir accs une diversit de sources de financement pour son fonctionnement : dotation de fonds publics ; droits de scolarit des tudiants ; fonds de recherche obtenus dans le cadre de concours avec adjudication par des comits de pairs ; contrats de recherche avec des organismes privs ou publics ; dons de particuliers ou dorganismes. La diversit des sources de fonds et leur importance relative est un bon indicateur global de performance de luniversit et de ses 30)

chercheurs, en mme temps quun indice de son degr dautonomie relle. Mcanismes de planification institutionnelle. Le principe dautonomie des universits leur donne la responsabilit de dfinir des orientations stratgiques dans le cadre dune planification institutionnelle. Cette planification devrait, idalement, mobiliser la communaut universitaire dans toutes ses composantes et bnficier de lapport de partenaires externes ltablissement, entre autres des reprsentants des milieux socioconomiques rgionaux ou nationaux qui peuvent contribuer la dfinition de certains besoins de formation et de recherche. Ltablissement possde-t-il un tel mcanisme de planification stratgique ? 31) Taux de roulement du personnel acadmique. Le taux de roulement du personnel acadmique, principalement les professeurs, est un bon indicateur de lattractivit dun tablissement et la qualit de vie professionnelle quil offre. Cet indicateur est bien entendu fonction du cadre statutaire national dans lequel les carrires professorales se droulent ; des comparaisons internationales seraient donc hasardeuses. 32) Mcanismes de dveloppement des programmes interdisciplinaires. Le dveloppement de programmes de formation et de recherche inter- et multi-disciplinaires est un dfi de plus en plus important pour toutes les universits. Certains tablissements ont su, mieux que dautres, relever ce dfi et mettre en place des politiques et des structures qui favorisent la coopration entre les facults et dpartements disciplinaires pour mettre en uvre des programmes qui rpondent aux nouveaux besoins qui transcendent les disciplines traditionnelles. On peut identifier des indicateurs du niveau dactivits interdisciplinaires, aussi bien dans le domaine de la formation que dans celui de la recherche : nombre de programmes composantes multidisciplinaires ; nombre de professeurs impliqus dans des activits multidisciplinaires ; nombre de centres de recherche interdisciplinaires ; etc.

27

33)

Capacit dadaptation de ltablissement. Compte tenu du dveloppement acclr des connaissances et de lvolution rapide des besoins de formation et de recherche, les universits doivent mettre en uvre des pratiques leur permettant dadapter rapidement et efficacement leur offre de programmes. Le nombre de nouveaux programmes crs, le nombre de programmes ferms, le nombre de programmes modifis de faon substantielle, sur une base annuelle, de mme que la dure moyenne de mise en uvre de nouveaux programmes sont de bons indicateurs de la capacit dadaptation dun tablissement.

pour les universits incluant une facult de mdecine, rle du rseau hospitalier universitaire dans loffre des services de sant dans la rgion ; pour les universits incluant des units des secteurs artistiques et culturels, contributions de ces units la vie culturelle rgionale ; contribution de luniversit lducation des adultes dans la rgion ; etc. 36) Ouverture de luniversit sur le monde. Luniversit moderne doit tre largement ouverte sur le monde. Elle doit offrir ses tudiants une formation ouverte la diversit culturelle et linguistique, en particulier par des programmes de mobilit internationale. Dans le contexte europen des programmes de mobilit, cette ouverture se mesure par la proportion dtudiants impliqus dans les programmes europens (envoi et accueil), mais aussi par lexistence de structures administratives spcifiques de soutien aux tudiants en mobilit, par lexistence dententes bilatrales de partenariat et par loffre de programmes offerts conjointement avec des tablissements trangers et conduisant une double diplomation. Louverture des universits sur le monde est galement vitale dans le domaine de la recherche. De bons indicateurs ce chapitre sont le nombre de professeurs activement impliqus dans des rseaux structurs de recherche internationaux, le taux de publications conjointes au niveau international, lexistence dententes formelles de coopration internationale en recherche.

34) Qualit des enseignements et politique dvaluation. La plupart des tablissements universitaires ont aujourdhui en place des politiques institutionnelles dvaluation de la qualit des enseignements. Ces politiques sont cependant trs diversifies dans leurs objectifs et leurs procdures. Dans les tablissements les mieux organiss on retrouve la fois une politique dvaluation des cours et des professeurs faisant intervenir lvaluation par les tudiants et impliquant des mesures de suivi constructives lgard des professeurs dont les performances pdagogiques sont dficientes, une politique dvaluation des programmes faisant intervenir des experts de la discipline externes luniversit et une politique dvaluation des units acadmiques portant sur lensemble des activits de formation et de recherche et sur le fonctionnement administratif de lunit. Lexistence de telles politiques est un bon indicateur de la rigueur de gestion dun tablissement. 35) Ouverture de luniversit son milieu. Luniversit moderne se doit dtre ouverte sur son milieu rgional pour en appuyer le dveloppement culturel, conomique et social. Cette activit peut tre dcrite par un certain nombre dindicateurs : nombre de participations des collaborations locales ; nombre de professeurs impliqus dans des collaborations locales ; nombre dentreprises cres localement partir des recherches de luniversit ; nombre demplois crs partir des recherches de luniversit ;

28

4. AUTRES APPROCHES POSSIBLES

Dautres approches possibles incluent lutilisation dinstruments denqute et de classement. Ils sont nombreux et la section suivante nen dcrit quune petite slection.

Le questionnaire de 40 questions aborde cinq thmatiques : Le dfi acadmique Les pratiques dapprentissage en groupe et par rsolution de problmes Les interactions tudiants-professeurs Les expriences douverture la diversit culturelle La qualit de lenvironnement universitaire Lanalyse est faite par tablissement, par groupe dtablissements de mme nature selon la classification amricaine habituelle (systme Carnegie 2000), et globalement au niveau national. Les donnes sont prsentes sous forme statistique habituelle (moyenne, cart-type), chaque tablissement tant en mesure de se positionner dans son groupe ou au niveau national dans une approche de benchmarking sur chacune des thmatiques. Il convient de noter que cette approche sintresse ltablissement pris dans son ensemble, sans considration de la diversit disciplinaire. Enfin, il est important de noter que le rapport publi par le NSSE ne donne pas les rsultats individuels par tablissement ; ceux-ci sont bien entendu disponibles chaque tablissement qui peut en faire lusage qui lui convient. Les auteurs de ltude suggrent diffrents usages possibles des rsultats : Amlioration des pratiques institutionnelles Reddition de comptes auprs des autorits de tutelle Relation avec les organismes daccrditation Information du grand public ; ce sujet, les auteurs suggrent que les rsultats de lenqute pourraient tre utiliss par les revues qui publient des classements comme lment dinformation additionnelle.

4.1 Approche par enqute sociologique.

Avec lappui de la Pew foundation et de la Carnegie Foundation, le Centre for Postsecondary Research and Planning de lIndiana University, Bloomington a produit le National Survey of Student Engagement dont lobjectif est de dvelopper une nouvelle approche de mesure de la qualit des tablissements denseignement suprieur aux Etats-Unis. Lobjectif affirm de ce NSSE tait de faire contre-poids aux multiples rankings publis par divers hebdomadaires amricains et, surtout, dintroduire plus dobjectivit dans les informations mises la disposition du public. Le NSSE vise mesurer la qualit de la formation offerte par les universits par le biais dun questionnaire administr un chantillonnage statistiquement significatif dtudiants de chaque tablissement participant. Ce questionnaire, dont le contenu a t tabli par un comit dexperts en ducation, est centr sur, selon les termes mme des auteurs du NSSE : Student engagement : the extent to which students participate in the proven educational processes that contribute to the outcomes. Most academic leaders and faculty members agree that these are the right kind of questions to ask about the undergraduate experience.13 Plus de 63 000 tudiants, choisis au hasard dans les 276 tablissements denseignement suprieur qui ont particip ltude, ont rpondu un questionnaire structur dont copie est disponible sur le site web du projet (voir note 14). Ils taient galement rpartis entre tudiants de fin de premire anne et tudiants sur le point dobtenir leur diplme.

13 implication des tudiants: proportion dans laquelle les tudiants participent aux processus ducatifs qui contribuent aux rsultats. La plupart des dirigeants universitaires et des enseignants jugent ce type de questions pertinent pour les tudiants de premier cycle.

29

Enfin, les auteurs de lenqute proposent, en annexe et seulement titre dexemple de ce qui pourrait tre fait dans lavenir, une liste des tablissements considrs comme modles. On trouvera toute linformation pertinente sur le site web du projet14 Cette approche prsente plusieurs caractristiques intressantes. En se concentrant sur le degr dengagement des tudiants, lenqute va au cur de ce qui fait la qualit de la formation. Lapproche permet aussi de saffranchir des diffrences institutionnelles et de faire des comparaisons significatives entre tablissements de tailles et de missions diffrentes. En ce sens, cette approche pourrait permettre des comparaisons significatives entre tablissements de diffrents pays. Enfin, lapproche donne chaque tablissement des informations comparatives dtailles, par question et par thmatique, pour permettre une action directe sur les pratiques ducatives. Par contre, labsence de diffrenciation entre champs disciplinaires empche des comparaisons certainement utiles ce niveau ; intgrer une approche diffrencie par discipline demanderait sans aucun doute un accroissement de lchantillonnage tudiant et donc des cots de lenqute.

sultats sont publis annuellement par le magazine Stern et, surtout, sont accessibles tout utilisateur sur le site web de ce magazine15. Lapproche du CHE fait appel des indicateurs statistiques par secteur disciplinaire fournis par les universits participantes et par les organismes de tutelle et de financement de la recherche. Ces donnes sont valides par croisement et permettent dtablir des indicateurs relis la qualit des tudiants, aux ressources mises leur disposition, leur cheminement dans les tudes, mais aussi des donnes relatives la qualit du corps professoral et son implication en recherche, de mme que des donnes sur les conditions matrielles de vie offertes aux tudiants dans la ville universitaire. Par ailleurs, des donnes subjectives sont recueillies auprs des tudiants et des professeurs relativement la qualit perue des programmes, des relations tudiants-professeurs et des infrastructures. Lobjectif de ce modle est de mettre la disposition des futurs tudiants les informations ncessaires un choix clair de leur lieu dtude dans le champs disciplinaire choisi. Une trentaine dlments dinformation sont dis-

Le modle du National Survey of Student Engagement mrite sans aucun doute une considration attentive dans le cadre de la mise en place dun rfrentiel partag dindicateurs et de procdures dvaluation pour les universits des pays latins dEurope. Lusage de cette approche et du mme questionnaire prsenterait lavantage supplmentaire de permettre une comparaison des pratiques europennes et amricaines.

ponibles sur chaque universit active dans le domaine disciplinaire choisi. Pour chaque domaine disciplinaire, le CHE analyse les donnes brutes pour ranger les universits, pour chaque indicateur, en trois classes : suprieure, moyenne ou infrieure, le rangement des universits pour chacun des critres tant publi sur le site web et dans le magazine. Le CHE ne procde aucun regroupement de ces classements par indicateurs et ne publie donc aucun classement global. Il a cependant mis au point un outil danalyse accessible sur le web et qui permet tout utilisateur, de choisir les indicateurs qui lui semblent importants en fonction de ses proccupations ou de ses intrts personnels, et dobtenir en rponse la liste par ordre de performance des universits qui rpondent aux critres choisis.

4.2 Approche du Centrum fr Hochschulentwicklung

Le Centrum fr Hochschulentwicklung, cr il y a une dizaine danne par la Fondation Bertelsmann avec la collaboration de la Hochschul-RektorenKonferenz dAllemagne, a mis au point une mthode dvaluation des universits, sur une base de secteurs disciplinaires, faisant intervenir une combinaison dindicateurs statistiques et de rsultats de sondages auprs des tudiants et des professeurs des universits allemandes participantes. Cette mthode est en place depuis 1998; ses r-

14 www.indiana.edu/~nsse

30

15 www.stern.de

Le systme est relativement lourd grer si bien que le CHE procde lanalyse de faon cyclique par secteurs disciplinaires, sur une priode de trois ans ; le deuxime cycle est en cours de ralisation. On trouvera une explication trs dtaille (en allemand) de la mthodologie mise en uvre sur le site web du CHE 16. Le taux de participation des universits allemandes est maintenant trs lev et le systme semble bien accept, et par les universits et, surtout, par les tudiants. Les gouvernements, quant eux ne semblent avoir encore pris pleinement conscience de lexistence et du potentiel de ce systme en matire de reddition de compte puisque le Gouvernement fdral a indiqu son intention de mettre en place son propre systme de ranking ; la HRK vient de prendre position contre cette annonce gouvernementale, indiquant son appui au systme du CHE. Le systme dvaluation des universits par le CHE est probablement le meilleur modle disponible aujourdhui dans le monde de lenseignement suprieur. La combinaison dindicateurs statistiques et dopinions des tudiants et des professeurs offre une large palette dindices de qualit et loutil danalyse disponible au public sur le web permet chacun dobtenir une valuation conforme ses intrts et ses proccupations. Par ailleurs, lanalyse par grands champs disciplinaires correspond bien la fois la ralit de la vie universitaire et aux besoins des tudiants. Les rangements en trois classes plutt quun classement dtaill permettent dviter les effets nfastes des league ranking courants dans les journaux. Linconvnient de ce systme rside dans la lourdeur du processus de collecte des donnes de base ; titre indicatif, le CHE consacre quatre professionnels temps plein sur ce projet. Le systme du CHE mrite sans aucun doute un examen trs attentif dans le cadre de la mise sur pied dun rfrentiel partag dindicateurs et de procdures dvaluation pour les universits des pays latins dEurope.

4.3 Approche de SwissUp

Le classement SwissUp 2002 est publi par un organisme indpendant dans lequel sont impliqus plusieurs leaders du monde conomique suisse. Etabli avec laide dun comit dexperts universitaires, le systme est construit sur la base de donnes provenant de lOffice Suisse de la Statistique, de rapports officiels du Fonds National Suisse de la recherche et de donnes fournies par la Commission pour la Technologie et lInnovation. Le classement comprend galement des informations obtenues par sondage auprs de 3500 tudiants rpartis dans tous les tablissements considrs, informations recueillies par le biais dun questionnaire structur administr dans des rencontres individuelles (voir le site web de SwissUp17). Le questionnaire utilis fait appel une valuation plutt subjective de la part des tudiants interrogs ; en ce sens lapproche est moins fiable que celle du NSSE et elle peut donner lieu une certaine manipulation, en particulier dans un contexte o le questionnaire est administr dans le cadre de rencontres individuelles o le ton de la conversation et le comportement des interlocuteurs peut entraner des drives. La mthode de SwissUp fait intervenir une analyse par grands secteurs disciplinaires sur la base dune trentaine de critres regroups en six thmatiques. Les rsultats sont prsents sur le site web de SwissUp 18. Lutilisateur peut obtenir trois types danalyse des rsultats : un classement standard des tablissements tablis par les producteurs de SwissUp partir dun choix de critres quils ont dtermin ; un classement correspondant aux intrts de trois tudiants types tudiant avec profil recherche, tudiant avec profil march du travail, tudiant avec profil encadrement et finalement un classement obtenu partir du choix fait par lutilisateur, des critres qui lui semblent importants partir dune liste de 20 critres. Cette dernire analyse ressemble beaucoup ce quoffre la mthode du CHE en Allemagne.

16 www.che.de 17 www.swissup.com/upload/swissUpSURVEY_fr.pdf 18 www.swissup.com/r2k2_main.cfm?upid=FR

31

La mthode propose par SwissUp est assez semblable celle mise au point par le CHE, mais elle semble moins raffine dans la collecte dinformation. Si on peut critiquer la publication dun classement par les auteurs de la mthode, le classement SwissUp refltant directement les choix de critres de ses auteurs, lapproche de classements conformes aux proccupations de trois tudiants types et, surtout, la possibilit pour chaque utilisateur de choisir les critres correspondants ses intrts ne manque pas dintrt. La mthode SwissUp, tout comme celle propose par le CHE mrite dtre examine. Plus simple dans la collecte dinformation et donc probablement moins coteuse grer, elle noffre cependant pas le mme niveau de dtail dans lanalyse.

Avec le modle dvaluation Campus-ISO 9001, la CRUI a voulu montrer quune approche industrielle, adapte au langage et aux pratiques des milieux de lducation et en insistant sur le processus, permet de contrler la qualit tout autant du processus que du produit, cest dire de la formation. Ladoption de cette approche durant la dernire anne du projet Campus Vision 2000 constitue la dernire tape dvolution ; elle va permettre de renforcer la capacit dagir sur toutes les tapes du processus de formation pour en amliorer la qualit et pour favoriser une amlioration continue de cette qualit. La mthodologie propose pour lvaluation des activits de formation comporte : une auto valuation interne portant sur les aspects quantitatifs tout autant que qualitatifs et une valuation externe effectue par un groupe dexperts et comportant une visite du site. La CRUI a poursuivi et dvelopp lexprience ac-

4.4 Lapproche normative ISO : lexprience italienne de CampusOne19

Dans la suite du Projet Campus (1995-2000), la Conferenza dei Rettori delle Universit Italiane (CRUI) a dcid de dvelopper le modle dvaluation et dauto valuation des programmes universitaires en sinspirant des pratiques du secteur non universitaire et en utilisant le cadre normatif ISO 9000 pour la gestion de la qualit pour mettre au point une approche qui tienne compte des spcificits de la formation universitaire.

quise dans le cadre du Projet Campus pour formuler le projet CampusOne, dune dure de trois ans et dont lobjectif est daccompagner la rforme des universits italiennes partir de 2001-2002. Le modle dvaluation dans CampusOne prsente les caractristiques suivantes au niveau de lauto valuation et de lvaluation des programmes de formation : une structure simple qui met en vidence la

Lintroduction dun modle dvaluation fond sur les concepts de qualit totale reprsente un changement fondamental, dans la mesure o on introduit en fait lide de satisfaction de toutes les partie intresses : les tudiants, bien sr, mais aussi les professeurs, le personnel technique et administratif, le monde du travail, la socit civile, conomique, sociale et politique, bref, tous ceux qui sont intresss la qualit de la formation des tudiants. Lutilisation des directives de la norme ISO 9001 comme critres de base na pas pour objectif dobtenir une certification, mais bien plus de stimuler une meilleure approche de gestion de la formation en lien avec ladoption de principes de planification et de vrification de la concordance entre les actions de formation et les objectifs poursuivis.
19 Cette section a t produite partir dun texte fourni par Mme Emanuella Stefani

gestion de lensemble du programme dtude; la dtermination des lments ncessaires la mesure de la valeur du programme, de ses forces et faiblesses et de la satisfaction des individus ; la mise en uvre dune analyse du systme de gestion et des rsultats auxquels conduit le programme dtude avec pour objectif de dfinir les actions damlioration ncessaires et les outils de contrle correspondants.

32

Le modle identifie cinq objets fondamentaux dvaluation : les attentes et objectifs ; le systme dorganisation ; les ressources ; le processus de formation ; les rsultats, lanalyse et les propositions damlioration. Chacun de ces objets se dcompose en lments qui permettent dorienter lvaluation sur les aspects particuliers de chaque objet : Attentes et objectifs : Attentes des diverses parties intresses Objectifs gnraux et politiques Objectifs dapprentissage

On trouvera des informations plus compltes sur lapproche ISO 9001 mise en uvre dans la cadre du Projet CampusOne en consultant le site internet consacr ce thme20

Systme dorganisation : Responsabilit Systme de gestion Vrification

Ressources : Ressources humaines Infrastructure

Processus de formation : Planification Livraison Services de soutien

Rsultat et analyse : Rsultats Analyse et recommandations pour amlioration Toutes les activits en lien avec un programme de formation sont prises en considration et analyses dans leur contexte en relation avec les autres activits.

20 www.campusone.it/default.asp?Arg=58

33

5. UTILISATION DES INDICATEURS DE PERFORMANCE

Considrant les problmes mthodologiques voqus la section 2, la mise en uvre dun rfrentiel partag dindicateurs de performances par les universits des pays latins de lEurope devra tre prcde dune discussion approfondie sur les objectifs poursuivis de mme que sur la disponibilit de donnes fiables et comparables. Il convient de rappeler ici certains principes de base dans la dfinition et lutilisation dindicateurs de performance de lactivit universitaire. Aucun des indicateurs envisageables ne peut reflter compltement lactivit dcrire ; il faut donc travailler avec des faisceaux dindicateurs ; Pour mieux reflter la diversit disciplinaire des pratiques denseignement et de recherche, il est ncessaire de dfinir des indicateurs par grands champs disciplinaires plutt que pour les tablissements pris globalement ; La fiabilit des donnes de base servant tablir les indicateurs, de mme que les dfinitions correspondantes et les ventuelles limites de validit doivent toujours tre clairement prcises dans la prsentation dindicateurs. Le choix dindicateurs de performance est un exercice politique et stratgique au niveau des tablissements concerns. Ce choix doit se faire en fonction dobjectifs institutionnels clairement dfinis. Ce choix devrait galement se faire de faon diffrencie selon les objectifs poursuivis ou les publics viss. Dans cette perspective, les pratiques qui suivent peuvent tre suggres.

Pour les fins dallocation des ressources, les indicateurs tels que 20, 21, 22, 23 (voir section 3) permettent didentifier les units sur-dotes et sous-dotes par rapport la moyenne de ltablissement, en tenant compte des diversits disciplinaires. Des comparaisons inter-tablissements dunits semblables permettent dclairer encore mieux ces valuations et de fournir une solide aide la dcision. Il convient cependant de combiner lanalyse des indicateurs une analyse plus stratgique faisant intervenir les priorits de dveloppement institutionnel. La publication dindicateurs permettant des comparaisons internes en matire de ressources peut facilement devenir la source de conflits internes ; ces conflits peuvent tre matriss par une grande transparence dans les dcisions dallocation des ressources et par des noncs clairs et bien documents de priorits institutionnelles. Pour les fins dvaluation interne de la performance des units et des programmes, les indicateurs 6, 7 et 8 en ce qui concerne lenseignement et les indicateurs 10, 12, 14, 15 et 16 en ce qui concerne la recherche donnent une image assez complte. L encore, des comparaisons inter-tablissements dunits semblables permettent de mieux situer la performance des units. Ces indicateurs devraient toujours faire partie intgrante des rapports dauto valuation des units ou des programmes dans le cadre des procdures dvaluation (voir la deuxime partie de ltude). Lutilisation la plus constructive des indicateurs de performance se situe dans le cadre dun plan stratgique de dveloppement de ltablissement et de ses units. Les indicateurs sont alors choisis de faon permettre un suivi continu de la ralisation des objectifs institutionnels. Un tableau de bord des principaux indicateurs peut tre labor et mis la disposition de tous les gestionnaires, ou, mieux encore, de toute la communaut universitaire qui sera alors en mesure de sapproprier les objectifs stratgiques et les progrs accomplis dans leur ralisation. Ceci dit, compte tenu des limitations dans lusage des indicateurs voques la section 2, un tableau de bord dindicateurs statistiques devrait toujours tre accompagn dindications plus qualitatives sur la ralisation des objectifs de planification ou sur la performance des units ou de ltablissement dans son ensemble.

5.1 Pour les fins de gestion interne des tablissements

La panoplie la plus complte dindicateurs de performance est certainement justifie comme outil daide la dcision pour les gestionnaires des tablissements universitaires. Les indicateurs devraient tre dfinis au niveau des units dpartements, instituts ou facults et au niveau des programmes, refltant ainsi la structure organisationnelle de ltablissement.

34

En toutes circonstances, la dcision dutiliser des indicateurs de performance comme instruments daide la dcision et au pilotage, de mme que le choix de ces indicateurs devraient faire lobjet dun dbat interne. Il importe en effet que tous les gestionnaires et tous les membres de la communaut aient une bonne comprhension des objectifs poursuivis et du cadre dans lequel ces indicateurs seront utiliss. De plus, ce dbat permettra doptimiser le choix des indicateurs et de reflter les particularits locales.

De plus en plus, dans les pays de lOCDE, les relations entre les universits et les gouvernements bailleurs de fonds sont formalises par des contrats de plans ou contrats de performance . Dans ce cadre, les tablissements ont gnralement un pouvoir dinitiative dans la formulation dobjectifs institutionnels qui font ensuite lobjet de ngociations avec les autorits de tutelle. Les ententes contractuelles peuvent concerner une partie dtermine ou la totalit des ressources mises la disposition des tablissements. Dans tous les cas, ces ententes prcisent les objectifs que ltablissement devra atteindre en termes doffres de programmes, de population tudiante, de nombre de diplmes, de taux de russite, de volume de recherche etc. Il est frquent que le contrat prvoit les indicateurs qui devront tre utiliss pour suivre la ralisation des objectifs convenus. Les approches contractuelles constituent un cadre intressant pour le dveloppement des relations entre les universits et les autorits de tutelle. Pour tre pleinement effectives, elles doivent laisser aux tablissements le pouvoir dinitiative dans la formulation des objectifs stratgiques de faon permettre un bon arrimage entre ces objectifs et les forces, les faiblesses et le contexte rgional et national propre chaque tablissement. Cest dans un tel cadre contractuel que les indicateurs de performance trouvent leur application la plus constructive.

5.2 Dans le cadre des relations avec les autorits de tutelle

Les relations entre universits et autorits de tutelles comportent deux grands volets : lallocation des ressources, quelle se fasse globalement ou par types de ressources, et la reddition de comptes quant lutilisation de ces ressources et laccomplissement des missions universitaires. Lallocation des ressources aux universits se fait le plus souvent plus ou moins directement sur la base dun certain nombre dindicateurs dactivits : le modle San Remo en France, fond sur des donnes relatives aux tudiants et aux diffrentes catgories de personnel, ou le modle italien fond sur le nombre de diplmes dcerns en sont des exemples parmi dautres. Ces formules de financement dictent lutilisation dun certain nombre dindicateurs. Elles expriment frquemment, de faon indirecte, des priorits gouvernementales de dveloppement, lhypothse sous-jacente tant que les tablissements agiront dans le sens de ces priorits en recherchant une maximisation de leurs revenus. On retrouve dailleurs l un des aspects importants de lexistence dindicateurs de performance : ils induisent une raction des personnes et des organisations dans le sens dune optimisation de leur position. Cet effet peut tre bnfique, mais il peut aussi avoir des effets pervers importants. Il est donc essentiel, dans la conception dun systme dindicateurs, danalyser les ractions possibles des lecteurs et utilisateurs de ces indicateurs de faon minimiser les risques deffets pervers.

5.3 Pour les relations avec le grand public

Le public en gnral, et tout particulirement les tudiants qui veulent sinscrire dans un programme universitaire, sont demandeurs dinformations concernant loffre de programmes, les ressources mises la disposition des tudiants et, plus gnralement, les performances des universits en matire denseignement et de recherche. Cette demande sexprime trs clairement dans le succs que rencontrent les revues comme US News & World Report qui publie depuis de nombreuses annes un palmars des universits amricaines ; ce modle a fait des mules dans plusieurs pays de lOCDE au cours des dix dernires annes.

35

Sil est clair que lapproche des palmars chre aux journaux et revues grande diffusion doit tre considre comme trs discutable, dans la mesure o les classements publis ne refltent rien dautre que les choix arbitraires de ceux qui les produisent, il doit tre tout aussi clair que les universits ont la responsabilit de mettre la disposition du public une information objective de qualit, et en particulier une information organise de manire aider les futurs tudiants faire un choix clair duniversit et de programme.

LOCDE publie annuellement un recueil dindicateurs dactivits en enseignement et en enseignement suprieur des pays membres. Ces indicateurs sont prsents un haut niveau dagrgation et sont affects de ce fait de fortes limitations quant leur utilisation possible ; de fait, seuls les taux de participation aux tudes et certaines donnes financires telles que la part du PIB investie en ducation permettent des comparaisons vraiment concluantes. La principale difficult des comparaisons interna-

Chaque universit devrait maintenir un site web dinformation lintention du public et surtout des tudiants. Ce site devrait fournir, au-del des informations dtailles sur loffre de programmes et de cours, des indicateurs statistiques dcrivant la performance de luniversit en matire denseignement et de recherche. Au niveau national, le modle mis en uvre par le Centrum fr Hochschulentwicklung (CHE) prsente un grand intrt, tant par sa mthodologie que par les exploitations quil permet chaque utilisateur. Les instances nationales appropries, ou mme peut-tre les instances europennes pourraient, avec avantage, examiner la possibilit de mettre en uvre un tel modle. Alternativement, une enqute sur le modle du National Survey of Student Engagement pourrait savrer du plus grand intrt pour lensemble des universits europennes, dans la perspective dune croissance de la mobilit tudiante conformment aux vises des accords de Bologne.

tionales rside dans la grande diversit des structures juridiques et administratives de mme que des systmes de financement de lenseignement suprieur. Plusieurs tentatives de comparaisons de systmes nationaux ont t faites, mais elles se sont avres difficiles et peu concluantes. Il semble effectivement plus constructif daborder des comparaisons au niveau international par une approche de Benchmarking entre tablissements semblables, ou mieux, par des comparaisons dtailles entre units (dpartements ou facults) dune mme discipline ; on peut alors procder une analyse dtaille de lorganisation des ressources et des produits de chaque unit pour assurer la comparabilit des rsultats. Le choix dventuels indicateurs statistiques de comparaison devrait donc se faire seulement aprs une analyse dtaille de la situation des tablissements concerns et de manire assurer la plus grande reprsentativit possible ces indicateurs.

5.4 Pour des analyses compares aux niveaux europen et international.

Les acteurs de lenseignement suprieur, gouvernements, associations nationales duniversits et gestionnaires dtablissement en particulier, sont tous, des titres divers, intresss disposer de donnes permettant des analyses comparatives internationales de limportance des ressources mises la disposition des universits et de lefficience de ces universits dans laccomplissement de leur mission.

36

PROCDURES DVALUATION DE LA QUALIT

PARTIE 2

1. LES PROCDURES EN PLACE OU ENVISAGES DANS LES PAYS DE LELU

Les procdures dvaluation en place dans les pays de lELU sont marques par une grande diversit et sont actuellement en pleine mouvance. Une tude dENQA publie en 2003 tablit un tat de situation assez complet. Dans ce contexte, nous nous limiterons donc brosser un tableau sommaire de situation et de son volution rcente, pays par pays. mit national dvaluation, dont les membres sont nomms par le gouvernement, jouit dune large mesure dautonomie, fixant lui-mme le programme de ses activits et dterminant la mthodologie de ses valuations. Aprs une phase initiale o le CNE procdait des valuations linvitation des tablissements, les interventions du CNE se sont maintenant gnralises si bien que toutes les universits et une soixantaine dcoles spcialises ont t values. Le CNE procde galement des valuations de site prenant en compte lensemble des tablisseLe Conseil des recteurs francophones (CRef) a mis sur pied un programme dvaluation de la qualit des enseignements. Ce programme vise faire valuer, sur un cycle de six sept ans, les programmes de toutes les universits, discipline par discipline, dans un processus comportant un auto-valuation et une valuation externe par des Commissions dexperts. Pour chaque discipline, la Commission dexperts visite toutes les universits offrant des programmes et examine en priorit les programmes denseignement, mais aussi les activits de recherche de mme que les pratiques de gestion administrative de luniversit qui ont un impact sur lenseignement. Lensemble de lopration est coordonne par un Secrtariat scientifique mis en place par la Confrence des recteurs. Les rapports dvaluation sont transmis, via le Secrtariat scientifique, aux recteurs des tablissements concerns sur une base strictement confidentielle. Le Gouvernement de la communaut franaise de Belgique labore actuellement un projet de cration dune Agence pour lvaluation de la qualit de lenseignement. Ce projet fait lobjet de consultation auprs des recteurs des universits et du Conseil inter universitaire (CIUF). Le lien entre lagence propose et le gouvernement fait lobjet de discussions compte tenu des pratiques en place dans plusieurs pays europens qui ont accord des instances semblables un large degr dautonomie et dans la perspective du maintien de lautonomie reconnue aux universits. Dans le domaine de la recherche, Le Comit national dvaluation de la recherche est charg dapprcier la mise en uvre et les rsultats de la politique nationale de recherche et de dveloppement technologique dfinie par le gouvernement. Compos de 10 membres nomms en conseil des ministres, et sappuyant sur un rseau dexperts, il value les organismes de recherche, les programmes et les incitations de toute nature. Ces organismes peuvent tre publics ou privs. Le CNER est saisi dune demande dexpertise par un ministre (principalement celui qui est en charge de la recherche) ou par un responsable dtablissement public ou dentreprise, mais il peut galement sauto-saisir de certains sujets qui relvent de sa comptence. Au cours des dernires annes il a produit des rapports sur les dispositifs de transfert de technologie, sur la recherche animale lie la sant de lhomme, sur les dispositifs franais dvaluation de la recherche et sur un organisme de recherche dans le domaine des technologies de linformation et de la communication (lINRIA). Le Gouvernement franais a mis en place le Comit national dvaluation (CNE) en 1984. Le CNE a pour mission dvaluer les tablissements publics caractre scientifique, culturel et professionnel relevant du ministre charg de lEnseignement suprieur. Le CoDepuis deux ans il ralise des valuations de manire complmentaire et en partenariat avec le CNE ; cest ainsi quil a rdig deux rapports sur lorganisation de la recherche dans les sites de Grenoble et de Montpellier. Les procdures dvaluations mises en uvre par le CNE ont fait lobjet de consultations avec la Confrence des Prsidents dUniversit. Dans tous les cas, les valuations comportent une auto-valuation et une valuation externe par un comit de pairs. Les rapports des comits de pairs sont confidentiels ltablissement, mais le rapport final dvaluation produit par le CNE est public de mme que la rponse du chef dtablissement au rapport du CNE. ments dun territoire donn, de mme qu des valuations transversales de secteurs disciplinaires.

1.1 La situation en Belgique francophone

1.2 La situation en France.

38

LObservatoire des sciences et des techniques publie des indicateurs statistiques de mme que des analyses de lactivit de recherche. Ces analyses permettent une valuation du niveau dactivit et de la productivit du systme de recherche universitaire sur une base rgionale et par grands secteurs disciplinaires plutt que par tablissement. Les units de recherche rattaches au CNRS font par ailleurs lobjet dvaluations dans le cadre de la rpartition des budgets de cet organisme. Ceci dit, il ny a pas, comme telle, de pratique tablie de lvaluation des enseignements ou des units denseignement et de recherche dans les tablissements universitaires eux-mmes.

En 1998, la CRUI a lanc lASIGEA25, charge dtudier les systmes de gestion administrative des tudes et dtablir de faon synthtique les facteurs defficacit et defficience dune gestion centralise. De 1998 2002, la CRUI a appuy une tude visant dterminer la position des universits italiennes dans le monde de la recherche scientifique par le biais dune analyse systmatique des donnes sur les publications scientifiques internationales. Cette tude se base sur un Italian Citation Report prpar par lInstitute for Scientific Information (ISI) et qui a pris en compte les citations darticles publis entre 1981 et 1999 et dont les auteurs taient rattachs des universits italiennes ; Le rapport du groupe de travail charg de cette tude a t publi en 200226. Par ailleurs, depuis 1999 une Metodo di valutazione della ricerca svolta presso strutture scientifiche nellambito del Macro-settore scientifico-disciplinare prevalente a t introduite par ltat, qui fait rfrence 22 indicateurs defficacit, defficience et de qualit de la recherche et qui sert de base au calcul et lallocation des ressources de soutien la recherche. Le CNVSU, antrieurement appel le Osservatorio per la Valuazione del Sistema Universitario, a t cr par ltat en 1999. Rattach au Ministero dellIstruzione, dellUniversit e della Ricerca (MIUR), il a entre autre pour mission de proposer les rgles et cirtres dvaluation des activits universitaires et de collaborer lexprimentation, lapplication et la diffusion des bonnes pratiques et mthodes dvaluation.

1.3 La situation en Italie.

En Italie, lvaluation de la qualit est gre par divers organismes, agissant parfois de manire complmentaire: la CRUI , le CNVSU , le CIVR
21 22 23

et la CEPR24. La CRUI sest approprie la question de lvaluation partir de 1991 avec la cration dune commission charge spcifiquement de ce dossier ; la Commission a conu et expriment un modle quelle a propos aux universits italiennes et elle fait la promotion de limportance de lvaluation comme moyen damlioration du systme universitaire italien. La CRUI a dvelopp ses activits dans le domaine de lvaluation autour de trois thmes: la formation, la recherche et la gestion administrative. En ce qui concerne le thme de lvaluation des enseignements, La CRUI a dvelopp un mcanisme novateur dvaluation dans le cadre de son Projet Campus qui, entre 1995 et 2000, a impliqu 94 programmes de Diplme Universitaire et 5000 tudiants. En 2001, le Projet CampusOne a t lanc, dont un des objectifs est llaboration dun systme dvaluation et dauto valuation des programmes de formation partir des expriences nationales et internationales dans ce domaine.

Un Groupe de travail sur laccrditation des programmes dtudes, mis sur pied en 2000, avait pour mandat dtudier lopportunit de procder laccrditation des programmes dtudes et les mthodes mettre en uvre cette fin. Le rapport final quil a produit en juillet 2001 contient une srie de recommandations et propose la mise en uvre dune telle approche27.

21 Conferenza dei Rettori delle Universita Italiane 22 Comitato Nazionale per la Valutazione del Sistema Universitario 23 Comitato di Indirizzo par la Valutazione della Ricerca 24 Comiato di Esperti per la Politica della Ricerca 25 Analisi dei Sistemi di Gestione degli Atenei 26 La ricerca scientifica nelle universit italiane : una prima analisi delle citazione della banca dati ISI, Elena Breno, Giovanni A. Fava, Vincenzo Guardabasso, Mario Stefanelli. CRUI, Roma, 2002

39

Sur le thme de lvaluation de la gestion administrative, la Commission a dvelopp deux projets : Good Practices en 2000, puis Good Practices II en 2002.Le premier projet avait pour but de mettre au point et dexprimenter un systme danalyse et de mesure des prestations administratives des universits italiennes partir dune logique danalyse fonctionnelle ; le second projet visait a introduire des mesures defficience de lactivit administrative, dans une approche client visant aussi bien les clients internes (les dcanats et le rectorat) que les clients externes (particulirement les tudiants). Le CIVR a t fond en 1998 avec pour mission le soutien la recherche et une meilleure utilisation des produits de la recherche scientifique et technologique de mme que le dveloppement de critres dvaluation des rsultats de la recherche, ainsi que lexprimentation, lapplication et la diffusion des mthodes et bonnes pratiques dvaluation des tablissements de recherche, des programmes de recherche, des projets de dveloppement technologique, en cherchant mettre en valeur les actions de coopration au niveau national et international entre les divers tablissements de recherche. Le CEPR, cr lui aussi en 1998, a un rle de conseil auprs du MIUR et ralise des tudes sur ltat de la recherche nationale et sa place dans le contexte international et conseille le gouvernement dans le dveloppement du Programma Nazionale per la Ricerca (PNR).

1.5 La situation au Portugal

En 1993, la Confrence des recteurs portugais (comprenant les recteurs des universits publiques et luniversit catholique portugaise) dcida de lancer une valuation nationale des programmes dtudes fournis par leurs membres. Cette dcision fut bien accueillie par le gouvernement et devint plus tard la base de la loi sur lvaluation des institutions denseignement suprieur28. Cette loi est applicable depuis 2001 tous les secteurs du systme denseignement suprieur29. Elle prvoit que chaque secteur (universits publiques et prives, coles attaches aux universits, universit catholique, facults, coles polytechniques publiques et prives ainsi que les coles sy rattachant) soit responsable du processus dvaluation travers des agences dvaluation cres dans ce but ou dj existantes. Aujourdhui, ces organisations ou institutions reprsentatives sont la Fondation des universits portugaises (pour les instituions universitaires publiques et luniversit catholique), lAssociation pour le dveloppement des instituts polytechniques (pour les institutions polytechniques publiques) et lAssociation des institutions prives denseignement suprieur (pour lensemble du secteur priv). Les termes du mandat de chaque organisation sont ngocis avec le gouvernement et parmi dautres, prend en compte les responsabilits financires de chaque partenaire, la procdure dvaluation et la nomination dexperts extrieurs. Le gouvernement couvre actuellement 90% du cot de lvaluation alors que les organisations reprsentatives proposent les experts extrieurs au gouvernement, aprs accord du Conseil nationale pour lvaluation des institutions denseignement suprieur (voir ci-dessous). Le gouvernement peut refuser nimporte quel nom propos mais nest pas autoris suggrer ces propres candidats. Lvaluation des programmes dtudes commena dans toutes les coles publiques en 1994 et a t tendue tout le systme de lenseignement suprieur suite la lgislation adopte en 199830. Un nouveau Conseil (le Conseil national pour lvaluation des institutions denseignement suprieur

1.4 La situation au Luxembourg

Le Grand Duch de Luxembourg est en train de procder la cration de lUniversit de Luxembourg. Le texte de loi portant cration de lUniversit fait mention, dans son chapitre V aux articles 41 et 42, des mcanismes prvus pour lvaluation interne et externe de lUniversit. Cette valuation portera sur lensemble des activits denseignement, de recherche et dadministration ; elle seffectuera avec une priodicit de 4 ans pour les units et programmes et de deux ans pour les chercheurs et elle donnera lieu des rapports publics. Llaboration des procdures dtailles dvaluation sera de la responsabilit du recteur.
27 Voir le site internet www.cnvsu.it 28 Loi 37/94 publie le 11 novembre 1994 29 Les acadmies militaires ont t inclues rcemment dans ce processus 30 Dcret 205/98 publie le 11 juillet 1998

40

CNAVES) fut alors cr dans le but dtablir des lignes directrices pour une procdure dvaluation et dassumer la responsabilit de lvaluation gnrale du systme. Le CNAVES inclut des reprsentants du Ministre, des universits publiques et prives, des instituts polytechniques, des diffrentes agences dvaluation et des tudiants. Les universits publiques et prives (ainsi que les coles non rattaches des universits) possdent leurs propres lignes directrices communes, de mme pour les instituts polytechniques publics et privs. Les programmes dtudes sont valus tous les cinq ans par une procdure essentiellement dauto valuation (comprenant lopinion des tudiants), qui comprend plusieurs facteurs susceptibles dinfluencer la qualit des programmes et leur bonne excution. Une valuation extrieure est galement effectue par des pairs (experts acadmiques portugais ou trangers ainsi que des personnes provenant dautres secteurs). Suite ces visites extrieures, un rapport est dress pour chacun des programmes valus et envoy linstitution concerne. La lgislation prvoit que les institutions ont ensuite un mois pour effectuer leurs commentaires. Si les experts extrieurs acceptent ces commentaires, le rapport est amend et adopt en ltat. Les rapports finaux et les commentaires formuls aux institutions sont rendus publics par le Ministre grce sa librairie publique et aux agences dvaluation, principalement par le biais dinternet. Les institutions values sont aussi encourages publier les rapports sur leur site et dans leurs bibliothques. Toutes les institutions denseignement suprieur doivent tre values et si elles ne souhaitent pas prendre part au processus dcrit ci-dessus, une procdure dfinie par le Ministre est alors applique. Daprs la lgislation en vigueur, elles encourent galement dautres consquences. Il peut ainsi leur devenir impossible dobtenir un financement public ou davoir la permission dinscrire de nouveaux tudiants et leurs programmes peuvent ne plus tre accrdits. Au dbut de ce processus, il nexistait pas de lien direct entre les rsultats de lvaluation et le finan31 Loi 1/2003 publie le 6 janvier 2003

cement des institutions, la reconnaissance de leurs programmes ou dautres aspects importants. Cest seulement la suite de plusieurs mauvaises valuations conscutives que les rsultats pouvaient avoir des rpercussions pour les institutions, ceci afin de surmonter la rsistance attendue de la communaut acadmique face ce nouvel exercice difficile. Toutefois, suite des valuations mdiocres, il a t demand au gouvernement de ragir. Malgr la rsistance de certains secteurs, ces appels ne sont rests lettre morte et le gouvernement a prsent une nouvelle loi31 devant le Parlement qui prvoit des consquences srieuses pour les institutions dont les rsultats de lvaluation ne seraient pas satisfaisants. Ainsi diffrentes sanctions sont prvues: de la rduction de la dotation publique larrt dun programme, voire la fermeture de linstitution concerne. De plus, toute valuation sachve par lattribution dune note pour chaque programme, dont laccrditation est directement lie la procdure dvaluation. Le terme daccrditation acadmique a t introduit dans la lgislation portugaise pour la premire fois. Auparavant, aucun programme ou institution ntait accrdit. Ils taient soit reconnus, soit autoriss. Cependant, ce nouveau concept na pas encore t compltement prcis par le lgislateur. Dans lattente de rglements plus spcifiques lis cette loi, des discussions sont en cours sur le concept daccrditation et la manire dont il doit tre appliqu. Outre lvaluation acadmique, des procdures daccrditation sont aussi effectues par des associations professionnelles. Un dbat est actuellement en cours afin dtablir une srie de procdures communes, destine rduire la charge des valuations successives pesant sur la communaut acadmique et ses institutions. Dans le domaine de la recherche, le Secrtaire dEtat pour les sciences et la technologie dcida en 1993 de conduire pour la premire fois une valuation mene par des pairs trangers, de tous les centres financs par le programme europen Cincia. Cette dcision a t incorpore dans la loi en 1996 et un nouveau systme de financement ainsi que de nouvelles mthodes dvaluation de

41

la recherche ont t introduits32. Les valuations sont dsormais la responsabilit dexperts trangers et sont menes dans tous les centres (organisations de recherche dans les institutions) financs par la Fondation des sciences et de la technologies, qui lagence gouvernementale pour le financement de la recherche. Des experts internationaux valuent les activits de ces centres tous les trois ans et les rsultats sont publis. Le renouvellement du financement des projets, ainsi quune augmentation ou une diminution de ce financement, dpendent des rsultats de lvaluation.

sur les mthodes dassurance qualit que les universits devraient mettre en uvre. Les directives de la CUS pour laccrditation dans le domaine des hautes coles universitaires 33 tant en vigueur depuis le 1er janvier 2003, lOAQ prpare ses premires activits, surtout dans le domaine dinstitutions universitaires ne faisant pas partie dune universit cantonale ou fdrale. En ce qui concerne lvaluation des programmes ou des units, les universits suisses ont eu jusquici des pratiques institutionnelles plus ou moins labores. Dans le nouveau cadre qui se met en place, les tablissements garderont la responsabilit de ces valuations, mais laction de lOAQ vise amliorer et uniformiser les pratiques institutionnelles au moyen de directives qui sont encore laborer. Ceci dit, la mise sur pied, par la Confrence universitaire, du mcanisme daccrditation des programmes sous la responsabilit de lOAQ risque fort de dboucher sur un mcanisme parallle dvaluation priodique ; il est en effet prvu que les accrditations accordes aient une dure limite, impliquant donc une r-accrditation avec r-valuation correspondante tous les sept ans. Par ailleurs, le pouvoir dinitiative quant la demande daccrditation est accord non seulement aux universits, mais galement aux autorits gouvernementales : le risque est trs grand de voir ainsi les tablissements perdre de facto leur responsabilit dans lvaluation au profit de lOAQ.

1.6 La situation en Suisse

Toutes les universits suisses ont des politiques dvaluation de lenseignement. La plupart des tablissements ont galement, lexemple de lUniversit de Fribourg, des pratiques dvaluation des units ou programmes faisant intervenir une auto-valuation et une valuation par des experts externes. Par ailleurs, le Centre dEtude de la Science et de la Technologie (CEST) procde des tudes de performance du systme de recherche suisse ; ces tudes font largement appel des analyses de bibliomtrie et ont mme conduit le CEST utiliser un concept de Champions League , ce qui devrait tre considr avec la plus grande prudence compte tenu des problmes mthodologiques srieux associs avec les Citation Index et les donnes de lISI . A la suite de la promulgation de la Loi sur laide au universits (LAU) du 8 octobre 1999 et de la Convention entre la Confdration et les cantons universitaires sur la coopration dans le domaine des hautes coles universitaires du 14 dcembre 2000, la Confdration et les cantons, runis dans le cadre de la Confrence universitaire suisse (CUS), ont mis sur pied un Organe daccrditation et dassurance qualit (OAQ), organe indpendant compos dun conseil scientifique de cinq membres, dont deux experts trangers, et dun secrtariat charg de la mise en uvre des procdures. LOAQ a une double mission : accrditer, leur demande, les tablissements ou certains de leurs programmes ; et mettre des recommandations

1.7 Conclusion
Ce bref tableau de la situation, qui peut tre complt par ltude dENQA, illustre une assez large diversit de pratiques dvaluation dans les universits des pays latins de lEurope. Un modle faisant appel un organisme national dvaluation semble cependant tre le plus souvent utilis, refltant une organisation traditionnellement centralise du systme denseignement suprieur dans les pays concerns. Dans la perspective dune dcentralisation grandissante et dun accroissement correspondant de lautonomie et, partant, de la responsabilit des tablissements, il serait justifi dexaminer ces pratiques en place et de les ajuster pour amener les universits assumer une plus large responsabilit dans lvaluation de leurs activits denseignement et de recherche.

42

32 www.fct.mces.pt 33 www.cus.ch

2. LE MODLE QUBCOIS

Les universits qubcoises ont une longue pratique de lvaluation de la qualit des enseignements, de la qualit des programmes universitaires, de mme que de la performance des dpartements, facults et instituts. Lvaluation de la recherche, quant elle, se fait aussi dans le cadre de loctroi des subventions aux chercheurs individuels aux groupes, centres et instituts de recherche par les organismes subventionnaires canadiens et qubcois. Les mcanismes qubcois ont fait la preuve de leur efficacit depuis plus de dix ans et pourraient servir de source dinspiration aux universits europennes dans la mise en place de leurs propres systmes dvaluation de la qualit.

Les rsultats des valuations sont analyss au niveau du dpartement. Chaque professeur reoit, sur une base confidentielle, les rsultats dvaluation de ses cours, de mme que la comparaison de ces rsultats avec la moyenne des rsultats obtenus par les autres professeurs du dpartement. Normalement, le directeur du dpartement en profite pour rencontrer individuellement chaque professeur pour discuter de ces rsultats et plus gnralement de laction du professeur. Par ailleurs, une rencontre semestrielle est prvue entre les directeurs de dpartements et les comits de gestion des programmes dans lesquels leurs professeurs donnent des cours pour discuter des rsultats dvaluation et des mesures prises, le cas chant, pour corriger des problmes constats. A ce sujet, en cas dvaluation problmatique dun cours ou dun professeur, le directeur conseille le professeur concern et peut, au besoin, lui imposer de suivre des sessions de formation pdagogique offertes par un service central de luniversit. Ce systme, en place depuis plusieurs annes, donne de bons rsultats en matire de qualit denseignement. Les associations tudiantes ont souvent exig la publication des rsultats de toutes les valuations. La direction de lUniversit a rsist ces demandes parce quelle tait convaincue que la publicit aurait des effets dmotivants sur les professeurs mal valus ; elle a plutt mis en place la pratique des rencontres entre directeurs de dpartements et comits de gestion des programmes sur lesquels sigent des reprsentants tudiants, ce qui semble avoir rgl le problme. Certaines universits qubcoises comme McGill ont cependant une pratique de publication des rsultats quon peut trouver dans les bibliothques de luniversit.

2.1 Evaluation des enseignements.

La plupart des universits qubcoises procdent de faon systmatique lvaluation des enseignements par les tudiants. Les pratiques varient lgrement dune universit lautre, principalement en ce qui concerne lampleur de lvaluation et la mthode de diffusion des rsultats. A titre dexemple, les pratiques dvaluation des enseignements en cours lUniversit Laval concernent, chaque semestre, au moins 30% des cours donns. Tout nouveau cours ou tout cours donn par un nouveau professeur est valu. Lvaluation se fait en deux temps : au dbut du semestre, aprs le 3me ou le 4me cours, une valuation formative est faite par le professeur en classe pour laider identifier dventuels problmes ; en fin de semestre, une valuation sommative est administre par le directeur du dpartement au moyen dun questionnaire standard auquel tous les tudiants inscrits dans le cours sont invits rpondre. Le questionnaire dvaluation comprend des questions relatives au contenu du cours, lintgration du cours dans le cheminement du programme et laction pdagogique du professeur ; ce questionnaire a fait lobjet dune approbation par lassemble dpartementale des professeurs. Un questionnaire standard a t tabli au niveau de luniversit, mais les dpartements sont libres dajouter des questions. Par ailleurs, les tudiants sont invits formuler des commentaires. Dans une nouvelle approche qui est en train de se mettre en place, le questionnaire sera disponible sur Internet pour faciliter laccs aux tudiants.

Les rsultats des valuations sont dposs au dossier des professeurs et ils servent de base lvaluation pour les fins de promotion. Certaines universits ont une pratique de rmunration au mrite de leurs professeurs ; dans ce cas, les rsultats des valuations sont pris en compte dans la dtermination de laugmentation de salaire annuelle.

43

2.2 Evaluation des programmes lors de leur cration

Au Qubec, les universits ont la pleine responsabilit de leurs programmes. Cependant, pour obtenir un financement gouvernemental, les programmes de Baccalaurat, Matrise et Doctorat, doivent faire lobjet dune valuation de qualit. Le systme dvaluation mis en place fait intervenir luniversit, la Confrence des recteurs et principaux des universits du Qubec (la CREPUQ) et le Ministre de lducation. Le cheminement typique dun dossier de cration de programme est le suivant :

de professeurs trs seniors, nomms sur proposition de la CREPUQ, et de fonctionnaires, dont la mission est de dterminer la pertinence de loffre dun nouveau programme, compte tenu de loffre dj en place au Qubec ; Dcision du Ministre ; dans le cas dune dcision positive, qui donne accs au financement rcurrent des tudiants qui sinscriront dans le programme, le Ministre peut galement accorder un financement de dmarrage et un budget dinvestissement en fonction des demandes prsentes cette fin par luniversit au moment du dpt du projet. Le processus, en place depuis de nombreuses an-

Elaboration du programme par un comit constitu par la facult initiatrice ; Evaluation du projet par la Commission des tudes de luniversit ; Approbation du projet par le Conseil Universitaire ; Soumission du projet au Comit dvaluation des programmes (CEP) de la CREPUQ ; ce comit est constitu de professeurs de diffrents domaines disciplinaires et de diffrentes universits ; ce comit forme un comit dexperts pour chaque projet de programme qui lui est soumis ; lvaluation porte sur la qualit du projet et sur la capacit de luniversit offrir le programme ; on trouvera sur le site web de la CREPUQ33 une description du mcanisme dvaluation par la CREPUQ ; Rapport du CEP luniversit avec recommandations ; celles-ci peuvent aller de lapprobation en ltat, une approbation avec suggestions damliorations, une demande de modifications du projet ou finalement un rejet ; luniversit est ensuite matre des suites donner ces recommandations ; Soumission au Ministre de lducation du projet ayant fait lobjet dune recommandation favorable de la CREPUQ ; Le Ministre a form un comit dvaluation des programmes compos

nes, a fait la preuve de sa qualit. Son seul dfaut est le temps ncessaire pour passer travers les diffrentes tapes ; typiquement, pour un projet bien mont et justifi, le temps de parcours est de lordre de deux ans (Il faut cependant souligner les efforts rcents de la CREPUQ pour rduire la dure de lexamen des dossiers par son Comit dvaluation des projets de programmes). Aussi, on a pu observer des tactiques de contournement par plusieurs universits dans les cas o un besoin urgent de formation doit tre satisfait. La tactique la plus courante est de procder dans un premier temps par lutilisation dun programme existant dans un domaine connexe dans lequel on cre un cheminement nouveau, ce qui reste sous lautorit de luniversit. Une fois ce cheminement en place, on lance le projet de nouveau programme, le dossier pouvant tre renforc dans la dmonstration du besoin par le nombre dtudiants inscrits dans le cheminement, et on espre que le nouveau programme sera approuv au moment de la sortie des premiers diplms pour quon puisse leur octroyer le bon diplme ! On notera que la procdure dcrite ci-dessus tient lieu de procdure daccrditation des programmes universitaires. On doit cependant souligner que, dans quelques domaines de formation professionnelle comme les sciences de lingnieur, la mdicine, la mdecine dentaire, les programmes universitaires sont soumis une procdure daccrditation par les ordres professionnels qui rgissent la prati-

44

33 www.crepuq.qc.ca

que dans ces secteurs. Ces procdures sont sous la responsabilit dorganismes relevant des ordres ou associations professionnelles canadiennes ou, dans le cas de la mdecine, amricaine.

La mise en place de la Politique et de la Commission a eu pour effet immdiat la gnralisation des pratiques dvaluation priodique des programmes dans toutes les universits. La publication des premiers rapports de la Commission a ensuite conduit une convergence des politiques. Dans un second temps, la Commission a produit, avec lappui de toutes les universits, un guide de bonnes pratiques dvaluation ; on retrouve les lments de ce guide en annexe la Politique. Le principe de base est celui de la responsabilisation des tablissements et des units. Dans cette perspective, les tapes de lvaluation comportent : Une auto-valuation par lunit ou le programme concern ; cette auto-valuation fait intervenir non seulement les gestionnaires mais aussi les membres du corps professoral et des reprsentants tudiants ; Un comit dvaluation, gnralement compos de membres du corps professoral dune autre unit de luniversit, des tudiants non impliqus dans le programme et au moins deux experts spcialiste du domaine dtude, mais externes luniversit ; Un rapport dvaluation qui comprend une

2.3 Evaluation priodique des programmes

Depuis le dbut des annes 80, les universits qubcoises ont progressivement instaur des pratiques dvaluation priodique de leurs programmes ou, dans certains cas, de leurs units acadmiques et administratives dpartements, facults, instituts, centres de recherche et services administratifs. Dans un premier temps, ces pratiques taient propres chaque universit ; on pouvait observer des variations substantielles dans le dtail et la rigueur de ces valuations, de mme que dans le suivi donn aux recommandations. Au dbut des annes 90, suite lexpression de proccupations de la part du Gouvernement, les universits se sont donnes un cadre duniformisation de ces pratiques sous la rgie de la CREPUQ. Une Politique des tablissements universitaires du Qubec relative lvaluation priodique des programmes existants a t adopte en mars 1991. La plus rcente version de cette politique est prsente sur le site web de la CREPUQ .
34

Conformment cette Politique, une Commission de Vrification de lvaluation des programmes (CVEP) a t mise en place. Compose de cinq membres, anciens gestionnaires universitaires de grande rputation, la Commission a pour mission de procder priodiquement une vrification (audit) des politiques et pratiques dvaluation priodique des programmes de chaque universit. La Commission procde par visite, examen des documents dcrivant les politiques et, surtout, pour quelques programmes choisis au hasard, examen des dossiers dvaluation faite conformment aux politiques de ltablissement ainsi que des suivis donns aux recommandations formules la suite de ces valuations. Les rapports de la Commission sont publics.

raction officielle du responsable de lunit ou du programme quant aux suites quil ou elle compte donner aux recommandations ; Un mcanisme de rception et de suivi des rapports dvaluation par les instances dirigeantes de luniversit ; Les rapports doivent tre publics. Cette politique a eu un effet trs positif sur les pratiques dvaluation des universits qubcoises institutionnelles et au dveloppement, dans tous les tablissements, dune vritable culture de lvaluation . La Commission a termin un premier cycle de vrification en 1999 au terme duquel elle a produit un rapport complet dactivit quon peut trouver sur le site web de la CREPUQ35.

34 www.crepuq.qc.ca 35 www.crepuq.qc.ca

45

Un colloque regroupant des reprsentants de toutes les universits et du Ministre de lducation a t organis en novembre 1999 et a permis de tirer les enseignements de ce premier cycle de vrification ; certains ajustements ont alors t apports la Politique. Cette approche est particulirement intressante dans la mesure o elle respecte intgralement lautonomie des tablissements en mme temps quelle les responsabilise. Elle permet toutes les universits de fournir au Gouvernement et au grand public toutes les garanties ncessaires quant la rigueur de gestion de la qualit de leurs programmes. Elle vite par ailleurs les cots administratifs importants qui sont normalement associs au fonctionnement dorganismes nationaux

samment frquents ou ne possdant pas les ressources suffisantes pour en assurer la qualit ; recommandations de collaborations entre universits pour offrir des programmes conjoints ou pour accrotre la spcialisation et donc la complmentarit des programmes. On trouvera lensemble des rapports rsultant des travaux de la CUP sur le site web de la CREPUQ36. Les travaux de la CUP ont surtout permis daccrotre sensiblement le niveau de collaboration entre les universits au niveau des dpartements et des disciplines. Ce faisant, il en a rsult une optimisation de lutilisation des fonds publics mis la disposition des universits. Enfin, il faut noter que les universits ont dcid de poursuivre les actions entreprises par la CUP lorsque celle-ci a achev ses travaux. Ainsi, dans le cadre de la CREPUQ, un groupe de travail a t charg de tenir jour les bases de donnes descriptives des diffrents secteurs disciplinaires et, surtout, de faire les suivis appropris de la mise en uvre des recommandations de la CUP.

dvaluation des programmes.

2.4 Commission des Universits sur les programmes

Dans la foule des Etats Gnraux de lEducation, tenus en 1995-96, les universits ont mis sur pied, avec lappui du Ministre de lEducation, une Commission des Universits sur les programmes (CUP), dont le mandat tait de procder une revue complte de loffre de programmes de formation par lensemble des universits qubcoises. La Commission, forme de reprsentants de toutes les universits et de hauts fonctionnaires du ministre, a constitu une vingtaine de sous-comits par secteurs disciplinaires. Chaque sous-comit avait le mandat dexaminer loffre de programme dans sa discipline en prenant en compte la nature et le contenu des programmes, lvolution des clientles tudiantes, la dure des tudes, les taux de diplomation, les ressources professorales, la performance en recherche et les ressources financires et matrielles en appui chaque programme. Les rapports sectoriels produits par la CUP ont permis, dune part de brosser un tableau qualitatif complet de loffre de programmes universitaires au Qubec, dautre part de faire, dans un certain nombre de cas, des recommandations quant la rationalisation de cette offre : recommandations de fermeture de quelques programmes insuffi-

2.5 Evaluation de la recherche

La recherche universitaire qubcoise est finance partir de trois sources principales : les Conseils subventionnaires canadiens, qui fournissent la plus grande partie des fonds, les Conseils subventionnaires qubcois et les entreprises dans le cadre de contrats de recherche. Les subventions des Conseils canadiens et qubcois sont octroyes aux chercheurs individuels, des groupes de chercheurs ou aux centres de recherche, sur la base de projets quils soumettent et qui sont valus par des jurys de pairs. La qualit du projet de mme que la qualit du ou des chercheurs sont les principaux paramtres pris en compte. La qualit des chercheurs est value principalement partir de leur liste de publication en considrant le volume de publication, la qualit des revues dans lesquels ils publient et, dans certains cas, en examinant les 3 ou 5 meilleures publications choisies par le chercheur ; les Citations index ne sont jamais pris en considration car ils

46

36 www.crepuq.qc.ca

sont considrs comme peu reprsentatifs de la qualit des chercheurs. La comptition est trs vive puisque les taux de succs varient selon les programmes entre 15 et 60 %. Les valuations qui sont faites dans le cadre des demandes de subventions tiennent lieu dvaluation principale de lactivit de recherche. Au niveau des units, lvaluation de lactivit de recherche se borne normalement lexamen du nombre de professeurs subventionns, du nombre et de la hauteur des subventions quils obtiennent, du nombre de publications quils produisent et de leur activit dencadrement dtudiants au doctorat (nombre, dure moyenne des tudes, taux de diplomation). Des valuations de ce type font partie intgrante des procdures dvaluation priodique des programmes et des units dont il a t question la section prcdente. Certaines universits se sont donnes des politiques internes dvaluation des groupes et centres de recherche. Ces politiques, mise en uvre sous la responsabilit dinstances spcialise (Commission de la recherche), font normalement intervenir un examen par un comit de pairs, y compris dans certains cas des experts externes luniversit.

47

3. AUTRES APPROCHES POSSIBLES

3.1 Les approches anglaises

Le systme universitaire anglais a subi des changements importants au cours des dix dernires annes, en particulier par suite de ladoption du Further and Higher Education Act en 1992, qui donnait aux Polytchenics le plein statut duniversits. Cette loi avait galement pour effet de restructurer les mcanismes de financement et dvaluation des universits. Le Higher Education Funding Council for England (HEFCE), charg du financement des universits, mit en place un mcanisme dvaluation de la qualit des programmes disciplinaires rsultant en un rangement de chaque programme dans une de trois catgories : excellent, satisfaisant ou insuffisant. Les programmes identifis comme excellents par les universits faisaient lobjet dune visite dvaluation ; les programmes non valus faisaient lobjet dun rangement automatique dans la catgorie satisfaisant . Avec lexprience, les valuations du HEFCE ont fait lobjet de critiques croissantes, essentiellement parce quelles semblaient avoir un biais favorable aux anciennes universits. Aprs quelques tentatives dajustements, une nouvelle approche fut mise en place en 1997 avec la cration de la Quality Assurance Agency (QAA). La QAA avait pour mission initiale de procder des valuations priodiques des universits et de leurs programmes. Ses procdures sont dcrites dans son Handbook for Academic Review38. Comme on pourra le constater lexamen de ce document, les procdures dvaluation mises en place par la QAA taient relativement lourdes grer. De fait, une analyse ralise par le HEFCE en 200039 rvle un cot lev des subject reviews pour un impact en apparence limit puisque seulement 0.2 % des valuations avaient conduit un rsultat ngatif. Par ailleurs, les procdures dvaluation ont fait lobjet de nombreuses critiques parmi les universitaires anglais, principalement sur la question du volume de la documentation produire et de la lourdeur du processus. Aussi, en 2002 la QAA a recentr son activit sur des valuations institutionnelles (Institutional Audits) dont les procdures sont dcrites dans son Handbook for Institutional Audit : England40 et qui vise plus valuer
38 www.qaa.ac.uk 39 HEFCE, 2000, Better Accountability for Higher Education, Report 36 40 www.qaa.ac.uk 41 www.qaa.ac.uk

les procdures internes dvaluation de qualit et les pratiques de gestion des universits, limitant les valuations de programmes acadmiques aux cas o un problme aurait t dtect. Par ailleurs, le HEFCE mne, avec une priodicit de cinq ans, des Research Assessment Exercises dont lobjectif est dvaluer la performance en recherche des universits, discipline par discipline, les rsultats ayant une influence directe sur le financement de la fonction recherche dans chaque universit. Les procdures de ces RAE sont dcrites dans un guide41 ; elles font intervenir des comits de pairs valuant les soumissions des universits dans 70 secteurs disciplinaires. Chaque secteur soumis par une universit lvaluation reoit une cte de 1 5, le financement dpendant directement de cette cte : pas de financement pour les secteurs ayant une cte de 1 ou 2, un financement quatre fois plus grand pour un secteur ayant une cte de 5 que pour un secteur ayant une cte de 3 volume de recherche gal. On peut dire que le systme universitaire anglais, dans une certaine mesure, souffre dune overdose dvaluation. Si les RAE semblent avoir eu un impact positif sur lattention que les universits apportent une gestion stratgique de leurs activits de recherche, il nest pas clair que, au total, cette pratique surdveloppe des valuations ait eu un impact la mesure des cots de gestion de ces processus. Il est clair par ailleurs, que beaucoup de temps dexperts a t mobilis dans ces oprations et que des structures administratives importantes se sont dveloppes pour mettre en uvre ces processus.

3.2 Les approches amricaines.

Aux Etats-Unis, le dveloppement et la complexit du systme denseignement suprieur, avec une combinaison duniversits publiques et duniversits prives, de grandes universits de recherche, de petites universits spcialises, de Liberal Arts Colleges , etc. a naturellement conduit des structures dvaluation et daccrditation ellesmmes trs complexes. Ces structures prennent essentiellement la forme dorganismes daccrdi-

48

tation des programmes et des diplmes dcerns qui peuvent tre privs ou publics et qui peuvent eux-mmes tre reconnus. On retrouve ainsi : Des organismes rgionaux daccrditation qui sintressent toutes les universits prives ou publiques dune rgion Des organismes nationaux daccrditation, gnralement spcialiss dans lvaluation dun certain type dtablissements (tablissements religieux privs) ou de programmes (formation distance) Des organismes professionnels daccrditation des programmes de formation la pratique professionnelle ( Mdecine, Mdecine dentaire, Mdecine vtrinaire, Ingnierie, Administration)

Au niveau europen, le European Network on Quality Assurance (ENQA), qui regroupe les 36 organismes nationaux en Europe impliqus dans les systmes nationaux dassurance qualit au niveau universitaire, a t cr en 1999 suite ladoption de la recommandation 98/561/EC par le Conseil de lEurope en septembre 1998. LENQA organise rgulirement des runions et confrences regroupant les intervenants europens dans le domaine de lassurance qualit et diffuse des rapports sur son site web43. La dclaration de Bologne adopte par les Ministres europens de lEducation en juin 1999 et les confrences qui ont suivi (Prague en 2001, Berlin en 2003) ont appel tous les pays europens renforcer leur coopration en matire dassurance qualit dans le cadre du suivi de la dclaration de Bologne, renforant encore la pertinence dENQA. On notera par ailleurs le dveloppement de la

La plupart de ces organismes sont eux-mmes reconnus par le Council for Higher Education Accreditation (CHEA), cr en 1996 par les milieux universitaires et qui dicte des standards de bonne pratique que les organismes accrditeurs doivent respecter. On trouvera toute linformation pertinente sur les procdures de CHEA sur son site web42. Paralllement, le Dpartement de lEducation possde son propre systme daccrditation qui est une des conditions prliminaires pour recevoir un financement fdral.

Joint Quality Initiative regroupant 22 organisations de pays europens, majoritairement des pays anglo-saxons et nordiques, autour des questions dassurance qualit. Cet organisme, issu dun atelier organis Maastricht en 2001, a tenu une runion europenne sur le thme de lassurance qualit Amsterdam en mars 2002; le Consensus dAmsterdam qui en a rsult peut tre trouv sur le site web de lorganisation44. Plus rcemment, la division de lenseignement sup-

Le modle du CHEA mrite un examen attentif de la part des milieux universitaires europens au moment o se mettent en place des systmes dassurance qualit dans tous les pays europens. Son approche par formulation de rgles de bonnes pratiques de laccrditation que les organismes accrditeurs doivent respecter pour tre reconnus par le CHEA semble particulirement bien adapt au contexte europen dans le cadre de la mise en uvre de la dclaration de Bologne.

rieur de lUNESCO a convoqu un premier Forum Global sur la question Paris les 17 et 18 octobre 2002 en vue de proposer au Directeur Gnral de lUNESCO un plan daction pour le biennum 20042005. Ce Forum regroupait tous les grands organismes rgionaux et internationaux impliqus dans lenseignement suprieur, y compris lOCDE et la Banque mondiale ; seule lOrganisation mondiale du commerce tait absente. Le forum a fait un large tour des questions qui se posent dans la perspective dun accroissement des changes internationaux de services denseignement suprieur dans le contexte de lAGCS. On trouvera le projet de recommandations de ce Forum Global sur le site web de lUNESCO45. Depuis, lUNESCO et lOCDE poursuivent leur collaboration dans le domaine de la qualit lchelle globale.

3.3 Autres initiatives internationales.

Au cours des dix dernires annes plusieurs initiatives se sont dveloppes au niveau international autour de la question de lassurance qualit , de laccrditation et de la reconnaissance des diplmes universitaires.
42 www.chea.org/about/Recognition.cfm 43 www.enqa.net/pubs.lasso 44 www.jointquality.org

45 www.unesco.org/education/studyingabroad/highlights/global_forum_main.shtml

49

4. RGLES DE BONNE PRATIQUE DVALUATION PROPOSES

On a vu que, dans la plupart des pays latins de lEurope, des rformes importantes sont en cours dans le domaine de lvaluation des tablissements denseignement suprieur et de leurs activits denseignement et de recherche. Ces rformes refltent, dans une large mesure, les spcificits et les traditions nationales des systmes denseignement suprieur ; de fait, on peut stonner que, dans le contexte des engagements de Bologne, il ny ait pas une plus grande concertation entre les Etats dans la mise en place des mcanismes dvaluation. Ceci dit, lobjectif de mettre en place un rfrentiel partag dindicateurs et de procdures dvaluation en appui la croissance de la mobilit tudiante qui devrait tre induite par la dclaration de Bologne, appelle, sinon une uniformisation des procdures dvaluation, du moins ladoption de rgles de bonne pratique dvaluation qui devraient tre largement partages. Quelles pourraient tre ces rgles ? A partir des pratiques en cours aussi bien en Europe quen Amrique du Nord, et en prenant en compte le principe fondamental dautonomie et donc de responsabilit des universits, en prenant en compte galement le fait que les valuations doivent la fois garantir une uniformit de qualit et protger la diversit des offres de formation universitaire, on peut dgager les rgles suivantes. Dans cette perspective, les mandats actuels des Commissions nationales dvaluation qui se sont vu confier la responsabilit de raliser elles-mmes les valuations auraient avantage tre revus. En effet, ce mode dopration favorise, dans une certaine mesure, la dresponsabilisation des universits. Au contraire, en concentrant leur action sur la formulation de principes quon devrait retrouver dans les politiques institutionnelles dvaluation et sur la vrification de lexistence, de la qualit et de Le principe de lautonomie des universits est reconnu de faon universelle et est dailleurs clairement affirm, par exemple dans les conclusions de la Confrence mondiale sur lenseignement suprieur tenue par lUNESCO en 1998. Ce principe est cependant traduit de manire trs diffrencie dans les diffrents pays du monde dvelopp, y compris en Europe. Ce principe dautonomie devrait guider toutes les actions des universits et de leurs autorits de tutelle. En ce qui concerne les universits, autonomie doit aller de pair avec responsabilit, en particulier avec responsabilit dans lutilisation des ressources publiques et responsabilit dans le dveloppement de la qualit des programmes de formation et de recherche. Il devrait aller de soi que chaque universit se dote dune politique Dans le respect du principe dautonomie et des responsabilits qui y sont associes, toute opration dvaluation dun programme ou dune unit universitaire devrait samorcer par une srieuse introspection, donc par une auto-valuation. Cette dmarche devrait comprendre deux phases distinctes : un bilan de laction mene au cours des dernires la mise en uvre de ces politiques institutionnelles et en pratiquant la plus grande ouverture dans la publication de leurs observations, ces Commissions nationales dvaluation assumeraient pleinement leur mission dassurance de la qualit dun systme denseignement suprieur respectueux du principe dautonomie des tablissements. Les mcanismes dvaluation de la qualit des universits et de leurs programmes de formation et de recherche devraient tre conus de manire laisser aux universits la responsabilit premire de lvaluation et des suivis lui donner. Ils devraient par ailleurs comporter un mcanisme ou une structure de vrification (audit) de la manire dont les universits sacquittent de leur responsabilit dvaluation. En ce qui concerne les autorits de tutelle, elles devraient sappliquer mettre en place des politiques incitant les universits assumer pleinement leurs responsabilits en matire de qualit et defficience. Elles devraient en particulier favoriser des bonnes pratiques de reddition de comptes de la part des universits quant la saine utilisation des fonds publics dont elles disposent et mettre en place des mcanismes de vrification de cette utilisation. dvaluation de la qualit de ses enseignements et dune politique dvaluation de lefficience de ses units denseignement et de recherche.

4.1 Favoriser la responsabilisation des tablissements

4.2 Lauto-valuation premire tape essentielle

50

annes permettant de dresser un constat des points forts, des faiblesses, des risques et des opportunits qui caractrisent lunit ou le programme ; dautre part, sur la base de ce bilan, un plan daction identifiant les mesures prendre pour corriger les faiblesses constates et pour dvelopper de nouvelles avenues permettant de faire face aux risques perus et dexploiter les opportunits identifies. Cette autovaluation devrait donner lieu une mobilisation de toutes les forces vives de lunit ou du programme pour favoriser une prise de conscience collective de la situation et crer les conditions propices une action collective constructive. La premire tape, essentielle, de toute valuation devrait tre une auto-valuation de lunit ou du programme, permettant de mobiliser les forces vives de lunit autour du constat de situation et des mesures prendre pour assurer le progrs de lunit ou du programme.

4.4 La publicit des rsultats de lvaluation fondement de la crdibilit.

Pour tre valable et, surtout, prise au srieux par toutes les parties concernes, lvaluation doit donner lieu la publication dun rapport largement diffus lintrieur de ltablissement. Ce rapport doit, bien entendu, respecter les droits des individus et tre formul par consquent en termes dorientations gnrales privilgier par lunit ou le programme et dactions collectives prendre pour mettre en uvre ces orientations. Ce rapport devrait tre publi aprs avoir t soumis lexamen de lunit concerne, lui donnant ainsi la possibilit de corriger dventuelles erreurs de faits et surtout lui permettant de formuler ses commentaires et les suites envisages aux recommandations formules par le comit dvaluation. Le rapport dvaluation et le plan daction de lunit devrait faire lobjet dune discussion et dune rception formelle par les instances dirigeantes de ltablissement. Certaines universits nord-amricaines ont tabli la pratique de produire un sommaire excutif du rapport dvaluation et de diffuser assez largement ce document, non seulement toute la communaut universitaire, mais aussi auprs des autorits de tutelle et de la communaut des diplms et amis de luniversit.

4.3 Lvaluation par les pairs fondement du systme

Laction des universits doit toujours se situer la frontire de la connaissance, en recherche bien sr, mais aussi en enseignement qui doit bnficier des amliorations continues que permettent les progrs de la recherche. Evaluer la qualit de cette action ncessite donc une bonne comprhension de ltat actuel des connaissances et des dveloppements en cours dans le domaine disciplinaire considr. Lvaluation doit donc ncessairement faire intervenir des experts du domaine, soit, en toute objectivit, des experts externes luniversit. Elle doit en mme temps tenir compte des contextes locaux et nationaux, ce qui justifie lintervention de jurys locaux. Lintervention dun tel comit externe lunit permet de mettre dans une juste perspective locale et disciplinaire les analyses faites par les membres de lunit dans le cadre de leur auto-valuation ; un tel regard critique par des personnes expertes mais non directement impliques offre la ncessaire garantie dobjectivit de lvaluation. Une bonne politique institutionnelle dvaluation devrait confier la responsabilit de lvaluation un comit compos dexperts du domaine, externes luniversit et dintervenants locaux externes lunit. Des reprsentants des tudiants et des milieux sociaux-conomiques associs au programme ou lunit valuer devraient tre impliqus dans le comit.

4.5 Respecter la diversit condition essentielle au dveloppement

Luniversit moderne est le lieu par excellence de lexpression de la diversit culturelle, de louverture aux ides nouvelles, du dveloppement de nouveaux champs dtudes et de recherche. Elle doit donc exercer une grande rserve par rapport au dveloppement de normes relatives aux mthodes et aux contenus de son action de formation et de recherche. La seule norme qui devrait guider luniversit et tous ses acteurs, cest celle de la qualit, juge par rfrence aux meilleures pratiques des milieux universitaires internationaux. Les politiques et pratiques dvaluation devraient porter une grande attention la protection de cette diversit culturelle essentielle au sain dveloppement de luniversit. Ceci est tout particulirement important dans le dveloppement de processus trans-nationaux dvaluation tels quils sont envisags actuellement en Europe dans la

51

foule de la dclaration de Bologne. De fait, cette dclaration vise lenrichissement de la formation par la mobilit accrue offerte aux tudiants, admettant implicitement que les universits des diffrents pays europens offrent des formations aux objectifs semblables mais avec des mthodes diffrentes et dans des contextes diffrents, assurant ainsi une richesse accrue de la formation. Les politiques dvaluation devraient permettre de protger, ou mieux de mettre en valeur, la diversit des pratiques de formation et de recherche des universits europennes. Elles devraient donc mettre lemphase sur la qualit des rsultats plutt que sur lanalyse des moyens.

52

LEUA reprsente les universits et les confrences nationales de recteurs de 45 pays europens. Sa mission est de promouvoir le dveloppement dun systme cohrent denseignement suprieur et de recherche lchelle europenne, dans le respect de la diversit de ses membres et dans un esprit de solidarit. Grce aux projets quelle mne et aux services quelle fournit ses membres, lEUA vise renforcer la bonne gestion et le leadership des institutions universitaires ainsi qu promouvoir les partenariats dans lenseignement suprieur et la recherche en Europe, et avec le reste du monde.

Association Europenne de lUniversit Rue dEgmont 13 1000 Bruxelles Belgique Tl: +32-2 230 55 44 Fax: +32-2 230 57 51 www.eua.be