Lvaluation en ducation : de lvaluation de llve et du systme ducatif lvaluation dune politique ducative locale

Rsum Aujourdhui, la question de lvaluation pntre lensemble des politiques publiques. Lide poursuivie, sous linfluence des politiques anglo-saxonnes et europennes, est de savoir si la stratgie et les moyens adopts permettent de mettre en uvre les objectifs dfinis au dpart et dobtenir les effets escompts par les politiques. Le champ de lducation ne fait pas exception et est aussi travers par la question valuative. Comment cette question se pose-t-elle dans le champ de lducation ? Quels sont les diffrents courants, les diffrentes mthodes qui permettent de mener bien une valuation ? Concrtement, comment une valuation est-elle mene ? Quest-ce que cela produit ? Cest ces questions que se propose de rpondre cette note de synthse.

Sommaire INTRODUCTION................................................................................................................................................. 2 1 LEDUCATION NATIONALE ABORDE LVALUATION DABORD SOUS LANGLE DES RSULTATS DES LVES, PUIS INTGRE UNE APPROCHE TERRITORIALE AVEC LA MISE EN PLACE DES ZEP ........................................................................................................................................... 3 1.1 LVALUATION EN DUCATION : DABORD LVALUATION DE LLVE ET DE SES RSULTATS SCOLAIRES 3 1.1.1. La pratique quotidienne des enseignants ........................................................................................ 3 1.1.2. Au point de vue macro , lvaluation du systme ducatif ......................................................... 3 1.2 AVEC LA MISE EN PLACE DES ZONES DEDUCATION PRIORITAIRE, LAPPROCHE TERRITORIALE ENRICHIT LA FAON DE PENSER LVALUATION .................................................................................................................. 4 1.2.1. La prise en compte des territoires par lEducation nationale : une rupture importante dans les faons dagir de linstitution ........................................................................................................................... 4 1.2.2. Lvaluation des Zones dEducation Prioritaire : la prise en compte de nouveaux indicateurs lis aux territoires.................................................................................................................................................. 4 2 LVALUATION DES POLITIQUES DUCATIVES LOCALES : UN CHAMP EN CONSTRUCTION POUR VALUER LA FOIS DES EFFETS SUR LES TERRITOIRES ET SUR LES PUBLICS....................................................................................................................................................... 6 2.1 LES VILLES SIMPLIQUENT DE PLUS EN PLUS DANS LE CHAMP DE LDUCATION ...................................... 6 2.1.1. Pourquoi cette monte en puissance ? ............................................................................................ 6 2.1.2. Comment les villes simpliquent-elles ? .......................................................................................... 7 2.1.3. Le local se pose la question de lvaluation.................................................................................... 7 2.2 LVALUATION DES POLITIQUES DUCATIVES LOCALES, UN CHAMP QUI EN EST ENCORE SES BALBUTIEMENTS .................................................................................................................................................. 8 2.2.1. Les politiques locales ducatives : une ralit montante, mais pas encore pleinement affirme.... 8 2.2.2. Quelques points qui posent problme pour lvaluation des politiques ducatives locales ............ 8 2.2.3. Analyse dexemples concrets dvaluation.................................................................................... 10 Valrie Pugin
Mars 2008 page 1
_

2.3

LES LMENTS INCONTOURNABLES ET LES BONNES PRATIQUES RETENIR POUR VALUER LES POLITIQUES LOCALES DUCATIVES .................................................................................................................... 15 2.3.1. projets 2.3.2. 2.3.3. Un travail indispensable didentification prcise des objectifs ports par les dispositifs ou les 15 La dfinition des indicateurs ......................................................................................................... 20 Quelques propositions de mthodes pour sortir des difficults voques ..................................... 21

Introduction

Lvaluation des politiques publiques, sous linfluence des pratiques anglo-saxonnes et des incitations europennes, se dveloppe de plus en plus aujourdhui en France. Elle devient, petit petit, partie intgrante dune politique publique, dun dispositif, dun projet. Dans le champ de lducation, la question de lvaluation se pose dune manire particulire. Pour ce qui concerne lEducation nationale, lvaluation se pose dabord et avant tout en direction de lindividu - lve et au regard de ses rsultats scolaires. Cest une premire conception de lvaluation. Celle-ci volue avec notamment la mise en place des Zones dEducation Prioritaire, dont les valuations intgrent aussi des aspects lis aux territoires, au niveau du partenariat en uvre sur le territoire. Les politiques ducatives locales, qui sont aujourdhui en pleine mergence, toffent encore cette question de lvaluation en matire dducation. En effet, ces politiques visent la fois des objectifs lis au territoire et au contexte local, ainsi que des objectifs lis aux publics objets de laction ducative. Ainsi, les valuations de ces politiques locales ducatives se posent la fois des questions sur les moyens dvaluer des objectifs qui ciblent des territoires et sur les publics. Pour les publics, et notamment les enfants, les objectifs poursuivis par ces politiques locales ouvrent sur dautres champs que les rsultats scolaires et concernent par exemple lvolution des pratiques de loisirs, des comportements, des valeurs, qui posent encore dautres interrogations pour lvaluateur. Les politiques dducation locales constituent donc un analyseur privilgi de la question de lvaluation, mme si celle-ci est aujourdhui un stade mergent et de recherche qui ne permet pas encore davoir un discours trs affin.

Valrie Pugin
Mars 2008 page 2
_

1 LEducation nationale aborde lvaluation dabord sous langle des rsultats des lves, puis intgre une approche territoriale avec la mise en place des ZEP

1.1 Lvaluation en ducation : dabord lvaluation de llve et de ses rsultats scolaires

1.1.1. La pratique quotidienne des enseignants

Lvaluation est une dmarche trs familire au systme ducatif, et, en particulier, ses principaux acteurs, les enseignants. Toute lanne les enseignants valuent leurs lves et, la fin de lanne, ces derniers passent des examens (). A travers ces interrogations, ces preuves crites et orales, ces examens, ce sont non seulement les lves qui sont valus, mais aussi, au moins indirectement, leurs enseignants et, plus gnralement, le systme dans son entier. La rflexion sur la notation, ses multiples significations, sa justesse, son adquation son objet, etc. ce quon appelle la docimologie est ancienne 1. Sur ce point, on peut retenir plusieurs lments pour notre propos. Lducation nationale possde une forte expertise sur ce domaine de lvaluation des connaissances, associe une batterie trs importante dindicateurs sur la russite scolaire des lves. Il sagit l dun aspect de lvaluation tel que la considre lEducation nationale le niveau micro - qui concerne avant tout llve et ses connaissances. Il existe un deuxime aspect macro , plus intressant pour notre propos, qui concerne lvaluation de lensemble du systme ducatif.

1.1.2. Au point de vue macro , lvaluation du systme ducatif

Lvaluation du systme ducatif constitue le deuxime aspect de lvaluation telle quelle est entendue par lEducation nationale, bien diffrent de celui prcdemment voqu. Lvaluation du systme ducatif se rattache lvaluation des politiques publiques, mais sen distingue aussi, comme le rappelle Claude Thlot. Cest lEtat dun systme que lon va chercher apprcier, et non la politique qui y est conduite. La diffrence est dabord dans lchelle : on ne retient pas telle ou telle politique mene dans le champ ducatif (la rnovation pdagogique des lyces, la politique des cycles lcole lmentaire, le plan Universit 2000 , etc.) ; on essaie de rflchir au systme ducatif dans son ensemble. La diffrence est ensuite, et surtout, dans la distinction quil faut faire entre valuer une politique et valuer un tat. LEcole est actuellement dans un certain tat, quil sagit prcisment de cerner au mieux et qui rsulte dune multitude de facteurs : les politiques ducatives naturellement (rcentes et plus anciennes : le temps de lEcole est le temps long), mais aussi les comportements des acteurs, cest--dire aujourdhui, de tout le monde (Etat, mais aussi enseignants, parents dlves, lves et tudiants, collectivits territoriales, syndicats, etc.) vu limportance capitale qua dsormais prise lEcole. 2 Lvaluation du systme ducatif est, entre autres, lambition de la Direction de lEvaluation, de la Prospective et de la Performance du Ministre de lEducation nationale en France, qui publie chaque anne lEtat de lcole, de la maternelle lenseignement suprieur o sont produits et analyss une trentaine dindicateurs sur le systme ducatif franais. On peut aussi citer des comparaisons
1 2

Claude Thlot, Lvaluation du systme ducatif, Nathan, 1993, p.7. Ibid.p.6-7.

Valrie Pugin
Mars 2008 page 3
_

internationales qui visent situer les systmes ducatifs les uns par rapport aux autres, tel que celui mis en place par lOCDE travers notamment les tests PISA. Sans entrer dans le dtail des rsultats de ces valuations qui sont accessibles et consultables, nous pouvons retenir plusieurs lments pour notre propos. Il y a tout dabord une culture indniable sur la question de lvaluation au sein de lEducation nationale. Les valuations du systme ducatif portent sur un objet trs large et sont menes grande chelle. Elles prennent en compte les rsultats des lves, croiss avec toute une srie dindicateurs trs intressants concernant par exemple la position professionnelle des parents, leur niveau de diplme, la langue parle au domicile, etc.

1.2 Avec la mise en place des Zones dEducation Prioritaire, lapproche territoriale enrichit la faon de penser lvaluation

1.2.1. La prise en compte des territoires par lEducation nationale : une rupture importante dans les faons dagir de linstitution

Le Ministre de lEducation nationale Alain Savary cre les Zones dEducation Prioritaire en 1981. Alors que certains territoires sont confronts des difficults trs importantes qui, parfois, empchent la mission nationale dducation de sexercer, le Ministre affirme, par cette mesure, que la dmocratisation du systme ducatif et la lutte contre les ingalits sociales doivent se concrtiser par davantage de moyens et surtout une plus grande attention pour ceux qui en ont le plus besoin 3. Cest ainsi le principe de discrimination positive qui simpose, dans une institution qui fonctionnait traditionnellement selon un principe dgalit stricte en offrant tous les lves les mmes conditions de travail. Laction de lEtat se concentre donc dans les territoires les plus dfavoriss selon plusieurs axes : des moyens supplmentaires y sont allous (traduits par exemple en nombre de postes supplmentaires), mais aussi de nouvelles faons dagir. Lincitation au travail dquipe au sein de ltablissement, la cration de liens plus forts avec les parents, louverture de ltablissement sur le quartier et le renfort du travail en partenariat avec lensemble de ses acteurs ducatifs (centre social, association culturelle, maison de quartier, ) en sont quelques exemples. Au-del de lamlioration des rsultats et des trajectoires scolaires des enfants qui rsident dans ces quartiers dfavoriss, on voit donc bien que les Zones dEducation Prioritaire sappuient sur des leviers territoriaux qui constituent des moyens de faire voluer la situation dans ces quartiers. Lvaluation des Zones dEducation Prioritaire intgre donc, elle aussi, ces nouveaux lments davantage lis au territoire.

1.2.2. Lvaluation des Zones dEducation Prioritaire : la prise en compte de nouveaux indicateurs lis aux territoires Deux rapports font rfrence quant lvaluation des Zones dEducation Prioritaire4 : Les dterminants de la russite scolaire en ZEP de C. Moisan et J. Simon, et Zones dducation prioritaires : quels moyens pour quels rsultats ? de R. Bnabou et F. Kramarz.

3 4

Discours du 13 juillet 1983. Pour plus de dtails sur ces rapports, lire la note de synthse La politique dducation prioritaire : bilans et perspectives en ligne sur le site millenaire3.com

Valrie Pugin
Mars 2008 page 4
_

Bien sr, ils abordent la question des rsultats scolaires des lves. C. Moisan et J. Simon considrent les rsultats aux tests nationaux dvaluation de la classe de 6e. Ils constatent que le score moyen obtenu par les lves de ZEP est infrieur la moyenne nationale. La dmarche de R. Bnabou et F. Kramarz est plus approfondie sur cette question. Ils utilisent la mthode des diffrences des diffrences avec quatre indicateurs de russite scolaire : lobtention dun diplme, laccs en 4e gnrale, laccs en seconde gnrale ou technologique, lobtention du bac. Ils comparent les rsultats de deux panels dlves entrs en 6e en 1980 et suivis pendant toute leur scolarit, quils soient ou non en ZEP. La mthode suivie permet ainsi de comparer les probabilits de russite des lves en ZEP avec celles de ceux qui ne sont pas en ZEP, toute chose gale par ailleurs (CSP, niveau de diplme des parents, langue parle la maison, etc.). Les auteurs arrivent ainsi montrer que, toute chose gale par ailleurs, le fait dtre scolaris en ZEP na pas deffet significatif sur la russite scolaire dun lve. Ces rapports, et en particulier celui de C. Moisan et J. Simon, prennent aussi en compte dautres points. Ils montrent ainsi comment des facteurs externes et internes aux tablissements scolaires peuvent influer sur le niveau de russite des Zones dEducation Prioritaire. Ainsi, la taille des ZEP entre en jeu : plus les ZEP sont petites et plus les rsultats des lves sont bons. Limage des tablissements, leur localisation dans une grande agglomration ou dans une ville moyenne ainsi que lenvironnement du quartier plus ou moins scurisant, ou plus ou moins pourvoyeurs de ressources culturelles entrent galement en jeu. De mme, la qualit du pilotage des ZEP, lengagement et la stabilit des enseignants, la qualit des relations entre les familles et lcole ou encore le sens donn lcole par les lves sont des facteurs dterminants du succs dune ZEP. Des prconisations sont ainsi faites concernant lensemble de ces aspects, comme le fait de redonner une taille humaine aux ZEP pour leur permettre de lutter contre leffet ghetto , comme le fait de renforcer les partenariats avec les acteurs du territoire, ou encore le fait de renforcer le pilotage des tablissements scolaires en ZEP. Puisque la politique dducation prioritaire constitue une politique qui porte des objectifs lis aux territoires, son valuation intgre ces lments et y porte un regard. Cest ainsi que lvaluation en ducation intgre progressivement des lments lis au partenariat ducatif sur un quartier, la qualit des relations avec les parents, la qualit du pilotage dune Zone dEducation Prioritaire, qui constituent autant dlments nouveaux dans ce champ. Si nanmoins, on la vu, elle peut porter sur une valeur tel que le sens quun lve peut accorder lcole, cela reste marginal. On se situe l dans un cadre qui considre plus llve que lindividu. Cest, entre autres, cela qua exprimenter le champ de lvaluation des politiques ducatives locales qui portent la fois des objectifs lis aux territoires mais aussi aux publics cibles considrs dans toutes leurs dimensions.

Valrie Pugin
Mars 2008 page 5
_

2 Lvaluation des politiques ducatives locales : un champ en construction pour valuer la fois des effets sur les territoires et sur les publics

2.1 Les villes simpliquent de plus en plus dans le champ de lducation

Depuis une vingtaine dannes, lducation napparat plus seulement comme lapanage de lcole, sous la responsabilit unique de lEducation nationale. On assiste en effet une monte en puissance des villes dans le champ de lducation. 2.1.1. Pourquoi cette monte en puissance ?5 Les lois de dcentralisation de 1982 - 19836 ont rendu les Conseils gnraux et rgionaux responsables du fonctionnement matriel et des investissements relatifs aux collges et aux lyces. Elles ont aussi accru le rle des communes, dj responsable du contenant des tablissements scolaires du premier degr, en leur donnant la possibilit dorganiser des activits dans les locaux de lcole (activits culturelles, sportives, lies lapprentissage des nouvelles technologies, etc.). Les communes se sont ainsi de plus en plus engages sur le contenu . Elles ont aussi de plus en plus t sollicites par lEducation nationale, avec laquelle un partenariat plus fort sest nou de fait, pour financer des actions en lien avec les projets dcole, ou ceux des Zones dEducation Prioritaire. La transformation de laction publique, initie par la politique de la ville qui met en avant que lintelligibilit des problmes se situe au niveau local et qui promeut le contrat partenarial pour dfinir et mettre en uvre des rponses, a aussi particip assurer les collectivits dans la place quelles pouvaient prendre dans le champ ducatif notamment. La modification des trois ples de lducation reprsents par la famille, lcole et les institutions de temps libre, a galement jou dans la mobilisation des collectivits en faveur de lducation. Alors que, comme le dit Philippe Meirieu7, la famille jouait un rle en prparant lenfant simpliquer dans des groupes sociaux, elle est aujourdhui davantage centre sur le soutien identitaire la cellule restreinte. Avec la massification de la scolarisation, lobligation scolaire jusqu 16 ans et lattente dune russite scolaire pour tous, il y a une pression forte sur lcole qui fait dire certains enseignants quils ne peuvent pas agir tout seuls. Enfin, les fdrations dducation populaire, les mouvements de jeunesse ont perdu leur influence et affichent moins un projet ducatif et davantage un versant occupationnel. Enfin, les problmes de dlinquance accrus au niveau local ont aussi contribu mobiliser les acteurs des territoires au premier rang desquels les lus. Ce nest dailleurs pas un hasard si la mobilisation des collectivits dans le champ ducatif a t souvent initi et expriment dabord dans les sites en politique de la ville.
5

Pascal Bavoux, Mailler les territoires par divers dispositifs ducatifs : une rponse suffisante aux besoins ? , in Ville Ecole Intgration Hors Srie n7, 3e Rencontres nationales de lducation, Rennes, octobre 2002. 6 Lois Deferre : loi n 82-213 du 2 mars 1982 relative aux droits et liberts des communes, des dpartements et des rgions, lois n83-8 du 7 janvier 1983 et 83-663 du 22 juillet 1983 relatives la rpartition des comptences entre les communes, les dpartements,les rgions et lEtat. 7 Philippe Meirieu, Eduquer ensemble lchelle du territoire. Pourquoi ? Comment ? , in Education et territoires, 2e Rencontres nationales de lducation, Rennes, mars 2000.

Valrie Pugin
Mars 2008 page 6
_

2.1.2. Comment les villes simpliquent-elles ?

Depuis la fin des annes 1980, ce sont ainsi de trs nombreuses procdures contractuelles qui interviennent dans le champ ducatif, et au sein desquelles les villes ont une place de choix. Les Contrats bleus, les Contrats dAmnagement du Temps de lEnfant (CATE), les Contrats Ville Enfance Jeunesse (CVEJ) puis les Contrats dAmnagement des rythmes de vie des enfants et des jeunes visent dabord larticulation des temps de lcole et des activits (sportives, artistiques, culturelles, etc.), la socialisation de lenfant, son autonomisation, sa russite scolaire. Viennent ensuite les Contrats Educatifs Locaux et les Contrats Temps Libres. Ces dispositifs participent structurer davantage encore le champ de lducation puisque de nombreuses communes, sous limpulsion de la Caisse Nationale dAllocation familiale qui imposait la ralisation dun diagnostic pralablement la mise en place dun CTL, ont alors lev le couvercle dun domaine jusqualors peu connu, peu tudi et trs peu visible 8. Cest ainsi que lon saperoit que certaines villes psent aujourdhui un poids trs important dans lducation de lenfant, travers les activits des associations quelles soutiennent ou loffre des structures municipales. Elles peuvent reprsenter, selon les enfants, de 0 plus de 1000 heures par an. Par comparaison, un enfant du premier degr passe 890 heures par an environ lcole. Les villes investissent donc trs largement le champ ducatif, souvent bien au-del de leurs comptences obligatoires. Elles y consacrent des moyens financiers et humains importants. Ce sont parfois, travers les dmarches de Projet Educatif Local, de vritables politiques locales dducation qui se mettent progressivement en place. Aujourdhui, lensemble de ces dispositifs est complt par la mise en uvre du projet de russite ducative. Il sagit dun dispositif financ en totalit par lEtat, mais mis en uvre par la communaut ducative locale compose de lensemble des partenaires ducatifs dun territoire (Ville, Education nationale, Conseil gnral, centres sociaux, etc.). Il vise non plus le dveloppement dactions collectives en direction de groupes denfants ou de jeunes, mais les enfants et les jeunes les plus fragiles, et pour lesquels un suivi individualis est ncessaire. Celui-ci se concrtise par la mise en place dun parcours de russite ducative adapt chaque enfant et chaque jeune. On passe ici dune logique collective et territoriale une logique qui cible des individus.

2.1.3. Le local se pose la question de lvaluation

Puisque les collectivits investissent le champ ducatif, quelles y consacrent un budget et des moyens, elles sinterrogent, ainsi que leurs partenaires financiers, sur les effets produits par leurs actions. Dans le cadre des Contrats Educatifs Locaux par exemple, la circulaire du 25 octobre 2000 (n000156) prcise que tout projet inclut une valuation. Il s'agit de mesurer objectivement et prcisment les effets produits par la mise en uvre du dispositif ainsi que les cots financiers engags par les diffrents partenaires, ces effets renvoyant, bien entendu, aux objectifs de la politique ducative territoriale. Dans le cadre des C.E.L., l'valuation se prpare ds le diagnostic par l'laboration d'indicateurs de russite. Elle doit permettre d'apprcier la validit et l'efficacit du contrat et de le faire voluer. Elle doit tre interactive et associer l'ensemble des partenaires du groupe local de pilotage . Dans le cadre des projets de russite ducative aujourdhui largement mis en place sur lensemble du territoire franais se pose aussi cette question de lvaluation. Dans le contexte de la nouvelle constitution financire (LOLF), lvaluation annuelle de la mise en uvre du PRE est obligatoire. () Indispensable pour mesurer les effets rsultant de la mise en uvre du PRE, cette valuation doit tre pense ds llaboration du projet de russite ducative. 9

8 9

Pascal Bavoux, Projet ducatif local : remue-mnage institutionnel ou politique ducative locale ? Guide mthodologique. Mettre en uvre un projet de russite ducative. Les ditions de la DIV, Collection Repres, juin 2007.

Valrie Pugin
Mars 2008 page 7
_

Puisque les politiques ducatives locales portent la fois des objectifs relatifs aux territoires, et aux individus, leur valuation se doit donc de prendre en compte ces deux dimensions.

2.2 Lvaluation des politiques ducatives locales, un champ qui en est encore ses balbutiements

2.2.1. Les politiques locales ducatives : une ralit montante, mais pas encore pleinement affirme

Mme si les collectivits locales simpliquent de plus en plus dans le champ ducatif, nous en sommes aujourdhui plutt au dbut du processus. De fait, lEtat reste encore souvent dans une posture rgalienne lgard des collectivits sur la question ducative. En outre, les villes qui prennent en compte cette question dans toute son ampleur ne sont pas encore trs nombreuses : il y a encore beaucoup de collectivits locales qui sengagent dans les dispositifs ducatifs prcdemment dcrits sans pour autant constituer une vritable politique locale ducative. De plus, les collectivits qui sy engagent vraiment ne mutualisent pas encore pleinement leur exprience. Certes, il existe bien des initiatives allant dans ce sens, telles que lassociation internationale des villes ducatrices, lANDEV (association nationale des directions de lducation des villes de France), ou encore les rencontres nationales des Projets Educatifs Locaux Brest. Nanmoins, elles constituent les prmices une reconnaissance et une mutualisation plus larges sur ces questions.

2.2.2. Quelques points qui posent problme pour lvaluation des politiques ducatives locales

Si les politiques ducatives locales sont mergentes, il en est de mme des pratiques valuatives qui leur sont lies. On peut dores et dj identifier deux points qui demeurent difficiles aujourdhui dans lvaluation des politiques ducatives locales. Lvaluation dune politique ducative territoriale est dfinie par un contexte, des acteurs, des normes et valeurs et des actions. Lapproche est rendue complexe car les politiques ducatives territoriales croisent des champs de comptences et des niveaux de dcisions diffrents . De plus, il existe une diversification progressive des politiques ducatives : dune collectivit territoriale une autre, loffre ducative nest pas la mme. La ville exprime, travers la mise en uvre dactions, un mode propre de construction de la cohsion sociale 10. On voit donc bien dune part que la ralit locale est complexe et que de multiples facteurs sont prendre en compte dans lvaluation dune politique ducative locale, et que dautre part, il nexiste pas de modle formalis tant la ralit est diffrente dun site lautre. Un second point, qui pose aussi question dans le cadre de lvaluation des politiques ducatives, rside dans lidentification des impacts quelles peuvent produire sur les publics. En effet, certains effets attendus des actions, tels que lautonomisation progressive de lenfant, lamlioration de son rapport lcole, sa socialisation, le fait quil possde une plus grande confiance en lui, peuvent mettre du temps se dvelopper chez les enfants. On est l dans une temporalit souvent longue et difficile dfinir. Ainsi, ce nest pas parce quun an aprs le dbut de laction, on nidentifie pas de changements significatifs chez les enfants de ce point de vue que rien na t amorc en eux. Cela se traduira en acte peut-tre plus tard, tant encore ltat de germe.

Corinne Masson, Evaluation dune politique ducative territoriale, mmoire de DEA de sciences de lducation sous la direction de Grard Figari, Professeur, Dpartement Sciences de lducation, Grenoble.

10

Valrie Pugin
Mars 2008 page 8
_

Sur la question de lvaluation dans le champ ducatif, les prconisations des pouvoirs publics sont dailleurs relativement peu tayes et donnent finalement peu dindications sur la dmarche suivre ou les indicateurs construire. Pour preuve la liste des indicateurs trs peu nombreux et insuffisamment prcis pour valuer un projet de russite ducative, tels que fournis dans la circulaire du 27 avril 2005,. Nous allons voir maintenant, concrtement, comment ces difficults sont ou non abordes travers des exemples concrets dvaluation de politiques ducatives locales. Cela nous permettra ensuite de dfinir un certain nombre dlments incontournables prendre en compte ou de bonnes pratiques retenir pour mener bien des valuations dans ce champ.

Valrie Pugin
Mars 2008 page 9
_

2.2.3. Analyse dexemples concrets dvaluation Lvaluation du Projet Educatif Local de Brest11 Objet Anne Evaluateur Objectifs Evaluation du PEL de Brest 2007 Externe Consultant Renseigner les partenaires sur : Le niveau dappropriation par des partenaires des valeurs, des orientations et des objectifs gnraux au sein de leurs pratiques quotidiennes Lefficience du projet territorialis Limpact des instances dappui au niveau des pratiques de terrain La plus value du projet sur les financements Limpact sur la qualit et la quantit des actions ducatives Ladquation entre les actions dveloppes et les besoins reprs Qualitative (entretiens) : lchelle de 2 territoires concerns par le projet, et au niveau de la matrise duvre et du pilotage institutionnel Quantitative (questionnaires) : approche largie tous les oprateurs prsents dans la ville Une analyse critique des objectifs poursuivis travers le projet Description des grands principes organisationnels du PEL Description des fonctions de pilotage Analyse de lexpression des oprateurs Dfinition dorientations possibles Sur les objectifs : - Un projet qui dans ses objectifs ne prend pas suffisamment en compte les enfants et les jeunes comme partie prenante - Une logique corrective des ingalits dans un projet qui se positionne en premier lieu pour les enfants les plus dfavoriss - Des espaces et des acteurs qui ne sont pas pris en compte dans la formation du jeune (les pairs, lespace public, etc.) - Des spcificits propres aux tranches dge insuffisamment prises en compte

Mthode utilise

Dmarche adopte

Principales conclusions

11

http://www.pel-brest.net/IMG/pdf/Rapport_Brest_V14.pdf

Valrie Pugin
Mars 2008 page 10
_

- Des objectifs qui ne font pas toujours rfrence pour les acteurs impliqus Sur les principes opratoires : ils permettent de prendre en compte les besoins des territoires, dy rpondre, de renforcer la dynamique partenariale Sur le pilotage : un pilotage reconnu et lgitime pour les diffrentes institutions partenaires, mais quelques tensions qui demeurent Sur la matrise duvre : - Limites : absence ou retrait de certaines directions municipales, de reprsentants des associations - Point fort : une matrise duvre qui sest dote doutils de communication trs intressants et qui permettent de mettre les acteurs en rseau et une dmarche de qualification des territoires pour alimenter les rflexions des acteurs de terrain Sur les groupes territoriaux : activation forte des partenariats au niveau du quartier entre les diffrentes institutions, mais nanmoins absence des parents et des associations de proximit Points forts de cette valuation Lanalyse du mode opratoire et de la matrise douvrage Une valuation qui tente de proposer des pistes daction Alors que le cahier des charges pose des questions trs prcises pour lvaluation, le travail propos ny rpond pas. Il dbute par une analyse critique des objectifs du PEL, et ne tente pas de voir si les objectifs dfinis pour ce projet par les partenaires sont raliss ou non. Lvaluateur possde luimme une vision thorique de ce que devrait tre un PEL et part de cette vision pour analyser le PEL de Brest. Les lments quantitatifs mobiliss (analyse par public, par territoire, par type dactivit) raisonnent en nombre dactions et ne rpond pas en cela au cahier des charges qui demandait dutiliser un indicateur plus pertinent pour cette mesure.

Limites

Valrie Pugin
Mars 2008 page 11
_

Lvaluation du Contrat Educatif Local et du Contrat Temps Libres de Rennes Objet Anne Evaluateur Phase de lvaluation Mthode utilise Evaluation du CEL et du CTL de la Ville de Rennes 2003 Externe Consultant Finale Entretiens en face face avec des acteurs institutionnels et de terrain, des parents Entretiens tlphoniques avec une slection de parents Analyse des documents remis par les acteurs rencontrs, en particulier les services municipaux Identification des objectifs du CEL et du CTL Analyse des actions et dfinition de 4 catgories : actions ralises et objectifs atteints, actions ralises et objectifs partiellement atteints, actions ralises et objectifs non atteints, actions non ralises Analyse des rsultats travers 6 thmes constitutifs des contrats : CEL et espace scolaire, accompagnement la scolarit, loisirs des 3 10 ans, loisirs des 11 16 ans, information et participation des usagers, communication et coordination des acteurs Le CEL dans lespace scolaire : actions satisfaisantes et objectifs atteints ; bon niveau de partenariat entre lEducation nationale et les actions du CEL, et de fait une bonne cohrence ducative ; des actions qui ne sinscrivent pas toujours dans un projet ducatif global ; les collgiens trs peu pris en compte par le contrat Laccompagnement la scolarit : actions ralises, objectifs atteints seulement partiellement ; peu darticulation entre lcole et laccompagnement la scolarit Les loisirs des 3 10 ans : mise niveau des CLSH municipaux et dveloppement des actions proposes ; tensions conscutives avec les associations gestionnaires de CLSH ; une possible drive consumriste des pratiques dans certains cas o le choix dactivits est accru ; un risque de recul de la mixit sociale dans certains cas Les loisirs des 11 16 ans : diversification des pratiques en les ouvrant des acticits nouvelles qui a eu pour effet dattirer plus de filles ; peu de priorit donne au secteur

Dmarche adopte

Principales conclusions

Valrie Pugin
Mars 2008 page 12
_

associatif, alors que cela tait convenu dans les objectifs de dpart Information et participation des usagers : information sur les actions du CEL, mais pas sur lensemble des actions ducatives proposes par quartier et lchelle de la ville ; peu de cohrence entre lobjectif gnral sur la participation des jeunes et des parents et la conception des actions Communication et coordination des acteurs : une faible disponibilit des enseignants et des ATSEM ; la rorganisation en cours des services municipaux qui a rendu difficile le travail en transversalit ; une articulation insuffisante entre les objectifs gnraux et oprationnels ; un dcalage entre ceux qui pensent et ceux qui font Points forts de cette valuation Prise en compte du point de vue de nombreux acteurs, y compris des parents qui ont t enquts Utilisation des rsultats de lvaluation pour construire des propositions pour amliorer le CEL et le CTL Peu de dfinition originelle des objectifs poursuivis par contrat donc une difficult ultrieure valuer Faible analyse sur les champs autres que le champ scolaire ou de laccompagnement la scolarit Peu dindicateurs quantitatifs

Limites

Valrie Pugin
Mars 2008 page 13
_

Lvaluation dpartementale du dispositif Contrat Educatif Local du dpartement des Landes12 Objet Evaluation du dispositif CEL lchelle du dpartement des Landes 2003 Externe Consultant Finale Une conception de lvaluation qui conjugue la volont de tirer les leons dun dispositif et la volont de faire de lvaluation un instrument de pilotage et danimation tout au long de laction

Anne Evaluateur Phase de lvaluation Conception de lvaluation

Schma du processus dvaluation

Dmarche prvue

Analyse des objectifs des CEL ports par le niveau national, dpartemental et local Analyse de la cohrence entre le diagnostic, les objectifs, les moyens et le budget engags et le dispositif national Analyse de la pertinence entre le diagnostic et les objectifs Etat des lieux des CEL du dpartement (nombre de CEL en cours, prsence dautres dispositifs ducatifs par commune, ) Analyse des rsultats (modifications de comportement des bnficiaires et autres effets directs) et des effets (organisation dune offre cohrente, implication des acteurs long terme, ) Une cohrence relativement faible : - des diagnostics initiaux parfois peu tays, ce qui rend difficile la conduite cohrente du projet - des objectifs locaux peu dfinis, ce qui rend difficile lidentification des effets attendus de laction et des critres dvaluation

Principales conclusions

12

http://www.mjsaquitaine.jeunesse-sports.gouv.fr/DD040/projets_locaux/Rapport_evaluationAncel2003.pdf

Valrie Pugin
Mars 2008 page 14
_

- un systme de pilotage qui ne permet pas toujours de runir les principaux acteurs concerns et dassurer la cohrence du dispositif lchelle dpartementale Etat des lieux et analyse des actions : - constat que ce sont majoritairement des communes de taille moyenne qui se sont saisies du dispositif, - constat quil existe un certain nombre de superpositions entre les CEL et les autres dispositifs ducatifs, plutt quune complmentarit - dveloppement dune offre importante mais qui ne va pas toujours dans le sens dun projet ducatif global Rsultats : - Un partenariat renforc - Des temps pri et extrascolaires plus qualitatifs - Des activits attractives Points forts de cette valuation Une bonne formalisation des tapes du processus dvaluation Des rsultats identifis sur le niveau de partenariat, sur le processus de construction dune politique ducative locale Au-del du jugement valuatif, des propositions pour amliorer laction Une absence de dfinition prcise des objectifs poursuivis par les contrats qui rend impossible lvaluation relle des rsultats et des effets Des indicateurs quantitatifs peu prsents

Limites

2.3 Les lments incontournables et les bonnes pratiques retenir pour valuer les politiques locales ducatives

2.3.1. Un travail indispensable didentification prcise des objectifs ports par les dispositifs ou les projets

Lanalyse de ces trois exemples dvaluation montre dabord la faiblesse de la premire tape indispensable toute valuation, savoir lidentification et la formulation prcises des objectifs poursuivis par le projet ou le dispositif mis en uvre. Dans le travail men Brest, il y a citation de ces objectifs initiaux, mais immdiatement, une lecture critique de ces objectifs est porte par lvaluateur. Celui-ci exprime un jugement sur le projet avant de lvaluer, alors que la dmarche dvaluation consisterait plutt mesurer latteinte ou non des objectifs, puis ensuite, ventuellement, y porter un jugement. Lvaluation du CEL et du CTL de Rennes prend en compte les objectifs des contrats, mais ne les dtaille pas suffisamment pour permettre de dcliner une mthode dinvestigation. Enfin, lvaluation des CEL du dpartement des Landes nonce que le travail dvaluation et le jugement sur les rsultats des contrats ont t difficiles mener parce que les objectifs initiaux taient insuffisamment prcis. Dans toute valuation, il nous semble trs important de prendre le temps de raliser la premire tape fondatrice, appele, selon les cas, la chane des intentions ou le rfrentiel . Il sagit dun outil qui permet de mettre plat les objectifs et les intentions attribus au projet au moment de sa mise en uvre. Lvaluation a bien pour objet de savoir sils ont t raliss, partiellement raliss, raliss pour un public seulement, sur un quartier seulement, etc. Pour le faire, lvaluateur ne peut pas se

Valrie Pugin
Mars 2008 page 15
_

contenter de reprendre les objectifs formaliss dans les documents contractuels qui sont bien souvent trop gnraux pour pouvoir tre utiliss. Il est important quil puisse interroger aussi les acteurs qui portent le projet pour savoir quelles sont les logiques sous-entendues quils portent. Lvaluateur doit alors faire un travail de mise jour de lensemble de ces logiques et les soumettre, une fois formalises, aux acteurs concerns. Cest seulement une fois que cette premire tape est ralise, et valide par les porteurs du projet, que lvaluation connat rellement son objet.

Valrie Pugin
Mars 2008 page 16
_

Un exemple dobjectifs relatifs la structuration du partenariat sur un territoire Evaluation du PRE de Gennevilliers Objectifs gnraux Dclinaison des objectifs Hypothses valuatives Les acteurs ducatifs impliqus autour de lanalyse dune situation individuelle denfant en difficult connaissent les actions ducatives proposes sur lensemble du territoire communal. Si lune de ces actions peut rpondre pour partie aux besoins de lenfant, ils sont en mesure de lui proposer et de ly orienter. Les acteurs ducatifs connaissent mieux les champs de comptences des uns et des autres, les difficults ou le systme de contraintes lies aux professions de chacun (par exemple le secret professionnel chez les travailleurs sociaux). Le regard que les professionnels portent les uns sur les autres volue au cours du temps. Ils ont des occasions de rencontres dans des sminaires, des formations, des runions organiss dans le cadre du PRE.

Permettre aux acteurs de connatre lensemble de loffre ducative sur la commune

Formaliser le partenariat et llargir tous les acteurs ducatifs qui interviennent sur la commune

Faire en sorte que chacun connaisse, reconnaisse et respecte les mtiers des uns et des autres

Mettre en place des espaces dchanges formaliss qui runissent les acteurs ducatifs concerns

Valrie Pugin
Mars 2008 page 17
_

Un exemple dobjectifs portant sur loffre ducative lchelle communale Evaluation du CTL de Vaulx-en-Velin Objectifs gnraux Dclinaison des objectifs Proposer des activits aux enfants au moment o ils ont le plus de temps libre Hypothses valuatives Les actions du CTL se droulent pendant les moments o les enfants ont le plus de temps libre. Le CTL permet de proposer aussi des activits durant les vacances et les week-end. Les besoins des territoires sont pris en compte et le CTL permet de renforcer loffre dans les secteurs les moins couverts.
Les actions destination des adolescents rpondent leurs besoins au niveau qualitatif et quantitatif. Le CTL permet de favoriser la participation des filles adolescentes aux activits.

Favoriser le dveloppement quilibr des activits en direction des 6 16 ans en prenant en compte les caractristiques territoriales, des publics et de temps libres des enfants

Renforcer le secteur socio-ducatif en prenant en compte les besoins des territoires Favoriser la participation des adolescents, et notamment des filles, qui ont tendance moins participer aux activits encadres

Valrie Pugin
Mars 2008 page 18
_

Un exemple dobjectifs portant sur un public cible Evaluation de lAFEV (association de la fondation tudiante pour la ville) Objectifs gnraux Dclinaison des objectifs Hypothses valuatives Ltudiant qui accompagne lenfant dans sa scolarit lemmne dans des lieux quil ne connat pas. Lenfant sait situer son quartier et le centre-ville dans son espace urbain. Il connat son adresse, larrt de bus le plus proche de chez lui. Lorsquil est plus grand, il sait o il peut trouver les informations sur les activits qui lintressent dans son quartier, dans son agglomration. Ltudiant fait dcouvrir lenfant des spectacles ou des activits qui ne faisaient pas partie de son quotidien. Lenfant est habitu aux livres et lcriture. Il les mobilise non pas uniquement dans un cadre scolaire, mais sur un mode ludique ou pour mettre en uvre ses envies (lecture dune histoire, lettre son grand-pre, etc.). Lenfant possde un niveau de langage qui lui permet de se faire comprendre et dexprimer tout ce quil souhaite exprimer. Lenfant participe des activits quil ne pratiquait pas avant (bibliothque, loisirs, sport, etc.).

Faire dcouvrir lenfant des lieux de son agglomration quil na pas lhabitude de frquenter

Favoriser louverture et lenrichissement culturels de lenfant

Lui permettre de se familiariser avec des objets culturels auxquels il nest pas habitu (lecture, thtre, etc.)

Concrtiser cette ouverture culturelle pour la pratique de nouvelles activits, dans le quartier ou ailleurs

Valrie Pugin
Mars 2008 page 19
_

2.3.2. La dfinition des indicateurs

Suite au rfrentiel dvaluation, il est ncessaire de dfinir, pour chaque hypothse dvaluation, un indicateur. Certes, certaines hypothses sont trs difficilement valuables, voire impossibles valuer (lautonomisation de lenfant par exemple). Il conviendra donc de les laisser de ct, et daccepter de ne pas y porter un jugement. Pour les autres, un travail de construction des indicateurs est mener. Hypothses valuatives Les acteurs ducatifs impliqus autour de lanalyse dune situation individuelle denfant en difficult connaissent les actions ducatives proposes sur lensemble du territoire communal. Si lune de ces actions peut rpondre pour partie aux besoins de lenfant, ils sont en mesure de lui proposer et de ly orienter. Les acteurs ducatifs connaissent mieux les champs de comptences des uns et des autres, les difficults ou le systme de contraintes lies aux professions de chacun (par exemple le secret professionnel chez les travailleurs sociaux). Ils ont des occasions de rencontres dans des sminaires, des formations, des runions organiss dans le cadre du PRE. Indicateurs - Niveau de connaissance des actions mobilisables sur la commune par les acteurs du PRE - Capacit des acteurs impliquer dans le PRE mobiliser ces actions - Niveau de connaissance des acteurs ducatifs de la commune des institutions, structures et associations - Niveau de connaissance des comptences et des contraintes des autres professionnels - Niveau de participation des runions/sminaires/formations

Hypothses valuatives Les actions du CTL se droulent pendant les moments o les enfants ont le plus de temps libre. Le CTL permet de proposer aussi des activits durant les vacances et les week-end. Les besoins des territoires sont pris en compte et le CTL permet de renforcer loffre dans les secteurs les moins couverts.

Indicateurs - Temps o se droulent les activits

- Niveau de couverture des quartiers en activits - Type dactivits proposes par quartier - Niveau de participation aux activits selon les tranches dge, le sexe - Niveau de satisfaction des adolescents

Les actions destination des adolescents rpondent leurs besoins au niveau qualitatif et quantitatif.

Valrie Pugin
Mars 2008 page 20
_

Hypothses valuatives Ltudiant qui accompagne lenfant dans sa scolarit lemmne dans des lieux quil ne connat pas. Ltudiant fait dcouvrir lenfant des spectacles ou des activits qui ne faisaient pas partie de son quotidien. Lenfant sait situer son quartier et le centreville dans son espace urbain. Il connat son adresse, larrt de bus le plus proche de chez lui. Lorsquil est plus grand, il sait o il peut trouver les informations sur les activits qui lintressent dans son quartier, dans son agglomration.
Lenfant est habitu aux livres et lcriture. Il les mobilise non pas uniquement dans un cadre scolaire, mais sur un mode ludique ou pour mettre en uvre ses envies (lecture dune histoire, lettre son grand-pre, etc.).

Indicateurs - Nombre, types et lieux des sorties tudiant/enfant

- Niveau de connaissance de lenfant de son environnement immdiat, de sa ville - Niveau dautonomie de lenfant dans sa recherche dinformation - Attitude de lenfant face au livre, lcriture, au langage

Lenfant participe des activits quil ne pratiquait pas avant (bibliothque, loisirs, sport, etc.).

- Abonnement / frquentation / emprunt la bibliothque du quartier

- Niveau de participation des activits des structures du quartier ou au-del

2.3.3. Quelques propositions de mthodes pour sortir des difficults voques

Une fois les indicateurs construits, il sagit de dfinir une mthodologie adapte et ralisable. On peut donner quelques exemples de mthodes proposes pour rpondre aux exemples dhypothses valuatives prcdents. Les heures-anne-enfants pour rpondre une analyse quantitative de loffre ducative Plus intressantes que le nombre dactions proposs, ou encore les effectifs des enfants inscrits dans les activits, les heures-anne-enfants reprsentent la frquentation moyenne par activit multiplie par le nombre dheures de lactivit. Elles permettent dapprocher plus justement la ralit, et de raliser des croisements avec les quartiers o elles sont proposes, les tranches dge, la rpartition filles / garons, le type dactivits, etc.

Valrie Pugin
Mars 2008 page 21
_

Valrie Pugin
Mars 2008 page 22
_

Des enqutes quantitatives par questionnaire Des enqutes quantitatives peuvent aussi tre menes auprs des publics concerns par lvaluation, travers des questionnaires conus partir des hypothses valuatives que lon cherche renseigner. Pour mesurer des volutions entre le dbut et la fin de laction, on peut soit poser des questions la fin de laction qui cherche mesurer si quelque chose a chang, soit poser la mme question aux temps t1 et t2 aux mmes enquts pour mesurer comment leurs perceptions voluent.
Es-tu dj all la bibliothque avec l'tudiant ? Phase 1 Oui Non 20% 80% Phase 2 38% 62%

Fais-tu du sport : Phase 1 Le mercredi l'cole Dans un club Avec tes copains / tes copines, dehors prs de chez toi Tu ne fais pas de sport 29% 41% 25% 22% Phase 2 38% 38% 29% 17%

Des entretiens et des groupes de travail Enfin, des entretiens et des groupes de travail permettent aussi davoir de nombreux lments qualitatifs qui peuvent renseigner par exemple sur la nature du partenariat entre les acteurs, lintensit de leurs liens, les limites et les ventuelles tensions, les incohrences, etc.

Valrie Pugin
Mars 2008 page 23
_