Guia Evaluación Democracia Participativa

GUA PRCTICA
PARA LA
EVALUACIN
DE PROCESOS
PARTICIPATIVOS

PRACTICAL GUIDE
FOR EVALUATING
PARTICIPATORY
PROCESSES

GUIDE PRATIQUE
POUR
LVALUATION
DES PROCESSUS
PARTICIPATIFS
{ pag. 71 }
{ pag. 135 }
{ pg. 3 }
Guia Practica evaluacion_CAST 1 23/10/07 15:26:29
GUA PRCTICA
PARA LA
EVALUACIN
DE PROCESOS
PARTICIPATIVOS
GUA PRCTICA
PARA LA
EVALUACIN
DE PROCESOS
PARTICIPATIVOS
Este documento ha sido elaborado, con el apoyo
del Instituto de Gobierno y Polticas Pblicas, de la
Universidad Autnoma de Barcelona, a partir del debate
suscitado por los resultados del Grupo de Trabajo
constituido en la V Conferencia delOIDP (2005).
El Grupo de Trabajo Elementos comunes para la
defnicin del objeto de estudio de los OLDP: mbitos,
indicadores e ndice coordinado por la ciudad de
Donostia - San Sebastin - ha desarrollado sus tareas
durante los aos de 2005 y 2006.
Este documento es pblico y esperamos que sea de
enorme utilidad para todas las ciudades/ regiones/
instituciones que lo utilizen.
No obstante, con la voluntad de seguir perfeccionando
nuestros trabajos y avanzando de manera conectada,
pedimos a todos aquellos que hagan servir este
documento en la evaluacin de alguna prctica
participativa que compartan con nosotros sus
refexiones sobre la aplicabilidad, utilidad, fortalezas y
debilidades de los contenidos aqu expuestos.
Para eso les pedimos que enven sus refexiones al
e-mail oidp@bcn.cat o entren en contacto con la
Secretara Tcnica a travs de los telfonos que se
encuentran en www.oidp.net.
NDICE
Introduccin 7
1. Qu evaluamos 11
2. El marco conceptual compartido 13
3. Tensiones y debates abiertos 15
La Caja de Herramientas
4. Elementos previos a la evaluacin 19
5. Criterios de evaluacin de los procesos participativos 22
A. Criterios relacionados con la coordinacin del proceso 23
B. Criterios relacionados con quin participa 33
C. Criterios relacionados con al temtica del proceso de participacin 42
D. Criterios relacionados con las formas de participacin 45
E. Criterios relacionados a las consecuencias del proceso 51
6. Cuadro resumen de criterios de evaluacin 58
7. Algunos elementos metodolgicos 60
Bibliografa y documentacin propia utilizada 67
AnexoI : Tabla Resumen 68
6

GUA PRCTICA PARA LA EVALUACIN
DE PROCESOS PARTICIPATIVOS
7
INTRODUCCIN
Nuestro compromiso como proyecto subvencionado por el
programa de cooperacin descentralizada entre Europa y
Amrica Latina era la constitucin de nueve Observatorios
Locales de Democracia Participativa (OLDPs) y la creacin de
unos indicadores de evaluacin de la calidad de las experiencias
participativas en nuestras ciudades, siempre con el objetivo de
poder mejorar hacia un mayor protagonismo de los ciudadanos y
ciudadanas en el gobierno de las ciudades.
Durante este proceso hemos detectado la necesidad de ir ms all
del objetivo inicial, ya que compartimos la idea de que la tarea
de constituir un OLDP como espacio de interaccin y evaluar
la participacin a nivel local es ms complejo que la simple
aplicacin de un conjunto de indicadores. La razn de eso es el
objetivo fnal, no lo olvidemos, es mejorar la participacin, y
desde ah vemos que es necesario evaluar lo que hacemos para
poder mejorarlo.
Pero sabemos que las estrategias de evaluacin y los
instrumentos disponibles son muchos y diversos; y que las
preguntas que rodean la evaluacin son a su vez complejas,
pues se mueven en registros distintos: qu se evala, para qu
se evala, cmo se evala, quin evala. Unos registros son ms
polticos y otros ms instrumentales o metodolgicos.
Como fruto de esta refexin detectamos la necesidad de
instrumentos de evaluacin ms completos y ms amplios que
una simple batera de indicadores. Por eso acordamos centrarnos
en la creacin de una Caja de Herramientas, donde estuviesen
incorporados distintos criterios de evaluacin, indicadores
o posibles aspectos a evaluar en cada criterio y diversas
metodologas para llevar a cabo la evaluacin de la forma ms
adecuada de acuerdo con las caractersticas y los objetivos de
cada caso.
Esta Gua Prctica, pues, no pretende ser un sistema integral,
completo y cerrado para evaluar procesos participativos.
Esta Gua Prctica lo que pretende es ofrecer un conjunto de
herramientas diversas que puedan ser tiles para la evaluacin
de distintos procesos participativos; entendiendo que en cada
8
proceso se seleccionarn (o se ampliarn) los criterios para la
evaluacin, los aspectos a evaluar y las metodologas a utilizar,
de acuerdo con los objetivos del proceso, los objetivos de la
evaluacin y las caractersticas tanto del proceso evaluado como
de la realidad social en que ste se desarrolle.
El documento se estructura de la siguiente manera:
Antes de presentar las herramientas de evaluacin, creemos
importante situarnos en los principales debates entorno la
evaluacin.
En primer lugar debemos defnir qu evaluamos dentro del
amplio espectro de objetos de estudio de los OLDPs.
Concretado nuestro objeto de estudio, creemos que es importante
resaltar nuestro marco conceptual compartido: algunas ideas
que guan nuestras acciones de evaluacin.
Sin embargo, tambin compartimos dudas, y mantenemos
algunas tensiones y debates abiertos, y hemos querido dejar
constancia de ellos en este documento.
Esos tres apartados (qu evaluamos, el marco conceptual
compartido y las tensiones y debates abiertos) constituyen el
bloque introductorio de este documento.
En un segundo bloque, llamado Caja de Herramientas, se
presentan las herramientas de evaluacin. Este bloque est
dividido en los siguientes apartados:
1. Los elementos previos a la evaluacin son aquellos que
deben ser considerados antes de la evaluacin e intentan abarcar
la diversidad de situaciones, contextos, objetivos y temas acerca
de los cuales se proponga hacer una evaluacin.
2. Los criterios de evaluacin son los criterios consensuados
por los socios del proyecto y se referen a cinco mbitos de los
procesos (la coordinacin del proceso, quin participa, sobre
qu se participa, cmo se participa y las consecuencias de la
participacin). En el apartado correspondiente a cada uno de
los cincos mbitos se describe en qu consiste el criterio (a qu
aspira) y cmo puede hacerse su evaluacin.
9
3. Algunos elementos metodolgicos, donde se recogen
brevemente algunas de las metodologas de evaluacin
propuestas
Por ltimo, una Tabla resumen ofrece una sntesis de los
distintos criterios e indicadores propuestos con las respectivas
metodologas que pueden ser utilizadas para evaluar cada uno
de ellos.
10
11
1. QU EVALUAmOS
Cuando hablamos de evaluacin de la participacin ciudadana
podemos evaluar diferentes objetos. A partir de la refexin del
conjunto de socios de los Observatorios Locales se ha llegado a la
conclusin de que los objetos a conocer por parte de los OLDPs
pueden ser los siguientes:
>Las polticas pblicas
> El sistema estable de participacin
(marco jurdico y rganos)
> Los procesos participativos
> Los mecanismos de participacin
> Los actores sociales y la participacin no institucional
En todo este abanico de posibles objetos a observar (evaluar)
existe un factor altamente condicionante para decidir qu es lo
que vamos a evaluar: el factor de escala.
No es lo mismo evaluar un proceso concreto de participacin
que evaluar la participacin en una gran poltica pblica o la
participacin en el conjunto de una ciudad.
Este documento pretende abarcar mbitos de los distintos
objetos de estudio de los OLDPs pero se centra, principalmente,
en el anlisis de los procesos participativos. Los procesos
participativos han sido el principal campo de trabajo de los
OLDPs. Representan, adems, el mbito en el cual nos es ms fcil
sistematizar y sintetizar determinados elementos relativos a la
evaluacin.
Nos centramos pues en ofrecer una serie de criterios y
metodologas para la evaluacin de procesos participativos. Eso
no quiere decir que otros posibles objetos de estudio no sean
signifcativos cuando hablamos de participacin de la ciudadana
en poltica; simplemente se han excluido de este documento para
reducir el grado de complejidad del anlisis.
12
No obstante, entendemos que los criterios aqu presentados
son tiles para abordar, en cierta medida, todos los dems
mbitos de participacin aqu mencionados.
13
2. EL mARCO CONCEPTUAL COmPARTIDO
Antes de presentar las herramientas de evaluacin, creemos
importante resaltar nuestro marco conceptual, algunas ideas que
guan nuestras acciones de evaluacin. Son las siguientes:
a) La evaluacin es un proceso (no es un momento puntual
ms o menos relevante y trascendente) que se fundamenta en
el conocimiento de la prctica a travs de la sistematizacin de
informacin y el debate entre actores diversos de esa prctica;
que estn ah desde el principio. As, en el proceso de evaluacin
pueden intervenir una pluralidad y extensin de actores tan
amplia como la pluralidad de los actores que se encuentran en
la prctica misma. Incluso ms amplia si se invita a participar
en la evaluacin a agentes externos a la prctica. En defnitiva,
estamos hablando de procesos participativos de evaluacin.
b) Pueden distinguirse distintos niveles o momentos tcnicos
y polticos de evaluacin en funcin de quien la protagonice,
la encargue o participe, y en funcin tambin de qu se quiera
evaluar, los mtodos utilizados, los objetivos planteados... De aqu
se desprende un argumento: que por un lado es imposible un tipo
de evaluacin que los abarque todos, en todas sus dimensiones,
momentos o niveles (sustantivo, relacional, operativo o
intermedio, tcnico, poltico, etc.), y que, por lo tanto, se hace
difcil pensar en una propuesta apriorstica y descontextualizada,
que sirva para todos y en todo momento, del planteamiento
evaluativo y del instrumental a utilizar. Tal modo de operar
podra suponer a veces un cors, un constreimiento.
c) Puede trabajarse y debe trabajarse con enfoques metodolgicos
complejos y complementarios (multiestratgicos) que pongan en
relacin metodologas de evaluacin cuantitativa, cualitativa
y participativa.
14
d) En este contexto, los Observatorios Locales de Democracia
Participativa deberan de entenderse como un lugar de
encuentro, un mbito de interaccin en el que actores diversos
pueden refexionar, debatir, realizar consultas y propuestas
sobre los retos de la participacin. El espritu de estos espacios
no es transformarse en estructuras tecnocrticas o centros de
documentacin pasivos, sino en plataformas activas e inclusivas.
e) En defnitiva, los OLDP deben constituirse como agentes
promotores de la democracia participativa.
f) Si los OLDP acaban siendo lugares de encuentro y debate
entre actores diversos, si quieren ser promotores y no meros
observadores pasivos, y si se asume que estamos en un
momento de incertidumbre e innovacin en la materia que
tratamos, parece aconsejable pensar en confgurar un sistema
de evaluacin que se componga de instrumentos diversos y se
fundamente en estrategias metodolgicas plurales sobre la base
de un marco conceptual y operativo comn.
15
3. TENSIONES Y DEbATES AbIERTOS
Al mismo tiempo que hemos sido capaces de consensuar un
marco conceptual para la evaluacin, no podemos ignorar
algunas tensiones que nuestra tarea eleva intrinsecas.
Creemos honesto explicitarlas para tenerlas siempre en
cuenta en nuestros debates y refexiones:
a) Entre la necesidad de evaluar y la falta de una fnalidad
clara (para qu?) de la evaluacin. Tenemos la necesidad
de evaluar. Ms all del compromiso adquirido en relacin al
proyecto Urb-al, y dado tambin ese compromiso. Pero a la vez
que vemos clara esa necesidad nos faltan respuestas tambin
claras a la pregunta de para qu queremos hacerlo. Hacia dnde
focalizamos concretamente la evaluacin? Queremos evaluar
para mejorar nuestras prcticas o queremos evaluar para hacer
un ranking de ciudades participativas? Queremos evaluar
para establecer fltros de calidad sobre lo que es y lo que no
es autntica participacin ciudadana o nos inclinamos por
establecer criterios gua con los que cada ciudad y cada prctica
pueda orientar sus estrategias metodolgicas?
b) Entre fjar la atencin en las polticas o en los
instrumentos con que estas pueden operar. Este dilema o
tensin tiene que ver con el qu de la evaluacin ms que
con el para qu. Podramos fjar la atencin en las polticas
pblicas sustantivas: urbanismo, educacin, salud, regeneracin
urbana, etc. y establecer evaluaciones, estudios, indicadores o lo
que sea que nos diga hasta qu punto estas polticas incorporan
participacin; o podemos optar por centrar la atencin en ver
hasta qu punto determinadas experiencias o instrumentos de
participacin tienen o no calidad en s mismo.
c) Entre los indicadores como instrumentos y los
indicadores como fnalidad. A caballo entre el qu y el
cmo aparece la tensin entre un objetivo: evaluar prcticas
y polticas con una fnalidad dada, y una cosa que ms que un
16
objetivo parece a veces un objeto soado: la posibilidad de
disponer de indicadores relevantes, vlidos, medibles, sensibles,
comprensibles y comunicables, realistas y contrastados sobre
la democracia participativa. En este sentido no olvidemos que
los indicadores son indicativos de alguna cosa que suele ir mas
all del propio indicador. Las evaluaciones y los procesos en su
conjunto- se desvirtan cuando, en vez de trabajar para alcanzar
objetivos, se hacen para satisfacer indicadores.
d) Entre la necesidad de conocimiento y el desconocimiento:
la tensin que genera la incertidumbre. Estamos metidos
en una materia a la que ni nosotros ni nuestros entornos
institucionales, polticos y tcnicos, estamos sufcientemente
acostumbrados, pues nos movemos en territorios de innovacin
democrtica y de innovacin en la gestin pblica. A menudo,
debemos fjar objetivos participativos, y validar instrumentos y
metodologas para conseguirlos, y no siempre tenemos sufciente
seguridad en lo que hacemos, y notamos que nos falta ms
bagaje, ms experiencia individual y colectiva. Esto nos conduce
a pensar que es necesario arriesgar, ensayar cosas, aceptar
pruebas y errores, ir construyendo poco a poco y sobre la prctica
sistemas de evaluacin. Pero por otro lado queremos contar con
instrumentos de evaluacin que no ofrezcan lugar a dudas: los
cuantitativos!
e) Entre la amplitud de la realidad a la que nos referimos
(hablando y escribiendo) y lo que realmente podemos
abarcar (haciendo, practicando). Construimos el discurso
desde conceptos que son maysculos, que abarcan una realidad
conceptual y poltica bastsima (Democracia Participativa,
Participacin Ciudadana, Ciudadana, y otros por el estilo) y
luego nos encontramos con que nuestra realidad, el contexto
en el que nos movemos, lo que somos capaces de operativizar
y poner en prctica -con sus difcultades, resistencias,
contradicciones y limitaciones- pudiendo ser y signifcar un
gran cambio con respecto a las formas tradicionales de hacer y a
lo que cuesta cambiarlas, no nos parece que tenga la sufciente
potencial social, colectivo o institucional como para que pueda
ser registrado por un sismgrafo que no est un poco trucado.
17
18
LA CAJA DE HERRAmIENTAS
19
4. ELEmENTOS PREVIOS A LA EVALUACIN
Previamente a cualquier evaluacin se deben identifcar una
serie de elementos que van a condicionar la ptica desde la cual se
lleva a cabo. As, antes de empezar una evaluacin deberamos
identifcar, como mnimo, las siguientes caractersticas del
proceso/experiencia:
> El contexto
> El mbito temtico
> El mbito territorial
> Los objetivos
> Los colectivos participantes
> El tipo de evaluacin
El contexto
El contexto social, econmico y poltico en el cual se desarrolla
una experiencia participativa resulta de gran relevancia
para comprender y analizar muchos de los resultados de su
evaluacin.
En funcin del contexto los objetivos de un proceso pueden
ser muy distintos y los criterios de evaluacin tambin.
El mbito temtico
Hay experiencias participativas sectoriales y otras globales o
integrales.
En funcin del tema que se aborde y, sobretodo, en funcin del
carcter ms o menos integral de ste, los criterios de evaluacin
tambin sern distintos.
El mbito temtico sobre el cul se participa condiciona muchos
elementos de la evaluacin. As, por ejemplo, en procesos
temticos muy especfcos puede que no tenga sentido evaluar
la diversidad de los participantes porque los potenciales
20
participantes son, por la misma naturaleza del proceso, un
colectivo homogneo.
El mbito territorial
Hay procesos que se desarrollan en mbitos municipales y
otros en mbitos ms locales como pueden ser los distritos o los
barrios. Este elemento tambin condicionar la evaluacin del
proceso, pues los potenciales participantes variarn.
En el caso de los procesos ms globales se deber tener
en cuenta, por ejemplo, la diversidad territorial de los
participantes, cosa que no tiene sentido en procesos ms
locales.
Los objetivos
Toda evaluacin deber tener muy en cuenta los objetivos del
proceso evaluado, pues en muchos casos no tendr sentido
evaluar un proceso con criterios que se referen a objetivos que el
mismo proceso no se plantea.
Si bien existen algunos criterios mnimos que deberan ser
evaluados en cualquier proceso, hay muchos otros que slo
tiene sentido evaluar si forman parte de los objetivos del
proceso.
De hecho, para una evaluacin ideal el mismo proyecto debera
fjar a priori cules sern los objetivos que sern evaluados para,
a posteriori, poder evaluar si se cumplen o no.
Los colectivos participantes
No todos los procesos se dirigen a los mismos participantes. Hay
procesos que se dirigen slo a asociaciones, otros que se dirigen
a la ciudadana no organizada, algunos se dirigen a colectivos
especfcos de la poblacin (como mujeres, nios y nias,
poblacin indgena, etc.), algunos que incorporan tcnicos y
polticos, otros que no, etc.
21
En funcin de cules sean los participantes a los que se
destina el proceso, los criterios de evaluacin sern unos u
otros.
Tipo de evaluacin
Existen distintos tipos de evaluacin de procesos participativos
y distintas metodologas para llevarlas a cabo. Este documento
pretende ofrecer algunas de ellas.
Antes de empezar la evaluacin de un proceso participativo es
importante decidir qu tipo de evaluacin se desea hacer. En este
sentido es importante distinguir entre las evaluaciones internas y
externas y decidir en qu grado los participantes del proceso sern
tambin partcipes de la evaluacin del mismo.
Orientar la evaluacin hacia metodologas ms cualitativas
y participativas puede ser una buena forma de superar
muchas de las limitaciones con las que nos hemos ido
encontrando siempre que hemos intentado evaluar desde
metodologas estrictamente cuantitativas.
As, difcultades como la falta de datos, la falta de recuentos o
la poca fabilidad de alguna informacin, puede ser superada
a travs de estas otras metodologas que nos pueden permitir
evaluar la participacin ciudadana desde otras pticas. Al mismo
tiempo, no debemos olvidar que la evaluacin participativa cuenta con
el importantsimo valor aadido de implicar a los y las participantes de
un proceso, as como a representantes polticos y personal tcnico, en la
evaluacin del mismo, hecho que nos permite mejorar la participacin a
partir de la propia experiencia de los participantes al mismo tiempo
que se legitima tanto el proceso evaluado como la evaluacin y
las mejoras incorporadas a partir de esa evaluacin.
22
5. CRITERIOS DE EVALUACIN DE LOS PROCESOS
PARTICIPATIVOS
A continuacin se presentan una serie de criterios de
evaluacin pensados para procesos participativos. En
funcin del grado de profundidad con que se quiera evaluar
un proceso podrn utilizarse ms o menos de los criterios
propuestos y, para cada uno de ellos, se podr realizar una u otra
metodologa, requiriendo cada una de ellas distintos recursos y
proporcionndonos un distinto grado de profundidad analtica.
As pues, seleccionar todos o algunos de los criterios aqu
propuestos y evaluarlos con una u otra de las metodologas que
se proponen no slo depender del contexto y las caractersticas
del proceso sino que tambin depender de los recursos que
podamos destinar a tal efecto. Si evaluamos muchas experiencias al
mismo tiempo deberemos repartir los recursos y eso har disminuir el
grado de profundidad con que analicemos cada una de ellas.
En cada criterio propuesto se describe en qu consiste (a qu aspira) y
cmo puede hacerse su evaluacin.
Viendo en que consiste el criterio podremos decidir si tiene
sentido o no aplicarlo para evaluar nuestro/s proceso/s. Si
decidimos aplicarlo, entonces deberemos escoger una o algunas
de las metodologas que se proponen para evaluar el grado de
cumplimiento del criterio en cuestin. Los criterios se han
estructurado de la siguiente forma:
Criterios relacionados con:
A. la coordinacin del proceso
b. quin participa
C. sobre qu se participa
D. cmo se participa
E. consecuencias/resultados del proceso
23
A. CRITERIOS RELACIONADOS CON LA COORDINACIN DEL
PROCESO
> Consenso
> Transversalidad
> Iniciativa y liderazgo
> Integracin al sistema participativo municipal
> Claridad de los Objetivos
> Planifcacin y recursos
1. Consenso
En qu consiste: Un proceso en el cual hay un amplio consenso
sobre su necesidad y su metodologa tiene ms posibilidades
de xito que un proceso que sea cuestionado, ya sea desde los
mbitos poltico, tcnico o social.
Cmo evaluarlo:
a) Aceptacin poltica
Identifcar si el proceso es aceptado por todas las
formaciones polticas del municipio y si hay o no algn grupo
poltico que se oponga al proceso.
+ Para hacer esta evaluacin puede ser til haber elaborado un
sociograma.
+ Tambin puede obtenerse esta informacin a travs de
entrevistas a los distintos grupos polticos o a informantes clave.
Otra forma de obtener la informacin es a travs de grupos de
discusin plurales.
24
b) Aceptacin social
Identifcar si el proceso es aceptado por todos los colectivos
y grupos sociales relevantes para el proceso y si hay o no
algn colectivo u organizacin que se oponga al proceso.
sociograma.
entrevistas a informantes clave. Otra forma de obtener la
informacin es a travs de grupos de discusin plurales.
+ Este tipo de evaluacin es preferible que sea realizada de forma
externa.
c) Aceptacin tcnica
Identifcar si el proceso es aceptado por todas los y las
tcnicos municipales relevantes para el proceso y si hay o no
algn/a tcnico/a que se oponga al proceso.
sociograma.
entrevistas a los tcnicos municipales o a informantes clave.
Otra forma de obtener la informacin es a travs de grupos de
discusin internos.
externa.
--------------------------------------------------------------
25
2. Transversalidad
En qu consiste: Los procesos que consiguen un trabajo interno
transversal, implicando a las distintas reas relevantes para el proceso
tanto a nivel tcnico como poltico, son procesos ms efcientes, al mismo
tiempo que se reducen las resistencias a la implementacin de
los resultados. La transversalidad es especialmente importante
cuando el proceso es liderado por el rea de Participacin y tiene
implicaciones sustantivas en otras reas. Tambin es importante
cuando el mbito sustantivo tiene un carcter integral y requiere
la implicacin de distintas reas.
Cmo evaluarlo:
a) Grado de implicacin de las distintas reas polticas y
tcnicas
Analizar el grado de implicacin de las distintas reas
polticas y tcnicas relevantes para el proceso
+ En primer lugar es necesario identifcar cules son las reas
relevantes para el proceso, de acuerdo con el mbito sustantivo y
los objetivos del mismo.
+ Puede obtenerse la informacin a travs de la identifcacin
de la presencia o ausencia de estas reas en los distintos rganos
y espacios de participacin y/o a travs del anlisis de sus
aportaciones en el proceso.
+ Tambin puede obtenerse la informacin a travs de entrevistas
a los distintos tcnicos y polticos o mediante grupos de
discusin internos.
externa.
b) Espacios de transversalidad
Analizar si en la planifcacin del proceso se contemplan
espacios de trabajo transversales el objetivo de los cuales
es poner en relacin a las distintas reas implicadas en el
proceso.
26
+ Analizar cmo es la transversalidad de estos espacios; si es slo
informativa (el rea que lidera el proceso informa a las dems)
o si se trata de espacios de codecisin y cogestin del proceso
a partir de las distintas reas implicadas. Esta ltima situacin
garantiza un mayor grado de transversalidad y de efciencia.
+ Puede realizarse la evaluacin a travs de grupos de discusin o
talleres internos o a travs del anlisis del proyecto.
--------------------------------------------------------------
3. Iniciativa y liderazgo
En qu consiste: Un proceso participativo puede ser iniciativa
de distintos actores: puede ser iniciativa del gobierno, de un rea
concreta del gobierno, de algn/a tcnico/a, de la oposicin, de alguna
asociacin, de la ciudadana no organizada, etc.
La iniciativa condiciona el desarrollo del proceso pero no debera afectar
a su calidad democrtica.
En general los procesos que surgen de iniciativa ciudadana
generan una mayor confanza y tienen mayores posibilidades de
ser procesos exitosos con mayores niveles de participacin.
En todo caso, la iniciativa debe ser liderada polticamente. Slo a
travs de un liderazgo poltico slido un proceso participativo
ser un proceso legitimado institucionalmente. Esta condicin
es indispensable para que los resultados del proceso sean
implementados y, por tanto, para que el proceso sea efcaz.
Sin embargo, aunque es necesario un liderazgo poltico slido, la
existencia de un grupo promotor plural que co-lidere o coordine
el proceso puede dotarlo de una mayor efcacia y coherencia,
hacindolo al mismo tiempo ms prximo a las dinmicas reales
del municipio. Compartir el liderazgo del proceso garantiza que
ste sea ms plural y transparente, al mismo tiempo que facilita
la neutralidad en la coordinacin del mismo.
27
Cmo evaluarlo:
a) Iniciativa
Identifcar qu actor o actores han promovido el desarrollo
del proceso participativo.
+ Esta informacin puede obtenerse a travs de entrevistas
a informantes clave del proceso. Es importante obtener la
informacin a travs de ms de una fuente ya que algunos actores
pueden tender a apropiarse la iniciativa del proceso.
externa.
b) Liderazgo
Identifcar la existencia de responsables polticos concretos
que se responsabilicen del proceso.
+ Esta informacin puede obtenerse a travs de entrevista a los
responsables del proyecto.
c) Grupo promotor plural
Identifcar la existencia de un grupo promotor del proceso y
analizar su pluralidad.
+ Un grupo promotor plural es un grupo reducido formado
por actores distintos (polticos/as, tcnicos/as y ciudadanos/as)
que tiene como funcin hacer avanzar el proceso buscando la
mxima extensin del mismo.
+ En caso de existir dicho grupo, debera analizarse su papel en
el proceso y validar que realmente tiene atribuidas funciones
relevantes.
+ Para el anlisis de la pluralidad el sociograma puede ser una
herramienta de ayuda.
+ El anlisis de las funciones y la pluralidad del grupo promotor,
si existe, es preferible que sea realizado de forma externa.
28
+ Puede ser til que el grupo promotor, en caso de existir, realice
alguna sesin de autoevaluacin de su funcionamiento a lo largo
del proceso.
--------------------------------------------------------------
4. Integracin al sistema participativo municipal
En qu consiste: Algunos municipios tienen un sistema de
participacin ms o menos estable. En estos casos, conviene
analizar hasta qu punto el proceso evaluado se integra o no en
este sistema participativo.
Los procesos participativos de un determinado municipio
no tienen por qu derivarse siempre de su sistema estable de
participacin. Sin embargo, conviene que sean coherentes con el
mismo y, en la medida de lo posible, se integren y se coordinen para
no duplicar los esfuerzos y no saturar el potencial participativo de la
ciudadana. En este sentido, puede ser til aprovechar los rganos
y estructuras de participacin ya existentes en el municipio.
Cmo evaluarlo:
a) Relacin con otros procesos del municipio
Analizar cualitativamente cmo se relaciona el proceso
evaluado con otros procesos del mismo municipio.
+ Poner especial atencin en ver si existe o no algn tipo de
coordinacin entre los distintos procesos.
externa.
b) Uso de rganos o estructuras existentes
Identifcar si el proceso evaluado aprovecha rganos o
estructuras participativas ya existentes en el municipio.
29
Analizar cualitativamente la operatividad de este
aprovechamiento de estructuras e identifcar, si los
hay, las difcultades o inconvenientes surgidos de dicho
aprovechamiento.
+ Para hacer la evaluacin puede ser til trabajar con un grupo de
discusin con los participantes en estos rganos y estructuras.
externa.
--------------------------------------------------------------
5. Claridad de los objetivos
En qu consiste: Los objetivos de un proceso participativo
deben ser claros para facilitar la tarea tanto de los/las gestores del
proceso como de los/las participantes.
La claridad en los objetivos dota al proceso de coherencia y
transparencia.
Es fundamental que los objetivos del proceso establezcan los
lmites del mismo, evitando as generar falsas expectativas.
Ms all del anlisis de los objetivos, tambin es importante
evaluar hasta qu punto los objetivos iniciales han sido
utilizados como elementos gua del proceso y hasta qu punto los
resultados del proceso responden a los objetivos iniciales.
Cmo evaluarlo:
a) Anlisis de objetivos
Identifcar los objetivos del proceso, si los hay, y analizar su
claridad.
+ Una buena manera de obtener esta informacin puede
ser a travs de las y los participantes del proceso, ya sea va
cuestionarios o va talleres de evaluacin.
30
b) Cumplimiento de los objetivos
Analizar el grado de cumplimiento de los objetivos
planteados. En caso negativo, analizar las causas por la
cuales no se han cumplido.
+ Una buena manera para obtener esta informacin puede ser a
travs de los participantes del proceso, ya sea va cuestionarios o
va talleres de evaluacin.
Tambin puede ser til una autoevaluacin en grupos de
discusin internos.
--------------------------------------------------------------
6. Planifcacin y recursos
En qu consiste: La participacin no se improvisa, y por tanto
conviene planifcar todo proceso participativo, identifcando sus
fases y su cronograma.
La planifcacin permite prever las difcultades, organizar la
participacin, ofrecer una mayor calidad en el proceso y garantizar una
mayor transparencia.
Al mismo tiempo, cuando se planifca un proyecto hay que
prever los recursos econmicos y tcnicos que sern necesarios.
Un proceso podr obtener una mayor calidad cuando los recursos
econmicos y tcnicos sean adecuados a los objetivos planteados.
Cmo evaluarlo:
a) Anlisis de la planifcacin y de su cumplimiento
Identifcar si existe o no una planifcacin del proceso.
31
Analizar cualitativamente la planifcacin. Una buena
planifcacin debe detallar los siguientes elementos:

> Los objetivos del proceso

> Las fases

> El cronograma

> Las tareas previstas para cada fase

> Los elementos de difusin

>Los recursos necesarios para cada fase y para el
conjunto del proceso
Analizar cualitativamente el grado de cumplimiento del
documento de planifcacin. En caso de no cumplimiento de
los objetivos, analizar las causas por las cuales no se han
cumplido.
+ Los grupos de discusin internos pueden ayudar a hacer este
tipo de evaluacin.
externa.
b) Recursos econmicos
Identifcar el presupuesto previsto para el proceso.
Analizar la adecuacin del presupuesto a los objetivos del
proyecto.
+ Esta informacin puede obtenerse del proyecto o a travs del
responsable del proceso.
c) Personal
Identifcar la existencia y el volumen de recursos tcnicos,
propios y externos, dedicados al proyecto.
32
+ Grado de especializacin y profesionalizacin del personal.
+ Analizar la adecuacin de los recursos tcnicos a los objetivos
del proyecto.
+ Esta informacin puede obtenerse del proyecto o a travs del
responsable o la responsable del proceso.
--------------------------------------------------------------
33
b. CRITERIOS RELACIONADOS CON QUIN PARTICIPA
> Cantidad
> Diversidad
> Representatividad
> Grado de apertura del proceso
7. Cantidad de participantes
En qu consiste: Cuantos ms participantes tenga un proceso
mucho mejor, teniendo en cuenta que la valoracin de la
cantidad de participantes siempre depender de los objetivos del
proceso y la poblacin de referencia a la que se orienta el mismo.
Al mismo tiempo, no se puede olvidar que igual de importante
que la cantidad de participantes es la diversidad de los mismos.
Cmo evaluarlo: La evaluacin de este criterio depender
del tipo de proceso y los destinatarios del mismo. En todo caso
para evaluarlo proponemos tres indicadores para calcular los
participantes reales en relacin con los participantes potenciales.
Cada indicador responde a distintas posibilidades de procesos y
participantes.
a) Porcentaje de participantes en relacin a la poblacin de
referencia:
Nmero de participantes sobre la poblacin de referencia (en
tanto por cien).
+ til para procesos donde los y las participantes son ciudadanos/
as no organizados. Tambin puede utilizarse en procesos en
los que se combina o se mezcla la participacin de ciudadana
organizada con ciudadana no organizada. En este ltimo caso
el indicador puede referirse al conjunto de participantes o
nicamente a los no organizados.
34
+ Tiene ms sentido en los procesos abiertos a la totalidad de la
poblacin de referencia. Para los procesos cerrados (el nmero
de participantes es restringido y estos son seleccionados) ver
apartado c.
+ En todos los casos hay que prestar mucha atencin en
establecer cul es la poblacin de referencia (poblacin a la que
va dirigida el proceso).
+ Puede utilizarse para las distintas sesiones o mecanismos de
participacin de un proceso o para el conjunto del proceso. En
este ltimo caso hay que contabilizar el nmero de participantes
sin repeticiones (un participante que asiste a dos sesiones del
proceso debe contarse como un participante y no como dos).
+ Tambin puede calcularse la media de participantes por sesin.
Este dato puede ser til en rganos estables de participacin y
pierde sentido cuando las distintas sesiones de un proceso tienen
pblicos u objetivos distintos.
+ Para utilizar este indicador hay que prever al inicio del proceso
el recuento de participantes evitando las duplicaciones en el
cmputo.
b) Porcentaje de actores organizados sobre el total de
referencia
Nmero de actores organizados sobre el total de actores de
referencia (en tanto por cien).
+ til para procesos donde los participantes son actores
organizados. Tambin puede utilizarse en procesos en los que se
combina o se mezcla la participacin de ciudadana organizada
con ciudadana no organizada; en este caso el indicador debe
referirse nicamente a los participantes organizados.
+ En todos los casos hay que prestar mucha atencin en
establecer cules son los actores organizados de referencia
(actores a los que va dirigido el proceso).
35
el recuento de los participantes evitando las duplicaciones en el
cmputo.
c) Porcentaje de asistentes en relacin a los participantes
seleccionados:
Nmero de asistentes sobre los participantes seleccionados
(en tanto por cien).
+ til para procesos cerrados (el nmero de participantes es
restringido y estos son seleccionados). En estos procesos los
participantes pueden ser organizados, no organizados o una
combinacin de ambos tipos. El indicador nos muestra el grado
en que los participantes seleccionados participan efectivamente
del proceso.
el recuento de los participantes evitando las duplicaciones en el
cmputo.
36
8. Diversidad
En qu consiste: Un proceso tendr mayor calidad democrtica
si es capaz de incorporar la diversidad de la sociedad en la cual se
desarrolla, es decir, si los distintos grupos sociales y los distintos
intereses estn representados en el proceso. En este sentido,
hay que tener en cuenta los grupos sociales habitualmente
subrepresentados en los procesos participativos como son
las mujeres, la juventud o los/las inmigrantes (los grupos
subrepresentados pueden ser distintos en funcin del contexto
social en el que se desarrolle el proceso).
Igualmente, para garantizar la diversidad de un proceso hay
que fjarse en la participacin de los actores organizados
evaluando la diversidad de las asociaciones participantes respeto
a las presentes en el territorio, centrando la atencin en la
participacin de aquellos actores especialmente relevantes en
relacin a la temtica sometida a participacin.
Como otros criterios, este criterio tendr ms o menos sentido en
funcin de los destinatarios del proceso. Cuanto ms selectivos
sean estos procesos, menos sentido tendr el criterio. Es decir,
si un proceso participativo est destinado a un colectivo muy
especfco, por ejemplo las mujeres inmigradas, este criterio
tendr menos sentido; pues en estos casos el proceso no busca
llegar a la mayor diversidad de poblacin sino que se dirige a un
grupo especfco.
Cmo evaluarlo:
a) Porcentaje de un determinado colectivo o grupo social
La evaluacin se realizar comparando el porcentaje de
participantes de estos colectivos en el proceso con el
porcentaje de estos colectivos en la sociedad de referencia.
Algunos colectivos o grupos sociales pueden ser los
siguientes:
I. Mujeres
II. Distintos grupos de edad (nios, menores de 30,
mayores de 65, etc.)
37
III. Inmigrantes
IV. Distintos grados de formacin
(bsicos, superiores, etc.)
V. Distintas clases sociales
VI. Poblacin negra, poblacin indgena, etc.
VII. Distintos mbitos territoriales (distritos, barrios,
zonas determinadas, etc.)
VIII. Otros en funcin de las caractersticas del proceso
y del contexto
participacin de un proceso o para el conjunto del proceso.
+ Para utilizar estos indicadores hay que prever al inicio del
proceso el recuento de los participantes recogiendo esta
informacin. En algunos casos podemos tener difcultades para
obtener algunas de estas informaciones (formacin, clase social).
b) ndice de diversidad
Para evaluar el grado de diversidad entre los/las
participantes de un proceso de forma agregada, pueden
agregarse los indicadores del apartado anterior en forma
de ndice.
+ Por ejemplo, seleccionamos tres colectivos (mujeres, jvenes e
inmigrantes) y agregamos su presencia o ausencia en el proceso
de la siguiente forma:
I. Si el porcentaje de mujeres es igual o superior al
porcentaje de mujeres en la sociedad de referencia, se
suman 5 puntos, de lo contrario no se suma ningn punto.
II. Si el porcentaje de jvenes es igual o superior al
porcentaje de mujeres en la sociedad de referencia, se
III. Si el porcentaje de inmigrantes es igual o superior
al porcentaje de mujeres en la sociedad de referencia, se
38
IV. El ndice se obtiene de la suma de los tres indicadores.
Finalmente podemos decir que la diversidad es alta si el
valor del ndice es 15, media si es 10 y baja si es 5 o 0.
c) Perfl de las organizaciones participantes
Porcentaje de distintos tipos de organizaciones participantes
en el proceso (vecinales, empresariales, sindicales,
culturales, deportivas, polticas, etc) y evaluacin de su
representacin.
La evaluacin de su representacin en el proceso es en
funcin de:
I. La temtica del proceso
II. Los objetivos del proceso
III. La presencia y la representatividad de la distintas
organizaciones en el contexto social donde se lleva a
cabo el proceso.
+ Identifcacin de tipologas de organizaciones no participantes
y valoracin de la necesidad de su participacin en el proceso.
+ til para procesos en los que los participantes son actores
organizados. Tambin puede utilizarse en procesos en que se
combina o se mezcla la participacin de ciudadana organizada
con ciudadana no organizada; en este caso el indicador debe
referirse nicamente a los participantes organizados.
externa.
d) Identifcacin de actores y grupos sociales relevantes
Identifcar si entre las y los participantes falta algn actor
relevante o clave para el tema que se somete a participacin.
+ Para llevar a cabo esta identifcacin de ausencia de actores
clave puede ser muy til haber elaborado previamente un
sociograma.
externa.
39
9. Representatividad de los participantes
En qu consiste: En algunos procesos todos o algunos de
los participantes participan en representacin de actores
organizados. En estos casos, un criterio de calidad democrtica
consiste en garantizar que estos representantes sean realmente
portadores de un discurso colectivo.
Este es un criterio nicamente aplicable a aquellos procesos
en los que se tiene en cuenta, de forma parcial o absoluta, la
participacin de actores organizados.
Las garantas de que los representantes son portadores de un
discurso colectivo vienen dadas por tres tipos de elementos:
los relativos al proceso, los relativos a la organizacin y los
relativos a las personas que ejercen de representantes. El proceso
debe facilitar la posibilidad de que los representantes trasladen
la informacin a su organizacin y puedan tener debates
internos; las organizaciones deben escoger a sus representantes
y participar de los debates internos y los representantes deben
participar en el proceso siendo feles a las aportaciones surgidas
de su organizacin, sin hacer aportaciones personales.
Cmo evaluarlo:
a) Facilidades para el fujo de informacin entre los
representantes y los representados
Anlisis de la planifcacin del proceso (sesiones y
cronograma) viendo si este prev que los representantes
de las organizaciones pueden trasladar la informacin a la
organizacin, generar un debate interno y volver al proceso
con las aportaciones de la organizacin
externa.
b) Eleccin de los representantes
Porcentaje de organizaciones que han escogido en asamblea
a su representante en el proceso.
40
+ Este dato puede recogerse a travs de un cuestionario realizado
a los participantes que son representantes de organizaciones.
c) Fidelidad del discurso de los representantes al discurso de
la organizacin
Analizar hasta qu punto los discursos de los representantes
son feles a los discursos de sus respectivas organizaciones.
+ Este anlisis puede hacerse mediante entrevistas a miembros
de organizaciones que no han ejercido de representantes de la
organizacin en el mismo. Para ello ser necesario disponer de las
intervenciones en el proceso de los representantes de la misma
organizacin (actas).
+ Tambin puede hacerse un anlisis comparativo de actas en el
caso que las organizaciones tengan actas de las sesiones y stas
sean accesibles.
+ Esta evaluacin slo tiene sentido si las organizaciones han
desarrollado un debate interno en relacin al proceso.
+ Este tipo de evaluacin requiere de un esfuerzo importante.
--------------------------------------------------------------
10. Grado de apertura del proceso
En qu consiste: Los procesos participativos pueden ser abiertos
a toda la ciudadana o pueden restringir los participantes.
En principio, abrir los procesos al mayor nmero de colectivos y
ciudadana mejorar su calidad democrtica; obviamente, tomando
siempre como referencia la poblacin a quien se dirige el proceso.
Muchos procesos tienen unos espacios ms restringidos y otros
ms abiertos, con distintas funciones y en la mayora de los casos
buscando una mayor operatividad en el desarrollo del proceso.
As, que un proceso tenga algunos rganos restringidos no
41
implica que el proceso sea restringido si se contemplan tambin
espacios de participacin abiertos a toda la ciudadana.
Puede ocurrir tambin que en algunos casos est plenamente
justifcada la restriccin en la participacin en un proceso: por la
temtica tratada, por el pblico destinatario, por el mecanismo
de participacin utilizado, etc.
Cmo evaluarlo:
a) Grado de apertura del proceso
Identifcar si el proceso es:
1. Abierto: todas la sesiones participativas son abiertas a
toda la ciudadana (a la que se dirige el proceso)
2. Mixto: hay sesiones abiertas y sesiones restringidas
3. Cerrado: todas las sesiones de participacin son
restringidas a una seleccin de participantes
+ Puede aplicarse tambin a los distintos espacios participativos
de un proceso o a los rganos de participacin de un municipio.
externa.
b) Grado de apertura de los espacios de decisin
Identifcar si los espacios de decisin en un proceso son
restringidos a una parte de los participantes o abiertos a
toda la ciudadana a la que se dirige el proceso.
+ Este tipo de evaluacin slo tiene sentido cuando en el proceso
hay espacios de toma de decisin.
externa.
--------------------------------------------------------------
42
C. CRITERIOS RELACIONADOS CON LA TEmTICA DEL
PROCESO DE PARTICIPACON

> Relevancia
> Capacidad de intervencin de la administracin local
11. Relevancia
En qu consiste: La participacin debera aplicarse a temticas
relevantes para una comunidad. Los procesos participativos
podrn contribuir a la efcacia de las polticas pblicas cuando
traten temas relevantes para la ciudadana.
Cmo evaluarla:
a) Agenda poltica
Identifcar si el tema sometido a participacin forma parte de
la agenda poltica del gobierno municipal.
+ Puede identifcarse a travs del anlisis de las lneas estratgicas
del gobierno (Programa de Actuacin Municipal) o a travs de
entrevistas a los polticos responsables de la materia.
b) Valoracin subjetiva de la ciudadana
Analizar la percepcin de la ciudadana sobre la relevancia
del tema sometido a participacin.
+ Esta evaluacin puede hacerse a travs de un cuestionario de
autoevaluacin a los participantes del proceso. El inconveniente
de esta metodologa es que nicamente se capta la percepcin de
las y los participantes, que probablemente sean las personas que
estn interesadas en la materia.
43
+ Tambin puede obtenerse la informacin si previamente
al proceso participativo se ha llevado a cabo una diagnosis
participativa en la que se identifquen los principales problemas
del municipio.
c) Porcentaje del presupuesto afectado por el resultado
del proceso
Cantidad de recursos afectados por el resultado en relacin
al presupuesto municipal o al presupuesto del mbito
temtico en cuestin.
+ Cuanto mayor sean los recursos afectados por el resultado del
proceso, mayor ser tambin la relevancia del tema sometido a
participacin.
+ En algunos procesos el resultado no tiene una afectacin
econmica concreta. Es el caso, por ejemplo, de los procesos
que culminan en la defnicin de lneas estratgicas o en
planes de accin plurianuales sin concrecin de la afectacin
presupuestaria anual.
+ Esta informacin puede obtenerse del proyecto o mediante
entrevista al responsable poltico del proceso.
--------------------------------------------------------------
44
12. Capacidad de intervencin de la administracin local
En qu consiste: Un proceso participativo de mbito local ser
ms efciente si aborda temas sobre los cuales la capacidad de
intervencin de la administracin local sea muy grande. De no
ser as, el gobierno municipal requerir de la complicidad de
administraciones supralocales para ejecutar los resultados del
proceso.
Cmo evaluarlo:
a) Competencia de intervencin en la materia
Identifcar si el tema sometido a participacin es o no
competencia municipal.
+ En caso de no serlo, identifcar si existen o no complicidades
con administraciones supralocales para llevar a cabo los
resultados del proceso.
+ La informacin puede obtenerse mediante entrevista
al responsable del proyecto y, si es el caso, validarse con
responsables de las administraciones supralocales implicadas en
el proceso.
45
D. CRITERIOS RELACIONADOS A CON
LAS FORmAS DE PARTICIPACIN
> Diagnosis participativa
> Capacidad de propuesta
> Grado de participacin
> Calidad de la informacin
> Mtodos y tcnicas de deliberacin
13. Diagnosis participativa
En qu consiste: Para poder participar en cualquier proceso es bueno
conocer el estado de la cuestin sobre aquello en lo que se participa.
As, es bueno partir de una diagnosis que establezca los
principales problemas y temas de debate. La calidad democrtica
del proceso ser mayor si esta diagnosis se ha realizado
participativamente.
Cmo evaluarlo:
Identifcar si en el proceso se ha utilizado o realizado
una diagnosis y analizar el grado de participacin en la
elaboracin de la misma.
+ Para analizar el grado de participacin en la diagnosis ver
apartado 15 de este documento.
--------------------------------------------------------------
46
14. Capacidad de propuesta
En qu consiste: Un proceso participativo ampliar ms los
derechos ciudadanos si permite que las y los participantes hagan
propuestas. Algunos procesos participativos no contemplan esta
posibilidad porque metodolgicamente se ha decidido as, otros
no la contemplan porque el objetivo del proceso se centra en
otras fases de la elaboracin de una poltica pblica, por ejemplo
en la diagnosis.
Cmo evaluarlo:
Identifcar si el proceso contempla o no la posibilidad de
hacer propuestas
+ Para hacerlo se puede llevar a cabo un anlisis del proceso.
+ Otra buena manera de evaluar este elemento puede ser
mediante la percepcin de los participantes en el proceso, ya sea
a travs de un cuestionario o de un taller de evaluacin.
+ La evaluacin puede llevarse a cabo para el conjunto del
proceso o para algn mecanismo o alguna fase del mismo.
--------------------------------------------------------------
47
15. Grado de participacin
En qu consiste: La participacin de la ciudadana en un
proceso participativo puede tener distintos grados. Arnstein
(1969) propuso la siguiente gradacin:
Informacin
Comunicacin
Consulta
Deliberacin
Decisin

En algunos casos no es fcil clasifcar un proceso participativo
dentro de esta tipologa. Una agrupacin de la tipologa, como la
que sigue, podra facilitar las cosas:
Informacin Comunicacin
Consulta Deliberacin
Decisin Gestin
En general, se considera que los procesos que nicamente tienen
elementos de informacin y comunicacin no son realmente
procesos participativos.
Esta topologa est pensada como una escala de menor a mayor
participacin de la ciudadana en la toma de decisiones. Sin
embargo, hay que evitar hacer una asociacin directa entre
mayor grado de participacin y mayor calidad democrtica
de un proceso. Es cierto que cuanto mayor es el grado de
participacin, mayor es tambin la ampliacin de derechos
y responsabilidades ciudadanas; pero hay muchos otros
elementos que condicionan la calidad democrtica de un
proceso participativo.
48
Los procesos deliberativos pueden tener una gran calidad y
un enorme potencial pedaggico, mientras que los procesos
nicamente de decisin pueden ser de muy baja calidad en
funcin de quin sean los participantes y qu restricciones haya
en la toma de decisiones.
Cmo evaluarlo:
Analizar cualitativamente el grado de participacin del
conjunto del proceso.
Analizar tambin cualitativamente qu grados de
participacin se han dado a lo largo del proceso (si ha habido
informacin, si ha habido deliberacin, etc).
+ Para realizar esta evaluacin puede ser til incorporar la
percepcin de las y los participantes a travs de un cuestionario o
un taller.
externa.
--------------------------------------------------------------
16. Calidad de la informacin
En qu consiste: Un buen proceso participativo debe ofrecer a las
y los participantes toda la informacin necesaria para poder opinar y
decidir. Por ello debe producirse informacin plural y de calidad.
La informacin debe ser clara y til, y conviene que clarifque los
objetivos del proceso.
Es necesario tambin que se utilicen los canales adecuados para
llegar a todos los participantes potenciales. Todos ellos deben estar
al corriente del proceso participativo y deben poder acceder a toda la
informacin.
49
Una buena difusin del proceso facilita que todos los
participantes potenciales puedan participar en mayores
condiciones de igualdad.
Cmo evaluarlo:
a) Canales de informacin difusin
Identifcar los canales utilizados: carteles, cartas, llamadas
telefnicas, e-mails, web, etc.
Identifcar las debilidades en los canales de informacin
analizando si esta llega o no a todos los participantes
potenciales.
Analizar cualitativamente el grado en que los canales de
informacin son efcaces para transmitir la informacin a
todos/as los y las participantes potenciales.
+ Para hacer esta evaluacin puede ser til trabajar con grupos de
discusin internos y/o realizar talleres con los participantes.
b) Pluralidad de la informacin producida
Analizar la pluralidad en las fuentes de informacin
utilizadas en el proceso identifcando las distintas fuentes y
las distintas visiones y opiniones sobre el tema sometido a
participacin.
Valoracin subjetiva de los/las participantes.
+ sta puede recogerse a travs de un cuestionario al fnal del
proceso o sobre algn mecanismo de participacin.
+ Tambin puede realizarse mediante una evaluacin
participativa cualitativa.
c) Claridad y utilidad de la informacin producida
Valoracin subjetiva de los y las participantes.
proceso sobre de algn mecanismo de participacin.
50
--------------------------------------------------------------
17. Mtodos y tcnicas de deliberacin
En qu consiste: En los espacios deliberativos se acostumbran a
generar desigualdades deliberativas y comunicativas entre los diferentes
participantes. Para paliar esas desigualdades es recomendable
utilizar tcnicas y mtodos especfcos que ayuden a reducirlas.
Una de las tcnicas ms habituales es la simple existencia de
un/a moderador/a en los debates. Existen, adems, otras tcnicas
especfcas de trabajo en grupo que facilitan que todos/as los
participantes puedan intervenir.
Cmo evaluarlo:
a) Uso de tcnicas de deliberacin
Identifcar si en el proceso se han utilizado tcnicas o
mecanismos de participacin para paliar las desigualdades
en los espacios deliberativos.
b) Posibilidad de ejercer la propia voz
proceso o sobre algn mecanismo de participacin.
51
E. CRITERIOS RELACIONADOS CON
LAS CONSECUENCIAS DEL PROCESO
> Resultados sustantivos
> Implementacin de los resultados
> Devolucin de los resultados
> Mejora de las relaciones entre actores
> Capacitacin
> Generacin de cultura poltica participativa
--------------------------------------------------------------
18. Resultados sustantivos
En qu consiste: Para la legitimidad de un proceso participativo
es bsico que haya unos resultados sustantivos que respondan a las
necesidades planteadas en el diseo del propio proceso.
Cmo evaluarlo:
a) Tipo de resultado
Identifcar la existencia de un documento de resultados
sustantivos del proceso.
+ Tipo de resultados obtenidos: actas, diagnosis, planes, acciones
concretas, memorias, etc.
+ Analizar el impacto de los resultados en las polticas pblicas.
No todos los resultados tienen el mismo impacto. As, las
acciones concretas, si son implementadas, probablemente
tendrn un impacto mayor que las actas de un proceso
consultivo.
52
+ Para llevar a cabo esta evaluacin puede ser til trabajar con
grupos de discusin internos.
b) Valoracin subjetiva de los resultados por parte
de los participantes
Anlisis participado de la utilidad de los resultados del
proceso, su impacto y la adecuacin a las necesidades
planteadas por el proceso.
proceso o al fnal de algn mecanismo de participacin.
--------------------------------------------------------------
19. Implementacin de los resultados
En qu consiste: Los resultados sustantivos de un proceso
participativo deben ser implementados.
Para favorecer que los resultados de un proceso sean realmente
implementados y lo sean de forma coherente y fel al debate
participado, suele ser comn crear un rgano que haga este
seguimiento. Puede ser un rgano de nueva creacin al fnal
del proceso o se puede aprovechar un rgano ya existente en el
proceso (por ejemplo el grupo promotor plural, si es que existe).
Normalmente se trata de rganos plurales que representan al
conjunto de participantes del proceso.
Cmo evaluarlo:
53
a) Implementacin de los resultados
Verifcar la implementacin de los resultados tangibles
+ Puede ser que la implementacin de los resultados no sea
tangible o est prevista para ms adelante. En estos casos puede
utilizarse como instrumento de evaluacin la verifcacin de si
los resultados del proceso han sido ratifcados institucionalmente
por el Pleno Municipal o algn otro organismo institucional.
+ Esta informacin puede obtenerse del anlisis del proceso o a
travs de una entrevista al responsable poltico del proceso.
b) rganos de seguimiento
Identifcar la existencia o la revisin de un rgano de este
tipo y analizar su pluralidad.
+ En caso de existir dicho rgano, debera analizarse su papel en
el proceso y validar que realmente tiene atribuidas funciones
relevantes. Es interesante ver las medidas que toma el rgano
si no se sigue la implementacin de los resultados y analizar su
capacidad real de presin sobre el gobierno municipal.
+ El anlisis de las funciones y la pluralidad del rgano de
seguimiento, si existe, es preferible que sea realizada de forma
externa.
+ Puede ser til que el rgano de seguimiento, en caso de existir,
realice alguna sesin de autoevaluacin de su funcionamiento a
lo largo del proceso.
--------------------------------------------------------------
54
20. Devolucin de los resultados
En qu consiste: Un proceso participativo de calidad debera
prever una devolucin de los resultados al fnal del proceso para
que los participantes conozcan los resultados, los validen y puedan dar
por terminado el proceso. Esta prctica es un elemento fundamental
de transparencia para garantizar la legitimidad de los procesos
participativos e incrementar la confanza de la ciudadana en las
instituciones.
Cmo evaluarlo:
Identifcar si el proceso prev una devolucin.
+ Analizar el formato de la devolucin de resultados. Es decir, si
existe: acto presencial, taller de devolucin, documento enviado a
los participantes, carta, etc.
+ La devolucin ser ms transparente y gozar de una mayor
calidad democrtica si es participada y permite que los
participantes no slo sean informados sino que puedan validar
esos resultados.
+ Esta evaluacin es preferible que sea realizada de forma externa.
--------------------------------------------------------------
21. Mejora de las relaciones entre actores
En qu consiste: Para fomentar la ciudadana, un proceso
participativo no slo debera aspirar a unos resultados
sustantivos sino que tambin debera fortalecer las relaciones
entre los y las participantes.
Si el proceso est bien gestionado, este fortalecimiento de las relaciones
sociales permite superar las dinmicas de conficto con mayor facilidad
55
Cmo evaluarlo:
a) Mejora de las relaciones ciudadanas
Anlisis del impacto del proceso sobre las relaciones
sociales: entre ciudadanos/as, entre asociaciones, entre
ciudadanos/as y asociaciones, etc.
b) Mejora de las relaciones entre administracin
y ciudadana
Anlisis del impacto del proceso sobre las relaciones entre
administracin y ciudadana.
c) Mejora de las relaciones internas
Anlisis del impacto del proceso sobre las relaciones
internas: relaciones entre representantes polticos de
distintas reas o distintos grupos, relaciones entre personal
tcnico de distintas reas, relaciones entre polticos/as y
tcnicos/as, etc.
56
22. Capacitacin
En qu consiste: Un proceso participativo ser de mayor calidad
si consigue capacitar a los participantes en el mbito de la
participacin ciudadana. La capacitacin puede ser muy concreta
para el tema sometido a participacin; ms genrica para lograr
un mejor funcionamiento de los procesos participativos en
general (capacidad para hablar, entender el funcionamiento de
los procesos participativos, conocer el funcionamiento de la
administracin, etc.) o ms abstracta sobre la democracia y sus
valores.
Cmo evaluarlo:
a) Sesiones de capacitacin
Identifcar si el proceso prev sesiones concretas de
capacitacin.
Analizar los objetivos y el formato de estas sesiones,
si existen.
b) Valoracin subjetiva de los participantes
Valoracin subjetiva de los/las participantes sobre la
capacitacin recibida.
proceso o al fnal de las sesiones de capacitacin.
--------------------------------------------------------------
57
23. Generacin de cultura poltica participativa
En qu consiste: Un proceso participativo, para fortalecer
la ciudadana, debe contribuir a generar una cultura poltica
participativa entre los y las participantes.
Cmo evaluarlo:
Valoracin subjetiva de las personas participantes al fnal
del proceso.
+ Esta valoracin puede referirse a temas como la satisfaccin
general con el proceso, la utilidad de la participacin ciudadana o
la disposicin a volver a participar.
+ Esta valoracin puede realizarse mediante cuestionario
o mediante algn mecanismo cualitativo de evaluacin
participada.
--------------------------------------------------------------
58
6. CUADRO RESUmEN DE CRITERIOS DE EVALUACIN
A. Criterios relacionados con la coordinacin del proceso
> Consenso
> Transversalidad
> Iniciativa y liderazgo
> Integracin al sistema participativo municipal
> Claridad de los objetivos
> Planifcacin y recursos
B. Criterios relacionados con quin participa:
> Cantidad
> Diversidad
> Representatividad
> Grado de apertura del proceso
C. Criterios relacionados a con la temtica
del proceso de participacin:
> Relevancia
> Capacidad de intervencin de la administracin local
59
D. Criterios relacionados con las formas de participacin:
> Diagnosis participativa
> Capacidad de propuesta
> Grado de participacin
> Calidad de la informacin
> Mtodos y tcnicas de deliberacin
E. Criterios relacionados con las consecuencias del proceso:
> Resultados sustantivos
> Implementacin de los resultados
> Devolucin de los resultados
> Mejora de las relaciones entre actores
> Capacitacin
> Generacin de cultura poltica participativa
60
7. ALGUNOS ELEmENTOS mETODOLGICOS
A continuacin se presentan, muy brevemente y sin intencin
de ser una gua metodolgica, algunas de las metodologas de
evaluacin que han ido apareciendo a lo largo del documento.
Existen muchas otras herramientas de evaluacin, pero aqu
simplemente se han refejado las ms comunes.
Se han dividido las metodologas en tres tipos:
Las de anlisis tcnico: metodologas que no requieren ni de
espacios de refexin grupal ni de espacios participados.
Las de autoevaluacin interna: metodologas de refexin
grupal con actores internos (promotores, organizadores y
coordinadores del proceso).
Las de autoevaluacin participada: metodologas de evaluacin
a partir de las opiniones y percepciones de los participantes en
el proceso.
61
mETODOLOGAS DE ANLISIS TCNICO
Registros
Para una buena evaluacin de un proceso resulta fundamental
registrar a los participantes e identifcar algunas de sus
caractersticas sociales: sexo, edad, formacin, nacionalidad...
Adems para los/las participantes organizados/as es importante
tener constancia de la entidad a la que representan, del tipo de
asociacin, etc.
Adems, conviene tambin disponer de otros registros relativos a
la poblacin de referencia sobre la cual se realiza el proceso: datos
sociodemogrfcos, registro de entidades, etc.
Anlisis de proyecto y de proceso
Algunos criterios de calidad en los procesos participativos
pueden evaluarse de forma tcnica por algn experto
simplemente a travs de un anlisis del proyecto y del proceso.
En estos casos, la evaluacin no requiere de mecanismos de
refexin colectiva, pues consiste en la simple identifcacin de
algunos elementos en el proyecto o en la implementacin del mismo.
El anlisis de proyecto y de proceso consiste en una revisin
del proyecto y de su implementacin a lo largo del proceso.
Esta revisin analtica conviene que sea realizada por algn/a
experto/a en procesos participativos.
62
Entrevistas a informantes clave
En todo proceso podemos identifcar algunas personas clave
que nos pueden facilitar mucha informacin sobre la realidad
sociopoltica del mbito sometido a participacin. Una seleccin
plural de entre 5 y 10 informantes clave puede proporcionarnos, a
travs de entrevistas en profundidad, mucha informacin sobre el
proceso que nos puede ser de gran utilidad para su evaluacin.
Entre los/las informantes clave de un proceso habr algunas
personas que nos proporcionarn ms informacin que otras
en relacin a la evaluacin del proceso. En este sentido, los/las
informantes ms relevantes para la evaluacin sern las personas
responsables polticas y tcnicas del proceso.
El sociograma
El sociograma es una herramienta que tiene por objetivo
identifcar el mapa de actores implicados y/o afectados en relacin a la
temtica tratada, defniendo las relaciones e infuencias entre s.
El sociograma no es ms que una representacin grfca donde
se proyectan un conjunto de nodos, los actores (en el mbito del
Estado, el mercado y la sociedad civil) y las relaciones existentes
entre ellos.
Se trata de una herramienta descriptiva que puede construirse
de forma individual o de forma grupal. Resulta interesante
construirlo con actores clave que puedan darnos toda la
informacin sobre la realidad sociopoltica del mbito sometido
a participacin.
63
mETODOLOGAS DE AUTOEVALUACIN INTERNA
Los grupos de discusin internos
Para abordar determinados aspectos de la evaluacin de un
proceso participativo puede ser interesante llevar a cabo una
refexin colectiva con aquellas personas ms implicadas en la
gestin y la coordinacin del proceso.
Estos espacios pueden crearse especfcamente para la evaluacin
- al fnal del proceso o al fnal de algunas fases del mismo - y
deberan incorporar a los tcnicos y polticos implicados en la
coordinacin del proceso.
Si existen rganos especfcos con funciones de coordinacin
o seguimiento del proceso en los cuales, adems de tcnicos y
polticos, tambin hay ciudadanos/as, puede ser til aprovechar
estos espacios para la evaluacin de carcter interno.
64
mETODOLOGAS DE AUTOEVALUACIN PARTICIPADA
El cuestionario a los/las participantes
El cuestionario es una herramienta para obtener percepciones y
valoraciones subjetivas de las personas participantes en relacin al
proceso participativo.
Se trata de un instrumento a travs del cual los y las participantes
pueden hacer una evaluacin individual del proceso. Esto
permite que cada participante se posicione de forma individual
pero impide que la evaluacin sea fruto de una deliberacin
y una refexin colectiva. Sin embargo, tambin existe la
posibilidad de pasar el cuestionario al fnalizar una sesin grupal
de evaluacin del proceso.
Aunque se trata de una herramienta fundamentalmente
cuantitativa, el cuestionario permite la posibilidad de introducir
preguntas abiertas de carcter cualitativo.
El cuestionario nos permite obtener datos cuantitativos en
relacin a distintos elementos. En el caso de las preguntas
cerradas puede optarse por una batera de preguntas con escalas
de opinin (mucho/bastante/poco/nada o valoracin de 0 a 10
puntos, etc).
El cuestionario puede pasarse a las y los participantes al fnal
del proceso o in situ al fnal de todos o algunos de los distintos
mecanismos de participacin desarrollados en un proceso.
Evaluacin participada cualitativa
Desde un enfoque cualitativo de la evaluacin, existen distintas
metodologas participativas pensadas para que los y las
participantes del proceso evalen distintos aspectos del mismo.
65
La evaluacin cualitativa permite desarrollar un proceso de
refexin colectiva entre las personas participantes entorno al
proceso participativo y esto aporta un gran valor aadido a la
evaluacin.
Adems, desde la evaluacin cualitativa aparecen elementos
de mayor detalle, elementos ms especfcos del proceso en
concreto, surgen argumentos y explicaciones de por qu algunas
cosas han funcionado bien y otras no, etc. El mtodo cualitativo
permite una mejor incorporacin en la evaluacin de aquellos
elementos ms subjetivos y de aquellos que son difcilmente
mesurables. Muchos de estos elementos se pierden en una
evaluacin cuantitativa y slo pueden recogerse a travs de
mtodos cualitativos.
La evaluacin participada cualitativa puede llevarse a cabo a
travs de talleres o jornadas especfcas para la evaluacin o
bien in situ al fnalizar determinados mecanismos grupales de
participacin. Tambin pueden generarse grupos de discusin
especfcos o aprovechar algunos de los rganos del proceso, si los
hay, para realizar sesiones de evaluacin.
66
bIbLIOGRAFA Y DOCUmENTACIN PROPIA UTILIzADA
Anduiza, Eva y Maya, Sergi de La qualitat en la participaci: una
proposta dindicadors (Barcelona, Fundaci Jaume Bofll, 2005).
Arnstein, Sherry R. A ladder of citizen participation. (Journal of
American Institute Planners, 35 (3), 1969) p.216-224.
Documento marco OLDP: Elementos comunes para la defnicin
del objeto de estudio de los OLDP: mbitos, indicadores e ndice,
coordinado por el Ayuntamiento de Donostia.
Documento marco OLDP: Tipologas de experiencias a observar por
un OLDP, coordinado por la Municipalidad de La Paz.
-
ANExO I : TAbLA RESUmEN
-
0
u
i
n

p
a
r
t
i
c
i
p
a
Metodologias de evaluacin
0riterio
Aceptacin politica
Aceptacin social
Aceptacin tcnica
0rado implicacin
distintas reas
Espacios de transversalidad
niciativa
Liderazgo
0rupo promotor plural
Relacin con otros procesos
Uso de rganos existentes
Anlisis de ob|etivos
0umplimiento de ob|etivos
PlaniIicacin y su
cumplimiento
Recursos econmicos
Personal
Porcenta|e de participantes
Porcenta|e de actores
organizados
Asistentes entre la seleccin
Porcenta|e de distintos
grupos
ndice de diversidad
PerIil de las
organizaciones
Actores relevantes
Facilidades para
la comunicacin
Eleccin de los/las
representantes
0iscursos de los/las
representantes
0onsenso
Transversalidad
niciativa y liderazgo
ntegracin sistema
0laridad ob|etivos
PlaniIicacin
y recursos
0antidad
participantes
0iversidad
paricipantes
Representatividad
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
o
R
e
g
i
s
t
r
o
s
A
n
l
i
s
i
s
d
e

p
r
o
y
e
c
t
o
E
n
t
r
e
v
i
s
t
a
s
i
n
I
o
r
m
a
n
t
e
5
o
c
i
o
g
r
a
m
a
0
r
u
p
o
s

i
n
t
e
r
n
o
s
0
u
e
s
t
i
o
n
a
r
i
o
p
a
r
t
i
c
i
p
a
n
t
e
E
v
a
l
u
a
c
i
n
p
a
r
t
.

x x
0
o
o
r
d
i
n
a
c
i
n
0
o
n
s
e
c
u
e
n
c
i
a
s
Apertura del proceso
Apertura de los
espacios decisivos
Agenda politica
Valoracin ciudadana
Porcenta|e presupuesto aIectado
0ompetencia
0iagnosis participativa
0apacidad de propuesta
0rado de participacin
0anales de
inIormacin - diIusin
Pluralidad de la inIormacin
0laridad y utilidad
de la inIormacin
Uso de tcnicas deliberativas
Posibilidad de e|ercer
la propia voz
Tipo de resultados
Valoracin ciudadana resultados
mplementacin
0rganos de seguimiento
0evolucin de los resultados
Relaciones ciudadanas
Relacin admin - ciudadania
Relaciones internas
5esiones de capacitacin
Valoracin ciudadana
capacitacin
0ultura participativa
x
x
x
x
x
x
x
x
x
x
x x
x
x
x
x
x
x x x
x
x
x
x x
x
x
x x
x x
x x
x x
x
x
x
x
x
x
x
x
x
x
x
x
0
m
o

s
e

p
a
r
t
i
c
i
p
a
0rado de apertura
Relevancia
0apacidad
intervencin
0iagnosis
participativa
0rado de
participacin
0apacidad
propuesta
0alidad de
inIormacin
Mtodos
deliberativos
mplementacin
resultados
Resultados
0evolucin
Me|ora de relaciones
0apacitacin
0ultura participativa
E
n

q
u

PRACTICAL GUIDE
FOR EVALUATING
PARTICIPATORY
PROCESSES
Guia Practica evaluacion_UK 71 23/10/07 15:31:57
PRACTICAL
GUIDE FOR
EVALUATING
PARTICIPATORY
PROCESSES
This document has been prepared with the
support of the UABs Institute of Government
and Public Policies, and it is based on the
debate that rises from the results of the Work
Group constituted during the V OIDP confe-
rence 2005.
The Work Group Common elements to defne
Local Observatories study objects: scopes,
indicators and index, coordinated by the city
of Donostia San Sebastin, has developed its
plans during 2005-2006.
This is a public document and we hope it will
serve its purpose for all cities / regions / insti-
tutions that use it.
However, in an ongoing effort to improve
our work and advance in the daily practice of
participation, we ask all those who make use
of this document to perform a participative
evaluation, to share with us their comments
related to its application, utility, strong points
and weakness they may have detected in its
contents.
Please send us your comments and ideas
by email to oidp@bcn.cat or contact the
Technical Secretariat at www.oidp.net.
INDEx
Introduction 75
1. What we evaluate 77
2. The shared conceptual framework 79
3. Some preliminary thoughts 81
Tool box
4. Preliminary elements 85
5. Evaluation criteria for participatory processes 88
A. Criteria related to the process coordination 89
B. Participant-related criteria 98
C. Criteria related to the reason for participation 107
D. Criteria related to the type of participation 110
E. Criteria related to the consequences of the process 116
6. Evaluation criteria summary chart 122
7. Some methodological elements 124
References and own documentation used 131
Annex Summary chart 132
74
PRACTICAL GUIDE FOR EVALUATING
PARTICIPATORY PROCESSES
75
INTRODUCTION
Our commitment, as a project subsidized by the decentralized
program for collaboration between Europe and Latin America,
was to set up nine Local Observatories of Participatory
Democracy (OLDP) and to create new indicators to show the
evaluation of the quality of the participatory experiences in our
cities, with the purpose of improving these experiences in order
that citizens take on a more important part in city government.
In the course of the process, we realized the need to go beyond
the initial goal since we all agree that creating an OLDP as an
area of interaction and evaluation of participation on a local
scale is much more complex than the mere application of a set
of indicators. This is because the fnal goal (lets not forget) is the
improvement of participation, and we see the need to evaluate
our deeds in order to be able to improve them.
Nevertheless, we are aware that the strategies for evaluation and
the instruments we have at hand are multiple and diverse, and
that the questions related to the evaluation are very complex
since they move on different lines (what is evaluated, what for,
how, who does the evaluation), while some are of a more political
nature and others are more instrumental or methodological.
Based on those thoughts we detected the need of more complete
evaluation instruments. That is why we agreed on focus our
efforts on the creation of a Toolbox, which could incorporate
various methodologies and different criteria, indicators or
possible aspects to evaluate, so it could adequate with the
characteristics and objectives of each experience.
This Practical guide does not pretend to be an integral, complete
or closed system to evaluate participatory process. It pretends
to offer a set of tools useful to the evaluation of different
participatory process, understanding that in each one there will
be a election of some criteria, aspects and methodologies, and
that there will be also some new ones, that are not defned in
this document. That is because those elements (criteria, aspects,
methodologies) must be in conformity with the characteristics of
the process evaluated and also with the social reality on which it
is developed.
76
The document will be structured as follows:
Before presenting the tools for evaluation, we consider the
importance of situating ourselves in the principal debates of
evaluation.
First of all we should defne what we are evaluating, since the
range of possibilities of an OLDP is diverse.
Approaching our subject we understand the need to highlight
our conceptual framework, a few ideas that will guide us in our
task of evaluation.
Nevertheless, we also share some tensions and open debates,
and we thought relevant to express them on this document.
These three different parts (what we evaluate, the conceptual
framework, and the open tensions and debates) compose the
introductory section of this document.
Following that, the evaluation tools are found in the section
called Tool Box. This section is divided in:
1. Preliminary Elements are those elements that must be
considered before performing the evaluation, and try to cover the
diverse situations, contexts, goals and subjects that ought to be
evaluated.
2. What should we evaluate? contains a short description of
the most common types of participatory experiences, to help us
systemize and classify the experiences.
3. Evaluation criteria are those criteria that have been
approved by the project members and refer to fve felds of the
processes (coordination of the process, who participates, reason
for participating, how to participate, and the consequences of
participating). The section corresponding to each of the fve
felds contains a description of the criteria (its goals) and how it
can be evaluated.
Lastly, the document offers a Summary Chart, that serves as a
Quick Guide when it comes to planning an evaluation process.
77
1. WhAT WE EVALUATE
Objects to be studied
When we talk of evaluating citizen participation, we could refer
to different objects that need to be evaluated. Based on remarks
and comments from all the members of the Local Observatories,
we have reached the conclusion that the objects to be known by
the OLDPs could be the following:
> Public policies
> Stable participation system
> The participatory processes
> The participatory mechanisms
> Social players
In this wide range of possible objects to be observed (evaluated),
there is one factor that greatly conditions what will be evaluated:
the scale factor.
Evaluating a specifc participation process is not the same
as evaluating participation in a large public policy or the
participation by a city as a group.
In this document we will make an intent to cover scopes of the
four study objects, but it will focus mainly on the analysis of
participatory process because we understand that, based on this
analysis we can get to specifc elements and to others that are
common to other objects, which otherwise would be diffcult to
cover.
We will concentrate on presenting a series of criteria and
methodologies that are to be used when evaluating participatory
processes. This does not mean that the other possible study
78
objects are not important when we talk of citizen participation
in politics; they have simply been excluded from this document
in order to reduce the complexity of the analysis.
Nevertheless, we understand that the criteria presented
in this document are useful when addressing, to a certain
degree, the other scopes mentioned herein.
79
2. ThE ShARED CONCEPTUAL FRAmEWORk
Before presenting the evaluation tools, we consider important to
explain our conceptual framework, or some ideas that guide
our evaluating action:
a) Evaluation is a process (it is not a more or less relevant and
important specifc moment) that is based on the knowledge
of practice by systemizing information and discussion among
different players, and being there since the beginning. Thus,
a diverse range and ample number of players can take part
in the evaluation process, as much as the number of players
participating in practice. This number can be even greater if
external agents are invited to take part in the evaluation.
In other words, we are talking of Participatory evaluation
processes.
b) There can be different technical and political levels or
moments according to who is in charge, entrusts it or even
participates in it, and also according to what has to be evaluated:
the methods used, the goals that have been set. All this brings
forth an argument: that on one hand it is impossible that one
single evaluation covers everything, in all the dimensions,
moments or levels (substantive, relational, operative or
intermediate, technical, political, etc.), and consequently it is
diffcult to think of an aprioristic and decontextualized proposal
that serves for everything and at all times, of the evaluative study
and the instruments to be used. Such ways of operating could at
times be restrictive.
c) We can and must use complex and methodological and
additional (multi-strategic) processes that are capable of relating
methodologies of quantitative, qualitative and participative
evaluation.
80
d) OLDP can be considered a meeting place, a scope of interaction
in which the different players are able to think, debate, consult
and propose ideas about the challenges found in participation.
The spirit of these areas does not mean turning into technocratic
structures or passive documentation centres, rather active and
inclusive.
e) In other words, OLDP must be agents that promote
participatory democracy (BA, N-2004).
f) Should the OLDPs turn into places of meeting and debate
for different players, if they want to be promoters, and not
mere passive observers, and if we understand that we are at
the crossroads of uncertainty and innovation regarding the
subject we are dealing with, it would be advisable to consider
confguring an evaluation system that would consist of different
instruments and that is built on several methodological
strategies based on a common conceptual and operational
framework.
81
3. SOmE PRELImINARY ThOUGhTS
Even being able to agree upon a conceptual framework,
we could not ignore certain tensions that are very closely
related to our task and that we think should be made clear in
order to have them always present at our debates and in our
thoughts:
a) Between the need to evaluate and the lack of a clear
objective (what for?) of the evaluation. We have the need to
evaluate, beyond the commitment we have taken on regarding
the Urb-al project, and also considering this commitment. Even
though we clearly see the need, we lack clear answers to the
question why are we doing this? How should we focus the
evaluation? Is the evaluation meant to improve our practices or
are we performing the evaluation to rank the cities participating
in it? Are we performing the evaluation to defne quality flters
about what is, and what is not citizen participation, or are we
inclined to defne guidelines that each city and each practice
could use for their methodological strategies?

b) Between fxing our attention on policies or on the
instruments these policies can use. This dilemma is related
to the What of the evaluation, rather than to the What for.
We could focus our attention on substantive public policies:
city/town planning, education, health, urban regeneration, etc,
and defne evaluations, studies, indicators, or anything else that
shows us up to what point these policies include participation; or
we can choose to concentrate on seeing up to what point certain
experiences or instruments of participation have quality.
c) Between indicators as instruments and indicators as an
objective. Caught between the What and the How is the
tension in an objective: evaluate practices and policies with
a given purpose, and something that, more than an objective,
seems at times to be an object we dream of: the possibility of
having relevant, valid, measurable, sensitive, understandable
82
and transferable, realistic and proven indicators on participatory
democracy. In this sense, we cannot forget that indicators are
an indication of something that generally goes beyond the
indicator itself. The evaluations and the processes as a whole-
lose their purpose when, instead of seeking to achieve objectives,
they are intended to fulfl indicators (Kaleidos, 2006).
d) Between the need for knowledge and ignorance: tension
caused by uncertainty. We are involved in an issue that neither
we nor our political and technical institutions are familiar with;
we are moving in felds of democratic innovation and innovation
in public management. We often need to set participatory
objectives and validate instruments and methodologies to be
able to achieve them without always being very sure of what we
are doing. We feel the lack of more baggage, more individual and
collective experience. This shows us the need to take risks, test
things, accept tests and mistakes, and build evaluation systems.
But on the other hand, we want to have evaluation instruments
that are fail-proof: quantitative instruments!
e) Between the wide reality we are referring to (talking
and writing) and what we really can cover (do and put into
practice). We create our speeches based on major concepts
that include a very common conceptual and political reality
(Participatory Democracy; Citizen participation; citizenship, and
other such), to then fnd out that our reality, the context we move
in, what we are able to put into operation and into practice with
its diffculties, resistances, contradictions and limitations- and
which could be and mean a great change regarding traditional
ways of doing things and the diffculty in changing them, does
not seem to have enough social, collective or institutional power
in order to be registered by a counter that hasnt been modifed.
83
84
ThE TOOL BOx
85
4. PRELImINARY ELEmENTS
Prior to any evaluation, it is necessary to identify a series of
elements that will condition the perspective from which the evaluation
will be performed. Thus, before starting an evaluation, we need
to identify at least the following characteristics of the process/
experience:
> Thematic scope
> Territorial scope
> The objectivesParticipating groups
> Type of evaluation
The context
The social, economic and political context in which a
participatory experience takes place in the comprehension and
analysis of most of the results of the evaluation.
The objectives of a process, and the evaluation criteria, can
change greatly according to the context.
Thematic scope
There are sectorial participatory experiences, and also global
or integral experiences
The criteria used for the evaluation will be different according to
the subject under study, and mainly, according to the more or less
integral character of the subject.
The thematic scope of the participation conditions many
elements in the evaluation, e.g., in very specifc thematic
processes, evaluating the diversity of the participants would
make no sense because the potential participants are, in the
nature of the process, a homogenous group.
86
Territorial scope
There are processes that take place at municipal levels, and
others at more local levels such as in districts or small town
areas. This element will also infuence the evaluation of the
process because of the change in potential participants.
In the case of more global processes, we need to consider,
for example, the territorial diversity of the participants,
something that lacks sense in more localised processes.
Objectives
Any evaluation should have very much in consideration the
objectives of the process being evaluated; in many cases there
would be no sense in evaluating a process using criteria that refer
to objectives that are not sought in the process being studied.
Even though there are minimum criteria that must be
evaluated in any process, there are many others that would
only make sense if they are included in the objectives of the
process.
As a matter of fact, in order to achieve an ideal evaluation,
the project should, at the onset, defne which objectives will
be evaluated. This will allow to us determine later on if these
objectives have been fulflled or not.
Participating groups
Not all the processes address the same participants. There are
processes that only address associations, others that address non-
organised citizenry, some that address specifc population groups
(such as women, and young boys and girls, the locals, etc), others
include technicians and politicians, whilst even others dont, etc.
The evaluation criteria change according to the type of
participants addressed by the process.
87
Type of evaluation
There are different types of participatory process evaluations as
well as different methods to perform them. This document will
make try to focus on some of them.
Before starting to evaluate a participatory process, it is important
to defne the type of evaluation that is to be performed. In this
sense, it is important to distinguish between internal and external
evaluations, and to decide up to which point the participants in
the process will take part in its evaluation.
Guiding the evaluation towards more qualitative and participatory
methodologies can be a good way to overcome the numerous limitations
we will come across, but always on condition that we try to perform
the evaluation using strictly quantitative methods. Consequently,
obstacles such as the lack of data, the lack of results, or the low
reliability rate of certain information can be overcome with the
help of these other methodologies that will allow us to evaluate
citizen participation from other angles. Also, we should not forget
that a participatory evaluation has the very important added value
of implicating all the participants in a process, including political
representatives and technical personnel. This allows us to improve
participation based on the experience of the participants, while
validating the evaluated process and the evaluation itself, besides
the improvements that will be incorporated as a result of this
evaluation.

88
5. EVALUATION CRITERIA FOR PARTICIPATORY PROCESSES
Below are a series of evaluation criteria to be used with
participatory processes. According to the depth of the evaluation
sought for a process, more or less of these criteria can be used and
a method can be created for each of them. Each methodology will
require different resources and will provide a different level of
depth of analysis.
Consequently, selecting all or some of the following criteria, and
evaluating them using one of the proposed methodologies, will
depend not only on the context and the characteristics of the
process, but also on the resources used for that purpose. If we
evaluate many experiences simultaneously we will need to distribute
the resources; this will reduce the depth of analysis used for each of them.
Each criterion proposed has a description of its process (its
expectations) and how it should be evaluated.
After having seen the contents of a criterion, we can decide if it
can be used, or not, to evaluate our processes. Should we decide
to apply it, we will need to choose one or several methodologies
that have been proposed to evaluate the level of compliance of
the criterion. The criteria are structured as follows:
Criteria related to:
A. The process coordination
B. The participants
C. Reason for participation
D. Way of participation
E. Criteria related to the consequences of the process:
89
A. CRITERIA RELATED TO ThE PROCESS COORDINATION
> Consensus
> Transversality
> Initiative and leadership
> Integration in the municipal participatory system
> Clarity of the objectives
> Planning and resources
1. Consensus
What it consists of: A process in which there is wide consensus
about its need and methodology. It has more possibilities of
success than a process that can be questioned, both on a political,
technical or social scale.
How to evaluate it:
a) Political acceptance
Identify if the process is accepted by all the political groups in the
municipality and if there is, or not, any political group opposing
it.
It would be useful to have prepared a sociogram in order to
perform this evaluation.
This information can also be obtained through interviews with
the different political groups or key informers. Another way to
obtain information is through plural discussion groups.
90
b) Social acceptance
Identify if the process is accepted by all the social groups and
communities that are relevant for the process, and whether
there is any group or organization opposing it.
+ To perform this evaluation, it would be useful to have prepared
a sociogram.
+ This information can also be obtained through interviews with
key informants. Another way of obtaining this information is
through plural discussion groups.
+ Preferably, this type of evaluation would carried out by external
resources.
c) Technical acceptance
Identify if the process is accepted by all the municipal
technicians that are relevant for the processes, and whether
there is/are any technician/s opposing it.
+ To perform this evaluation, it would be useful to have prepared
a sociogram.
+ This information can also be obtained through interviews
with municipal technicians or key informants. Another way of
obtaining this information is through internal discussion groups.
+ Preferably, this type of evaluation would be carried out by
external resources.
---------------------------------------------------------------
91
2. Transversality
What it consists of: Processes that achieve an internal transversal
task, with the participation of the different areas that are both
technically and politically relevant for the process, are more effcient
processes; at the same time they reduce resistance to the
implementation of the results. Transversality is very important
when the process is handled by the Participation Dept. and has
substantial implications in other areas. It is also important when
the substantive scope is integral and requires the implication of
different areas. How to evaluate it:
a) Level of implication by the different political and
technical areas
Analyze the level of implication by the different political and
technical areas that are relevant for the process
+In the frst place, it is important to identify the areas that are
relevant for the process, according to the substantive scope and
its objectives.
+ This information can be obtained by identifying the presence
or absence of these areas in the different bodies and participation
areas, and/or by analysing the information they provide during
the process.
+ This information can also be obtained through interviews with
the different technicians and politicians, or through internal
discussion groups.
+ Preferably, this type of evaluation would be carried out by
external resources.
b) Transversality areas
Analyze whether transversal work areas have been
considered when planning the process. Their objective is to
relate the different areas that are implicated in the process.
+ Analyze the transversality of these areas; if they are merely
informative (the leading area informs the others) or whether
92
they are co-decision and co-management areas of the process,
based on the different areas that are implicated. The latter
situation guarantees more transversality and effciency.
+ The evaluation can be performed through internal discussion
groups or workshops, or through an analysis of the project.
---------------------------------------------------------------
3. Initiative and leadership
What it consists of: A participatory process can be the initiative of
different players; it can be the initiative of the government, of a specifc
area of the government, a technician, the opposition, an association, un-
organised citizenry, etc.
The initiative conditions the development of the process but it
should not affect its democratic nature.
In general, processes that arise from citizen initiatives generate
more confdence and have more possibilities of succeeding and
can have greater levels of participation.
In all cases, an initiative must have a political leadership. It is only
through a solid political leadership can a participatory process
turn into an institutionally valid process. This condition is
mandatory in order to be able to implement the results of the
process, and consequently for the process to be effcient.
However, even though a solid political leadership is necessary,
the existence of a pluralized driving group that co-leads or
coordinates the process, can give it better effciency and
coherency, while approaching it to the dynamic realities of
the municipality. Sharing process leadership guarantees its
pluralism and transparency, while ensuring the neutrality of its
coordination.
93
How to evaluate it:
a) Initiative
Identify which player or players have fostered the
development of the participatory process
+ This information can be obtained through interviews with
key process informers. It is important that this information be
obtained from several sources, since some players could tend to
take control of the initiative of the process.
+ Preferably this type of evaluation would be performed by
external resources.
b) Leadership
Identify the presence of specifc political leaders who will
take care of the process
+ This information can be obtained through interviews with
project leaders.
c) Pluralized driving group
Identify the presence of a driving group and analyse its
plurality
+ A pluralized driving group is a small group that has different
players (politicians, technicians and citizens), whose function is
to drive the process, seeking its maximum diffusion.
+ Should there be such a group, the part it plays in the process
should be analyzed. Also it should be ensured the group has been
attributed relevant functions.
+ A sociogram can be a useful tool to analyze the plurality of this
group.
+ Preferably, the analysis of the functions and plurality of this
driving group would be performed by external resources.
+ Should this driving group exist, it would be advisable that it
94
holds a self-evaluation meeting about its functions during the
process.
4. Integration in the municipal participatory system
What it consists of: Some municipalities have a more or less
stable participatory system. In such cases it would be convenient
to study up to what point the evaluated process integrates (or
not) in this participatory system.
The participatory processes of a specifc municipality do not
always have to derive from its stable participatory system.
However, it would be advisable that they be consistent as much as
possible with the system, that they are integrated, and are coordinated to
avoid duplicating efforts and prevent the saturation of potential citizen
participation. In this sense, it would be useful to take advantage of
the bodies and participation structures that already exist in the
municipality.
How to evaluate it:
a) Relationship with other municipal processes
Perform a qualitative analysis of how the evaluated process
relates to other processes in the same municipality.
+ Specifcally determine if there is any type of coordination
among the different processes.
+ Preferably this evaluation would be performed by an external
resource.
b) Use of existing bodies or structures
Identify whether the evaluated process taps into the
bodies or participatory structures that already exist in the
municipality.
Perform a qualitative analysis of this tapping into structures
and identify the obstacles (if any) that may have arisen while
95
tapping in to these structures.
+ To perform this evaluation, it would be convenient to create
a discussion group with the participants of these bodies and
structures.
+ Preferably, this evaluation would be performed by an external
resource.
---------------------------------------------------------------
5. Clarity of the objectives
What it consists of: The objectives of a participatory process
must be clear in order to make the task of the process managers
and participants easier.
Clarity of the objectives makes the process coherent and
transparent.
It is important that the process objectives establish its limits.
This will avoid generating false expectations.
Going beyond the analysis of the objectives, it is also important
to evaluate up to which point the initial objectives have been
used as process guidelines, and up to which point the process
results fulfl the initial objectives.
How to evaluate it:
a) Analysis of the objectives
Identify the process objectives (if any) and analyze their
clarity.
+ A good way to obtain this information could be through
the process participants (using questionnaires or evaluation
workshops).
96
b) Fulflment of the objectives
Analyze up to what degree the objectives have been fulflled.
In case of non-fulflment, analyze the causes.
+ A good way to obtain this information would be through
the process participants (using questionnaires or evaluation
workshops).
+ Also, self-evaluation by internal discussion groups could be a
good method.
---------------------------------------------------------------
6. Planning and resources
What it consists of: Participation cannot be improvised. Thus,
the entire participatory process must be planned, identifying its
stages and schedule.
Planning helps to foresee obstacles, organize participation,
provide a better process quality, and ensures more
transparency.
Also, when planning a project, we need to foresee the necessary
economic and technical resources. The quality of a process can be
better when its economic and technical resources correspond to
the set objectives.
How to evaluate it:
a) Analyze the planning and its compliance
Identify whether the process has been planned.
Perform a qualitative analysis of the planning. A good plan
should detail the following elements:
I. The objectives of the process
II. Its stages
97
III. Its schedule
IV. The tasks foreseen for each stage
V. Elements used for diffusion
VI. The resources needed for each stage and for the
overall process
Perform a qualitative analysis of the degree of compliance
with the planning document. In case of non-fulflment of the
objectives, analyze the causes.
+ Internal discussion groups can help with this type of
evaluation.
+ Preferably, this evaluation would be performed by an external
resource.
b) Economic resources
Defne the budget foreseen for the process
Analyze the adaptation of the budget to the projects
objectives.
+ This information can be obtained from the process or from the
person in charge of the process.
c) Personnel
Determine the existence and volume of own and external
technical resources dedicated to the project.
+ Qualifcations and specialization of the personnel.
+ Analyze the suitability of the technical resources for the
projects objectives.
+ This information can be obtained from the project or from the
person in charge of the process.
---------------------------------------------------------------
98
B. PARTICIPANT-RELATED CRITERIA:
> Number
> Diversity
> Representativity
> Openness of the process
7. Number of participants
What it consists of: The more participants there are in a
process, the better, considering that the appraisal of the number
of participants will always depend on the objectives of the
process and the reference population it addresses. At the same
time, one cannot forget that the diversity of the participants is
just as important as the number.
How to evaluate it: The evaluation of this criterion will depend
on the type of process and the population it addresses. However,
in order to be able to evaluate it, we propose three indicators that
will allow us to calculate the real participants versus potential
participants. Each indicator responds to different possibilities of
processes and participants.
a) Percentage of participants in relation to the reference
population:
Number of participants versus reference population (en
percentages)
+ Useful for processes in which the participants are non-
organised citizens. It can also be used in processes that combine
or mix organized citizen participation with non-organized
citizen participation. In the case of the latter, the indicator could
refer to the participants as a whole or only to the non-organized
group.
99
+ It makes more sense in processes that are open to the entire
reference population. In the case of closed processes (the number
of participants is restricted, and in this case the participants are
selected), see section C.
+ In all cases, a lot of attention must be given to determine the
reference population (population addressed by the process).
+ It can be used in the different sessions or participation
mechanisms for a process or set of processes. In the case of the
latter, the number of participants must be counted, without
repetitions (a participant who takes part in two sessions of
the same process must be accounted for as one and not two
participants).
+ Also, the average number of participants per session can be
calculated. This information can be useful in the case of stable
participation bodies, and loses its meaning when the different
sessions of a process have different audiences or objectives.
+ To be able to use this indicator, foresee counting the
participants at the beginning of the process in order to avoid
duplications when performing the fnal count.
b) Percentage of organized players versus the reference total
Number of organized players versus the total number of
reference players (in percentage).
+ Useful for processes in which the participants are organised
players. It can also be used in processes that combine or mix
organized citizen participation with non-organized citizen
participation. In the case of the latter, the indicator should refer
only to the organized participants.
+ In all cases, a lot of attention must be given to determine the
reference organised player (players addressed by the process).
+ It can be used for the different sessions or participation
mechanisms in a process or for the group of processes. In the
case of the latter, the number of participants must be counted,
without repetitions (a participant who takes part in two sessions
of the same process must be accounted for as one and not two
participants).
100
+ In order to be able to use this indicator, foresee counting the
c) Percentage of participants present versus selected
participants:
Number of participants present versus selected participants
(in percentage)
+ Useful for closed processes (the number of participants
is restricted and they are selected). In these processes, the
participants could be organized, non-organized or a combination
of both types. The indicator shows us up to which level the
selected participants take part in the process.
+ Can be used for the different sessions or participation
mechanisms of a process or for the entire process. In the case of
the latter, the number of participants must be counted without
repetitions (a participant who takes part in two sessions must be
accounted for as one and not two participants).
+ To be able to use this indicator, foresee counting the
---------------------------------------------------------------
101
8. Diversity
What it consists of: A process will be more democratic if it is
able to incorporate the diversity of the society it is in, i.e.: the
different social groups and the different interests are represented
in the process. In this sense, we should have in consideration
the social groups that are usually under-represented in the
participatory processes, such as women, youth or immigrants
(under-represented groups can be different according to the
social context in which the process takes place).
Similarly, to guarantee the diversity of a project, we need to
study the participation of the organized players, evaluating the
diversity of the participant associations versus those found in the
area, focusing attention on the participation of players who are
especially relevant for the subject of the participation.
The same as other criteria, this criterion will have more or less
meaning according to the audience of the process. The more
selective the audience is, lesser meaning will the criterion have.
In other words, if the participatory process addresses a very
specifc group, such as immigrant women, this criterion will
have less meaning; in such cases, the process does not seek to
address the great diversity of the population, rather a specifc
group.
How to evaluate it:
a) Percentage of a specifc association or social group
The evaluation will compare the percentage of players
from these groups participating in the process, with the
percentage of these groups in the reference society.
Some of the associations or social groups could be the
following:
I. Women
II. Different age groups (children, under 30s, over 60s, etc.)
III. Immigrants
IV. Different levels of training (basic, superior, etc.)
102
V. Different social classes
VI. Black population, local population, etc.
VII. Different territories (districts, town areas, specifc
zones, etc.)
VIII. Others according to the characteristics of the
process and its context.
+ Can be used for the different sessions or participation
mechanisms of a process, or for the entire process.
+ To be able to use these indicators, we must foresee, at the onset
of the process, counting the participants while gathering this
information. In some cases, we can come across obstacles to
obtain some of this information (training, social class).
a) Diversity index
The indicators stated in the above point can be added as an
index in order to evaluate the level of diversity among the
participants in a process.
+ For example, lets take three groups (women, youth and
immigrants). We then add their presence or absence to the
process in the following way:
I. If the percentage of women is equal or above the
percentage of women in the reference society, add 5 points;
if not, dont add anything.
II. If the percentage of youth is equal or above the
percentage of women in the reference society, add 5 points;
if not dont add anything.
III. If the percentage of immigrants is equal or superior to
the percentage of women in the reference society, add 5
points; if not dont add anything.
IV. The index is obtained by adding the three indicators.
Finally, we could say that the diversity is high if the index
is 15; medium if it is 10; and low if it is 5 or 0.
103
b) Profle of the participating organizations
Percentage of the different types of organizations
participating in the process (neighbourhood, corporate,
union, cultural, sports, political, etc) and the evaluation of
their representation.
Their representation in the process is evaluated according to:
I. The theme of the process
II. The objectives of the process
III. The presence and representation of the different
organizations in the social context where the process is
being held.
+ Identifcation of the types of organizations not participating in
the process and the appraisal of the need for their participation
in it.
+ Useful for processes in which the participants are organized
players. They can also be used in processes that combine
participation of organized citizens with non-organized
citizens. In this case, the indicator must refer only to organized
participants.
+ It is preferable that this type of evaluation be performed by
external resources.
c) Identifcation of relevant players and social groups
Determine whether among the participants, there is a key
or relevant player missing for the theme to be proposed for
participation.
+ To be able to identify the absence of key players, a sociogram
must be prepared beforehand.
+ Preferably this type of evaluation will be performed by external
resources.
---------------------------------------------------------------
104
9. Representativity of the participants
What it consists of: In some processes, all or some participants
play the part of organized players. In such cases, a criterion
of democratic quality consists in guaranteeing that these
representatives really share a common point of view.
This criterion can only be applied to those processes that have in
account, partially or fully, the participation of organized players.
The guarantees that the representatives share a common point of
view can be determined via three types of elements: those related
to the process; those related to the organization; and those
related to persons who serve as representatives. The process
must allow the representatives to transfer the information to
their organizations and that these hold internal debates; the
organizations must choose their representatives and must
participate in the internal debates, and the representatives must
participate in the process being faithful to the input from their
organizations, without providing any personal input.
How to evaluate it:
a) Capacity for information fow between the
representatives and the represented
Analysis of the process planning (sessions and chronogram),
to determine if the process foresees that the representatives
of the organizations are able to transfer information to the
organization, generate an internal debate, and return to the
process with the input obtained from the organization.
+ Preferably this type of evaluation will be performed by external
resources.
b) Election of the representatives
Percentage of organizations that have chosen their
representative for the process at an assembly.
+ This information can be gathered through a questionnaire sent
to the participants who represent organizations.
105
c) Adherence of the representatives speeches to the
speeches by the organizations
Analyze up to which point the speeches by the
representatives adhere to the speeches by their respective
organizations.
+ The analysis can be made through interviews with
organization members who have not served as representatives
of that organization. The intervention in the process by the
representatives of the organization (minutes) will be needed for
this.
+ Also, a comparative analysis of the minutes, in the case of
organizations having minutes of the sessions and that these can
be accessed, can be performed.
+ This evaluation only makes sense when the organizations have
held an internal debate related to the process.
+ This type of evaluation requires an enormous effort.
---------------------------------------------------------------
10. Openness of the process
What it consists of: Participatory processes can be open to all
citizens, or they can be restricted to certain participants. Initially,
opening the processes to a large number of groups and citizens serves
to improve their democratic quality, having always as an example the
population the process addresses.
Many processes have restricted areas whilst others are more open
and with different functions. In the majority of the cases, they
seek better operation of the process. Consequently, the fact that a
process has a few restricted bodies does not mean it is restricted,
if it also includes participation areas that are open to the public.
It could also happen that in some cases, the restriction on
participation in the process is fully justifed: due to issue being
dealt with, the target public, the participation mechanism being
used, etc.
106
How to evaluate it:
a) Openness of the process
Identify whether the process is:
Open - all the participatory sessions are open to the public
(addressed by the process)
Mixed - it has open sessions and closed sessions
Closed - all the participatory sessions are restricted to a
selection of participants.
+ This can also be applied to different participatory areas of a
process or to the participatory bodies in a municipality.
+ Preferably, this type of evaluation will be performed by external
resources.
b) Openness of the decision areas
Identify whether the decision areas in a process are
restricted to specifc participants, or whether they are open
to all citizens addressed by the process.
+ This type of evaluation only makes sense when the process has
decision-taking areas.
+ Preferably, this type of evaluation will be performed by external
resources.
107
C. CRITERIA RELATED TO ThE REASON FOR PARTICIPATION:
> Relevance
> Capacity of intervention by the local administration
11. Relevance
What it consists of: Participation should be applied to aspects
that are relevant to a community. Participatory processes can
contribute to the effciency of public policies when they deal
with issues that are relevant to the citizens.
How to evaluate it:
a) Political agenda
Identify whether the issue put to participation is included in
the political agenda of the municipal government.
+ This can be identifed by analysing the governments lines of
strategy (Municipal Action Programme) or by interviewing the
politicians in charge of the issue.
b) Subjective appraisal by the citizens
Analyze the perception the citizen has about the relevance of
the subject put to participation.
+ This information can be obtained through a self-evaluation
questionnaire sent to the participants in the process. The
inconvenience of this method is that it only gathers the
perception of the participants, who would most probably be the
ones who are interested in the issue.
+ The information can also be obtained by carrying out a
participatory diagnosis prior to the process, to identify the main
problems in the municipality.
108
c) Percentage of the budget affected by the results of the
process
Number of resources affected by the results in relation to
the municipal budget or to the budget corresponding to the
specifc issue.
+ The more resources affected by the results of the process, the
higher will the importance of the issue put to participation be.
+ In some processes, the result does not have any specifc
economic effect. As an example, this is the case of those processes
that culminate in the defnition of strategies or in pluri-annual
plans without specifying the effects on the annual budget.
+ This information can be obtained from the project itself or
through an interview with the politician in charge of the process.
---------------------------------------------------------------
12. Capacity of intervention by the local administration
What it consists of: A participatory process on a local scale
would be more effcient if it dealt with issues in which the
local administration has a high degree of intervention. On
the contrary, the municipal government would require the
participation of supralocal administrations to be able to
implement the results of the process.
How to evaluate it:
a) Scope of intervention in the matter
Determine whether the matter put to participation is within
the scope of the municipality.
+ If this is not the case, determine if there is, or not, complicity
with supralocal administrations in order to implement the
results of the process.
109
+ The information can be obtained by interviewing the person in
charge of the project and, if relevant, validate it with the persons in
charge in the supralocal administration implicated in the process.
---------------------------------------------------------------
110
D. CRITERIA RELATED TO ThE TYPE OF PARTICIPATION:
> Participatory diagnosis
> Capacity to make proposals
> Level of participation
> Quality of the information
> Deliberation methods and techniques
13. Participatory diagnosis
What it consists of: In order to be able to participate in any process,
it would be useful to know the status of the matter the participation is
about. Thus, ideally it would start with a diagnosis that defnes
the main problems and matter for debate. The democratic quality
of the process would be greater if the diagnosis is participatory.
How to evaluate it:
Determine whether a diagnosis was used in the process and
analyze the level of participation when preparing it.
+ To analyze the level of participation in the diagnosis, see
section 15 in this document.
---------------------------------------------------------------
111
14. Capacity to make proposals
What it consists of: A participatory process will widen citizens
rights if it allows them to make proposals. Some participatory
processes do not foresee this possibility because it was decided
like that; others do not consider it because the objective of the
process focuses on other stages of preparing a public policy, e.g.,
the diagnosis.
How to evaluate it:
Determine whether the process considers, or not, the
possibility of making proposals
+ To do so, an analysis of the process could be performed.
+ Another good way to evaluate this element would be to know
the perception the participants have of the process, either
through a questionnaire or through an evaluation workshop.
+ The evaluation can be performed either for the entire process
or for a specifc mechanism or stage.
---------------------------------------------------------------
15. Level of participation
What it consists of: Citizen participation in a participatory
process can have different levels. Arnstein (1.969) proposed the
following classifcation:
Information
Communication
Query
Deliberation
Decision
112
In some instances, it is not easy to classify a participatory process
of this type. Grouping processes according to types, as below,
could make it easier:
Information Communication
Query Deliberation
Decision Management
There is a general idea that processes with only information and
communication elements are not really participatory processes.
This defnition is seen as an ascending scale, going from lesser to
greater citizen participation in decision taking. However,
we should avoid making a direct association between a greater citizen
participation and a better democratic quality of a process. Certainly,
the more participation there is, wider will the citizens rights and
responsibilities be; however, there are many other elements on which the
democratic quality of a participatory process depends.
Deliberative processes can have high pedagogic quality
and potential, whilst decision-only processes can be of very
low quality according to who the participants are and what
restrictions there are about decision-taking.
How to evaluate it:
Perform a qualitative analysis of the participation throughout
the entire process.
Perform a qualitative analysis to determine the levels
of participation there have been throughout the process
(whether there has been information, deliberation, etc).
+ To be able to perform this analysis, it would be useful to
incorporate the views of the participants through a questionnaire
or workshop.
+ Preferably, this type of evaluation would be performed by
external resources.
---------------------------------------------------------------
113
16. Quality of the information
What it consists of: A good participatory process must provide
the participants all the information they need to opine and decide. To
achieve this, the information must be plural and have quality as
well as being clear and useful. Also it must clarify the objectives
of the process.
Also, the adequate channels must be used to reach all potential
participants. Potential participants must be aware of the participatory
process and have access to all the information.
A good diffusion of the process ensures that all potential
participants can take part in better conditions of equality.
How to evaluate it:
a) Information channels diffusion
Identify the channels that will be used: posters, letters,
phone calls, emails, web, etc.
Identify the weaknesses in the information channels and
determine whether the information is reaching, or not, all
potential participants.
Perform a qualitative analysis to determine the level of
effciency of the information channels in transmitting
information to all potential participants.
+ To be able to perform this evaluation, it would be useful to
gather the participants in internal discussion groups and/or
workshops.
a) Plurality of the information obtained
Analyse the plurality of the information sources used in the
process by identifying the different resources, views and
opinions about the subject of the participation.
+ Subjective appraisal by the participants. This appraisal can be
obtained either through a questionnaire distributed at the end of
114
the process, or by using a participation mechanism. It can also be
obtained through a qualitative participatory evaluation.
b) Clarity and utility of the information obtained
Subjective appraisal by the participants.
+ This appraisal can be obtained either through a questionnaire
distributed at the end of the process, or by using a participation
mechanism.
+ It can also be obtained through a qualitative participatory
evaluation.
---------------------------------------------------------------
17. Deliberation methods and techniques
What it consists of: In deliberation areas it is usual to generate
deliberative and communicative inequalities among the different
participants. In order to avoid such inequalities, it is advisable to
use specifc methods and techniques that help to reduce them.
One of the most usual techniques is the presence of a moderator
at the debates. There are other specifc group work techniques
that allow intervention by all the participants.
How to evaluate it:
a) Use of deliberation techniques
Determine whether participation techniques or mechanisms
have been used in the process to avoid inequalities at the
deliberations.
115
b) Possibility to voice ones own opinion
mechanism.
evaluation.
---------------------------------------------------------------
116
E. CRITERIA RELATED TO ThE CONSEqUENCES OF ThE
PROCESS:
> Substantive results
> Implementing the results
> Result feedback
> Improvement of relationships among the players
> Training
> Building a political participatory culture
18. Substantive results
What it consists of: To be able to legitimize a participatory
process, it is fundamental that the process shows results that
respond to the needs foreseen when it was being designed.
How to evaluate it:
a) Type of result
Identify the existence of a document showing the substantive
results of the process.
+ Type of results obtained: minutes, diagnosis, plans, specifc
actions, reports, etc.
+ Analyze the impact the results have on public policies. Not all
the results have the same impact. As such, the specifc actions, if
they are implemented, will probably have a greater impact than a
consultative process.
+ To perform this evaluation, it would be useful to work with
internal discussion groups.
117
b) Subjective appraisal of the results by participants
Participatory analysis on the utility of the results of the
process, its impact and adaptation to the needs generated
by the process.
+ This appraisal can be obtained through a questionnaire at the
end of the process, or at the end of a participation mechanism.
+ It can also be obtained through a qualitative participation.
---------------------------------------------------------------
19. Implementing the results
What it consists of: The substantive results of a participatory
process must be implemented.
In order to foster the implementation of the results of a process,
in a coherent way and faithfully following the lines of the
debate, it is quite usual to create a body whose task is to follow
up the implementation. It could be a body newly created at the
end of the process, or we could take advantage of a body the
already exists in the process (e.g., the plural foster group, if there
is one). Normally they are plural bodies that represent all the
participants in the process.
How to evaluate it:
a) Implementing the results
Verify the implementation of tangible results
+ It could turn out that the implementation of the results is
not tangible or is foreseen for a later date. In such cases, the
verifcation that the results of the process have been ratifed at
the municipal council meeting or by any another institutional
body, can be used as an evaluation instrument.
118
+ This information can be obtained through the analysis of the
process or by interviewing the politician in charge of the process.
b) Bodies used for the follow-up
Determine the existence, or the study to create a body of this
nature and analyze its plurality.
+ Should such a body already exist, analyze the part it plays
in the process and ensure that it really has been attributed
important functions. It would be interesting to see the steps the
body takes if the results are not implemented and to analyze the
real lobbying capacity it has with the municipal government.
+ Preferably, the analysis of the functions and the plurality of the
body in charge of the follow-up, if it exists, should be performed
by external resources.
+ It would be useful that the body performing the follow-up, if
it exists, holds sessions to self-evaluate its operation throughout
the process.
---------------------------------------------------------------
20. Result feedback
What it consists of: A good participatory process should foresee
a result feedback at the end of the process, for the participants
to know the results, validate them and consider the process as ended.
This practice is a fundamental element of transparency to guarantee
the legitimacy of the participatory processes and to increase citizen
confdence in the institutions.
How to evaluate it:
Determine whether the process foresees a feedback.
119
+ Analyze the result feedback format (if there is one): act or
presence, feedback workshop, document sent to the participants,
letter, etc.
+ The feedback must be transparent and will have a greater
democratic nature if it has participants and they are not only
informed but can also validate these results.
+ Preferably this evaluation will be performed by external
resources.
---------------------------------------------------------------
21. Improvement of relationships among the players
What it consists of: In order to foster citizen participation, a
participatory process not only must look for substantive results,
but also strengthen relationships among the participants.
If the process is well managed, this strengthening of social
relationships will allow us to overcome conficts with more
ease.
How to evaluate it:
a) Improve citizen relationships
Analyse the impact the process has on social relationships:
among citizens, associations, citizens and associations, etc.
+ Subjective appraisal by the participants. This appraisal can be
obtained either through a questionnaire distributed at the end of
the process, or by using a participation mechanism. It can also be
obtained through a qualitative participatory evaluation.
b) Improvement of citizen-administration relationships
Analyse the impact the process has on citizen-administration
relationships.
120
mechanism. It can also be obtained through a qualitative
participatory evaluation.
c) Improvement of internal relationships
Analyze the impact the process has on internal relationships:
relationships among political representatives from different
areas or different groups, relationships among technical
personnel from different areas, relationships among
politicians and technicians, etc.
---------------------------------------------------------------
22. Training
What it consists of: A participatory process will be much
better if it manages to train its participants in the feld of citizen
participation. The training can be specifc to the subject of
the participation, of general nature to achieve better overall
operation of the participatory processes (capacity to talk,
understand the way participatory processes work, know how the
administration works, etc.) or more abstract about democracy
and its values.
How to evaluate it:
a) Training sessions
Determine if the process has foreseen specifc training
sessions.
121
Analyze the objectives and the formats of the sessions, if any.
b) Subjective appraisal by the participants
Subjective appraisal by the participants, of the training
received.
distributed at the end of the process, or at the end of the training
sessions.
evaluation.
---------------------------------------------------------------
23. Building a political participatory culture
What it consists of: A participatory process, to strengthen the
citizens, must help to generate a political participatory culture
among the participants.
How to evaluate it:
Subjective appraisal by the participants at the end of the
process.
+ This appraisal can refer to issues such as general satisfaction
with the process, the use of citizen participation, or the
willingness to participate once again.
+ This appraisal can be obtained either through a questionnaire or
by using a participatory quality evaluation mechanism.
122
6. EVALUATION CRITERIA SUmmARY ChART
A. Criteria related to the coordination of the process:
> Consensus
> Transversality
> Initiative and leadership
> Integration in the municipal participatory system
> Clarity of the objectives
> Planning and resources
B. Participant-related criteria:
> Number
> Diversity
> Representativity
> Openness of the process
C. Criteria related to participation:
> Relevance
> Capacity of intervention by the local administration
123
D. Criteria related to the type of participation:
> Participatory diagnosis
> Capacity to make proposals
> Level of participation
> Quality of the information
> Deliberation methods and techniques
E. Criteria related to the consequences of the process:
> Substantive results
> Implementing the results
> Result feedback
> Improvement of relationships among the players
> Training
> Building a political participatory culture
124
7. SOmE mEThODOLOGICAL ELEmENTS
Below is a brief description of some of the evaluation methods
that have arisen throughout the document. In no way does this
document intend to be a guide.
There are many other evaluation tools, but this document only
refect the most common ones
The methods have been divided in three types:
Technical analysis: methods that require neither group study
areas nor participative areas
Internal self-evaluation: group refection methods
with internal players (process developers, organizers and
coordinators)
Participative self-evaluation: evaluation methods based on the
opinions and views of the participants in the process
125
TEChNICAL ANALYSIS mEThODOLOGIES
Registers
To achieve a good evaluation of a process, it is very important
to register the participants and to identify some of their social
characteristics: gender, age, training, nationality..., and for the
organized participants: body they represent, type of association, etc.
Also, it would be advisable to have other registers related to
the reference population addressed by the process: social and
demographic data related to the reference population, register of bodies,
etc.
Analysing the project and the process
Certain quality criteria in participatory processes can be
technically evaluated by an expert merely by analyzing the project
and the process.
In such cases, the evaluation does not require collective study
mechanisms since it consists in the mere identifcation of certain
elements in the project or in its implementation.
The analysis of the project and the process consists of reviewing
the project and its implementation throughout the process.
Preferably this analysis will be performed by an expert in
participatory processes.
126
Interviews with key informers
In every process we can identify certain key persons who can
provide a wealth of information about the social and political
reality of the participating area. A group of 5 to 10 key informers
can provide, through in-depth interviews, a lot of information about the
process that can be very useful when evaluating it.
Amongst the key informers of a process, there will be persons
who will provide more information than others about the
evaluation of the process. In this sense, the most relevant
informer will be the politicians and technician in charge of the
process.
The sociogram
The sociogram is a tool that serves to identify the layout of the
players who are implicated (and/or affected) in the issue being treated,
and defnes the relationships and infuences among them.
A sociogram is none other than a graphical representation of the
group of nodes, players, (on a national, market and civil society
scale), and the relationships between them.
It is a descriptive tool that can be created individually or by a
group. It would be interesting to build it using key players who
can provide us with all the information about the social and
political reality of the participating area.
127
mEThODS FOR INTERNAL SELF-EVALUATION
Internal discussion groups
Before addressing specifc aspects of a participatory process,
it would be interesting to perform a collective study with the
persons who are most implicated in the management and
coordination of the process.
These areas can be created specifcally for the evaluation, at the
end of the process, or at the end of certain stages of the process,
and should include the politicians and technicians who are
implicated in the process.
If there are specifc bodies with process coordination or follow-
up functions which include citizens, besides technicians and
politicians, it would be useful to take advantage of these areas for
the internal evaluation.
128
mEThODS OF PARTICIPATORY SELF-EVALUATION

The questionnaire for the participants
The questionnaire is a tool that is used to obtain views and
subjective appraisals by the participants in relation to the participatory
process.
It is an instrument that the participants can use to provide an
individual evaluation of the process. It provides each participant
with an individual stance but prevents the evaluation from being
the result of a deliberation and a collective study. Nevertheless,
there is also the possibility of sending the questionnaire at the
end of a group session held to evaluate the process.
Even though it is basically a quantitative tool, the questionnaire
allows the introduction of open qualitative questions.
The questionnaire allows us to obtain quantitative data related
to different elements. In the case of closed questions, we can use
a range of questions with an opinion scale (very much / quite /
none, or a point-based evaluation from 0 to 10, etc.).
The questionnaire can be handed to the participants at the end
of the process or on site at the end of all or some of the different
participatory mechanisms that were developed during the
process.
Qualitative participatory evaluation
Seen from a qualitative point of view, an evaluation has different
participatory methodologies that allow the participants in the
process to evaluate different aspects of the process.
A qualitative evaluation allows a collective study process to be
developed among the participants regarding the participatory
process, and endows the evaluation with an important added
value.
129
Besides, a qualitative evaluation brings out more detailed
elements, elements that are more specifc to the process itself,
generates debates and explanations of why some things work
well and others do not, etc. The qualitative method provides
a better incorporation in the evaluation, of more subjective
elements and those that are diffcult to measure. A lot of these
elements are lost in a quantitative evaluation and can only be
obtained using qualitative methods.
A qualitative participatory evaluation can be carried out using
workshops or specifc meetings held for that purpose, or even
on site once the specifc participatory group mechanisms
have ended. Also specifc discussion groups can be created, or
certain process bodies (if any) can be taken advantage of to hold
evaluation sessions.
130
131
REFERENCES AND OWN DOCUmENTATION
del objeto de estudio de los OLDP: mbitos, indicadores e ndice,
coordinado por el Ayuntamiento de Donostia
Documento Marco OLDP: Tipologias de experiencias a observar por
un OLDP Coordinado por la Municipalidad de La Paz.
L
]
d
e
V
g
i
^
X
^
e
V
i
Z
h
:kVajVi^dcbZi]dYh
8gîZg^dc
:kVajVi^dchnhiZb
Edaî^XVaVXXZeiVcXZ
HdX^VaVXXZeiVcXZ
IZX]c^XVaVXXZeiVcXZ
AZkZad[^bea^XVi^dc
Y^[[ZgZciVgZVh
IgVchkZghVaînVgZVh
>cî^Vi^kZ
AZVYZgh]ê
EajgVaegdbdiZg\gdje
GZaVi^dch]êlî]di]ZgegdXZhhZh
JhZd[Zm^hi^c\WdY^Zh
6cVanh^hd[dW_ZXi^kZh
;ja[âbZcid[dW_ZXi^kZh
EaVcc^c\VcY
îh[ja[âbZci
:Xdcdb^XgZhdjgXZh
EZghdccZa
EZgXZciV\Zd[eVgi^XêVcih
EZgXZciV\Zd[
dg\VcôZYeaVnZgh
EVgi^XêVcihVbdc\i]ZhZaZXi^dc
EZgXZciV\Zd[
Y^[[ZgZci\gdjeh
9^kZghîn^cYZm
Dg\VcôVi^dc
egd[âZ
GZaZkVcieaVnZgh
;VXâîn[dg
Xdbbjc^XVi^dc
:aZXi^dcd[i]Z
gZegZhZciVi^kZh
HeZZX]ZhWni]Z
gZegZhZciVi^kZh
8dchZchjh
IgVchkZghVaîn
>cî^Vi^kZVcY
aZVYZgh]ê
HnhiZb^ciZ\gVi^dc
8aVgînd[dW_ZXi^kZh
EaVcc^c\VcY
gZhdjgXZh
CjbWZgd[
eVgi^XêVcih
9^kZghînd[
eVgi^XêVcih
GZegZhZciVi^kîn
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
G
Z
\
^
h
i
Z
g
h
E
g
d
_
Z
X
i
V
c
V
a
n
h
^
h
>
c
i
Z
g
k
^
Z
l
h
l
^
i
]
^
c
[
d
g
b
Z
g
h
H
d
X
^
d
\
g
V
b
>
c
i
Z
g
c
V
a
\
g
d
j
e
h
E
V
g
i
^
X
^
e
V
c
i
f
j
Z
h
i
^
d
c
c
V
^
g
F
j
V
a
^
i
#
e
V
g
i
#
Z
k
V
a
j
V
i
^
d
c
m m
8
d
d
g
Y
^
c
V
i
^
d
c
-
ANNEx I : SUmmARY ChART
-
8
d
c
h
f
j
Z
c
X
Z
h
DeZccZhhd[i]ZegdXZhh
DeZccZhhd[i]Z
YZX^h^kZVgZVh
Edaî^XVaV\ZcYV
GZaZkVcXZd[XîôZcVeegV^hVa
EZgXZciV\Zd[WjY\ZiV[[ZXiZY
8VeVXîn
EVgi^XêVidgn
Y^V\cdh^h
8VeVXînidbV`ZegdedhVah
AZkZad[
eVgi^XêVi^dc
>c[dgbVi^dcY^[[jh^dcX]VccZah
EajgVaînd[i]Z^c[dgbVi^dc
8aVgînVcYjiâînd[
i]Z^c[dgbVi^dc
JhZd[YZa^WZgVi^dc
iZX]c^fjZh
Edhh^Wâînidkd^XZ
dcZhdlcde^c^dc
IneZd[gZhjaih
8îôZcVeegV^hVad[i]ZgZhjaih
>beaZbZciVi^dc
7dY^Zh[dg[daadl"je
GZhjai[ZZYWVX`
GZaVi^dch]êhVbdc\XîôZch
GZaVi^dch]êVYb^c#"XîôZc
>ciZgcVagZaVi^dch]êh
IgV^c^c\hZhh^dch
8îôZcigV^c^c\
VeegV^hVa
EVgi^XêVidgnXjaijgZ
m
m
m
m
m
m
m
m
m
m
m m
m
m
m
m
m
m m m
m
m
m
m m
m
m
m m
m m
m m
m m
m
m
m
m
m
m
m
m
m
m
m
m
8
d
b
b
Z
c
i
e
V
g
i
^
X
^
e
Z
i
"
d
c
4
DeZcZhh
GZaZkVcXZ
8VeVXîn
d[^ciZgkZci^dc
EVgi^XêVidgn
Y^V\cdh^h
AZkZad[
eVgi^XêVi^dc
8VeVXînid
bV`ZegdedhVah
FjVaînd[
i]Z^c[dgbVi^dc
9Za^WZgVi^dc
bZi]dYh
>beaZbZciVi^dc
d[i]ZgZhjaih
GZhjaih
;ZZYWVX`
>begdkZbZcid[
gZaVi^dch]êh
IgV^c^c\
EVgi^XêVidgnXjaijgZ
F
j
d
^
GUIDE PRATIQUE
POUR
LVALUATION
DES PROCESSUS
PARTICIPATIFS
Guide pratique evaluation_FR 135 23/10/07 15:33:28
GUIDE PRATIQUE
POUR
LVALUATION
DES PROCESSUS
PARTICIPATIFS
Ce document a t labor avec lappui de
lInstitute de Gouvernement et Politiques
Publiques de lUniversit Autonome de
Barcelona, partir du dbat suscit par les
rsultats du Groupe de Travail constitu dans la
Vme Confrence de lOIDP (2005).
Le Groupe de Travail Elments communs
pour la dfnition dun objet dtudes des OLDP :
thmes, indicateurs et indices coordonn par
la ville de Donostia San Sebastin a dvelopp
ses tches pendant les annes 2005 et 2006.
Ce document est public et nous esprons quil
soit dune norme utilit pour toutes les villes /
rgions / institutions qui lutilisent.
Cependant, avec la volont de continuer de
perfectionner nos travaux et davancer dune
manire branche, nous demandons tous ceux
qui utilisent ce document dans lvaluation
dune pratique participative partager avec nous
ses rfexions sur lapplicabilit, utilit, forces et
faiblesses des contenus ici exprims.
Pour cela nous leur demandons denvoyer
ses rfexions au courriel oidp@bcn.cat
ou dentrer en contact avec le Secrtariat
Technique.
Traduit en franais par : OLDP de Saint-Denis
SOmmAIRE
Introduction 139
1. Quvaluons-nous ? 143
2. Le cadre conceptuel partag 145
3. Quelques premires rfexions 147
La bote outils
4. Elments Premiers 151
5. Critres dEvaluation des Processus Participatifs 154
A Critres relatifs la Coordination du processus 155
B Critres relatifs Qui participe 165
C Critres relatifs Sur quoi participe-t-on 175
D Critres relatifs Comment participe-t-on 178
E Critres relatifs aux Consquences / rsultats du processus 184
6. Tableau rsum des critres dvaluation 191
7. Quelques lments mthodologiques 193
Bibliographie et documentation utilise 201
Annexe I Tableau Rsum 202
138
GUIDE PRATIQUE POUR
LVALUATION DES PROCESSUS PARTICIPATIFS
139
INTRODUCTION
Notre engagement comme projet subventionn par le
programme de coopration dcentralise entre lEurope et
lAmrique Latine, tait la constitution de neufs Observatoires
locaux de la Dmocratie Participative et la cration dindicateurs
pour lvaluation de la qualit des expriences participatives
dans nos villes. Lobjectif est de pouvoir amliorer ces expriences
afn que les citoyennes et citoyens aient une place plus grande
dans les gouvernements locaux.
Nous avons assum de collectivement, dans le projet Urb-al, la
ncessit que les OLDP servent mesurer et valuer le degr
de dveloppement et le niveau de qualit des expriences
participatives lchelle municipale, dans le but de pouvoir
amliorer ces expriences dans le sens o les citoyens et
citoyennes jouent un plus grand rle dans le gouvernement des
villes. Il ne faut pas oublier que lobjectif fnal est damliorer
la participation, et de ce point de vue, nous voyons bien quil
savre ncessaire dvaluer ce que nous faisons afn de pouvoir
lamliorer.
Mais nous savons galement que les stratgies dvaluation et
les instruments disponibles sont nombreux et varis ; et que
les questions qui planent autour de lvaluation sont elles aussi
complexes, puisquelles voluent dans des registres diffrents
(Quest-ce que lon value, pourquoi lvalue-t-on, comment
lvalue-t-on, qui lvalue), certains tant politiques et dautres
plus instrumentaux ou mthodologiques.
Comme fruit de cette rfexion nous dtectons la ncessit
dinstruments dvaluation plus complets et plus amples
quune batterie dindicateurs. Par cela nous accordons de nous
concentrer sur la cration dune Caisse dOutils, o taient
incorpors des diffrents critres dvaluation, indicateurs
ou des aspects possibles valuer dans chaque critre et de
diverses mthodologies pour raliser lvaluation de la forme
plus approprie conformment aux caractristiques et les buts de
chaque cas.
Cette Guide Pratique nessaie pas dtre donc un systme intgral,
complet et ferm pour valuer des processus participatifs. Cette
140
Guide Pratique ce quelle prtend est doffrir un ensemble
doutils divers qui peuvent tre utiles pour lvaluation de
processus distincts participatifs; en entendant que dans chaque
processus seront slectionns (ou seront agrandis) les critres
pour l valuation, les aspects valuer et les mthodologies
utiliser, conformment aux objectifs du processus, les objectifs de
l valuation et des caractristiques du processus valu et de la
ralit sociale dans laquelle celui-ci se dveloppe.
Le document se structure de la faon suivante :
Avant de prsenter les outils dvaluation, nous considrons
importants nous situer dans les dbats principaux autour
lvaluation.
En premier lieu nous devons dfnir ce que nous valuons
lintrieur de lample spectre dobjets dtude des OLDPs.
Concrtis notre objet dtude, nous croyons quil est important
de ressortir notre cadre conceptuel partag : quelques ides qui
guident nos actions dvaluation.
Cependant, aussi nous partageons des doutes et maintenons
quelques tensions et dbats ouverts, et nous avons voulu en
laisser une constance dans ce document.
Ces trois parties (quest-ce que nous valuons, le cadre conceptuel
partag et les tensions et dbats ouverts) constituent le bloc
introductif de ce document.
Dans le deuxime bloc, appel Caisse dOutils, se prsentent les
outils dvaluation, avec la structure suivante :
1. Les lments pralables lvaluation sont ceux qui doivent
tre considrs avant lvaluation et essaient dembrasser la
diversit de situations, de contextes, de buts et de sujets propos
desquels on se propose de faire une valuation.
2. Les critres dvaluation sont les critres consensuels pour
les partenaires du projet et se rfrent cinq domaines des
processus (la coordination du processus, qui participe, sur quoi
participe-t-on, comment participe-t-on et les consquences de
GUIDE PRATIQUE POUR
141
la participation). Dans chacun des domaines, on dcrit en quoi
consiste le critre ( quoi il aspire) et comment on peut faire son
valuation.
3. Et certains lments mthodologiques, o on explique trs
rapidement certaines des mthodologies dvaluation proposes.
Enfn, un Tableau rsum, offre une synthse des diffrents critres
et indicateurs proposs avec les mthodologies respectives qui
peuvent tre utilis pour valuer chacun deux.
142
GUIDE PRATIQUE POUR
143
1. QUVALUONS-NOUS?
Les objectifs de ltude.
Quand nous parlons de lvaluation de la participation citoyenne,
nous pouvons nous rfrer diffrents objets qui doivent tre
valus. A partir de la rfexion de lensemble des partenaires des
observatoires locaux nous sommes arrivs la conclusion que les
objets valuer au sein des observatoires locaux de la dmocratie
participative peuvent tre les suivants :
> Les politiques publiques
> Le systme stable de participation
> Les processus participatifs
> Les expriences participatives
> Les acteurs sociaux
Dans tout cet ventail de possibilits dobjets observer et
valuer il existe un facteur hautement conditionnant pour
dcider de ce que lon va valuer : le facteur dchelle.
Ce nest pas la mme chose dvaluer un processus concret
de participation que dvaluer la participation dans une
grande politique publique ou la participation dans lensemble
de la ville.
Aussi, ce document prtend prendre en compte les diffrents
critres des 4 objets tudis mais se centre principalement sur
lanalyse des expriences participatives parce que nous pensons
qu partir de cette analyse nous pouvons arriver des lments
concrets et communs aux autres objets qui, pour une fois, sont
beaucoup plus diffciles prendre en compte.
Nous nous concentrons alors prsenter une srie de critres
et de mthodologies pour lvaluation des expriences
participatives (processus). Ceci ne veut pas dire quil ny a pas
144
dautres objets possibles dtude qui ne soient signifcatifs lorsque
nous parlons de participation de la citoyennet dans la politique,
nous les avons simplement exclus de ce document pour rduire
le degr de complexit de cette analyse.
Pourtant nous pensons que les critres qui sont prsents ici
sont utiles pour aborder dans une certaine mesure les autres
dimensions mentionnes ici.
GUIDE PRATIQUE POUR
145
2. LE CADRE CONCEPTUEL PARTAG
Avant de prsenter les outils dvaluation, nous croyons
important de faire ressortir notre cadre conceptuel, certaines
ides qui guident nos actions dvaluation. Ce sont les suivantes :
a) Lvaluation est un processus (il ne sagit pas dun moment
ponctuel plus ou moins important et transcendant) qui se base
sur la connaissance de la pratique travers la systmatisation
de linformation et du dbat entre les divers acteurs de cette
pratique ; et en tant prsent ds le dbut. Ainsi, dans le processus
dvaluation, peuvent intervenir une pluralit et une srie
dacteurs aussi vaste que celles qui se trouvent au sein mme
de la pratique. Voire mme plus vaste, si lon invite les agents
externes la pratique prendre part lvaluation.
En rsum, nous parlons de Processus Participatifs
dvaluation
b) LOLDP sentend comme un point de rencontre, un cadre
dchange o les divers acteurs peuvent rfchir, dbattre,
raliser des consultations et faire des propositions concernant
les dfs de la participation. Ces espaces nont pas pour but de
se transformer en structures technocratiques ou en centres
de documentation passifs, mais au contraire de devenir des
plateformes actives et inclusives . Doc. Buenos-Aires,
Novembre 2004.
c) On peut travailler, et il faut dailleurs travailler avec des
optiques mthodologiques complexes et complmentaires
(multi stratgiques) qui relient entre elles les mthodologies
dvaluation quantitative, qualitative et participative.
d) On peut distinguer diffrents niveaux ou moments techniques
et politiques dvaluation en fonction de ceux qui se chargent
de la mener bien, de ceux qui jouent un rle principal, en
font la demande ou y participe, mais aussi en fonction de ce
146
que lon souhaite valuer : les mthodes utilises, les objectifs
envisags... Un argument dcoule de tout cela : il nexiste pas
dvaluation qui les englobe tous, sous toutes leurs dimensions,
moments ou niveaux (substantif, relationnel, opratif ou
intermdiaire, technique, politique, etc.), et que par consquent,
il devient diffcile de penser une proposition a priori et sortie
de son contexte, qui serve pour tous et tout moment, de loutil
valuatif quil faut utiliser. Cette faon dagir pourrait supposer
parfois une barrire, une contrainte.
e) En rsum, les OLDP doivent se constituer comme des agents
promoteurs de la dmocratie participative (BA, N-2004)
f) Si les OLDP fnissent par devenir des points de rencontre
et de dbat entre les diffrents acteurs, si ils veulent tres les
promoteurs et non pas de simples observateurs passifs, et
si lon reconnat que nous nous trouvons dans un moment
dincertitude et dinnovation dans la matire que nous traitons, il
semble recommand denvisager la confguration dun systme
dvaluation qui se compose de divers instruments et qui se base
sur des stratgies mthodologiques plurielles bases sur un cadre
conceptuel et opratif commun.
GUIDE PRATIQUE POUR
147
3. QUELQUES PREmIRES RFLExIONS
En mme temps que nous avons t capables daccorder un cadre
conceptuel pour lvaluation, nous ne pouvons ignorer certaines
tensions que notre tche porte intrinsquement et que nous
croyons honnte dexpliquer, pour lavoir toujours en compte
dans nos dbats et rfexions:
a) Entre la ncessit dvaluer et labsence dune fnalit
claire (pour quoi ?) de lvaluation. Nous ressentons le besoin
dvaluer. Au-del de lengagement acquis concernant le projet
Urb-al, mais aussi en raison de cet engagement. Mais mme si
nous identifons ce besoin, il nous manque des rponses claires
la question de pourquoi nous voulons le faire. Vers quelles
directions focalisons-nous concrtement lvaluation ? Voulons-
nous valuer pour amliorer nos pratiques ou voulons-nous
valuer pour tablir un palmars des villes participatives ?
Voulons-nous valuer pour tablir des fltres de qualit sur ce
qui est et ce qui nest pas la vritable participation citoyenne ou
nous inclinons-nous pour tablir des critres qui servent de guide
chaque ville et chaque pratique afn quelles puissent orienter
leurs stratgies mthodologiques ?
b) Entre fxer lattention sur les politiques ou sur les
instruments grce auxquels celles-ci peuvent oprer. Ce
dilemme ou tension est davantage li au Quoi de lvaluation
quau Pourquoi . Nous pourrions fxer lattention sur les
politiques publiques substantives : urbanisme, ducation, sant,
rgnration urbaine, etc. et tablir des valuations, des tudes,
des indicateurs ou quoi que ce soit qui nous dise jusqu quel
point ces politiques incorporent une participation ; ou bien
nous pouvons choisir de centrer notre attention sur la faon de
voir jusqu quel point certaines expriences ou instruments de
participation possdent ou non une qualit propre.
c) Entre les indicateurs en tant quinstruments et les
indicateurs en tant que fnalit. cheval entre le Quoi et le
148
Comment se trouve la tension entre un objectif : valuer des
pratiques et des politiques avec une fnalit donne, et une chose
qui bien plus quun objectif semble plutt un objet rv : la
possibilit de disposer dindicateurs importants, valables,
mesurables, sensibles, comprhensibles et communicables,
ralistes et contrasts concernant la dmocratie participative.
En ce sens, noublions pas que les indicateurs indiquent
quelque chose qui en gnral va au-del de lindicateur lui mme.
Les valuations et les processus dans leur ensemble se
faussent lorsquau lieu de travailler pour atteindre leurs objectifs,
elles se ralisent pour satisfaire les indicateurs (Kaleidos, 2006).
d) Entre le besoin de connaissance et la mconnaissance : la
tension qui gnre lincertitude. Nous sommes plongs dans
une matire laquelle nous mmes, pas plus que nos milieux
institutionnels, politiques et techniques sommes suffsamment
familiariss, car nous voluons dans des territoires dinnovation
dmocratiques et dinnovation dans la gestion publique. Il
nous faut souvent fxer des objectifs participatifs, et valider des
instruments et des mthodologies pour y parvenir, et nous ne
disposons pas toujours de suffsamment de scurit pour ce que
nous faisons, nous voyons bien quil nous manque des bagages,
davantage dexprience individuelle et collective. Cela indique
quil savre ncessaire de prendre des risques, dessayer des
choses, daccepter des tests et des erreurs, de construire peu peu
et dans la pratique des systmes dvaluation. Mais dun autre
ct, nous voulons disposer dinstruments dvaluation qui ne
laissent pas de place au doute : les quantitatifs !
e) Entre lamplitude de la ralit laquelle nous faisons
rfrence ( loral et par crit) et ce que lon peut rellement
prendre en charge (par des actions et des essais). Nous
construisons le discours partir de concepts importants, qui
englobent une ralit conceptuelle et politique suffsante
(Dmocratie Participative, Participation des Citoyens,
Citoyennet et autres du mme genre) puis nous nous
apercevons que notre ralit, le contexte dans lequel nous
voluons, ce que nous sommes capables doprer et de mettre
en pratique avec ses diffcults, rsistances, contradictions et
GUIDE PRATIQUE POUR
149
limitations respectives qui pourraient tre et reprsenter un
grand changement par rapport aux formes traditionnelles dagir
et ce quil en cote de les changer, il ne nous semble pas quil ait
la puissance sociale, collective ou institutionnelle suffsante pour
pouvoir tre enregistr par un sismographe qui ne soit un
tant soit peu truqu .
150
LA BOTE A OUTILS
GUIDE PRATIQUE POUR
151
4. ELmENTS PREmIERS
Au pralable nimporte quelle valuation nous devons identifer
une srie dlments qui va conditionner loptique depuis laquelle
on va mener bien lvaluation. Ainsi avant de commencer une
valuation on devrait identifer au minimum les caractristiques
suivantes de lexprience :
Le contexte
Le cadre thmatique
Le cadre territorial
Les objectifs
Les collectifs qui participent
Le type dvaluation
Le contexte
Le contexte social, conomique et politique dans lequel on
dveloppe une exprience participative rsulte dun grand
intrt pour comprendre et analyser beaucoup de rsultats de
lvaluation.
En fonction du contexte les objectifs dun processus peuvent
tre distincts et les critres dvaluation aussi.
Le cadre thmatique
Il y a des expriences participatives sectorielles et dautres
plus globales ou intgrales.
En fonction du thme que lon aborde et surtout en fonction
du caractre plus ou moins global de celui-ci les critres
dvaluation seront aussi distincts.
Le cadre thmatique sur lequel nous participons conditionne les
lments de lvaluation. Ainsi par exemple dans les processus
152
thmatiques trs spcifques il se peut quil ny ait pas de sens
valuer la diversit des participants parce que les participants
potentiels sont un collectif homogne au regard de la nature du
processus.
Le cadre territorial
Il y a des processus qui se dveloppent dans les cadres
municipaux et dautres plus locaux, qui peuvent tre des districts
ou des quartiers. Ces lments aussi conditionneront lvaluation
du processus vu que les participants potentiels varieront.
Dans le cas de processus plus globaux on devra tenir compte
de par exemple de la diversit de lorigine territoriale des
participants vu quelle na pas de sens dans les processus
plus locaux.
Les objectifs
Toute valuation doit tenir compte des objectifs dorigine du
processus ralis puisque dans beaucoup de cas il ny aura pas de
sens valuer un processus avec des critres qui se rfre des
objectifs que ce mme processus ninterroge pas ou ne prend pas
en compte.
Sil existe certains critres minimum qui devraient tre
valus dans nimporte quel processus il y a beaucoup
dautres critres qui nont de sens tre valu que sils font
partie des objectifs du processus.
De ce fait pour lvaluation idale le mme projet devrait fxer a
priori quels sont les objectifs qui seront valus pour, a posteriori,
valuer si ils ont t atteints ou pas.
GUIDE PRATIQUE POUR
153
Les collectifs participants
Tous les processus ne se dirigent pas aux mmes participants, il
y a des processus qui sont dirigs vers des associations, dautres
qui se destinent aux citoyens non organiss, dautres vers des
collectifs spcifques de la population (comme des femmes, des
enfants, des populations indignes, etc.) ; dautres dans lesquels
vont sincorporer des techniciens et des politiques, dautres non,
etc.
En fonction des participants auxquels se destine le
processus les critres dvaluation seront diffrents.
Le type dvaluation
Il existe diffrents types dvaluations des processus participatifs
et diffrentes mthodologies pour les mener bien. Ce document
tend prsenter certaines dentre elles.
Avant de commencer lvaluation dun processus participatif il
est important de dcider quel type dvaluation lon va faire. Dans
ce sens il est important de distinguer les valuations internes
et externes et de dcider dans quelle mesure les participants du
processus seront aussi des participants de lvaluation en elle-
mme.
Orienter lvaluation vers des mthodologies plus qualitatives et
participatives peut tre un bon moyen de dpasser certaines limites
que lon a rencontr depuis toujours et que nous avons essay dvaluer
avec une mthodologie strictement quantitative. Ainsi des diffcults
comme le manque de donnes, le manque de statistiques ou le
peu de fabilit de certaines informations peuvent tre dpasses
travers dautres mthodologies qui peuvent nous permettre
dvaluer la participation citoyenne avec dautres optiques. En
mme temps nous ne devons pas oublier que lvaluation participative
sappuie sur une importante valeur ajoute en matire dimplication
des participants dans un processus dvaluation. Ceci nous permet
damliorer la participation partir de la propre exprience des
participants en mme temps que lon lgitime tant le processus
valu que lvaluation et les amliorations qui en dcoulent.
154
5. CRITRES DVALUATION DES PROCESSUS PARTICIPATIFS
En continuit on prsentera une srie de critres dvaluation
qui a t pense pour les processus participatifs. En fonction
du degr dapprofondissement avec lequel on voudra valuer
un processus, nous pourrons utiliser plus ou moins les critres
proposs. Pour chacun dentre eux, on pourra raliser lune ou
lautre mthodologie en se rfrant aux diffrentes ressources et
en dosant les diffrents degrs dapprofondissement analytique.
Ainsi, slectionner tous ou certains critres qui sont proposs
ici et les valuer avec lune ou lautre mthodologie propose ne
dpendra pas seulement du contexte et des caractristiques du
processus, mais aussi des ressources que nous pourrons utiliser
pour cette valuation.
Si nous valuons beaucoup dexpriences en mme temps,
nous devrons rpartir les ressources et cela diminuera le
degr dapprofondissement avec lequel nous analyserons
chacune dentre elle.
Dans chaque critre propos on dcrit en quoi il consiste (ou
quoi on aspire en lutilisant) et comment on peut faire cette
valuation.
A partir de la dfnition dun critre (en quoi cela consiste ?)
on pourra dcider si cela a du sens ou non de lappliquer pour
valuer notre processus. Si on dcide de lappliquer, on devra
alors choisir lune ou lautre des mthodologies que lon propose
pour valuer le degr dapprofondissement du critre en
question.
Les critres se structurent de la faon suivante :
A. La coordination du processus
B. Qui participe
C. Sur quoi participe-t-on
D. Comment participe-t-on
E. Les consquences et les rsultats du processus
GUIDE PRATIQUE POUR
155
A. CRITRES RELATIFS LA COORDINATION DU PROCESSUS
> Consensus
>Transversalit
> Initiative et leadership
> Intgration au systme participatif municipal
> Clart des objectifs
> Planifcation et ressources
I. Consensus
En quoi cela consiste : cest un processus dans lequel il y a un
large consensus sur la ncessit et la mthodologie, qui permet
davoir un succs beaucoup plus grand quun processus qui est
remis en question par le politique, le technique et le social.
Comment lvaluer :
a) Lacceptation politique
Identifer si le processus est accept par toutes les
formations politiques de la municipalit et sil y a ou non un
groupe politique qui soppose au processus
+ Pour faire cette valuation il peut tre utile davoir labor un
sociogramme
+ On peut aussi obtenir cette information travers lentretien
avec les diffrents groupes politiques ou des personnes
ressources. Un autre moyen dobtenir de linformation peut tre
au travers de groupes de discussions pluriels.
+ Il est prfrable que ce type dvaluation soit faite de faon
externe.
156
b) lacceptation sociale
Identifer si le processus est accept par tous les collectifs
ou les groupes sociaux importants pour ce processus, et sil
y a ou non un quelconque collectif ou une organisation qui
soppose ce processus.
sociogramme.
+ On peut aussi obtenir cette information travers lentretien des
personnes ressources. Un autre moyen dobtenir de linformation
peut tre au travers de groupes de discussions pluriels.
+ Il est prfrable que ce type dvaluation soit faite de faon
externe.
c) lacceptation technique
Identifer si le processus est accept par tous les techniciens
municipaux importants pour ce processus et sil y a ou non
des techniciens qui sopposent ce processus.
sociogramme.
+ On peut aussi obtenir cette information travers lentretien des
techniciens municipaux ou des personnes ressources. Un autre
moyen dobtenir de linformation peut tre au travers de groupes
de discussions internes.
+ Il est prfrable que ce type dvaluation soit fait de faon
externe.
---------------------------------------------------------------
GUIDE PRATIQUE POUR
157
2. Transversalit
En quoi cela consiste : les processus sappuyant sur un travail
interne transversal, qui implique diffrents services importants pour
ce processus tant au niveau technique que politique, sont des processus
plus effcients, en mme temps quils rduisent rsistances par
rapport limplmentation des rsultats. La transversalit est
particulirement importante quand le processus est dirig
par un service de la participation et quil a des implications
relles dans les autres services. Ce critre est aussi important
quand la thmatique a un caractre intgral et quelle requiert
limplication des diffrents services de la municipalit.
Comment value-t-on :
a) le degr dimplication des diffrentes aires politiques et
techniques
Analyser le degr dimplication des diffrentes aires
politiques et techniques importantes pour ce processus.
+ En premier lieu il est ncessaire didentifer quels vont tre
les services importants pour ce processus en accord avec la
thmatique traite et les objectifs qui sont lis.
+ On peut obtenir linformation travers lidentifcation de la
prsence ou labsence de ces services dans les diffrents organes
ou espaces de participation et/ou travers lanalyse de leurs
apports dans le processus.
+ On peut aussi obtenir linformation travers les entretiens des
diffrents techniciens et politiques, ainsi que par des groupes de
discussions internes.
+ Il est prfrable que ce type dvaluation soit ralis de faon
externe.
158
b) espaces de transversalit
Analyser si dans la planifcation des processus on peut
observer des espaces de travail transversaux dont lobjectif
est de mettre en relation les diffrents services impliqus
dans le processus.
+ Analyser comment est la transversalit dans ces diffrents
espaces. Si elle est seulement informative, cest--dire si il y a un
service leader dans le processus qui informe les autres ou si on
parle despace de codcision, de cogestion du processus partir
des diffrentes aires impliques. Cette dernire situation garantit
un degr plus grand de transversalit et deffcience.
+ On peut raliser lvaluation travers des groupes de
discussions, des valuations internes et lanalyse du projet.
---------------------------------------------------------------
3. Initiative et leadership
En quoi cela consiste : un processus participatif peut tre
linitiative de diffrents acteurs, il peut tre linitiative du
gouvernement ou dun service concret de la municipalit, dun
technicien, dune opposition, des citoyens non organiss, etc.
Linitiative conditionne le dveloppement du processus mais
ne devrait pas affecter sa qualit dmocratique.
En gnral les processus issus des initiatives citoyennes gnrent
une confance beaucoup plus grande. Ces processus peuvent
remporter des succs dautant plus grands avec dimportants
niveaux de participation.
Dans tous les cas, linitiative doit tre porte politiquement, cest
seulement travers un portage politique solide quun processus
participatif sera un processus lgitim institutionnellement.
Cette condition est indispensable pour que les rsultats du
processus soient implments et pour que le processus soit
effcace.
GUIDE PRATIQUE POUR
159
Pourtant, mme sil est ncessaire davoir un leadership politique
solide, lexistence dun groupe promoteur pluriel qui soit co-
leader ou qui coordonne le processus peut lui donner aussi une
effcacit importante et de la cohrence en le faisant en mme
temps plus proche des dynamiques relles de la municipalit.
Partager le leadership du processus garantit quil soit plus pluriel
et transparent, et en mme temps quil facilite la neutralit dans
la coordination de ce processus.
a) linitiative
Identifer les acteurs qui ont promu le dveloppement de ce
processus participatif.
+ Cette information peut sobtenir travers des entretiens
avec des acteurs cls du processus. Il est important dobtenir
linformation par diffrentes sources vu que certains acteurs
peuvent tendre sattribuer linitiative du processus.
+ Il est prfrable de faire ce type dvaluation de faon externe.
b) leadership
Identifer lexistence dun responsable politique concret qui
prend la responsabilit du processus.
+ Cette information peut sobtenir travers des entrevues des
responsables du projet.
c) Groupe promoteur pluriel
Identifer lexistence dun groupe promoteur du processus et
analyser sa pluralit
+ Un groupe promoteur pluriel est un groupe rduit form par
des acteurs distincts (politiques, techniciens et citoyens) qui
a pour fonction de faire avancer le processus en cherchant le
maximum dextension de ce processus.
+ Dans le cas de lexistence dun tel groupe on devrait analyser
160
son rle dans le processus et valider quil a rellement eu ses
fonctions.
+ Pour cette analyse de la pluralit le sociogramme peut tre un
outil daide.
+ Lanalyse des fonctions et de la pluralit du groupe promoteur,
sil existe, doit tre faite plutt de faon externe.
+ Il peut tre utile quun groupe promoteur, sil existe, ralise
certaines sessions dautovaluation de son fonctionnement tout
au long du processus.
---------------------------------------------------------------
4. Intgration au systme participatif municipal
En quoi cela consiste : certaines municipalits ont un systme
de participation plus ou moins stable. Dans ces cas, il convient
danalyser jusqu quel point le processus valu sintgre ou non
dans un systme participatif.
Les processus participatifs dans une commune donne nont
pas de raison de varier par rapport son systme stable de
participation. Pourtant, il convient dtre cohrent avec soi-mme
dans la mesure du possible. Il y a ncessit intgrer et coordonner pour
ne pas dupliquer les forces et ne pas saturer le potentiel participatif de
la citoyennet. Cest dans ce sens quil peut tre utile dutiliser les
organismes et les structures de participation qui existent dj au
sein de la municipalit.
a) relation avec les autres processus de la municipalit
Analyser qualitativement comment le processus valu est en
relation avec dautres processus au sein de la municipalit.
+ Porter une attention spciale voir sil existe ou non dautres
formes de coordination entres les diffrents processus.
GUIDE PRATIQUE POUR
161
+ Il est prfrable que ce type dvaluation soit ralise de faon
externe.
b) utilisation dorganes ou de structures existantes
Identifer si le processus valu utilise des organes ou des
structures participatives au sein de la municipalit.
Analyser qualitativement la faisabilit de cette utilisation de
structures et identifer sil y a
+ Pour faire lvaluation il peut tre utile de travailler avec un
groupe de discussion comme les participants de ces organismes
ou structures.
+ Il est prfrable que cette valuation soit ralise de faon
externe.
---------------------------------------------------------------
5. Clart des objectifs
Cela consiste en : les objectifs dun processus participatif
doivent tre clairs pour faciliter la tche tant pour les
gestionnaires du processus que pour les participants.
La clart des objectifs donne au processus de la cohrence
et de la transparence.
Il est fondamental que les objectifs du processus tablissent les
limites de ce mme processus en vitant ainsi de gnrer des faux
espoirs.
Au-del dune analyse des objectifs il est aussi important
dvaluer jusqu quel point les objectifs initiaux ont t utiliss
comme des lments guidant le processus et jusqu quel point
les rsultats du processus rpondent aux objectifs initiaux.
162
Comment valuer :
a) analyse des objectifs
Identifer les objectifs du processus et sil y en a, analyser
leur clart.
+ Une bonne manire dobtenir ces informations peut tre
via questionnaire ou via des ateliers dvaluation pour les
participants du processus.
b) accomplissement des objectifs
Analyser le degr de ralisation des objectifs fxs, en cas
de non ralisation des objectifs, analyser les causes pour
lesquelles ils nont pas t raliss.
+ Une bonne manire dobtenir ces informations peut tre
via questionnaire ou via des ateliers dvaluation pour les
+ Il peut tre aussi utile de faire une autre valuation dans les
groupes de discussion internes.
---------------------------------------------------------------
6. Planifcation et ressources
En quoi cela consiste : la participation ne simprovise pas
ainsi convient-il de planifer tout le processus participatif en
identifant ses phases et sa chronologie.
La planifcation permet de prvoir les diffcults, dorganiser
la participation, doffrir une meilleure qualit dans le
processus et de garantir une transparence majeure.
En mme temps, quand on planife un projet il faut prvoir les
ressources conomiques et techniques qui seront ncessaires. Un
processus obtiendra une qualit majeure quand les ressources
conomiques et techniques seront en adquation avec les
objectifs fxs.
GUIDE PRATIQUE POUR
163
a) analyse de la planifcation et de sa ralisation
Identifer sil existe ou non une planifcation du processus.
Analyser qualitativement la planifcation. Une bonne
planifcation doit dtailler les lments suivants :
I. Les objectifs du processus
II. Les phases
III. La chronologie
IV. Les tches prvues pour chaque phase
V. Les lments de diffusion
VILes ressources ncessaires pour chaque phase et
pour lensemble du processus
Analyser qualitativement le degr de ralisation des
documents de planifcation. En cas de non ralisation des
objectifs, analyser les causes pour lesquelles a ne sest pas
fait.
+ Les groupes de discussion internes peuvent aider faire ce type
dvaluation.
+ Il est prfrable de faire ce type dvaluation de faon externe.
b) ressources conomiques
Identifer le budget prvu pour le processus.
Analyser ladquation du budget avec les objectifs du projet.
+ Cette information peut tre obtenue auprs du responsable du
processus.
c) personnel
Identifer lexistence et le volume de ressources techniques
propres et externes ddies au projet.
164
+ Degr de spcialisation et de professionnalisation du personnel
+ Analyser ladquation des ressources techniques aux objectifs
du projet.
+ Cette information peut tre obtenue auprs des responsables
du processus.
GUIDE PRATIQUE POUR
165
B. Critres relatifs qui participe :
> Quantit
> Diversit
> Reprsentativit
> Degr douverture du processus
7. Quantit de participants
En quoi cela consiste : plus il y aura de participants, plus
le processus sera de qualit. Il faut prendre en compte la
valorisation de la quantit de participants toujours par rapport
aux objectifs du processus et la population de rfrence que lon
vise. En mme temps on ne peut pas oublier que limportant
est non seulement la quantit mais aussi la diversit des
participants.
Comment on lvalue : lvaluation de ce critre dpend du
type de processus et de qui sont les destinataires. En tout cas
pour valuer on se propose trois indicateurs qui permettent
de calculer les participants rels par rapport aux participants
potentiels. Chaque indicateur rpond diffrentes possibilits de
processus et de participants.
a) pourcentage de participants en relation avec la
population de rfrence
Nombre de participants sur la population de rfrence (en
pourcentage).
+ Il est utile pour les processus o les participants sont des
citoyens (nes) non organiss. On peut aussi lutiliser dans les
processus o la participation organise se combine avec des
citoyens non organiss. On peut aussi dans un dernier cas dire
que lindicateur peut se rfrer lensemble des participants ou
uniquement ceux qui ne sont pas organiss.
166
+ Il y a parfois plus de sens dans les processus ouverts la
totalit de la population de rfrence. Pour les processus ferms
(le nombre de participants est restreint et ces derniers sont
slectionns) : voir apart numro C.
+ Dans tout les cas il faut prter beaucoup dattention pour
voir quelle est la population de rfrence (vers qui se dirige ce
processus).
+ On peut utiliser ces critres pour les diffrentes sessions ou
mcanismes de participation dun processus ou pour lensemble
du processus. Dans ce dernier cas il faut comptabiliser le nombre
de participants sans rptition (un participant qui assiste deux
sessions du processus doit tre compt comme un participant et
non comme deux).
+ On peut aussi calculer la moyenne de participants par session.
Cette donne peut tre utile dans des organismes stables de
participation, mais elle perd du sens quand les diffrentes
sessions dun processus sont publiques ou ont des objectifs
distincts.
+ Pour utiliser cet indicateur il faut de faon prventive, au
dmarrage, du processus prvoir le dcompte des participants
pour viter les doublons dans ce dcompte.
b) pourcentage dacteurs organiss sur le total de rfrence
Nombre dacteurs organiss sur le total dacteurs de
rfrence (en pourcentage).
+ Il est utile pour les processus o les participants sont des
citoyen (nes) non organiss. On peut aussi lutiliser dans les
processus o la participation organise se combine avec des
citoyens non organiss. Dans tous les cas lindicateur doit se
rfrer aux participants organiss.
+ Dans tout les cas il faut prter beaucoup dattention pour voir
quels sont les acteurs organiss de rfrence (vers qui se dirige ce
processus).
+ On peut utiliser ces critres pour les diffrentes sessions ou
mcanisme de participation dun processus ou pour lensemble
du processus. Dans ce dernier cas il faut comptabiliser le nombre
GUIDE PRATIQUE POUR
167
de participants sans rptition (un participant qui assiste deux
non comme deux).
distincts.
dmarrage du processus, prvoir le dcompte des participants
c) pourcentage dassistants en relation avec les participants
slectionns.
Nombre dassistants sur les participants slectionns (en
pourcentage).
+ Il est utile pour tous les processus ferms (nombre de
participants restreints et slectionns). Dans ces processus les
participants peuvent tre organiss ou non, ou la combinaison
des deux. Lindicateur nous montre le degr de participation
effective des participants slectionns pour le processus.
+ On peut lutiliser pour les diffrentes sessions ou mcanismes
du processus ou pour le processus dans son ensemble. Dans
ce dernier cas il faut comptabiliser le nombre de participants
du processus sans rptition (un participant qui assiste deux
non comme deux).
distincts.
dmarrage du processus, prvoir le dcompte des participants
168
8. Diversit
En quoi cela consiste : un processus aura une qualit
dmocratique majeure si lon est capable dy incorporer la
diversit de la socit dans laquelle il se dveloppe, cest--dire si
tous les diffrents groupes sociaux ou les diffrents intrts sont
reprsents. Dans ce sens, il faut prendre en compte les groupe
sociaux habituellement sous reprsents dans les processus
participatifs comme les femmes, les jeunes, les immigrs (les
groupes sous reprsents peuvent tre distincts en fonction du
contexte social dans lequel se dveloppe le processus).
De mme, pour garantir la diversit dun processus il faut
prendre en compte la diversit des associations actives au sein
du territoire et qui sont vraiment intressantes par rapport la
problmatique soumise la participation.
Comme les autres critres, celui-ci aura plus ou moins de sens
en fonction des destinataires du processus. Plus on est slectif,
moins ce critre a de sens, cest--dire que si le processus
participatif est destin un collectif trs spcifque (par exemple
les femmes immigres), ce critre aura moins de sens puisque
dans tous les cas le processus ne cherche pas avoir la plus
grande diversit de population mais se destine un groupe
spcifque.
Comment lvalue-t-on :
a) pourcentage dun collectif dtermin ou groupe social
Lvaluation se ralisera en comparant le pourcentage des
participants de ces collectifs dans un processus avec le
pourcentage de ces collectifs dans la socit de rfrence.
Certains collectifs ou groupes sociaux peuvent tre les
suivants :
I. les femmes
II. diffrents groupes lis lge (enfants, moins de 30
ans, plus de 65, etc.)
III. les immigrs
IV. diffrents degrs de formation (basique, suprieur)
GUIDE PRATIQUE POUR
169
V. les distinctions de classes sociales
VI. population noire, population indigne, etc.
(correspond aux pays Amrique Latine)
VII. diffrentes aires territoriales (district, quartier,
zones dissmines, etc.)
VIII. autres en fonction des caractristiques du
processus et du contexte
+ On peut utiliser ce critre pour diffrentes sessions ou
mcanismes de participation dans un processus ou pour
lensemble du processus.
+ Pour utiliser ces indicateurs il faut avant tout, au dmarrage du
processus, bien prendre en compte le nombre de participants.
Dans nimporte quel cas on peut avoir des diffcults pour obtenir
certaines de ces informations (formation, classes sociales, etc.)
b) indice de diversit
Pour valuer le degr de diversit entre les participants
dun processus de manire agrge on peut utiliser
les indicateurs (les diffrents pourcentages dcrit
prcdemment) en terme dindice.
+ Par exemple si on prend trois collectifs (femmes, jeunes et
immigrs) et que lon agrge leur prsence ou leur absence dans
un processus de la faon suivante :
I. Si le pourcentage de femmes est gal ou suprieur au
pourcentage de femmes dans la socit de rfrence, on
agrge 5 points, sinon on nen met aucun.
II. si le pourcentage de jeune est gal ou suprieur au
agrge 5 points, sinon on nen met aucun
III. si le pourcentage dimmigrs est gal ou suprieur au
agrge 5 points, sinon on nen met aucun
IV. Lindice est obtenu par la somme des trois indicateurs,
fnalement on peut dire que la diversit est haute si la
170
valeur de lindice est 15, moyenne si cest 10 et bas si cest 5
ou 0.
c) profl des organisations participantes
Pourcentage des diffrents types dorganisations participants
aux processus (voisins, entrepreneurs, syndicats, gens dans
la culture, sportifs, politiques, etc.) et valuation de leur
reprsentation.
Lvaluation de cette reprsentation dans le processus est
fonction de :
I. la thmatique du processus
II. les objectifs du processus
III. la prsence et la reprsentativit des diffrentes
organisations dans le contexte social o a lieu le
processus.
+ Identifcation des typologies dorganisations qui ne participent
pas et valorisation de la ncessit de leur participation dans le
processus.
+ Il est utile pour ces processus que les participants soient des
acteurs organiss. Aussi on peut lutiliser dans les processus o
lon combine la participation de citoyens organiss avec des
citoyens qui ne le sont pas. Dans ce cas lindicateur peut se rfrer
uniquement aux participants organiss.
+ Il est prfrable de faire ce type dvaluation de manire
externe.
d) identifcation des acteurs et groupes sociaux importants.
Identifer si parmi les participants il manque un acteur
important ou cl pour le thme qui est soumis la
participation.
GUIDE PRATIQUE POUR
171
+ Pour mener bien ce type didentifcation dacteurs absents
il peut tre trs utile davoir labor de faon prventive un
sociogramme.
+ Cette valuation doit tre ralise de manire externe.
---------------------------------------------------------------
9. Reprsentativit des participants.
En quoi cela consiste : dans certains processus, tous ou
certains des participants participent en reprsentation dacteurs
organiss. Dans ces cas, les critres de qualit dmocratique
consistent garantir que ces reprsentants sont rellement
porteurs dun discours collectif.
Celui-ci est un critre uniquement applicable aux processus dans
lesquels on tient compte, de faon partielle ou absolue, de la
participation des acteurs organiss.
Les garanties que les reprsentants sont porteurs dun discours
collectif sont donnes par trois types dlments : ceux relatifs
au processus, ceux relatifs lorganisation et ceux relatifs aux
personnes qui exercent la fonction de reprsentant. Le processus
doit faciliter la possibilit pour les reprsentants de retransmettre
linformation leur organisation et peut permettre bien sr
davoir des dbats internes. Les organisations doivent lire leurs
reprsentants et participer au dbat interne, et les reprsentants
doivent participer aux processus en restant fdles aux apports
qui ont t donns par leur organisation, sans faire dapports
personnels.
a) facilits pour le fux dinformation entre les
reprsentants et les reprsents
Analyses de la planifcation du processus (sessions
et chronologie). Il faut voir si de faon prventive les
172
reprsentants des organisations peuvent rapporter de
linformation leur organisation, gnrer un dbat interne
et revenir au sein du processus avec les apports de cette
organisation.
+ Il est prfrable que ce type dvaluation soit ralis de faon
externe.
b) lection des reprsentants
Pourcentage dorganisations qui ont lu en assemble leurs
reprsentants pour ce processus.
+ Cette donne peut tre recueillie travers un questionnaire aux
participants qui sont reprsentants des organisations.
c) fdlit du discours des reprsentants au discours de
lorganisation
Analyser jusqu quel point les discours des reprsentants
sont fdles aux discours des organisations respectives.
+ Cette analyse peut se faire via des entretiens des membres de
lorganisation qui nont pas exerc le rle de reprsentant de
lorganisation dans le processus. Pour cela, il est ncessaire de
disposer des interventions au sein du processus des reprsentants
comme des membres de lorganisation (actes de lorganisation).
+ On peut aussi faire lanalyse comparative des actes de
lorganisation dans le cas o ces organisations ont fait des
comptes rendus des sessions et que ces comptes rendus sont
accessibles.
+ Cette valuation na de sens que si les organisations ont
dvelopp un dbat interne en relation avec le processus.
+ Ce type dvaluation requiert un effort trs important.
---------------------------------------------------------------
GUIDE PRATIQUE POUR
173
10. Degr douverture du processus
En quoi cela consiste : les processus participatifs peuvent tre
ouverts tous les citoyens ou peuvent tre restreints quelques
participants. En principe, ouvrir les processus un maximum de
collectifs et de citoyens amliorera la qualit dmocratique ; nonobstant
en prenant toujours comme rfrence la population qui sadresse ce
processus.
Beaucoup de processus ont des espaces plus restreints et dautres
plus ouverts, avec des fonctions distinctes, et dans la majorit des
cas on recherche une oprativit majeure dans le dveloppement
du processus. Ainsi quelques organes restreints nimpliquent pas
que le processus soit restreint si on a des espaces de participation
ouverts tous les citoyens en parallle.
Il peut arriver aussi que dans certains cas on puisse justifer la
restriction dans la participation un processus : cause de la
thmatique traite, du public destinataire, du mcanisme de
participation utilis, etc.
Comment lvalue-t-on ?
a) degr douverture du processus
Identifer si le processus est :
Ouvert : toutes les sessions participatives sont ouvertes
tous les citoyens (auxquels le processus se destine)
Mixte : il y a des sessions ouvertes et des sessions
restreintes
Ferm : toutes les sessions de participation sont restreintes
une slection de participants.
+ On peut aussi appliquer ce critre diffrents espaces
participatifs dun processus ou aux organes de participation
dune collectivit.
+ Il est prfrable que cette valuation soit faite de faon externe.
174
b) degr douverture des espaces de dcisions
Identifer si les espaces de dcision dans un processus sont
restreints une slection de participants ou ouverts tous
les citoyens vers lesquels le processus est dirig.
+ Ce type dvaluation na de sens que lorsquil y a des espaces de
prise de dcision dans le processus.
+ Il est prfrable que cette valuation soit faite sous forme
externe.
GUIDE PRATIQUE POUR
175
C. CRITRES EN RELATIFS AU ThmE SUR LEQUEL ON
PARTICIPE
> Lintrt
> La capacit dintervention de ladministration locale
11. Lintrt
En quoi cela consiste : la participation devrait sappliquer
des aspects importants pour une communaut. Les processus
participatifs pourront participer leffcacit des politiques
publiques quand elles traitent de thmatiques importantes pour
la citoyennet.
Comment lvalue-t-on ? :
a) lagenda politique
Identifer si le thme soumis participation fait partie de
lagenda politique du gouvernement municipal.
+ On peut identifer travers lanalyse des lignes stratgiques
du gouvernement un programme municipal, ou au travers
dentretiens avec des politiques responsables en la matire.
b) Valorisation subjective de la citoyennet
Analyser la perception des citoyens sur lintrt du thme
soumis participation.
+ Cette valuation peut se faire travers un questionnaire
dautovaluation des participants au processus. Linconvnient
de cette mthodologie est quon captera uniquement la
perception des participants qui sont probablement des personnes
intresses par la thmatique.
176
+ On peut aussi obtenir linformation lorsquavant le processus
participatif, on a men un diagnostic participatif au sein duquel
on a identif les principaux problmes de la municipalit.
c) pourcentage du budget affect par le rsultat du
processus
Quantit de ressources affectes par le rsultat en relation
avec le budget municipal ou le budget reli la thmatique
en question.
+ Plus importantes seront les ressources affectes par le
rsultat du processus, plus important sera le thme soumis la
participation.
+ Dans certains processus le rsultat na pas daffectation
conomique concrte. Cest le cas par exemple des processus
dont lobjet est la dfnition de lignes stratgiques, ou des plans
dactions pluriannuels sans concrtisation dune affectation
budgtaire annuelle.
+ Cette information peut sobtenir du projet ou dentretiens avec
le responsable politique du processus.
---------------------------------------------------------------
12. Capacit dintervention de ladministration locale
En quoi cela consiste : un processus participatif du maire local
sera plus effcient sil aborde des thmatiques pour lesquelles la
capacit dintervention de ladministration locale est grande. Si
ce nest pas le cas, le gouvernement municipal devra requrir
la complexit de ladministration supra-locale pour excuter les
rsultats du processus.
GUIDE PRATIQUE POUR
177
a) comptences dintervention en la matire
Identifer si le thme soumis participation est ou nest pas
de la comptence municipale.
+ Si ce nest pas le cas, identifer sil existe au moins des affnits
avec ladministration supra-locale pour mener bien les rsultats
du processus.
+ Linformation peut aussi tre obtenue via des entretiens avec le
responsable du projet ou via la validation avec des responsables
de ladministration supralocale impliqus dans le processus.
---------------------------------------------------------------
178
D. CRITRES RELATIFS COmmENT ON PARTICIPE :
> Diagnostic participatif
> Capacit de proposition
> Degr de participation
> Qualit de linformation
> Mthodes et techniques de dlibration
13. Diagnostic participatif
En quoi cela consiste : pour pouvoir participer dans nimporte quel
processus il est bon de connatre ltat de la question sur laquelle on
participe. Ainsi il est bon de partir dun diagnostic qui tablisse
les principaux problmes et thmes du dbat. La qualit
dmocratique du processus sera dautant plus grande que le
diagnostic sest fait de faon participative.
Comment lvaluer :
Identifer si dans le processus on a utilis ou ralis un
diagnostic et analyser le degr de participation dans
llaboration de ce diagnostic.
+ Pour analyser le degr de participation dans le diagnostic, voir
lapart 15 de ce document.
---------------------------------------------------------------
GUIDE PRATIQUE POUR
179
14. Capacit de proposition
En quoi cela consiste : un processus participatif dveloppera
plus les droits des citoyens sil permet que les participants
fassent des propositions. Certains processus participatifs
ne prvoient pas cette possibilit parce quon la dcid
ainsi mthodologiquement, dautres ne la prvoit pas parce
que lobjectif du processus se centre sur dautres phases de
llaboration dune politique publique, par exemple le diagnostic.
Comment lvaluer :
Identifer si le processus offre la possibilit ou non de faire
des propositions.
+ Pour le faire on peut mener une analyse du processus.
+ Une autre manire dvaluer cet lment peut tre lanalyse
de la perception des participants au processus travers un
questionnaire ou un atelier dvaluation.
+ Lvaluation peut tre mene bien par lensemble des gens qui
ont particip au processus ou une de ses phases ou mcanisme
particulier.
---------------------------------------------------------------
15. Degr de participation
En quoi cela consiste : la participation des citoyens dans un
processus participatif peut avoir diffrents degrs. Arnstein
(1969) a propos la graduation suivante :
Information
Communication
180
Consultation
Dlibration
Dcision
Dans certains cas il nest pas facile de classer le processus
participatif au sein de cette typologie. Un regroupement de la
typologie comme suit peut faciliter les choses :
Information communication
Consultation dlibration
Dcision gestion
En gnral on considre que les processus qui ont uniquement
des lments dinformation communication ne sont pas des
processus participatifs.
Cette typologie est pense comme une chelle de valeur, soit plus
ou moins de participation des citoyens dans la prise de dcision.
Pourtant,
Il faut viter de faire une association directe entre plus
grande participation et meilleure qualit dmocratique
dun processus. Il est clair que plus grand est le degr de
participation, plus grand bien sr est lamplifcation des
droits et des responsabilits citoyennes, mais il y a beaucoup
dautres lments qui conditionnent la qualit dmocratique
dans un processus participatif.
Les processus dlibratifs peuvent avoir une grande qualit
et un norme potentiel pdagogique, tandis que les processus
uniquement de dcision peuvent tre de trs mauvaise qualit en
fonction de qui sont les participants et quelles restrictions ont t
donnes dans la prise de dcision.
Comment lvaluer :
Analyser qualitativement le degr de participation avec les
GUIDE PRATIQUE POUR
181
Analyser aussi qualitativement quels sont les degrs de
participation qui ont t possibles durant le processus (est-
ce quil y a eu de linformation, de la dlibration, etc.).
+ Pour raliser cette valuation il peut tre utile dy incorporer
la perception des participants travers un questionnaire ou un
atelier.
+ Il est prfrable de faire cette valuation de faon externe.
---------------------------------------------------------------
16. Qualit de linformation
En quoi cela consiste : un bon processus participatif doit offrir aux
participants toute linformation ncessaire pour pouvoir dbattre et
dcider. Pour cela on doit produire une information plurielle et
de qualit. Pour cela linformation doit tre claire et utile et il
convient de clarifer les objectifs du processus.
Il est aussi ncessaire dutiliser les canaux adquats pour
atteindre tous les participants potentiels. Tous les participants
potentiels doivent tre au courant du processus participatif et doivent
pouvoir accder toute linformation.
Une bonne diffusion du processus facilite la participation de
tous les participants potentiels dans des conditions optimales
dgalit.
Comment lvalue-t-on ? :
a) Canaux dinformation diffusion
Identifer les canaux utiliss : des panneaux, des cartes, des
appels tlphoniques, des e-mails
Identifer les fragilits dans les canaux dinformation en
analysant si linformation est arrive tous les participants
potentiels.
182
Analyser qualitativement le degr deffcacit des canaux
pour transmettre linformation tous les participants
potentiels.
+ Pour faire cette valuation il peut tre utile de travailler avec
des groupes de discussion internes ou des ateliers.
b) pluralit de linformation produite
Analyser la pluralit des sources dinformations utilises
dans le processus en identifant les diffrentes sources et
les diffrentes visions ou opinions sur le thme soumis la
participation.
+ Valorisation subjective des participants. Celle-ci peut tre
recueillie travers un questionnaire la fn du processus ou
un moment de la participation. On peut aussi raliser une
valuation participative qualitative.
c) clart et utilit de linformation produite
+ Valorisation subjective des participants. Celle-ci peut tre
recueillie travers un questionnaire la fn du processus ou
un moment de la participation. On peut aussi raliser une
---------------------------------------------------------------
17. Mthodes et techniques de dlibration
En quoi cela consiste : les espaces dlibratifs shabituent gnrer
des ingalits de dlibration et de communication entre les diffrents
participants. Pour pallier ces ingalits, il est recommand
dutiliser les techniques et mthodes spcifques qui peuvent les
rduire.
GUIDE PRATIQUE POUR
183
Une de ces techniques habituelles est dutiliser un simple
modrateur dans les dbats. Il existe dautres techniques
spcifques de travail en groupe qui facilitent que tous les
participants puissent intervenir.
Comment lvaluer :
a) Usage des techniques de dlibration
Identifer si dans un processus on a utilis des techniques ou
des mcanismes pour pallier les ingalits dans les espaces
dlibratifs.

b) Possibilit dexercer notre propre voix
Valorisation subjective des participants
+ On peut recueillir ces critres travers un questionnaire la fn
du processus ou lors dun mcanisme de participation.
+ On peut aussi utiliser cet indicateur via une valuation
participative qualitative.
---------------------------------------------------------------
184
E. CRITRES RELATIFS AUx CONSQUENCES DU PROCESSUS
> Rsultats substantiels
> Implmentation des rsultats
> Restitution des rsultats
> Amlioration des relations entre acteurs
> Formation
> Production dune culture politique participative
18. Rsultats substantiels
En quoi cela consiste : pour la lgitimit dun processus
participatif il est basique que lon ait des rsultats substantiels qui
rpondent aux besoins rvls dans la mise en place dun processus.
Comment lvaluer :
a) Type de rsultat
Identifer lexistence dans un document de rsultats
substantiels du processus
+ Type de rsultats obtenus : actes, diagnostics, plans, actions
concrtes, mmoires, etc
+ Analyser limpact des rsultats dans les politiques publiques.
Tous les rsultats nont pas le mme impact. Ainsi les actions
concrtes, si elles sont implmentes, doivent probablement
avoir un impact plus important que les actes dun processus
consultatif.
+ Pour mener bien cette valuation il peut tre utile de
travailler avec des groupes de discussion internes.
GUIDE PRATIQUE POUR
185
b) Valorisation subjective des rsultats par les participants
Analyse participative de lutilit des rsultats du processus,
de son impact et de ladquation aux besoins rvls par le
processus.
+ Valorisation subjective des participants. On peut la recueillir
travers un questionnaire la fn du processus ou par un
mcanisme de participation. On peut aussi la recueillir par une
---------------------------------------------------------------
19. Implmentation des rsultats
En quoi cela consiste : les rsultats substantiels dun processus
participatif doivent tre implments.
Pour que les rsultats soient rellement implments et quils le
soient de faon fdle et cohrente au dbat participatif, il faut
crer un organe qui en fasse le suivi. Cela peut tre un organe
nouveau cr cette fn, ou on peut utiliser un organe qui
existe dj et qui a particip au processus, comme par exemple
le groupe promoteur pluriel sil existe. Normalement on parle
dorganismes pluriels lorsquils reprsentent lensemble des
Comment lvaluer :
a) Implmentation des rsultats
Vrifer limplmentation des rsultats tangibles.
+ Il se peut que limplmentation des rsultats ne soit pas
tangible ou quelle soit prvue un peu plus tard. Dans ce cas
on peut vrifer que les rsultats du processus ont t ratifs
institutionnellement par le Conseil Municipal ou un autre
organisme institutionnel.
186
+ Cette information peut tre obtenue par lanalyse du processus
travers un entretien avec un responsable politique du
processus.
b) Organes de suivi
Identifer lexistence ou la rvision de cration dun
organisme de ce type et analyser sa pluralit.
+ Si un tel organisme existe on devra analyser son rle dans
le processus et valider sil a rellement des attributions
importantes. Il est intressant de voir les mesures prises par
cet organisme si on ne suit pas limplmentation des rsultats
et analyser sa capacit relle de pression sur le gouvernement
municipal.
+ Lanalyse des fonctions et de la pluralit de lorgane de suivi sil
existe : il est prfrable que celle-ci soit ralise de faon externe.
+ Il peut tre utile, si cet organisme de suivi existe, quil ralise
quelques sessions dautovaluation de son fonctionnement tout
au long du processus.
---------------------------------------------------------------
20. Restitution des rsultats
En quoi cela consiste : un processus participatif de qualit
devra prvoir une restitution des rsultats au fnal du processus
pour que les participants connaissent les rsultats, les valident, et puisse
terminer le processus. Cette pratique est un lment fondamental de
transparence pour garantir la lgitimit des processus participatif et
crer la confance ces citoyens dans les institutions.
GUIDE PRATIQUE POUR
187
Comment lvaluer :
Identifer si le processus prvoit une restitution.
+ Analyser le format de la restitution des rsultats si elle existe :
actes prsentiels, ateliers de restitution, documents envoys aux
participants, cartes, etc
+ La restitution devra tre transparente et jouira dune qualit
dmocratique majeure si elle est participative et quelle permet
non seulement que les participants soient informs mais quils
puissent aussi valider ces rsultats.
+ Il est prfrable que cette valuation soit ralise de faon
externe.
---------------------------------------------------------------
21. Amliorer les relations entre acteurs
En quoi cela consiste : pour dvelopper la citoyennet un
processus participatif ne devrait pas seulement aspirer un
rsultat substantiel mais devrait aussi renforcer les relations
entre les participants.
Si le processus est bien gr, ce renforcement des relations
sociales permet de dpasser les dynamiques de confit avec
une plus grande facilit.
Comment lvaluer :
a) Amlioration des relations citoyennes
Analyse de limpact du processus sur les relations sociales :
entre citoyens, entre associations, entre citoyens et
associations, etc.
+ Valorisation subjective des participants. Cette information peut
tre rvle par un questionnaire la fn du processus ou la fn
de quelques mcanismes de participation. On peut la raliser par
une valuation qualitative participative.
188
b) Amlioration des relations entre administration et
citoyens
Analyse de limpact du processus sur les relations entre
administration et citoyens.
+ Valorisation subjective des participants. Cette information peut
tre rvle par un questionnaire la fn du processus ou la fn
de quelques mcanismes de participation. On peut la raliser par
une valuation qualitative participative.
c) Amlioration des relations internes
Analyse de limpact du processus sur les relations internes :
relations entre reprsentants politiques des diffrentes aires
ou groupes, relations entre politiques et techniciens, etc.
+ Pour mener bien cette valuation : avec des groupes de
discussions internes.
---------------------------------------------------------------
22. Formation
En quoi cela consiste : un processus participatif sera de
meilleure qualit si on arrive former ses participants la
participation citoyenne. La formation peut tre trs concrte sur
le thme soumis participation ; plus gnrique pour arriver un
meilleur fonctionnement des processus participatifs en gnral
(capacit parler, comprendre le fonctionnement des processus
participatifs, connatre le fonctionnement de ladministration,
etc.) ; ou plus abstraite sur la dmocratie et ses valeurs.
GUIDE PRATIQUE POUR
189
Comment lvaluer :
a) Sessions de formation :
Identifer si le processus a prvu des sessions concrtes de
formation.
Analyser les objectifs et le format de ces sessions si elles
existent.
+ Pour mener bien cette valuation : groupes de discussions
internes
b) Valorisation subjective des participants
Valorisation subjective des participants sur la formation
reue.
+ Valorisation subjective des participants. On peut la recueillir
travers un questionnaire la fn du processus ou par un
mcanisme de participation. On peut aussi la recueillir par une
---------------------------------------------------------------
190
23. Cration dune culture politique participative
En quoi cela consiste : un processus participatif, pour renforcer
la citoyennet, peut contribuer produire une culture politique
participative entre les participants.
Comment lvaluer :
Valorisation subjective des personnes participantes la fn
du processus
+ Cette valorisation peut se rfrer des thmes comme la
satisfaction gnrale gnre par le processus, lutilit de la
participation citoyenne ou les dispositions vouloir participer
un nouveau processus participatif.
+ Cette valorisation peut tre ralise via un questionnaire ou un
mcanisme qualitatif dvaluation participatif.
---------------------------------------------------------------
GUIDE PRATIQUE POUR
191
6. CADRE RSUm DES CRITRES DEVALUATION
A. Critres en relation avec la coordination du processus :
> Consensus
> Transversalit
> Initiative et leadership
> Intgration au systme participatif municipal
> Clart des objectifs
> Planifcation et ressources
B. Critres en relation avec qui participe :
> Quantit
> Diversit
> Reprsentativit
> Degr douverture du processus.
C. Critres en relation avec le thme sur quoi participe-t-on :
> Lintrt
> La capacit dintervention de ladministration locale
192
D. Critres en relation comment on participe :
> Diagnostic participatif
> Capacit de proposition
> Degr de participation
> Qualit de linformation
> Mthodes et techniques de dlibration
E. Critres en relation avec les consquences du processus :
> Rsultats substantiels
> Implmentation des rsultats
> Restitution des rsultats
> Amlioration des relations entre acteurs
> Formation
> Production dune culture politique participative
GUIDE PRATIQUE POUR
193
7. QUELQUES LmENTS mThODOLOGIQUES
On prsentera ici des faons trs brves et sans intention dtre
un guide mthodologique quelques mthodologies dvaluation
abordes dans ce document.
Il existe beaucoup doutils dvaluation mais on a ici simplement
pris les plus communes.
On a divis les mthodologies en trois types :
Celles faisant appel lanalyse technique, ce sont des
mthodologies qui ne requirent ni des espaces de rfexion en
groupe ni des espaces participatifs.
Lautovaluation interne : mthodologies de rfexion en
groupe avec les acteurs intervenus (promoteurs, organisateurs,
coordonnateurs du processus).
Lautovaluation participative : mthodologies dvaluation
partir des opinions et perceptions des participants au processus.
194
mThODOLOGIES DANALySE TEChNIQUE
Les registres
Pour une bonne valuation dun processus il est fondamental
davoir des registres de participants et didentifer certaines de
leurs caractristiques sociales (sexe, ge, formation, nationalit).
De mme faon pour les participants organiss (entits
reprsentes, types dassociations, etc.).
De plus il convient de disposer dautres registres relatifs la
population de rfrence sur laquelle on ralise un processus :
donnes sociodmographiques de lensemble de la population de
rfrence, registres des catgories de la population, etc
Analyses de projet et de processus
Certains critres de qualit dans les processus participatifs
peuvent svaluer de faon technique par certains experts
simplement travers lanalyse dun projet et dun processus.
Dans ces cas, lvaluation ne requiert pas de mcanisme de
rfexion collective puisquelle consiste identifer quelques
lments du projet ou implmenter les rsultats de ce
processus.
Lanalyse de projet et des processus consiste la rvision dun
projet et son implmentation tout au long du processus. Cette
rvision analytique doit tre ralise par un expert en processus
participatif.
GUIDE PRATIQUE POUR
195
Entretiens avec des personnes cls
Dans tout processus on peut identifer certaines personnes
cls qui peuvent nous faciliter lobtention dinformations sur
la ralit sociopolitique de lobjet soumis participation. Une
slection plurielle entre 5 et 10 personnes cls peut, travers des
entretiens en profondeur, nous amener beaucoup dinformations
sur le processus et nous tre dune grande utilit pour son
valuation.
Entre les diffrents informateurs et personnes cls dun
processus, il y aura toujours certaines personnes qui donneront
plus dinformation que dautres en relation avec lvaluation du
processus. Dans ce sens, ces personnes plus importantes pour
lvaluation seront des personnes soit politiques, soit techniques
du processus.
Le sociogramme
Le sociogramme est un outil qui a pour objectif didentifer la
carte des acteurs impliqus ou en relation avec la thmatique
traite, en dfnissant les relations et linfuence entre ces
diffrents acteurs.
Le sociogramme nest quune reprsentation graphique o lon
projette un certain nombre de nuds entre acteurs, soit au
niveau de lEtat, du march ou de la socit civile, et les relations
existantes entre eux.
Cest un outil descriptif qui peut se construire de faon
individuelle ou avec le groupe. Il est intressant de le construire
avec les acteurs cls qui peuvent nous donner tout type
dinformation sur la ralit sociopolitique de lobjet qui est
soumis participation.
196
mThODOLOGIES DAUTOVALUATION INTERNE
Les groupes de discussion internes
Pour aborder ces aspects de lvaluation dans un processus
participatif il est intressant de mener bien une rfexion
collective avec ces personnes plus impliques dans la gestion et
la coordination du processus.
Ces espaces peuvent se crer spcifquement pour lvaluation
la fn du processus ou la fn de ses diffrentes phases, et devront
incorporer la fois des techniciens et des lus impliqus dans la
coordination du processus.
Il existe des organismes spcifques avec des fonctions de
coordination et de suivi du processus au sein desquelles on
trouve des techniciens, des politiques, et des citoyens, il peut
tre utile dutiliser ces espaces pour une valuation caractre
interne.
GUIDE PRATIQUE POUR
197
mThODOLOGIES DAUTOVALUATION ExTERNE
Le questionnaire auprs les participants
Le questionnaire est un outil pour obtenir la fois des perceptions
et des valorisations subjectives des participants en relation avec le
processus participatif.
Il sagit dun instrument au travers duquel les participants vont
pouvoir faire une valuation individuelle du processus. Cela
permet chacun des participants de se positionner de faon
individuelle mais oblige ce que lvaluation soit le fruit dune
dlibration et dune rfexion collective. Pourtant il existe aussi
la possibilit de passer le questionnaire lorsquon a fnalis une
session de groupe dvaluation du processus.
Mme sil sagit dun outil fondamentalement quantitatif, le
questionnaire offre la possibilit dintroduire des questions
ouvertes caractre plus qualitatif.
Le questionnaire nous permet dobtenir des donnes
quantitatives relatives diffrents lments. Dans le cas
de questions fermes, on peut opter pour les batteries de
questions avec chelles dopinion (beaucoup/moyen/rien) ou de
valorisation de 0 10 points, etc.
Le questionnaire peut tre pass aux participants in situ la fn
du processus ou lors de diffrentes phases dveloppes au sein du
processus.
Evaluation participative qualitative
Depuis langle qualitatif de lvaluation il existe diffrentes
mthodologies participatives penses pour que les participants
au processus fassent une valuation des diffrents aspects de ce
processus.
198
Lvaluation qualitative permet de dvelopper un processus de
rfexion collective entre les personnes participantes relatif au
processus participatif, cela apportant une grande valeur ajoute
lvaluation.
De plus, avec cette valuation qualitative il apparat des
lments de grande importance, des lments plus spcifques
du processus concret, surgissent aussi des arguments et des
explications quant comment les choses ont fonctionn ou pas.
La mthode qualitative permet une meilleure incorporation
dans lvaluation des lments plus subjectifs et de ceux qui sont
diffcilement mesurables. Beaucoup de ces lments se perdent
dans une valuation quantitative et ne peuvent tre produits
quau travers de mthodes qualitatives.
Lvaluation participative qualitative peut tre mene bien
travers des ateliers ou des journes spcifques pour
lvaluation, ou bien in situ lorsque lon fnalise des temps
de groupe et des temps de participation en groupe. Aussi, on
peut dvelopper des groupes de discussions spcifques et
utiliser certains de ces organismes produits par le processus
sils existent pour raliser ces sessions dvaluation.
GUIDE PRATIQUE POUR
199
200
GUIDE PRATIQUE POUR
201
BIBLIOGRAPhIE ET DOCUmENTATION PROPRE UTILISE
del objeto de estudio de los OLDP: mbitos, indicadores e ndice
Coordinado por el Ayuntamiento de Donostia.
Documento Marco OLDP: Tipologias de experiencias a observar por
un OLDP Coordinado por la Municipalidad de La Paz.
-
ANNExE I : TABLEAU RSUm
-
0
u
i
Mthodologies d`valuation
0ritre
5ystme d`valuation
acceptation politique
acceptation sociale
acceptation technique
degr d'implication
diIIrentes aires
Espaces de transversalit
nitiative
Leadership
groupe promoteur
relation avec autres processus
usage des organes existants
analyse des ob|ectiIs
ralisation des ob|ectiIs
PlaniIication et
ralisation
ressources conomiques
Personnel
Pourcentage de participants
Pourcentage des
acteurs organiss
Habitants slectionns
Pourcentage de
diIIrents groupes
indice de diversit
proIil des
organisations
acteurs signiIicatiIs
Facilit pour la
communication
Election des
reprsentants
0iscours des
reprsentants
0onsensus
Transversalit
nitiative et
leadership
ntgration du
systme
0lart des ob|ectiIs
PlaniIication
et ressources
0uantit
participants
0iversit oI
participants
Reprsentativit
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
x
F
i
c
h
i
e
r
s
A
n
a
l
y
s
e
s
t
e
c
h
m
i
q
u
e
s
E
n
t
r
e
t
i
e
n
s

5
o
c
i
o
g
r
a
m
m
e
0
r
o
u
p
e
s
i
n
t
e
r
n
e
s
0
u
e
s
t
i
o
n
n
a
i
r
e
p
a
r
t
i
c
i
p
a
n
t
v
a
l
u
a
t
i
o
n
p
a
r
t
i
c
i
p
a
t
i
v
e
x x
0
o
o
r
d
i
n
a
t
i
o
n
0
o
n
s
q
u
e
n
c
e
s
ouverture du processus
ouverture des espaces
dcisionnaires
Agenda politique
valorisation citoyenne
% budget aIIect
0omptence
diagnostic participatiI
capacit de
proposition
degr de
participation
canaux
d'inIormation-diIIusion
pluralit d'inIormaion
clart et utilit de l'inIormation
utilisation des techniques
dlibratives
possibilit d'exercer
en son nom propre
Type de rsultats
valorisation citoyenne rsultats
mplantation
organes de suivi
diIIusion des rsultats
relations citoyennes
relation admin-citoyenne
relation interne
session de Iormation
valorisation
citoyenne
culture participative
x
x
x
x
x
x
x
x
x
x
x x
x
x
x
x
x
x x x
x
x
x
x x
x
x
x x
x x
x x
x x
x
x
x
x
x
x
x
x
x
x
x
x
0
o
m
m
e
n
t

p
a
r
t
i
c
i
p
e
t
-
o
n
?
0egr
duverture
ntret
0apacit
dìntervention
0iagnostic
participatiI
0egr
de participation
0apacit
de proposition
0ualit de
lìnIormation
Mthodes
dliberatives
mplantation
rsultats
Rsultats
0iIIusion
Amlioration des
relations
Formation
0ulture participative
0
u
o
i
CONTENIDOS
IGOP/UAB
Marc Pares
Leonardo Daz
OIDP/OLDP
Melissa Pomeroy
EDICIN
OIDP
Melissa Pomeroy
Eullia Tubau
Ajuntament de Barcelona
Rosa Bagaria
Alex Montes

DISEO Y MAQUETACIN
El Centre
Este documento ha sido elaborado con la ayuda fnanciera de la Comunidad
Europea. El contenido de este documento es responsabilidad exclusiva de las
instituciones participantes del proyecto y en modo alguno debe considerarse que
refeja la posicin de la Unin Europea.

Guia Evaluación Democracia Participativa

Enviado por

Dados do documento

Direitos autorais

Formatos disponíveis

Compartilhar este documento

Compartilhar ou incorporar documento

Opções de compartilhamento

Você considera este documento útil?

Este conteúdo é inapropriado?

Direitos autorais:

Formatos disponíveis

Guia Evaluación Democracia Participativa

Enviado por

Direitos autorais:

Formatos disponíveis

GUA PRCTICA

Guia Practica evaluacion_CAST 69 23/10/07 15:26:48

Você também pode gostar