Subscribe to DeepL Pro to translate larger documents.

Visit www.DeepL.com/pro for more information.

8
Abordagens de avaliação
orientadas para os
participantes

Perguntas de orientação
1. Quem foram os líderes históricos no estabelecimento de abordagens orientadas
para os participantes e qual foi o seu contributo? O que motivou o seu trabalho?
2. Como podemos distinguir entre as muitas abordagens participativas
contemporâneas?
3. Em que é que as abordagens participativas práticas diferem das transformadoras?
4. Comparar as abordagens da Avaliação Prática Participativa, da Avaliação do
Empoderamento, da Avaliação do Desenvolvimento e da Avaliação Democrática
Deliberativa. Em que é que os seus objectivos e métodos diferem? Em que
condições utilizaria cada uma delas?
5. Como é que as abordagens participativas são utilizadas na prática?
6. Quais são os principais pontos fortes e limitações das abordagens de avaliação
orientadas para os participantes?

Atualmente, as abordagens à avaliação orientadas para os participantes incluem

muitos modelos diferentes, mas o seu ponto comum é que todos utilizam os
intervenientes - pessoas com um interesse ou "participação" no programa - para
ajudar na realização da avaliação. Podem utilizá-los para atingir diferentes
objectivos: uma maior compreensão e apropriação da avaliação por parte dos
intervenientes, o que conduz a uma maior utilização dos resultados ou à
capacitação dos intervenientes, ao desenvolvimento da capacidade de avaliação
na organização e ao aumento da aprendizagem organizacional e da tomada de
decisões com base em dados.
As abordagens utilizam as partes interessadas de formas bastante diferentes.
Algumas abordagens
utilizá-los principalmente nas fases inicial e final da avaliação para ajudar

189
190 Parte II - Abordagens alternativas à avaliação de
programas

definir as questões de avaliação e, posteriormente, interpretar os resultados e

fazer recomendações. Outros utilizam intensivamente os detentores de interesse
ao longo de todo o processo, por vezes fazendo com que os detentores de
interesse actuem como os principais decisores, enquanto o avaliador desempenha
o papel de consultor técnico, conforme necessário. Neste capítulo, descreveremos
como surgiram as primeiras abordagens orientadas para os participantes e as
características que continuam a influenciar as abordagens de avaliação actuais.
Em seguida, descreveremos algumas das abordagens participativas
contemporâneas actuais, incluindo os seus objectivos, princípios e métodos.
Finalmente, discutiremos os seus pontos fortes e fracos e a forma como podem
ser utilizadas.

Evolução das abordagens participativas

Nos primeiros anos da avaliação nos Estados Unidos, depois de ter sido
mandatada pelo Congresso e pelas agências governamentais, a maioria dos
profissionais da avaliação baseou-se nos métodos tradicionais de investigação
das ciências sociais para determinar se as metas e os objectivos dos
programas tinham sido alcançados e, em seguida, forneceram essa informação
aos decisores políticos governamentais. No entanto, já em 1967, vários
teóricos da avaliação começaram a reagir ao que consideravam ser o
predomínio de abordagens mecanicistas e insensíveis à avaliação no domínio da
educação. Estes teóricos expressaram a sua preocupação com o facto de os
avaliadores estarem muito preocupados com a definição e classificação de
objectivos, com a conceção de sistemas de avaliação elaborados, com o
desenvolvimento de instrumentos objectivos tecnicamente defensáveis e com
a preparação de longos relatórios técnicos, o que fazia com que os avaliadores
se distraíssem do que realmente estava a acontecer nos programas que
estavam a avaliar. Os críticos das abordagens tradicionais de avaliação
observaram que muitas avaliações em larga escala foram realizadas sem que
os avaliadores pusessem uma única vez os pés no(s) local(is) do programa
participante. O que começou como um gotejamento de comentários isolados
cresceu para um dilúvio que inundou a literatura sobre avaliação na educação
e nas ciências sociais. Cada vez mais profissionais começaram a questionar
publicamente se muitos avaliadores compreendiam realmente os fenómenos
que os seus números, figuras, gráficos e tabelas pretendiam retratar. Um
segmento crescente das comunidades da educação e dos serviços humanos
argumentou que o elemento humano, refletido nas complexidades da realidade
quotidiana da execução dos programas e nas diferentes perspectivas das pessoas
envolvidas na prestação de serviços, estava ausente da maioria das avaliações.
Consequentemente, surgiu uma nova orientação para a avaliação, que
enfatizava a experiência em primeira mão com as actividades e ambientes do
programa e o envolvimento dos participantes, funcionários e gestores do
programa na avaliação. Esta abordagem geral, que cresceu rapidamente após o
início dos anos 70, tinha como objetivo observar e identificar todas (ou tantas
quanto possível) as preocupações, questões e consequências que os diferentes
 Capítulo 8 - Abordagens de avaliação orientadas para os 191
participantes
intervenientes tinham sobre o programa que estava a ser avaliado.
Devido, em grande parte, a uma reação aos défices detectados noutras
abordagens de avaliação, esta orientação abrange atualmente uma grande
variedade de abordagens mais específicas
192 Parte II - Abordagens alternativas à avaliação de
programas

Muitas das pessoas que contribuíram para o desenvolvimento e uso de

abordagens orientadas para o participante na avaliação de programas preferem
métodos de investigação naturalistas, como descrito mais adiante neste capítulo.
Além disso, a maioria dos defensores dessa abordagem vê o envolvimento dos
participantes do programa, gerentes, funcionários e outros atores-chave como um
princípio fundamental de uma boa avaliação - daí o descritor "orientado para o
participante" como um rótulo para essa abordagem.

Desenvolvedores de abordagens de avaliação orientadas

para o participante e seus contributos
Robert Stake e a sua abordagem reactiva
Robert Stake (1967) foi o primeiro teórico da avaliação a dar um impulso
significativo a esta orientação no domínio da educação. O seu artigo, "The
Countenance of Educational Evaluation", com o seu enfoque no retrato e
processamento dos juízos dos participantes, alterou dramaticamente o
pensamento dos avaliadores na década seguinte. Juntamente com o seu
desenvolvimento posterior da avaliação reactiva (Stake, 1973, 1975a, 1975b),
forneceu concepções e princípios que orientaram a evolução desta abordagem. Os
primeiros escritos de Stake evidenciaram a sua crescente preocupação com o
domínio da avaliação de programas por aquilo que ele considerava concepções e
métodos paroquiais, objectivistas e mecanicistas. A discussão de Guba (1969)
sobre o "fracasso da avaliação educacional" deu então um novo impulso à
procura de uma alternativa à abordagem racionalista da avaliação.

A Countenance da Avaliação. O primeiro desvio de Stake em relação à

avaliação tradicional foi o seu desenvolvimento da Estrutura de Contingência
(1967). Nele, Stake afirma que os dois actos básicos da avaliação são a
descrição e o julgamento, as duas faces da avaliação. As avaliações devem
fornecer uma descrição completa do programa e da entidade que está a ser
avaliada e, em seguida, fazer um julgamento do seu mérito ou valor. Para
ajudar o avaliador a organizar a recolha e interpretação de dados, Stake criou o
quadro de avaliação apresentado na Figura 8.1.
Usando a estrutura mostrada na Figura 8.1, o avaliador primeiro determina
a lógica do programa, que inclui a necessidade que o programa pretende atender
e as características relevantes do desenvolvimento do programa. (A parte
descritiva da avaliação concentra-se então em determinar primeiro as intenções
do programa (coluna 1) em relação aos antecedentes do programa (insumos,
recursos e condições existentes), transações (atividades e processos do programa)
e resultados do programa. Através de observações em cada um destes níveis, o
avaliador começa a descrever minuciosamente o programa e a comparar as
intenções do programa com as observações reais do programa em ação. Na fase
de julgamento, o avaliador identifica ou desenvolve explicitamente padrões
(critérios, expectativas, desempenho de
 Capítulo 8 - Abordagens de avaliação orientadas para os 193
participantes

M A T R I Z D E M A T R I Z D E JULGAMENTO
DESCRIÇÃO
Normas Julgamentos
Intenções Observações

Congruência Antecedente
Justificação s

Contingências
Contingências

Congruência Transacções

Congruência Resultado
s

FIGURA 8.1 Esquema de Stake de afirmações e dados a serem

recolhidos pelo avaliador de um programa educativo
Fonte: De "The Countenance of Educational Evaluation" de R. E. Stake, 1967,
Teachers College Record, 68, p. 529. Reproduzido com autorização.

programas comparáveis) para julgar os antecedentes, as transacções e os

resultados do programa e, finalmente, regista os julgamentos feitos sobre as
condições antecedentes, as transacções e os resultados. O avaliador analisa a
informação contida na matriz descritiva, observando a congruência entre as
intenções e as observações, e observando as dependências (contingências) dos
resultados em relação às transacções e aos antecedentes, e das transacções em
relação aos antecedentes. Os juízos de valor são efectuados através da aplicação
de normas aos dados descritivos.
Assim, a estrutura de countenance deu aos avaliadores um quadro concetual
para refletir sobre as necessidades de dados de uma avaliação completa. Ao rever
o seu artigo sobre o semblante anos mais tarde, Stake (1991) observou que este
não dava a devida importância ao processo de descrição da avaliação, uma lacuna
que ele abordou mais tarde na sua abordagem de avaliação reactiva. De facto, era
a sua ênfase descritiva que era nova nas abordagens de avaliação da época. Stake
queria que os avaliadores se familiarizassem com as particularidades dos
programas que estavam a estudar e que adquirissem uma compreensão profunda
dos mesmos antes de examinarem os resultados. O conhecimento do avaliador
sobre os antecedentes e as transacções ajudá-lo-ia a interpretar melhor os
sucessos ou fracassos na obtenção dos resultados desejados.

Avaliação reactiva. A avaliação reactiva de Stake, introduzida em 1973, era mais

radical. Nela, ele abordou verdadeiramente as suas preocupações com as
direcções que a avaliação estava a tomar na altura. Greene e Abma registaram
194 Parte II - Abordagens alternativas à avaliação de
programas

este facto no prefácio de uma edição de 2001

 Capítulo 8 - Abordagens de avaliação orientadas para os 195
participantes

de New Directions for Evaluation que se centrou na avaliação reactiva, nas suas
influências e nas suas actuais aplicações e adaptações:
Stake ofereceu uma nova visão e fundamentação para a avaliação de programas
educacionais e sociais às comunidades de avaliação então incipientes. Nesta
visão, a avaliação foi reenquadrada - da aplicação de técnicas analíticas sofisticadas
que abordam questões distantes dos decisores políticos sobre os benefícios e a
eficácia do programa "em média", para um compromisso com os profissionais no
local sobre a qualidade e os significados da sua prática. Estas ideias inovadoras
ajudaram a acelerar a transformação da empresa de avaliação para o seu atual
carácter pluralista, no seio do qual permanecem múltiplos e variados legados de
princípios-chave de avaliação responsiva (2001, p. 1).

Embora as sementes desta explicação se encontrem no seu trabalho anterior, as

concepções subsequentes de Stake sobre a avaliação reactiva (1973, 1975b, 1978,
1980) são implicitamente menos formais e explicitamente mais pluralistas e
centradas no processo do que o seu modelo anterior de semblante. A abordagem
da avaliação reactiva distanciava-se das abordagens de avaliação anteriores
sobretudo na sua flexibilidade e na sua capacidade de resposta às particularidades do
contexto de avaliação e à sua naturalidade. Stake observou que não estava a
propor uma nova abordagem à avaliação, pois "a avaliação reactiva é o que as
pessoas fazem naturalmente ao avaliarem as coisas. Elas observam e reagem"
(1973, p. 1). Em vez disso, Stake viu a abordagem reactiva como um meio de
melhorar e concentrar este comportamento natural do avaliador. Stake sublinhou
a importância de ser sensível às realidades do programa e às reacções,
preocupações e questões dos participantes, em vez de ser preordenado1 com os planos
de avaliação, confiar em preconceitos e estabelecer planos e objectivos formais do
programa antes de obter uma compreensão completa do programa.
A Stake definiu a avaliação reactiva da seguinte forma:

Uma avaliação educacional é uma avaliação reactiva se se orientar mais

diretamente para as actividades do programa do que para as intenções do
programa; se responder às necessidades de informação do público; e se as
diferentes perspectivas de valor presentes forem referidas ao relatar o sucesso e
o fracasso do programa. (1975a, p. 14)

A avaliação reactiva diferia das abordagens de avaliação existentes em muitos

aspectos que prefiguravam as abordagens participativas actuais. Estas incluíam:

(a) Flexibilidade, mudança de métodos e abordagens; adaptação a novos

conhecimentos à medida que a avaliação avança; utilização de um modelo
iterativo e aberto.
(b) Reconhecimento de múltiplas realidades e do valor do pluralismo. Os
programas são vistos por outros de muitas maneiras diferentes e o avaliador
é responsável por retratar essas muitas imagens diferentes.
(c) O conhecimento local, as teorias locais e as particularidades de um
programa individual, as suas nuances e sensibilidades, são mais importantes
de transmitir do que testar uma grande teoria ou generalizar para outros
contextos.
196 Parte II - Abordagens alternativas à avaliação de
programas
1A avaliação "pré-ordenada" refere-se a estudos de avaliação que se baseiam na pré-especificação,
quando a investigação tende a seguir um plano prescrito e não vai além ou varia em relação às
questões e problemas pré-determinados.
 Capítulo 8 - Abordagens de avaliação orientadas para os 197
participantes

(d) O estudo de caso e os métodos qualitativos são métodos importantes e

essenciais para compreender as particularidades de um caso e para
corresponder às formas naturais de as pessoas compreenderem algo.
(e) As avaliações devem esforçar-se por ser holísticas, por transmitir toda a
complexidade de um programa e não por reduzir ou simplificar.
(f) Os relatórios de avaliação devem seguir esta abordagem natural,
apresentando um conjunto rico de informações em narrativas completas que
privilegiem a descrição e a compreensão.
(g) O avaliador pode emitir um juízo, mas o seu juízo individual pode diferir do
de outras pessoas a quem foi apresentada a informação; assim, o papel do
avaliador é também o de um aprendiz e de um professor - um facilitador -
para ajudar os outros a emitirem os seus próprios juízos.
A capacidade de resposta e a flexibilidade do modelo estão reflectidas no relógio
que Stake (1975b) desenvolveu para refletir os eventos proeminentes e recorrentes
numa avaliação reactiva. (Ver Figura 8.2.) Embora o avaliador normalmente
inicie a avaliação às doze horas e prossiga no sentido horário, Stake enfatizou
que qualquer evento pode seguir qualquer outro evento e, a qualquer momento, o
avaliador pode precisar se mover no sentido anti-horário ou no sentido anti-
horário, se os eventos e a maior compreensão

Falar com os
clientes, o
pessoal do
Elaborar
programa,
relatórios
Audiências
formais, se for
Identifi
caso disso
o
car
âmbito
do
program
a

Winnow, Visão
formato geral das
para actividad
utilização do es do
público program
a
Validar,
confirmar, Descobri
tentativa de r
desconfirmaçã objectivos,
o preocupa
ções

Tematizar: Conceptualiza
Preparar retratos, r questões,
estudos de caso problemas

Designados
Observar Antecedentes,
Transacções e Resultados Sel
198 Parte II - Abordagens alternativas à avaliação de
programas

eção de
Identificar
observadores,
as
juízes e
necessidade
instrumentos, se for
s de dados,
caso disso
re
problemas

FIGURA 8.2 Eventos proeminentes numa avaliação reactiva

Fonte: De Program Evaluation, Particularly Responsive Evaluation (Occasional Paper No. 5, p.
19) por R. E. Stake, 1975b, Kalamazoo, MI: Western Michigan University Evaluation
Center. Usado com permissão.
 Capítulo 8 - Abordagens de avaliação orientadas para os 199
participantes

justificam tais alterações. Além disso, muitos eventos podem ocorrer

simultaneamente e outros ocorrerão várias vezes durante uma avaliação.
Uma comparação reveladora das abordagens de avaliação reactiva e
subordinada foi fornecida pela análise de Stake (1975b) da percentagem do seu
tempo que os avaliadores de cada persuasão gastariam em várias tarefas de
avaliação diferentes (p. 20):

Pré-ordenar Responsivo
(%) (%)
Identificação de questões e 10 10
objectivos
Preparação dos instrumentos 30 15
Observar o programa 5 30
Realização de testes, etc. 10 -
Recolha de acórdãos - 15
Aprender as necessidades dos - 5
clientes, etc.
Tratamento de dados formais 25 5
Elaboração de relatórios - 10
informais
Elaboração de relatórios formais 20 10

Uma diferença fundamental entre a avaliação tradicional, baseada nas ciências

sociais, e a avaliação reesponsiva que surge nesta comparação é a maior
quantidade de tempo despendida pelo avaliador principal na preparação ou
desenvolvimento de instrumentos e na análise de dados. De facto, Stake supõe
que estas são as duas actividades dominantes do avaliador principal. Em
contraste, a atividade dominante do avaliador reativo deve ser a observação do
programa, aprendendo muito mais sobre o que está realmente a acontecer no
programa. Do mesmo modo, o avaliador reativo passará mais tempo do que o
avaliador coordenador a recolher as opiniões dos outros sobre o programa, a
conhecer as necessidades dos clientes e a preparar relatórios informais.
Por último, o Stake capta o papel do avaliador reativo nesta descrição:

Para fazer uma avaliação reactiva, o avaliador faz, naturalmente, muitas coisas.
Elabora um plano de observações e negociações. Ele arranja várias pessoas para
observar o programa. Com a sua ajuda, prepara breves narrativas, retratos,
apresentações de produtos, gráficos, etc. Descobre o que é importante para o seu
público. Recolhe as opiniões de valor de várias pessoas com pontos de vista
diferentes. Naturalmente, verifica a qualidade dos seus registos. Faz com que o
pessoal do programa reaja à exatidão das suas representações. Ele faz com que
figuras de autoridade reajam à importância de várias descobertas. Ele faz com
que os membros da audiência reajam à relevância das suas descobertas. Faz
muito disto informalmente, repetindo e mantendo um registo das acções e
reacções. Escolhe meios de comunicação acessíveis ao seu público para
aumentar a probabilidade e a fidelidade da comunicação. Pode preparar um
relatório final escrito; pode não o fazer - dependendo do que ele e os seus
clientes acordarem. (1975b, p. 11)

Contribuições e comentários. Assim, o modelo responsivo de Stake

200 Parte II - Abordagens alternativas à avaliação de
programas
introduziu uma nova abordagem à avaliação, mais flexível e adaptável às
circunstâncias do programa e às necessidades das partes interessadas. A
ênfase foi colocada tanto na compreensão através de descrições profundas
como na avaliação local.
 Capítulo 8 - Abordagens de avaliação orientadas para os 201
participantes

ou questões particulares de um programa individual. Will Shadish, ao discutir a sua

revisão do trabalho de Stake para o seu conhecido livro sobre os fundamentos da
avaliação de programas (Shadish, Cook, & Leviton, 1991), observa que, enquanto
estudava o trabalho de Stake, começou a aperceber-se de que a defesa de Stake
dos métodos de estudo de caso não derivava das suas preferências filosóficas ou
paradigmáticas (Shadish & Miller, 2003). As suas razões, argumenta Shadish,
"eram mais políticas, mais em termos de dar às pessoas o controlo a nível local,
dando-lhes poder" (2003, p. 268). O próprio Stake confirma as observações de
Shadish numa entrevista a Tineke Abma, afirmando: "Sou um populista, um
localista. Tenho medo da autoridade central e do controlo dos conhecedores. Sou
um situacionista,
pensar que a bondade no governo, a bondade na vida, a bondade na escola
depende fortemente da situação" (Abma & Stake, 2001, p. 10-11). Atualmente, as
abordagens participativas continuam a ter uma ênfase local, embora muitas
vezes uma ênfase política mais evidente, preocupada em dar poder aos
intervenientes sub-representados. Discutiremos estas abordagens mais adiante
neste capítulo. Basta dizer aqui que o modelo reativo de Stake e a defesa dos
estudos de caso eram novos para a avaliação na altura e continuam a influenciar
o desenvolvimento da avaliação hoje em dia.
A sua abordagem e o seu trabalho foram alvo de críticas, embora Shadish,
Cook e Leviton (1991) observem que ele é "praticamente único" entre os
avaliadores fundadores na sua abordagem localista, anti-federal e anti-generalização.
No entanto, questionam o pressuposto de Stake de que os intervenientes locais que
desenvolveram as intervenções e os programas que estão a ser avaliados e que, por
conseguinte, têm muito interesse neles, utilizarão a informação da avaliação para
alterar o programa de formas dramáticas ou desafiadoras a que poderão ter
resistido ou não considerado anteriormente.
Outra crítica dizia respeito ao papel dominante do avaliador. A abordagem
reactiva difere de algumas das abordagens participativas descritas mais adiante
neste capítulo, na medida em que não defende especificamente a inclusão de
grupos de intervenientes que estão sub-representados no processo de tomada de
decisões do programa. House (2001), cuja abordagem democrática deliberativa
será analisada neste capítulo, observa que a avaliação responsiva não aborda a
justiça social ou as desigualdades entre os grupos de atores e, de fato, não é
participativa como vemos a avaliação participativa hoje. As partes interessadas
não foram envolvidas na realização da avaliação. Em vez disso, o avaliador
manteve o controlo firme da avaliação. O avaliador reativo procura os pontos
de vista de outros intervenientes e tenta retratar a complexidade e os múltiplos
pontos de vista do programa, pelo que é, nesse sentido, participativo. Esta
abordagem era diferente das abordagens comuns da altura, orientadas para os
resultados. Mas a abordagem não era participativa no sentido de envolver as
partes interessadas nas decisões e acções da avaliação, como fazem muitos
modelos participativos actuais. Ao clarificar este aspeto da abordagem, Stake
afirmou mais recentemente:

Para mim, o locus de controlo tem de ficar lá fora [com o avaliador], por muito
que eu dependa deles [intervenientes]. Não defendo a definição colaborativa das
questões de investigação. Ser reativo não confere automaticamente a autoridade
202 Parte II - Abordagens alternativas à avaliação de
programas
de conceção aos intervenientes. Significa conhecer bem as circunstâncias, os
problemas e os valores, e depois utilizar o talento profissional e a disciplina para
levar a cabo o inquérito. Para mim, o inquérito pertence ao avaliador. (Abma &
Stake, 2001, p. 9)
 Capítulo 8 - Abordagens de avaliação orientadas para os 203
participantes

Assim, o modelo de semblante de Stake e a abordagem reactiva mudaram

radicalmente a avaliação e abriram a porta aos actuais modelos orientados para o
participante. Como o leitor verá, estes modelos diferem da abordagem reactiva
em aspectos importantes, tanto na forma como envolvem os intervenientes na
avaliação como nos seus objectivos de justiça social ou de mudança de sistemas.
Então, porque é que Stake é o antecedente histórico destes modelos? Porque ele
virou os modelos existentes de cabeça para baixo e introduziu métodos bastante
diferentes. Recolher os pontos de vista de diferentes partes interessadas e dar
legitimidade a esses pontos de vista era novo. Defender uma ênfase local, aprender
as particularidades, os antecedentes e os processos, e utilizar métodos
qualitativos para o fazer, foi uma grande mudança que levou gradualmente os
avaliadores a considerarem outras formas de incluir as partes interessadas e os
objectivos da avaliação.

Egon Guba e Yvonna Lincoln: Avaliação

naturalista e de quarta geração
Na década de 1980, Egon Guba e Yvonna Lincoln publicaram dois livros que
tiveram uma grande influência na avaliação: Naturalistic Inquiry (1985) e Fourth-
Generation Evaluation (1989). Tal como Stake, o seu ímpeto original era afastar a
avaliação de uma ênfase nos métodos tradicionais e quantitativos de recolha de
dados para considerar métodos qualitativos e naturalistas, incluindo entrevistas,
observações e estudos de caso. No entanto, a sua ênfase no desenvolvimento da
avaliação naturalista era muito mais filosófica e epistemologicamente baseada do
que a de Stake. Guba, mais tarde acompanhado por Lincoln, popularizou o
paradigma construtivista para a avaliação. Centraram-se em realidades múltiplas
e na necessidade de o avaliador construir essas realidades através da recolha de
contributos e opiniões de diferentes intervenientes.
Guba e Lincoln fizeram avançar muito o pensamento filosófico dos
avaliadores sobre o paradigma construtivista e as suas aplicações à avaliação.
Desenvolveram novos critérios para julgar as avaliações naturalistas ou
construtivistas, alguns dos quais eram paralelos, mas constituíam alternativas aos
critérios científicos tradicionais de validade interna e externa, fiabilidade e
objetividade. Os seus novos critérios incluíam a credibilidade, a transferibilidade,
a fiabilidade e a confirmabilidade. Além disso, tal como os investigadores
quantitativos tinham descrito formas de estabelecer a validade interna e externa,
Guba e Lincoln discutiram formas de estabelecer ou julgar avaliações
construtivistas com base nos seus novos critérios. Mas também propuseram
várias formas de autenticidade como novos critérios, sem paralelo nos
paradigmas positivista e pós-positivista, que eram únicos para julgar a qualidade
dos esforços de investigação e avaliação que emergiam do paradigma
construtivista. A autenticidade de um estudo era estabelecida pela sua equidade
(a medida em que representava diferentes pontos de vista e sistemas de valores
associados ao objeto de estudo) e pela sua capacidade de sensibilizar as partes
interessadas para as questões, de as educar para os pontos de vista de outras
partes interessadas e de as ajudar a passar à ação. Estas ideias, amplamente
desenvolvidas nos seus escritos, levaram os avaliadores a considerar não só
204 Parte II - Abordagens alternativas à avaliação de
programas
outras formas de julgar os estudos de avaliação, mas também a considerar mais
amplamente os objectivos do seu trabalho, por exemplo, estimular o diálogo e a
ação entre os intervenientes.
 Capítulo 8 - Abordagens de avaliação orientadas para os 205
participantes

Avaliação naturalista. O que é a avaliação naturalista de Guba e Lincoln? De

acordo com Guba e Lincoln, o principal papel da avaliação é responder às
necessidades de informação de uma audiência de forma a ter em conta as
diferentes perspectivas de valor dos seus membros. Ao adotar uma abordagem
naturalista da avaliação, o avaliador estuda a atividade do programa in situ, ou tal
como ocorre naturalmente, sem a constranger, manipular ou controlar. A
investigação naturalista coloca o avaliador no papel de um aprendiz e aqueles que
estão sendo estudados no papel de informantes que ensinam o avaliador. A
perspetiva dominante é a dos informantes, porque os avaliadores aprendem as suas
perspectivas, aprendem os conceitos que usam para descrever o seu mundo, usam
as suas definições desses conceitos, aprendem as explicações da teoria popular e
traduzem o seu mundo para que o avaliador e outros o possam compreender.
A abordagem naturalista, e os seus benefícios, é talvez melhor articulada
por uma não avaliadora, Elspeth Huxley. Em The Flame Trees of Thika, ela
observou astutamente:
A melhor maneira de descobrir as coisas é não fazer perguntas. Se dispararmos uma
pergunta, é como se disparássemos uma arma - dispara, e tudo voa e foge para o
abrigo. Mas, se ficarmos quietos e fingirmos que não estamos a olhar, todos os
pequenos factos virão bicar-nos os pés, as situações aventurar-se-ão dos arbustos e
as intenções arrastar-se-ão para fora e tomarão sol numa pedra; e, se formos
muito pacientes, veremos e compreenderemos muito mais do que um homem
com uma arma. (1982, p. 272)

O avaliador naturalista, tal como Huxley, observa o programa e as suas acções,

os seus participantes e o pessoal, no seu ambiente natural e, através de
observações, documentos e registos, entrevistas e medidas discretas, consegue
compreender e descrever o programa.

Participação das partes interessadas. A abordagem de Guba e Lincoln à

avaliação também levou os avaliadores a considerarem abordagens mais
participativas. Tal como Stake, Guba e Lincoln acreditavam que a avaliação devia
representar as múltiplas realidades vistas pelos intervenientes, mas os seus
modelos defendiam um papel mais ativo para os intervenientes do que Stake com
a avaliação participativa. Consideravam que o papel do avaliador consistia em
recolher pontos de vista e valores de uma grande variedade de intervenientes e,
em seguida, com o avaliador no papel de negociador, trabalhar com os
intervenientes para se informarem mutuamente sobre o programa e determinarem
passos para a ação. Os avaliadores já não se limitavam a medir, descrever e julgar
- as três primeiras gerações de avaliação referidas no seu livro, Fourth-Generation
Evaluation. Em vez disso, a quarta geração implicava atuar como um negociador para
ajudar as partes interessadas a chegar a um consenso sobre as suas diversas
opiniões e decidir sobre as próximas etapas ou prioridades. Greene escreve:
"Com esta promoção da avaliação como negociação, Guba e Lincoln situaram
explicitamente a avaliação como uma prática emancipatória e comprometida com
os valores, em contraste com a maioria das teorias de avaliação anteriores, que
defendiam a neutralidade ou o pluralismo de valores" (2008, p. 323).
Escrevendo em 2004, Lincoln e Guba observaram o quanto a avaliação
tinha mudado desde os seus escritos na década de 1980: "Desde a última vez que
206 Parte II - Abordagens alternativas à avaliação de
programas
escrevemos de forma alargada sobre a avaliação como modelo, conjunto de
práticas e discursos ou perspetiva teórica, o mundo da avaliação tornou-se muito
mais complexo e mais sofisticado (bem como mais populoso)" (2004, p. 226).
Mas eles observam
 Capítulo 8 - Abordagens de avaliação orientadas para os 207
participantes

como o seu trabalho prefigurou algumas das abordagens e textos actuais da

avaliação participativa. A avaliação reactiva de Stake introduziu os avaliadores
em abordagens mais qualitativas e na aprendizagem dos pontos de vista dos
intervenientes. Os livros naturalistas e de quarta geração de Guba e Lincoln
forneceram uma base epistemológica para a investigação naturalista mas, ao
contrário de Stake, defenderam papéis mais activos para os intervenientes e
menos neutros para o avaliador, papéis em que o avaliador passou a agir em
nome dos intervenientes. Esta contribuição reflecte-se em muitos modelos
participativos contemporâneos.
Tendo apresentado ao leitor alguns dos fundadores da avaliação
participativa, passemos a descrever as muitas abordagens participativas que
surgiram atualmente. As abordagens actuais reflectem as semelhanças e
diferenças observadas tanto nos modelos de Stake como nos de Guba e Lincoln.

Avaliação participativa hoje: Duas correntes e

muitas abordagens
Muitas das actuais abordagens participativas à avaliação evoluíram a partir dos
escritos e abordagens de Stake e de Guba e Lincoln das décadas de 1970 e 1980.
De facto, são tantas que não conseguiremos resumi-las todas aqui. Em vez disso,
começaremos por descrever um método para categorizar os numerosos modelos
e, em seguida, descreveremos alguns dos modelos mais conhecidos para dar ao
leitor uma ideia das diferenças e dos pontos comuns das abordagens
participativas contemporâneas.
Mas antes de o fazermos, tentaremos definir a avaliação participativa tal
como o termo é utilizado atualmente. Na Encyclopedia of Evaluation, Jean King
define a avaliação participativa como "um termo abrangente para qualquer
abordagem de avaliação que envolva o pessoal do programa ou os participantes
ativamente na tomada de decisões e noutras actividades relacionadas com o
planeamento e a implementação de estudos de avaliação" (2005, p. 291). Cousins
e Earl, no seu importante trabalho sobre os fundamentos teóricos e a prática da
avaliação participativa, definem a avaliação participativa como "investigação
social aplicada que envolve uma parceria entre decisores formados e baseados na
prática, membros da organização com responsabilidade pelo programa, ou
pessoas com um interesse vital no programa" (1992, p. 399). Estas definições são
muito amplas e reflectem o que Cullen (2009) e outros (Cousins & Whitmore,
1998; O'Sullivan & D'Agostino, 2002) descrevem como a confusão em torno do
significado do termo e a sua sobreposição com outros termos, como a avaliação
colaborativa.2 O estudo de Cullen sobre a prática de avaliação no desenvolvimento
internacional conclui que o termo tem muitos significados diferentes para a
comunidade internacional.

2Cousins e Whitmore (1998) e outros utilizam normalmente a avaliação colaborativa como um termo
genérico que inclui a avaliação participativa. Rodriguez-Campos (2005), no entanto, escreveu um
livro sobre avaliação colaborativa propondo-a como uma abordagem diferente. Cullen (2009) argumenta
que a abordagem se sobrepõe à avaliação participativa prática. Estas diferenças de pontos de vista
208 Parte II - Abordagens alternativas à avaliação de
programas
reflectem a diversidade de abordagens. Cada autor pode, evidentemente, acrescentar nuances ou
diferenças maiores que podem ser úteis para o avaliador individual.
 Capítulo 8 - Abordagens de avaliação orientadas para os 209
participantes

Os avaliadores fazem inquéritos e entrevistas. King também reconhece este

problema, mas argumenta que as abordagens participativas se distinguem por
quatro características:
1. Envolvimento direto e ativo dos participantes ao longo do tempo no
planeamento e implementação da avaliação. Baseia-se nas partes
interessadas ou centra-se no consumidor e é "uma forma de democratizar o
processo de avaliação".
2. A apropriação pelos participantes, que aumenta a probabilidade de estes
utilizarem os resultados.
3. Um avaliador profissional presta assistência técnica e actua como "parceiro,
facilitador ou orientador - um professor ou consultor".
4. A capacidade de avaliação dos indivíduos ou de uma organização, a sua
compreensão do processo de avaliação e as suas competências efectivas de
avaliação são susceptíveis de aumentar (King, 2005, p. 291).
Além disso, King observa dois mal-entendidos frequentes em relação à
avaliação participativa: (a) a crença de que qualquer envolvimento do pessoal do
programa ou dos participantes, incluindo a simples recolha de dados, faz de algo
uma avaliação participativa; e (b) a visão de que qualquer avaliação que utilize
métodos qualitativos é participativa. Esta última confusão resulta, em parte, do
facto de Stake, Guba e Lincoln associarem métodos qualitativos e abordagens
participativas. De facto, aqueles que favorecem as abordagens participativas vêem
frequentemente os benefícios dos dados qualitativos. Mas o facto de se
recolherem dados qualitativos ou quantitativos ou uma mistura de vários tipos de
dados é uma decisão metodológica. Não é uma decisão relativa à abordagem da
avaliação - os princípios que irão orientar o planeamento e a condução da
avaliação. King observa que os avaliadores que recolhem dados qualitativos
interagem frequentemente com os intervenientes através de entrevistas ou
observações para recolher esses dados. Mas, ela enfatiza,
Não é este contacto direto que define uma avaliação participativa. Pelo contrário, é
a natureza da relação entre eles [o avaliador e as partes interessadas] que
determina se o estudo é ou não participativo. Se o avaliador mantiver o controlo
total da tomada de decisões para o estudo, independentemente dos métodos de
recolha de dados utilizados ou do tempo passado no local, o estudo não é
participativo. (2005, p. 292)

Categorias de abordagens participativas

medida que as abordagens participativas proliferavam, os avaliadores liderados
por Bradley Cousins começaram a identificar características ou dimensões para
ajudar a distinguir entre as abordagens. Cousins, Donohue e Bloom (1996)
especificaram três dimensões nas quais as abordagens participativas diferem:
1. Controlo da avaliação ou do processo de decisão técnica. O avaliador mantém o
controlo exclusivo ou primário? Ou, no outro extremo do continuum, os
intervenientes têm o controlo primário sobre a condução da avaliação, com
o avaliador a prestar aconselhamento técnico?
2. Seleção das partes interessadas. Até que ponto o processo de participação inclui
um conjunto alargado ou diversificado de partes interessadas? Apenas os
210 Parte II - Abordagens alternativas à avaliação de
programas
utilizadores primários, como a fonte de financiamento e alguns destinatários
ou gestores seleccionados, são incluídos? Ou a participação inclui todos os
grupos de interessados legítimos?
 Capítulo 8 - Abordagens de avaliação orientadas para os 211
participantes

3. Profundidade da participação. De que forma é que os intervenientes

participam na avaliação? Participam em todas as fases, ou a sua
participação limita-se a dar o seu contributo para algumas questões não
técnicas?
Num estudo amplamente citado, Cousins e Whitmore (1998) utilizaram
então estas dimensões para analisar e categorizar dez abordagens participativas
diferentes à avaliação e à investigação-ação.3 As abordagens que analisaram
incluíam algumas abordagens de avaliação participativa bem conhecidas: a sua
própria avaliação participativa prática (Cousins & Earl, 1992, 1995), a avaliação
baseada nas partes interessadas de Mark e Shotland (1985), a avaliação do
desenvolvimento de Patton (1994, 2010) e a avaliação do empoderamento de
Fetterman (1994, 1996, 2001a, 2005), bem como vários tipos de investigação-ação.
Avaliaram cada abordagem em três dimensões: o controlo da avaliação, a seleção
dos intervenientes a envolver e a profundidade da participação desses intervenientes.
Cousins e Whitmore encontraram variações em cada nível que ajudaram a
comparar e contrastar as actuais abordagens à avaliação participativa ou
colaborativa que são discutidas na literatura. Utilizaremos a sua análise para
familiarizar o leitor com os tipos actuais de avaliação participativa e as suas
características.
Em primeiro lugar, Cousins e Whitmore observam que as abordagens
participativas contemporâneas podem ser reduzidas a dois tipos principais:
avaliação participativa prática (P-PE) e avaliação participativa transformadora (T-
PE). Estas duas correntes têm histórias, objectivos e métodos diferentes. A
avaliação participativa prática, como o nome indica, é utilizada por razões práticas
limitadas ao programa que está a ser avaliado e à organização em que se encontra.
Especificamente, estas abordagens participativas envolvem as partes interessadas
na avaliação para melhorar a utilidade dos resultados. Como escrevem, "A
premissa central da P-PE é que a participação dos interessados na avaliação
aumentará a relevância da avaliação, a apropriação e, portanto, a utilização"
(1998, p. 6). Embora a P-PE tenha sido desenvolvida principalmente nos Estados
Unidos e no Canadá, a T-PE surgiu primeiro no mundo em desenvolvimento,
incluindo a América Central e do Sul, a Índia e a África e, ao contrário da P-PE,
emergiu do desenvolvimento comunitário e internacional e da educação de
adultos (Fals-Borda & Anisur-Rahman, 1991; Freire, 1982; Hall, 1992). O objetivo
da avaliação transformativa é, de facto, transformar, dar poder aos intervenientes,
que têm estado relativamente impotentes, através da sua participação na
investigação-ação ou na avaliação. Esta participação proporciona-lhes auto-
conhecimento e competências e uma compreensão das disposições de poder
relativas ao seu programa e à sua localidade. As avaliações transformativas,
embora preocupadas com a avaliação de um programa específico, também têm
como objetivo provocar mudanças sociais. Os seus objectivos são mais amplos
do que o programa que está a ser avaliado e são explicitamente políticos. Estas
abordagens, que emergem em grande parte da investigação-ação, destinam-se a
mudar as estruturas de poder, a dar poder às pessoas oprimidas, especialmente as
dos países em desenvolvimento rurais, e a reduzir a pobreza. Atualmente, as
abordagens de avaliação transformativa também são vistas em trabalhos baseados
em universidades nos Estados Unidos (Mertens, 1999, 2001, 2008).
212 Parte II - Abordagens alternativas à avaliação de
programas

3A investigação-ação precedeu a avaliação ao colocar a tónica nos participantes ou nas partes

interessadas que realizam a investigação. De facto, o objetivo da maior parte da investigação-ação é
fornecer aos profissionais modelos e ferramentas para conduzirem a sua própria investigação para
melhorar a sua prática.
 Capítulo 8 - Abordagens de avaliação orientadas para os 213
participantes

A avaliação transformativa difere da P-PE não só nos seus objectivos, mas

também nos seus métodos. Para atingir os seus objectivos transformadores, os
avaliadores transformadores funcionam mais como consultores, estando o controlo
da avaliação nas mãos dos intervenientes, especialmente dos que têm menos poder.
A avaliação deve ser orientada e conduzida por estas partes interessadas para que a
sua participação lhes proporcione mais conhecimentos, competências e poder. No
entanto, a delegação de responsabilidades a grupos que são novos na investigação e
na avaliação pode suscitar preocupações quanto à validade dos resultados. Os
defensores argumentam que a delegação de responsabilidades e as competências
adquiridas são resultados mais importantes do que a validade do estudo, mas também
argumentam que as contribuições dos intervenientes mais familiarizados com o
contexto local podem aumentar a validade da avaliação.

Diferenças entre as actuais abordagens participativas

O nosso objetivo aqui é ajudar o leitor a distinguir entre as abordagens
participativas actuais proeminentes. Portanto, voltaremos à análise de Cousins e
Whitmore de dez modelos diferentes usando as suas três dimensões: controlo da
avaliação, seleção dos intervenientes para participação e profundidade da
participação. Na Tabela 8.1, resumimos as suas conclusões sobre as dez
abordagens que analisaram. Relativamente ao controlo da avaliação, metade das
abordagens procura um equilíbrio entre o controlo do avaliador e do detentor de
interesse. Estas incluem a avaliação participativa prática de Cousins e Earl e a
avaliação de desenvolvimento de Patton. Apenas uma abordagem, a avaliação
baseada nos detentores de interesse de Mark e Shotland, inclui o controlo
tradicional da tomada de decisões liderado pelo avaliador. Esta abordagem é a
que mais se assemelha à avaliação reactiva de Stake e, de facto, estudos de
avaliadores mostram que as variantes desta abordagem são as mais utilizadas nas
avaliações participativas nos Estados Unidos e no Canadá (Cousins, Donohue, &
Bloom, 1996) e nas avaliações internacionais de desenvolvimento (Cullen, 2009).
Quatro das abordagens, no entanto, caem no outro extremo do continuum, com as
partes interessadas dominando as decisões relativas à avaliação. Uma destas
abordagens, não surpreendentemente, é a T-PE, cujo contexto é principalmente o
dos países em desenvolvimento. A avaliação do empoderamento de David
Fetterman é a única outra abordagem que faz pender o controlo

TABELA 8.1 Resumo das características de dez formas/abordagens de investigação

sistemática de Cousins e Whitmore*

Dimensão Número de formulários/abordagens em cada categoria

Controlo do processo de avaliação Avaliador Parceria Partes interessadas
1 4 5
Seleção das partes interessadas Limitada Muitos/Todos
4 0 6
Profundidade da participação Consulta Nível médio Participação
profunda
2 1 7
214 Parte II - Abordagens alternativas à avaliação de
programas
*Dados resumidos de Cousins, J. B., & Whitmore, E. (1998). Enquadramento da avaliação participativa. Em E.
Whitmore (Ed.), Understanding and practicing participatory evaluation. New Directions for Evaluation, No. 80, 5-23. São
Francisco: Jossey-Bass. Com permissão
 Capítulo 8 - Abordagens de avaliação orientadas para os 215
participantes

de poder para o interveniente; as duas restantes são abordagens de investigação-

ação em vez de abordagens de avaliação (Carr & Kemmis, 1992 e McTaggart, 1991,
com Emancipatory Action Research) ou inquéritos cooperativos (Heron, 1981;
Reason, 1994).
As dez abordagens estudadas são igualmente diversas na sua colocação no
continuum da seleção dos intervenientes. Três abordagens de avaliação bem
conhecidas - a avaliação participativa prática de Cousins e Earl, a avaliação do
empoderamento de Fetterman e a avaliação do desenvolvimento de Patton - e uma
abordagem de investigação-ação, a investigação-ação participativa de Argyris e
Schöen - limitam o envolvimento dos intervenientes aos gestores ou decisores
políticos ou, como escrevem Cousins e Whitmore, trabalham "em parceria com
potenciais utilizadores que têm influência para fazer algo com os resultados da
avaliação ou recomendações emergentes" (1998, p. 11). Seis abordagens, no
entanto, optam por um amplo envolvimento dos actores, incluindo muitos grupos
diversos. Estas abordagens incluem tanto a avaliação baseada em actores
frequentemente utilizada como, claro, a T-PE. Finalmente, a maioria das
abordagens defende um envolvimento profundo dos grupos de intervenientes
incluídos no estudo, indo além da seleção das questões de avaliação e da
interpretação dos resultados. Apenas uma abordagem, a avaliação baseada em
partes interessadas, limita a participação à ajuda na identificação dos objectivos e
questões da avaliação e, nas fases finais, à interpretação dos resultados e à
identificação de recomendações. A maioria das abordagens envolve os
intervenientes em todas as fases da avaliação, de uma forma ou de outra.
Em suma, a análise de Cousins e Whitmore das abordagens participativas à
investigação revela que estas abordagens diferem significativamente na forma
como aconselham os avaliadores a gerir a participação. Algumas, como a avaliação
baseada nas partes interessadas de Mark e Shotland, mantêm o controlo da
avaliação nas mãos do avaliador. No entanto, são participativas no sentido em que
envolvem um conjunto - frequentemente um vasto conjunto - de partes interessadas
na consideração das questões que a avaliação deve abordar e na forma de
interpretar os resultados e fazer recomendações. Outros, representados pela P-PE de
Cousins e Earl, a avaliação de desenvolvimento de Patton e a Investigação de Ação
Participativa, equilibram o controlo entre o avaliador e o interveniente. Envolvem
principalmente gestores e decisores políticos como partes interessadas, mas
procuram um envolvimento intensivo dessas partes interessadas. Outras abordagens,
mais transformadoras, cedem o controlo do estudo a uma grande variedade de
grupos de partes interessadas que, assim, têm uma grande profundidade de
participação.
Todas estas abordagens envolvem intervenientes, mas a diversidade dos
modelos oferece ao leitor muitas opções para adotar uma abordagem participativa
e muitas questões a considerar. Não existe um modelo para efetuar uma avaliação
participativa. Em vez disso, os leitores podem, e devem, escolher uma
abordagem ou dimensões de participação que funcionem mais eficazmente no
contexto do programa que estão a avaliar. As avaliações transformativas
surgiram em países em desenvolvimento e em países onde os participantes do
programa eram frequentemente marginalizados, oprimidos e viviam em grande
pobreza. A justiça social foi, e continua a ser, uma consideração importante na
avaliação nesses contextos.4 Cousins e Earl argumentam que a sua abordagem
216 Parte II - Abordagens alternativas à avaliação de
programas
participativa de procurar ativamente a participação e partilhar a responsabilidade,
mas limitando a participação geralmente a gestores, funcionários ou decisores
políticos, pode ser mais apropriada quando o objetivo da avaliação é formativo,
ou seja, tomar decisões para melhorar o programa.

4As preocupações com a justiça social também existem nos países desenvolvidos. As reacções do
governo ao furacão Katrina sensibilizaram os cidadãos americanos para esta questão.
 Capítulo 8 - Abordagens de avaliação orientadas para os 217
participantes

Neste caso, o envolvimento dos intervenientes que podem tomar decisões é

importante para satisfazer as suas necessidades de informação, ganhar a sua
confiança e aumentar a utilidade e a utilização efectiva da avaliação. Por outro
lado, a avaliação baseada nos intervenientes, em que o avaliador mantém o
controlo mas procura o contributo de muitos intervenientes diferentes sobre as
preocupações iniciais e finais da avaliação, pode ser mais adequada para decisões
sumativas, como a decisão de continuar um programa. Uma decisão política tão
importante deve incluir o contributo de muitos grupos diferentes relativamente ao
foco da avaliação e à interpretação dos resultados. No entanto, pode ser útil para o
avaliador manter o controlo das decisões técnicas no estudo para garantir que as
escolhas metodológicas e os resultados não sejam questionados no contexto
altamente político de muitas avaliações sumativas. A Tabela 8.2 enumera algumas
abordagens de avaliação participativa e os contextos em que cada abordagem
pode funcionar melhor.

QUADRO 8.2 Abordagens e contextos da avaliação participativa: O que utilizar quando

Abordagem Elementos-chave Contexto em que se insere

Avaliação participativa Controlo equilibrado; Partes limitado
prática (P-PE) (Cousins e interessadas - gestores, pessoal,
Earl) decisores políticos;
Muito envolvimento
Avaliação do Controlo equilibrado; Partes
desenvolvimento. interessadas - membros da
(Patton) equipa,
decisores políticos, gestores;
Cada membro da equipa
envolvido
Avaliação Participativa
Transformativa. (T-PE) Controlo das partes
interessadas; muitas
partes interessadas;
Ênfase nos participantes no
programa;
Avaliação baseada nas
Muito envolvimento
partes interessadas
(Stake; Mark & Controlo do
Shotland) avaliador; Muitos
intervenientes;
Envolvimento
Capacitação
limitado
Avaliação (Fetterman &
Wandersman)
Controlo das partes
interessadas; partes
interessadas-gestores,
Avaliação democrática
pessoal;
deliberativa. (House &
Muito envolvimento
Howe)*

Controlo do
avaliador; Muitos
intervenientes;
Envolvimento
218 Parte II - Abordagens alternativas à avaliação de
programas

Decisões formativas a justiça social é utilização

uma preocupação;
Necessidade de
Objetivo de responsabilização e
capacitação dos
reforço das capacidades do
participantes pessoal;
Actividades de
desenvolvimen Necessidade de criar um
to; Ambiente Sumário; mecanismo interno de
em mudança Conhecimentos técnicos, autocontrolo e de melhoria do
validade imp; programa
Os contributos sobre Necessidade de diálogo entre
as questões e os as partes interessadas;
Os resultados ajudam a
participantes As diferenças de poder entre os
orientar o estudo e a
são oprimidos; participantes exigem que o
melhorar a sua
avaliador seja moderado

*A abordagem de avaliação democrática deliberativa de House e Howe é posterior à análise de Cousins e Whitmore. É
classificada pelos autores deste manual com base nos escritos de House e Howe e nas dimensões de Cousins e
Whitmore.
 Capítulo 8 - Abordagens de avaliação orientadas para os 219
participantes

Algumas abordagens contemporâneas específicas

Avaliação participativa prática (P-PE)
Bradley Cousins tem sido um líder na escrita sobre a avaliação participativa,
estudando as suas várias abordagens, recolhendo dados empíricos sobre práticas e
utilização da avaliação e analisando a investigação de muitos campos
relacionados, como a a p r e n d i z a g e m de adultos, a aprendizagem
organizacional, a construção do conhecimento e a teoria e prática da avaliação.
Com base nesta literatura e investigação, os seus escritos sobre a sua abordagem
P-PE são, como ele e Earl escrevem, "leves na prescrição e comparativamente
pesados na justificação" (1992, p. 397). Ele continua esse tema mais recentemente
ao descrever os meios pelos quais várias abordagens colaborativas, incluindo a
sua P-PE, a avaliação do empoderamento de Fetterman e a abordagem de
desenvolvimento de Patton, estabelecem padrões de programa (Cousins & Shulha,
2008), observando que a abordagem P-PE para estabelecer padrões deve ser uma
abordagem emergente que se adapta ao contexto enquanto trabalha com os
principais interessados. Por outras palavras, é difícil descrever a P-PE em
profundidade porque Cousins reconhece, e até enfatiza, a necessidade de adaptação
ao contexto. Cousins e Earl (1992) articulam pela primeira vez a P-PE como um
método para aumentar a sua utilização, centrando-se explicitamente no objetivo
orientado para a decisão da avaliação e baseando-se na investigação realizada ao
longo dos anos sobre a sua utilização em vários domínios. O seu primeiro artigo
é, em grande parte, uma análise de 26 estudos diferentes sobre a relação entre as
ligações entre avaliadores e profissionais e a utilização da avaliação. A partir
destes estudos, e de outras investigações e teorias sobre a aprendizagem
organizacional (Argyris & Schöen, 1978; Senge, 1990),
Cousins e Earl desenvolvem uma abordagem P-PE que se baseia nas seguintes
evidências da investigação:

• A utilização dos resultados da avaliação é reforçada pela comunicação,

contacto e colaboração entre os avaliadores e os principais interessados, ou
seja, aqueles que estão mais interessados nos resultados e em posição de os
utilizar.
• Os avaliadores devem concentrar-se menos na utilização de um estudo
específico e mais na aprendizagem sobre a organização e o seu contexto, a
fim de fornecer informações úteis de forma contínua (Weiss & Bucuvalas,
1980).
• O conhecimento ou a informação são "socialmente construídos", o que
significa que o conhecimento se baseia nas imagens ou interpretações da
realidade, e não nos pormenores exactos da realidade (Bandura, 1977,
1986).
• Tal como os indivíduos, as organizações desenvolvem as suas próprias
visões da realidade entre os funcionários e no âmbito da cultura
organizacional, com base em imagens partilhadas e modelos mentais da
organização (Argyris & Schöen, 1978; Senge, 1990).
• Ao estabelecer ligações com as pessoas da organização, ao passar algum
tempo na organização para conhecer as suas imagens e cultura e ao envolver
220 Parte II - Abordagens alternativas à avaliação de
programas
intensamente os principais interessados, como parceiros, na realização da
avaliação, o avaliador aumentará as hipóteses de os resultados serem
utilizados. Mais importante ainda, as partes interessadas primárias que
trabalham no estudo podem continuar as actividades de avaliação ou as
formas de pensamento avaliativo.
 Capítulo 8 - Abordagens de avaliação orientadas para os 221
participantes

• O envolvimento destes intervenientes primários reforçará a aprendizagem

organizacional através da mudança de imagens e pontos de vista e mesmo
de formas de estabelecer essas imagens e pontos de vista, nomeadamente
questionando pressupostos fundamentais e recolhendo dados ou
informações para determinar o que funciona.
A abordagem P-PE de Cousins e Earl (1992, 1995) implica que os
avaliadores trabalhem em estreita colaboração com os principais interessados,
gestores de programas e pessoal para efectuarem conjuntamente uma avaliação.
A abordagem inclui a formação do pessoal-chave da organização nas
competências técnicas da avaliação, enquanto trabalham em parceria com os
avaliadores. Esta forma de capacitação nas organizações destina-se a melhorar
diretamente a aprendizagem organizacional e a preparar os principais membros
da organização para assumirem a coordenação da avaliação em projectos novos e
em curso. O avaliador pode então passar a desempenhar o papel de consultor em
questões técnicas e em tarefas relacionadas com actividades de avaliação futuras.
Na sua opinião, é mais adequado para avaliações formativas que ajudam a
informar e a melhorar a implementação do programa.

Diferenças em relação à avaliação tradicional baseada nos actores. Cousins e

Earl contrastam a sua abordagem à avaliação participativa com a avaliação
tradicional baseada nos intervenientes:
1. Na avaliação tradicional baseada nos intervenientes, o avaliador controla as
decisões relativas à avaliação. Na P-PE, o avaliador trabalha em parceria com os
stakeholders primários e partilha as decisões relativas à avaliação. Desta forma,
os actores primários adquirem competências e um sentido de propriedade sobre a
avaliação, e o avaliador aprende mais sobre o programa a ser avaliado, as suas
questões e políticas, e a cultura organizacional. O avaliador, enquanto
coordenador, é responsável pelo apoio técnico, formação e controlo de qualidade,
mas a realização do estudo é uma responsabilidade conjunta.
2. Na avaliação tradicional baseada em partes interessadas, o avaliador
trabalha com representantes de muitos grupos de partes interessadas para retratar
todos os seus pontos de vista e perspectivas. Na P-PE, o avaliador trabalha com
um grupo mais limitado de stakeholders, aqueles que podem fazer mudanças no
programa. Este grupo foi identificado pela primeira vez como "stakeholders
primários" por Alkin (1991), que observou que preferia trabalhar com
stakeholders que estão interessados na avaliação e têm o poder de fazer algo com
os resultados do que com muitos stakeholders que podem não estar interessados
na avaliação ou podem não ter o poder de usá-la. Ao contrário de Stake, que
considerava que o seu papel era retratar as múltiplas realidades vistas por uma
série de partes interessadas, Cousins e Earl, e Alkin, seleccionam as partes
interessadas pelo seu potencial de utilização do estudo.
3. Numa avaliação tradicional baseada nas partes interessadas, as muitas
partes interessadas dão um contributo relativamente limitado para o estudo,
normalmente ajudando a definir o objetivo do estudo e as questões que este irá
abordar e a fornecer as suas perspectivas sobre o programa. Na P-PE, o grupo
mais pequeno de stakeholders primários está profundamente envolvido em
222 Parte II - Abordagens alternativas à avaliação de
programas
todas as fases da avaliação. Este envolvimento em profundidade é projetado
para aumentar o seu sentido de propriedade e a sua compreensão do
programa.
 Capítulo 8 - Abordagens de avaliação orientadas para os 223
participantes

O estudo, bem como a sua capacidade de utilizar meios de pensamento e métodos

de avaliação no futuro. O envolvimento parcial das partes interessadas em apenas
algumas fases não permitiria atingir este objetivo.

A P-PE foi concebida para melhorar a utilização. O seu objetivo principal é

prático e não político, como na EP-T. A abordagem de Cousins e Earl não foi
concebida para dar poder aos participantes ou para alterar as distribuições de
poder. Foi, no entanto, concebida para encorajar a aprendizagem e a mudança
organizacionais. Embora o objetivo imediato seja prático, aumentando a utilidade
e a utilização real da avaliação atual, o objetivo a longo prazo é a capacitação
(dotar o pessoal ou os gestores existentes de competências em avaliação) e criar
uma organização de aprendizagem que utilize a informação da avaliação para
planeamento e melhoria. Cousins e Earl reconhecem que a abordagem não seria
particularmente útil para as avaliações sumativas. A objetividade seria uma
preocupação primordial e o papel participativo dos principais interessados
(pessoas responsáveis pelo programa) na realização da avaliação seria
problemático nessas circunstâncias. Além disso, as avaliações sumativas exigem
frequentemente o envolvimento de muitos grupos de interessados para lidar com
as decisões mais políticas a tomar.

Avaliação do desenvolvimento
Michael Patton é bem conhecido pela sua abordagem de avaliação centrada na
utilização (UFE), estando o seu livro atual na sua quarta edição (Patton, 2008a).
No entanto, ele escreveu mais recentemente sobre a avaliação do
desenvolvimento, que ele vê como um tipo, ou uma opção, num processo
centrado na utilização. Descreveremos aqui a avaliação do desenvolvimento
porque o seu foco é participativo, embora difira substancialmente dos outros
modelos. A abordagem mostra como as abordagens participativas e mesmo as
definições dos papéis dos avaliadores se desenvolvem e mudam à medida que a
nossa experiência com as organizações, a participação e a avaliação mudam e à
medida que a natureza do trabalho de uma organização muda.

O avaliador passa a desempenhar novas funções. Cousins e Whitmore usaram

a participação dos interessados para aumentar o uso de avaliações formativas e
para aumentar a aprendizagem na organização a longo prazo. Com a avaliação
de desenvolvimento, Patton leva o avaliador para o planeamento e
implementação de programas ou outras actividades de desenvolvimento da
organização. As partes interessadas não são membros de uma equipa de
avaliação. Em vez disso, o avaliador de desenvolvimento é um membro da
equipa do programa. O avaliador não está a formar outros membros da equipa
em competências de avaliação; em vez disso, essas são as competências que o
avaliador traz para a equipa, tal como os outros membros trazem as suas
próprias áreas de especialização. Finalmente, a avaliação do desenvolvimento
não avalia uma coisa em particular. Utiliza modos de pensamento e técnicas de
avaliação para ajudar no processo de desenvolvimento e crescimento
constante, contínuo e em mudança de uma organização. Em seu trabalho com
organizações sobre questões de desenvolvimento, Patton observou e enfatizou
224 Parte II - Abordagens alternativas à avaliação de
programas
que esses ambientes diferem daqueles em que as avaliações tradicionais de
programas são conduzidas. Os ambientes de desenvolvimento são
caracterizados pela complexidade, turbulência e pela natureza dinâmica e não
linear do processo de desenvolvimento.
 Capítulo 8 - Abordagens de avaliação orientadas para os 225
participantes

ambientes (Patton, 2009, 2010). Assim, defende, são necessárias novas

abordagens e novos papéis para os avaliadores.
Isto está a virar a avaliação do avesso! A avaliação do desenvolvimento é
um tipo inteiramente novo de abordagem participativa. A equipa não é o
interveniente e o avaliador. É um grupo de pessoas com muitas áreas diferentes
de conhecimentos necessários para planear e orientar a organização. Patton
escreve que "a avaliação do desenvolvimento não é um modelo [de avaliação]. É
uma relação baseada num objetivo partilhado: o desenvolvimento" (1994, p.
313). Ele descreve-a como uma "relação de parceria a longo prazo com clientes
que estão, eles próprios, envolvidos no desenvolvimento contínuo de programas"
(1994, p. 312). E o que é desenvolvimento? É o trabalho contínuo de uma
organização ou mesmo de um grupo que está a explorar uma questão e algumas
soluções para essa questão. Patton dá exemplos de um grupo que trabalha na
liderança comunitária na zona rural do Minnesota, outro grupo que trabalha com
as Escolas Públicas de St. Paul para criar e apoiar a educação multicultural no
distrito, e ainda outro grupo que trabalha numa iniciativa de 20 anos para
melhorar a saúde da comunidade em dois bairros do centro da cidade. Os
projectos de desenvolvimento diferem das avaliações tradicionais na medida em
que não existem objectivos claros, o que é visto como uma limitação ao
desenvolvimento, e não existe um calendário estabelecido. O avaliador não está a
trabalhar para desenvolver um relatório de avaliação para apresentar a um
financiador externo num determinado momento. Em vez disso, a equipa está
constantemente a fazer ajustes para lidar com as mudanças - mudanças no que
sabem, no que os participantes precisam e no contexto da comunidade. O que é
que o avaliador traz para a mesa? Patton argumenta que os avaliadores
experientes, durante os seus anos de prática, ganharam mais do que
conhecimentos de avaliação. Adquiriram competências na lógica do
desenvolvimento de programas: "Sabemos muito sobre padrões de eficácia.
Esse conhecimento torna-nos parceiros valiosos na conceção
processo" (Patton, 2005b, p. 16). O avaliador é um membro da equipa que
levanta questões de tipo avaliativo utilizando a lógica avaliativa e o
conhecimento da investigação, e apoia a utilização de dados e da lógica no
processo de tomada de decisões.
Na avaliação do desenvolvimento, os avaliadores fazem explicitamente
parte da equipa de conceção do programa. Assim, o avaliador perde o papel
externo e independente que pode ser valioso nas decisões sumativas. Mas a
avaliação do desenvolvimento não se destina a decisões sumativas, nem a
decisões formativas. Destina-se ao desenvolvimento. Reconhecendo que a
avaliação do desenvolvimento é semelhante ao desenvolvimento organizacional
(DO), Patton argumenta que os avaliadores precisam de partilhar as suas
competências: "Quando os teóricos da avaliação alertam para o facto de não
passarem do julgamento para o aconselhamento, podem subestimar o papel
valioso que os avaliadores podem desempenhar na conceção e melhoria dos
programas" (Patton, 2005b, p. 16). (Ver também Reichardt [1994] que
defende que os avaliadores desempenhem um papel mais importante no
desenvolvimento do programa, em vez de se concentrarem nas avaliações
sumativas, como forma de terem um maior impacto na organização e na
melhoria do programa.5)
226 Parte II - Abordagens alternativas à avaliação de
programas

5O livro de Patton sobre avaliação do desenvolvimento está a ser escrito ao mesmo tempo que este
manual está a ser atualizado. Ele partilhou connosco o primeiro capítulo, mas nós baseámo-nos nas
publicações existentes. Incentivamos os leitores interessados nesta abordagem a lerem o seu novo
livro, citado nas leituras sugeridas no final do capítulo.