Você está na página 1de 17

See discussions, stats, and author profiles for this publication at: https://www.researchgate.

net/publication/330684086

Contributos das perspetivas orientadas por/para uma agenda social.

Chapter · January 2018

CITATIONS READS

0 459

1 author:

Domingos Fernandes
ISCTE-University Institute of Lisbon
112 PUBLICATIONS   660 CITATIONS   

SEE PROFILE

Some of the authors of this publication are also working on these related projects:

Public Policies in Education and Portuguese Students Performance in the Programme for International Student Assessment – PISA (2000-2015) View project

Monitorização, Acompanhamento e Investigação em Avaliação Pedagógica (Projeto MAIA)/Monitoring, Following-up, and Researching into Pedagogical Assessment
(MAIA Project) View project

All content following this page was uploaded by Domingos Fernandes on 04 December 2019.

The user has requested enhancement of the downloaded file.


5. Contributos das perspetivas orientadas por/para uma agenda social

Domingos Fernandes

Introdução

A avaliação é um domínio do conhecimento que tem vindo a afirmar-se e a consolidar-se de


forma inquestionável, sendo largamente reconhecido que, de forma mais ou menos explícita, mais
ou menos formal, está presente em todas as áreas da atividade humana. O seu principal propósito
é, genericamente, discernir a qualidade dos objetos que nos rodeiam (Stake e Schwandt, 2006).
Neste sentido, a avaliação pode ser um poderoso processo de apoio aos decisores e aos cidadãos
em geral, porque permite elaborar informações credíveis, plausíveis e socialmente úteis acerca da
qualidade de bens e serviços em áreas tão fundamentais como a saúde, a educação, a justiça e os
serviços sociais. Apesar de relativamente recente, a avaliação apresenta já uma notável construção
teórica, resultante das práticas que se desenvolvem nas suas áreas aplicadas, muito
particularmente nos contextos da avaliação de programas, na avaliação de políticas e na
avaliação de desempenho.
A política pública é igualmente um domínio recente do conhecimento e pode ser entendida como
um processo mais ou menos complexo que materializa, geralmente através de programas, as
decisões que se tomam no âmbito da disputa política. Assim, os programas são ações deliberadas
de iniciativa governamental cujo propósito é concretizar políticas que visam o interesse público
e, em geral, a melhoria da vida social. Nestes termos, os programas são instâncias das políticas
públicas ou, se quisermos, representações da sua concretização. Importa clarificar desde já o
significado das palavras em língua inglesa politics e policy, uma vez que ambas são geralmente
traduzidas para a língua portuguesa utilizando a palavra política (Rua, 2012). Politics refere-se à
atividade e à luta políticas, invariavelmente partidárias, e policy tem a ver com a política pública,
com a materialização ou concretização de desígnios políticos ou de ideias políticas através de
programas e projetos.
Salvo menção noutro sentido, a utilização da expressão avaliação terá sempre subjacente a
avaliação de políticas e a avaliação de programas no âmbito de áreas sociais de intervenção do
Estado, legalmente consagradas e consideradas essenciais para o bem-estar dos cidadãos (e. g.,
saúde, educação e justiça).
O propósito deste capítulo é analisar e discutir a avaliação de programas e/ou de políticas públicas,
considerando o papel que as perspetivas de avaliação orientadas por/para uma agenda social
podem desempenhar na qualidade das avaliações e na transformação e na melhoria da sociedade.
Além desta Introdução, este capítulo foi organizado em mais quatro secções. Na segunda, A
Avaliação como Domínio do Conhecimento, são discutidas questões críticas relativas à natureza,
fundamentos e teorias da avaliação. Na terceira, Avaliação e Políticas Públicas, faz-se uma
discussão das suas relações, de perspetivas e caraterísticas de cada um destes domínios do
conhecimento e das respetivas consequências para a avaliação. Na quarta secção, Perspetivas de

1
Avaliação Orientadas por/para Uma Agenda Social, faz-se uma análise sumária de duas
perspetivas específicas e discutem-se as questões da participação e da valorização das
experiências e das práticas daqueles que, de algum modo, estão interessados no processo de
avaliação. Finalmente, na quinta secção, Conclusão, elabora-se uma síntese das ideias
consideradas mais relevantes e críticas, tendo em vista o desenvolvimento e a melhoria da
avaliação de programas e de políticas públicas.

A Avaliação como Domínio do Conhecimento

A avaliação tem vindo a consolidar-se e a desenvolver-se porque os seus processos e os seus


resultados interessam, cada vez mais, aos cidadãos em geral e, em particular, a uma diversidade
de grupos sociais (e. g., políticos, dirigentes da administração pública, dirigentes de instituições
de educação e formação, cientistas). A sua relevância decorre da necessidade da sua presença em
todos os domínios do conhecimento e áreas de funcionamento da sociedade, o que lhe confere a
sua natureza transdisciplinar.

Tal como nos referem vários autores (House e Howe, 2003; Scriven, 1994 e 2003), a avaliação
utiliza conceitos fundadores (e. g., avaliação formativa, avaliação sumativa, avaliação externa,
classificação), métodos e procedimentos, tais como os que são utilizados na investigação, uma
lógica, uma diversidade de objetos e processos que permitem conhecer a sua própria qualidade
(meta-avaliação). É, nestes termos, um domínio do conhecimento que nos permite formular juízos
credíveis, plausíveis e socialmente úteis acerca da qualidade dos objetos que nos rodeiam. Assim,
ao contrário do que referem alguns autores (Rossi, 2004), a avaliação não é uma mera prática
social que se limita a aplicar os métodos das ciências sociais, sendo antes um domínio do
conhecimento com uma assinalável construção teórica (Scriven, 1994, Stake, 2006). Na verdade,
é uma transdisciplina comparável a outras tais como a Lógica e a Estatística (Scriven, 2003).

As perspetivas de avaliação não são mais do que prescrições para avaliar programas ou políticas
que vêm sendo sugeridas pelos respetivos proponentes ao longo dos anos, e como tal
profundamente enraizadas nas suas experiências, nos seus sistemas de conceções e também nas
suas ideologias e visões do mundo e da sociedade. Existe uma miríade de perspetivas de avaliação
que têm vindo a ser sistematizadas e organizadas para introduzir alguma racionalidade num certo
caos causado pela sua proliferação. Alguns desses esforços foram desenvolvidos por autores tais
como Alkin (2004), Alkin e Christie (2004), Scriven (2000), Shadish, Cook e Leviton (1991) e
Stufflebeam (2000). Estes esforços de síntese foram analisados e discutidos em trabalhos
anteriores e, por isso, não faz sentido repetir a discussão neste contexto (Fernandes, 2010, 2013).
Far-se-á apenas uma breve referência ao trabalho de Stufflebeam (2000), que inventariou 22
perspetivas de avaliação distribuídas por quatro categorias: a) pseudoavaliações; b) quase-

2
avaliações; c) avaliações orientadas para a melhoria e/ou para a prestação de contas; e d)
avaliações orientadas para/por uma agenda social.

Tendo em conta os propósitos deste capítulo, apenas se discutirão mais adiante princípios e
caraterísticas das avaliações incluídas nesta última categoria, em que Stufflebeam (2000) incluiu
quatro perspetivas consideradas das mais promissoras para o século XXI: a avaliação deliberativa
e democrática (House e Howe, 2003), a avaliação construtivista (Guba e Lincoln, 1989), a
avaliação respondente – tradução livre de responsive evaluation (Stake, 2003) e a avaliação
orientada para a utilização e para os utilizadores (Patton, 2003)1. O principal propósito destas
perspetivas é intervir social e politicamente para transformar e melhorar os programas e as
políticas públicas, recorrendo ao envolvimento e à participação dos cidadãos que tenham algum
interesse nos resultados das avaliações. Existem ainda outras perspetivas que, genericamente,
partilham princípios muito semelhantes a estas, como é o caso da avaliação para o
empoderamento – tradução livre de empowerment evaluation (Fetterman, 2005) – e a avaliação
realista – tradução livre de realistic evaluation e de realist evaluation (Pawson e Tilley, 1997).

A construção teórica no domínio da avaliação, muito baseada no desenvolvimento de perspetivas


de avaliação, não pode ignorar as práticas e as experiências que as pessoas vivem no contexto de
qualquer programa ou política pública, porque estas são elementos fundamentais para obter
melhores descrições, análises e interpretações das realidades. Nestes termos, não fará sentido
considerar a teoria e a prática como dicotomias e, de igual modo, considerar que há uma qualquer
abordagem de avaliação que se sobrepõe a todas as outras. É com base nesta perspetiva que Stake
(2006) tem defendido a ideia de que a avaliação de políticas públicas e programas deve ser
abrangente (comprehensive). Isto é: deverá resultar de uma articulação inteligente entre
perspetivas de avaliação baseadas no chamado pensamento criterial (apoiado na definição de Comentado [AL1]: Termo não registado

critérios) e as que são baseadas nas práticas e nas experiências pessoais daqueles que, de algum JF: Sugiro que se peça ao autor uma designação alternativa.
modo, têm interesses ou são afetados pelo processo de avaliação. No primeiro caso estamos
Comentado [J2R1]: concordo
perante visões mais próximas da lógica das ciências ditas exatas e do empírico-racionalismo, onde
Comentado [d3]: Sugiro então que toda a frase fique
se procura a objetividade, a medida e a análise de resultados. No segundo estamos perante como segue:
“Isto é: deverá resultar de uma articulação inteligente entre
perspetivas em que se assume a subjetividade e se utilizam dados de natureza qualitativa, dando- perspetivas de avaliação baseadas em critérios e as que são
se relevância aos processos inerentes ao desenvolvimento do programa ou da política pública. A baseadas nas práticas e nas experiências pessoais daqueles
que, de algum modo, têm interesses ou são afetados pelo
articulação entre as duas perspetivas, defende Stake (2006), permite obter retratos mais nítidos da processo de avaliação.”

realidade e, assim, a avaliação será mais credível e social e politicamente mais útil.

1
Num trabalho posterior, Stufflebeam e Shinkfield (2007) incluíram a abordagem de Patton (2003) numa
nova categoria denominada avaliação eclética.

3
Esta breve discussão, apoiada nos trabalhos de uma diversidade de autores (House, 2000; House
e Howe, 2003; Howe, 2003; Scriven, 1994; Stake, 2006; Stufflebeam, 2000), permite destacar as
seguintes caraterísticas da avaliação, decorrentes da sua natureza e dos seus fundamentos.

1. A avaliação não é uma ciência exata nem uma mera técnica de recolha e tratamento de
informação e é necessário retirar destes factos as devidas ilações.
2. A avaliação, em geral, não é redutível a uma medida, exigindo uma diversidade de formas
de participação por parte daqueles que estão interessados no processo de avaliação e/ou
que por ele podem ser mais ou menos afetados. Ainda que medir seja indispensável em
muitas situações, é importante compreender que nem tudo é mensurável, nomeadamente
no âmbito da avaliação de políticas públicas em áreas sociais.
3. A avaliação não produz, em geral, resultados exatos nem definitivos; porém, pode ser
credível, rigorosa e socialmente útil para todos os stakeholders. Efetivamente, o propósito
da avaliação não é a produção de conhecimento generalizável, de leis universais, como
acontece na investigação, mas antes produzir juízos acerca da qualidade de um objeto
numa determinada e delimitada situação.
4. A avaliação permite-nos discernir a qualidade de qualquer objeto, sendo muitas vezes
desejável que esse discernimento seja feito com base na utilização complementar de
avaliações baseadas em critérios e das baseadas na experiência e nas práticas das pessoas.
5. A avaliação deve ser utilizada para melhorar a vida das pessoas, das organizações e das
sociedades, sem que dela se deixem de retirar as devidas consequências, que, geralmente,
implicam a regulação e a autorregulação do ente avaliado.

É tendo em conta estas ideias que se apresentam e discutem a seguir uma variedade de aspetos
relacionados com as relações, mais ou menos complexas, que se podem discernir nos processos
de avaliação de políticas públicas e/ou dos seus programas.

Avaliação e Políticas Públicas

Tal como referem O’Donell e Schmitter (1988), as políticas públicas podem ser entendidas como
o Estado em ação. Num certo sentido, as políticas públicas (policies) emanam da atividade e da
luta políticas e, muitas vezes, estão associadas a programas que mais não são do que o resultado
de consensos políticos e sociais que é possível estabelecer, num dado momento e num dado
contexto sociopolítico, para resolver problemas concretos das sociedades.

A política pública, tal como a avaliação, é um domínio recente do conhecimento, com expressão
ainda pouco significativa no contexto da academia portuguesa. A ciência política é incontornável
na conceitualização da política pública, que, por seu lado, conta ainda com contributos teóricos

4
de outros domínios do conhecimento, tais como a sociologia, a história, a educação, a geografia,
o direito e a economia (Souza, 2006). Para esta autora, a política pública é um ramo formal da
ciência política que conta com contributos de outros domínios do conhecimento das ciências
sociais. Ainda de acordo com Souza (2006), a avaliação é um dos processos inerentes à conceção
e desenvolvimento da política pública. Nestas condições, política pública e avaliação são
consideradas processos sociais estreitamente relacionados que podem ter um papel fundamental
na criação de condições geradoras de bem-estar social. A avaliação, que é intrinsecamente
política, pode contribuir para que a qualidade da política pública seja conhecida e discutida por
setores mais ou menos alargados da sociedade. Talvez por isso a avaliação tenha sido considerada
um processo público de decisão (House, 2000) e os avaliadores uma espécie de cientistas públicos
(Cronbach et al., 1980) que geram a base empírica para que se possa discutir fundamentadamente
uma dada política pública. Recordando aqui a clássica definição de política de Lasswell (1936),
a avaliação surge associada à distribuição de poder pois pode determinar quem ganha o quê,
quando e como.

Ao discutir as relações entre avaliação e política, Weiss (1993) afirmou que a política pública e
os programas que são objeto de avaliação emanam de decisões políticas. Assim, as conclusões,
reflexões e recomendações produzidas no âmbito de uma avaliação acabam, inevitavelmente, por
fazer afirmações de natureza política. Dir-se-á então que a avaliação de políticas públicas tem
sempre um conteúdo político. Faz parte da sua natureza.

Numa discussão acerca das relações entre avaliação e política, Vestman e Conner (2006)
consideram quatro possíveis conceções de política. Numa primeira conceção, a política é
entendida como matéria para especialistas, estando assim em sintonia com a visão de que governar
é uma arte que não estará ao alcance de qualquer pessoa. Numa outra visão, a política é, no
essencial, um processo de tomada de decisões que se materializa em medidas ou programas
destinados a melhorar a vida das comunidades. Ainda noutra perspetiva, a política é entendida
como um processo intrinsecamente associado à ética, sendo, assim, uma forma de lutar contra as
injustiças e as desigualdades sociais; neste sentido, fazer política é cuidar da chamada coisa
pública. Finalmente, numa quarta perspetiva, tudo é política e a política está em tudo. Ou seja, a
política não está só presente em todas as ações e dimensões sociais da vida humana, como também
na vida privada. Comentado [AL4]: ñ registado
JF: ver comentário anterior.
Tendo em conta estas quatro visões, dir-se-á, genericamente, que nos dois primeiros casos as Comentado [J5R4]: Reforço o comentário

avaliações tenderão a ser inspiradas no chamado pensamento criterial, intrinsecamente associado Comentado [HRFX6R4]: Em função do termo adoptado,
normalizar em itálico ou não em todas as ocorrências
à definição de critérios, na lógica das ciências ditas exatas, no empírico-racionalismo, e orientadas
Comentado [d7]: Sugiro então que a formulação, a partir
para a tomada de decisões. A procura da objetividade e da neutralidade por parte dos avaliadores de “tenderão a ser” passe a ser como segue: “(...) orientadas
pela definição de critérios, na lógica das ciências ditas exatas,
são duas das suas caraterísticas mais marcantes. Nas avaliações que se desenvolvem no âmbito no empírico-racionalismo, e tendo em vista apoiar a tomada
de decisões.

5
das duas últimas perspetivas, por seu lado, os avaliadores assumem a sua subjetividade e o seu
papel político. As experiências e as práticas dos participantes apresentam uma particular
relevância. Nestas condições, as avaliações são sobretudo baseadas em racionalidades
interpretativas, críticas e sociocríticas.

Ao considerar-se que a avaliação é neutra, livre de valores, é inevitável entender-se que ela está
separada da política e que não há qualquer contaminação entre ambas, quer do ponto de vista
teórico e conceitual quer do ponto de vista prático. Isto significa que a avaliação é um processo
supostamente objetivo e que os avaliadores são neutros, mantendo-se tão distantes quanto
possível do objeto de avaliação. Nestas condições, em última análise, as asserções avaliativas não
dependem dos avaliadores, pois estes apenas se limitam a sistematizar e a organizar a informação
que permite formulá-las. Estamos perante uma perspetiva de avaliação mais compatível com a
ideia de que a política, ou a política pública, é a arte de governar. Assim sendo, as relações entre
política e avaliação são vistas como algo do domínio da técnica e do empírico-racional. Ou seja:
o principal propósito da avaliação é analisar o grau de consecução dos objetivos definidos, para
determinar, medindo, a qualidade da política pública e assim permitir que os cidadãos escolham
racionalmente os serviços de que necessitam (e. g., saúde, educação). Trata-se de uma abordagem
influenciada pelas perspetivas de mercado, em que a avaliação está essencialmente ao serviço da
eficiência e da eficácia da gestão, através de processos inerentes à chamada responsabilização
(accountability)2. A conceção de avaliação subjacente é, nestes termos, a da avaliação como
descrição, ou da avaliação como verificação, em que o avaliador se limita a descrever ou a
verificar em que medida os objetivos de uma dada política pública foram ou não alcançados. Esta
visão da relação entre avaliação e política, ou entre avaliação de programas e política pública, é
partilhada pelos teóricos da Nova Gestão Pública (New Public Management).

Uma outra ideia é a de que não fará sentido considerar que a avaliação está separada da política,
porque, em geral, a avaliação decorre num ambiente marcadamente político. Em consequência,
as proposições avaliativas têm um conteúdo político, sendo possível garantir a sua imparcialidade Comentado [AL8]: impossível?
JF: Na verdade, o texto não é claro. Pedir ao autor para
e o seu rigor. Nesta perspetiva, o processo de avaliação, nomeadamente no que se refere aos esclarecer.
procedimentos de recolha e análise da informação, tem de garantir a distância em relação aos Comentado [J9R8]: Concordo. Aliás, mesmo o temo
impossível reflecte algum radicalismo verbal. Preferial algo
interesses e jogos políticos envolvidos. Assim, os avaliadores podem assumir uma posição em do tipo: suscitando dúvidas quanto à sua imparcialidade e
que a avaliação é uma questão técnica que consiste em medir a eficiência e a eficácia dos rigor.
Comentado [d10]: Sugiro então que, após a palavra
programas ou das políticas. Mas, por outro lado, a avaliação e a política consideram-se “político” a frase tenha a seguinte formulação: (...) e, por
indissociáveis porque a política diz respeito a todos os cidadãos e não apenas àqueles que, isso, pode haver quem questione a sua imparcialidade e o
seu rigor.”
supostamente, têm a arte para governar. A política é vista como um negócio público, uma causa Comentado [J11]: Expressão coloquial e talvez
redundante.
Comentado [HRFX12R11]: Autores
2
Para a análise de uma discussão aprofundada acerca deste conceito-chave, na interação entre a prestação Comentado [d13]: Sugiro que se elimine “e jogos”.
de contas, a responsabilização e a avaliação, ver, por exemplo, Afonso (2012).

6
e uma coisa públicas, e a avaliação é um processo de intervenção na sociedade que a pode
transformar e melhorar. Neste sentido, Greene (2006), inspirada no seminal trabalho de
MacDonald (1976), sublinha a ideia de que a avaliação de programas e de políticas públicas é
uma atividade marcadamente política, porque interfere e intervém na vida pública, podendo
contribuir para a sua transformação, melhoria e democratização.

Os avaliadores, neste sentido, deverão ser profissionais envolvidos na defesa do interesse público,
procurando contribuir para que, em qualquer processo de avaliação, seja garantida a pluralidade
de perspetivas, através da participação de todos os stakeholders. Não são, por isso, avaliadores
neutros, pois acabam por influenciar as relações de poder que ocorrem em qualquer processo de
avaliação de uma política pública. Porém isto não significa que sejam parciais, enviesando os
resultados das avaliações e ignorando a transparência, a democracia e as normas éticas que devem
regular qualquer processo de avaliação.

Em suma, ainda que não faça sentido separar a política pública da avaliação de programas, porque
esta ocorre sempre num qualquer contexto político, isso não significa que haja uma integração
entre aqueles dois processos. Se assim acontecesse a avaliação perderia a credibilidade, a
caraterística mais significativa e importante de qualquer avaliação de qualidade (House, 2000).
Em todo o caso, é importante ter presente que garantir a credibilidade das avaliações não é
incompatível com a sua interferência na vida política e social das sociedades, tendo em vista a
sua melhoria e democratização (e. g., Greene, 2006; House e Howe, 2003; Vestman e Conner,
2006).

Os princípios que acabam de ser discutidos são consistentes com os genericamente preconizados
pelos proponentes das perspetivas de avaliação orientadas por/para uma agenda social a que já
se fez referência. Nestas perspetivas, assumem particular importância as questões relacionadas
com a participação dos stakeholders nos processos de avaliação, com a relevância da experiência
e das práticas de todos os que, de algum modo, estão envolvidos no programa ou na política objeto
de avaliação e com a democracia de processos e procedimentos avaliativos. No entanto, uma
análise apurada de cada uma das perspetivas permite identificar diferenças sensíveis entre cada
uma delas, que, no entanto, não cabe apresentar e discutir no âmbito deste capítulo. Na secção
que se segue discutem-se apenas sumariamente as principais caraterísticas da avaliação
respondente proposta por Stake (2003) e da avaliação democrática e deliberativa proposta por
House e Howe (2003).

Perspetivas de Avaliação Orientadas por/para Uma Agenda Social

7
Stake (2003), um dos mais prolixos teóricos do domínio da avaliação, concebeu a avaliação
respondente orientada para responder às diferentes necessidades e perspetivas de todos os
intervenientes nos programas ou nas políticas públicas. Neste caso, o papel do avaliador é
trabalhar com os stakeholders, respeitando a sua autonomia, para que eles possam elaborar
livremente as suas perspetivas acerca da qualidade do programa que é objeto de avaliação.
Consequentemente, aquele autor advoga a pluralidade de perspetivas e pontos de vista, a
interatividade entre os avaliadores e os diferentes grupos de pessoas e uma visão holística e
integrada da avaliação de políticas públicas e de programas. Trata-se de uma abordagem
assumidamente subjetiva de avaliação, porque baseada nas experiências e nas práticas dos
respetivos stakeholders.

O principal propósito da avaliação respondente é contribuir para que todos os intervenientes


conheçam, compreendam e apreendam o programa e, assim, possam pronunciar-se acerca dos
seus aspetos melhor e pior sucedidos e acerca dos seus principais problemas. O que se pretende é
produzir uma avaliação através das perspetivas partilhadas pelas pessoas responsáveis pelo
programa ou pela política pública e pelas pessoas que neles têm particular interesse ou que por
eles podem ser afetadas. Além disso, na perspetiva de Stake, a avaliação de programas ou de
políticas públicas deve promover a igualdade e a justiça social, apoiando os que não têm poder
nem voz, e denunciar qualquer uso indevido do poder.

As questões mais globais da avaliação de uma política pública ou de um programa são formuladas
pelos avaliadores e pelos stakeholders, sendo as mais específicas definidas no decorrer do
processo de avaliação. Outra caraterística da avaliação respondente é a importância dada pelos
avaliadores à descrição e à discussão exaustiva do programa ou da política pública, incluindo as
expetativas criadas, os seus fundamentos, princípios e propósitos e a sua história.

As estratégias e os procedimentos metodológicos mais privilegiados nesta abordagem de


avaliação são, por exemplo, os estudos de caso, as observações, a seleção deliberada de
participantes e a análise de relatórios ou de narrativas em que se contesta o programa ou a política
pública que se pretende avaliar. É dada relevância à audição de painéis de especialistas e à análise
e síntese das perspetivas e apreciações de todos os stakeholders. Os avaliadores têm de produzir
uma avaliação que, em última análise, retrate a complexidade do programa e as suas diferentes
realidades e facetas, nomeadamente os aspetos que possam ser do agrado ou desagrado dos
diferentes grupos envolvidos e interessados no processo. De acordo com Stufflebeam e Shinkfield
(2007), a abordagem de Stake é uma formalização das práticas de avaliação informais e intuitivas
que sempre foram postas em prática pelos seres humanos. Na verdade, é uma perspetiva aberta e
flexível de avaliação, um contraponto a perspetivas mais estruturadas, detalhadas e
minuciosamente planeadas.

8
Algumas das suas limitações decorrem da excessiva proximidade entre avaliadores e stakeholders
e da relevância dada às suas perspetivas acerca de algo em que estão diretamente envolvidos, que
pode ou não ser do seu agrado por razões estritamente pessoais. Deste modo, a avaliação pode ser
questionada quanto à sua credibilidade. Outras possíveis limitações são o tempo de que este tipo
de abordagem necessita para ser cabalmente realizada e a dificuldade na utilização dos seus
resultados quando estes traduzem visões contraditórias de uma dada política pública. Talvez
devido a estas e outras limitações, Stake (2006) propôs uma avaliação mais abrangente,
defendendo a articulação entre perspetivas baseadas no pensamento criterial, em que a definição Comentado [d14]: Este período deverá, então, ficar como
segue: “Talvez devido a estas e outras limitações, Stake
de critérios assume uma crucial relevância, e perspetivas baseadas na experiência e nas práticas. (2006) propôs uma avaliação mais abrangente, defendendo a
articulação entre perspetivas baseadas na definição de
critérios e perspetivas baseadas na experiência e nas
House e Howe (2003) propuseram a abordagem democrática e deliberativa partindo do princípio práticas.”
de que a avaliação é um processo que permite construir e/ou consolidar a democracia social. Para Formatada: Realce
estes autores, a participação democrática dos intervenientes, a discussão e o diálogo para obter e
confirmar informações dos stakeholders e a deliberação, que permite produzir juízos
fundamentados acerca de um programa, são os pilares de qualquer avaliação. A democracia será
assegurada através da participação de todos os interessados no processo de avaliação e garantindo
que não há desequilíbrios entre intervenientes com mais e menos poder, com mais e menos
reconhecimento social, cultural ou outro. Por outro lado, a discussão e o diálogo devem garantir
que as perspetivas dos diferentes intervenientes sejam incorporadas nos resultados e conclusões
da avaliação. Finalmente, a deliberação está diretamente relacionada com a formulação de juízos
acerca da qualidade do programa. Na opinião de House e Howe (2003), a deliberação é um
processo eminentemente cognitivo e reflexivo, uma vez que deverá resultar de uma análise
aprofundada de todas as contribuições e da sequente elaboração de uma síntese que as traduza o
mais rigorosamente possível. Neste processo, os avaliadores reservam-se o direito de expressar a
sua discordância com perspetivas manifestadas pelos diferentes grupos de stakeholders que sejam
consideradas improváveis, mal fundamentadas ou claramente enviesadas. Consequentemente, a
avaliação pode não as ter na devida conta, ignorando-as ou dando-lhes uma reduzida importância.

O principal propósito desta abordagem é contribuir para que se produzam avaliações de


programas e de políticas públicas que resultem da participação democrática dos seus
intervenientes. Deste modo, House e Howe (2003) consideram que a avaliação poderá contribuir
para que os cidadãos participem mais ativamente nas coisas públicas e na vida das sociedades,
aprofundando a dimensão social da democracia.

Os métodos de recolha de informação utilizados nesta abordagem passam essencialmente por


debates e diálogos com os stakeholders, mas não são postas de parte outras estratégias ou técnicas,
tais como inquéritos por questionário e por entrevista.

9
Para Stufflebeam e Shinkfield (2007), a avaliação democrática e deliberativa apresenta vantagens
tais como: a) contar com a participação democrática de pelo menos um grupo representativo de
stakeholders em todas as fases do processo de avaliação; b) incluir os contributos e as visões de
todas as partes envolvidas no desenvolvimento do programa, tendo em conta que não deverá haver
desequilíbrios resultantes do poder dos diferentes grupos envolvidos; e c) considerar a
possibilidade de não incluir visões ou perspetivas que sejam consideradas incorretas ou que não
obedeçam a normas éticas. Constata-se assim que, nesta abordagem, de forma mais enfática do
que na abordagem de Stake (2003) ou noutras (e. g., Fetterman, 2005), os avaliadores detêm
sempre a última palavra quando se trata de elaborar as conclusões avaliativas. As visões dos
stakeholders são consideradas, mas os avaliadores analisam-nas criteriosamente para garantir a
sua adequação ética e a sua consistência com os dados recolhidos. A principal desvantagem desta
abordagem está relacionada com a dificuldade de garantir a participação de todos os
intervenientes, ou de um grupo representativo, em todas as fases do processo de avaliação.

Após esta sumária discussão dos principais contornos de duas perspetivas de avaliação orientadas
por/para uma agenda social, segue-se uma breve discussão acerca de duas das suas questões
essenciais: a participação e a experiência vivida.

Tal como é preconizado por uma diversidade de autores (Guba e Lincoln, 1989; House e Howe,
2003; Patton, 2003; Stake, 2003), as avaliações de programas e de políticas públicas só farão real
sentido se houver um forte envolvimento por parte de todos os stakeholders. Porém, para
Schwandt e Burgon (2006), a mera participação formal mantém as desigualdades de poder e não
assegura uma avaliação democrática e deliberativa. Por isso defendem que só a plena
emancipação dos participantes garante a igualdade de poder e a deliberação democrática. Nestas
condições, a avaliação de programas e de políticas públicas deverá estar associada ao
desenvolvimento da democracia social e política, à igualdade e à equidade, através da participação
de todos aqueles que, em geral, não são ouvidos.

As práticas e as experiências vividas pelas pessoas no âmbito de uma determinada política pública
ou de um dado programa são elementos fundamentais de análise em qualquer avaliação orientada
por/para uma agenda social (Howe, 2003; Stake, 2003). Para Schwandt e Burgon (2006) são
conceitos analíticos que contribuem para se compreender as perceções dos diferentes
intervenientes acerca do programa ou da política pública que está a ser objeto de avaliação. Deste
modo, as avaliações não ficam exclusivamente dependentes da lógica clássica da avaliação,
baseada no pensamento criterial e nos resultados, e do empírico-racionalismo. Comentado [d15]: A frase deverá ficar como segue:
“Deste modo, as avaliações não ficam exclusivamente
dependentes da lógica clássica da avaliação, baseada na
Tal como é referido por vários autores (Guba e Lincoln,1989 e 1991; House e Howe, 2003; Patton, definição de critérios e nos resultados, e do empírico-
racionalismo.
1986; Stake, 2003), as avaliações orientadas por/para uma agenda social obedecem a um conjunto
Formatada: Realce
de princípios de que se destacam os seguintes: a) a importância de avaliar uma alargada

10
diversidade de objetos de uma dada política, tendo em conta as perspetivas, experiências e práticas
das pessoas; b) a relevância de se reconhecer que é necessário atender a uma pluralidade de
critérios e de avaliadores; c) a importância de se compreender que os avaliadores não são neutros,
mas podem e devem ser imparciais quando têm de descrever os valores, as necessidades e as
perspetivas das pessoas que estão envolvidas numa dada avaliação; e d) a assunção de que a
avaliação é um processo que deve basear-se em valores democráticos e em marcadas
preocupações sociais, éticas e políticas.

Em síntese, as perspetivas de avaliação orientadas por/para uma agenda social caraterizam-se


genericamente pela utilização do raciocínio indutivo, pela aceitação de múltiplas realidades e
avaliadores, pela diversidade de dados recolhidos (incluindo os de natureza quantitativa), pela
descrição, análise e interpretação dos fenómenos que se observam, tendo em conta as perspetivas
dos participantes (pluralidade de realidades), pela flexibilidade e pelas suas assumidas
preocupações sociais, éticas e políticas. Por outro lado, importa ter em conta a sua natureza
eminentemente subjetiva, a sua excessiva dependência das perspetivas individuais dos
intervenientes, participantes e stakeholders, a tendência para se poderem vir a focar demasiado
no que é discrepante ou único, a necessidade de recorrerem a períodos de tempo muito alargados
para se poderem realizar (o que lhes reduz a capacidade para responder a problemas prementes)
e o custo elevado. Além disso, o seu assumido envolvimento nas questões sociais, tendo em vista
a transformação e a melhoria das políticas e dos seus programas, pode colidir com a necessidade
de se produzirem avaliações credíveis, plausíveis e imparciais. Ou seja, pode sempre existir a
tendência para que a avaliação das políticas públicas seja parcial, desvirtuando a realidade
(Stufflebeam e Shinkfield, 2007).

Conclusão

A discussão anterior partiu de considerações acerca da avaliação e da política pública e das


relações entre elas, para enquadrar teórica e conceitualmente perspetivas de avaliação que, nas
últimas décadas, têm vindo a afirmar-se como alternativas e/ou complementares à chamada
avaliação científica, tradicionalmente associada ao empírico-racionalismo e ao lógico-
positivismo. O propósito foi discutir a natureza e os fundamentos das perspetivas orientadas
por/para uma agenda social e produzir reflexões acerca das suas implicações nos planos teórico e
prático da avaliação de programas e de políticas públicas. Estas perspetivas implicam visões de
avaliação e de política pública bem diferentes de outras mais centradas, por exemplo, na avaliação
para a prestação de contas e para a responsabilização, e, por isso, mais orientadas por objetivos e
por critérios de eficiência e de eficácia, na linha das perspetivas defendidas no âmbito da chamada
Nova Gestão Pública.

11
Nas perspetivas orientadas por/para uma agenda social, considera-se que a avaliação e a política
pública estão intrinsecamente associadas, pois ambas têm a ver com a distribuição de poder e de
recursos. Porém, a discussão mostrou que esse facto não impede que a avaliação seja um processo
rigoroso, eticamente adequado e socialmente útil. Neste sentido, garantir a qualidade da avaliação,
em quaisquer contextos e circunstâncias, é uma condição indispensável para que ela possa
constituir-se como um processo público de decisão. Ainda que tenha um conteúdo político, a
avaliação é um processo que pode contribuir decisivamente para que a qualidade de um programa
ou de uma política pública seja do domínio público, pois o entendimento que se faz da política
envolve a ética e a ideia de coisa pública. Isto tem necessariamente de passar pelo envolvimento
dos diferentes stakeholders no processo de avaliação e pela necessidade de mobilizar e integrar
as suas práticas e experiências nas asserções avaliativas que se produzem. Passa, igualmente, pela
articulação entre avaliações baseadas no pensamento criterial e avaliações baseadas nas práticas Formatada: Realce

e nas experiências das pessoas. Esta é uma questão crítica fundamental que decorre das limitações Comentado [d16]: A frase deverá ficar como segue:
“Passa, igualmente, pela articulação entre avaliações baseadas
que são inerentes a quaisquer perspetivas de avaliação. em critérios previamente definidos e avaliações baseadas nas
práticas e nas experiências das pessoas.
Nestas condições, a avaliação de políticas públicas e de programas tem de continuar a
desenvolver-se no sentido de melhorar a integração e a articulação entre diferentes perspetivas
ontológicas, epistemológicas e metodológicas. Para House (2000), este desígnio não pode deixar
de passar por uma aprofundada discussão acerca da natureza e dos fundamentos da avaliação,
pois é a partir dela que se poderá inferir que a avaliação, um processo que tem de ser
necessariamente rigoroso, não é uma ciência exata. De facto, nos processos de avaliação utilizam-
se formas de argumentação e racionalidades que procuram a credibilidade, a plausibilidade e a
utilidade social dos resultados obtidos. No entanto, a procura da verdade e de leis universais,
através da utilização da demonstração e de formas indutivas e dedutivas de raciocínio lógico,
ainda que caraterize certas perspetivas de avaliação, não garante a sua credibilidade nem a sua
utilidade, porque a avaliação, por natureza, muito dificilmente produzirá resultados certos e muito
menos definitivos. Aquele autor referiu a este propósito o seguinte (tradução livre):

(...) a avaliação persuade mais do que convence, argumenta mais do que demonstra, é mais
credível do que certa e a aceitação que suscita é mais variável do que o que seria desejável.
Isto não significa, porém, que se reduza à mera retórica ou que seja completamente arbitrária.
O facto de não estar limitada ao raciocínio dedutivo e indutivo não significa que seja irracional
(House, 2000, p. 72).

Estas perspetivas integram um movimento que tem vindo a desenvolver-se no sentido de procurar
alternativas credíveis às perspetivas de avaliação preponderantes. Neste sentido vai, por exemplo,
a ideia do discernimento pragmático (Fernandes, 2010, 2011 e 2013), inspirada nas conceções
dos pragmatistas norte-americanos, de que John Dewey é a figura de referência, nas ideias de
teóricos escandinavos contemporâneos da teoria da atividade (Engeström, 1999; Engeström e

12
Miettinem, 1999) e ainda nos trabalhos filosóficos de alguns avaliadores (House, 2000; Howe,
2003; House e Howe, 1999). Naquela perspetiva rejeitam-se, por exemplo, visões dicotómicas da
realidade, muito comuns na literatura das ciências sociais (e. g. quantitativo vs. qualitativo;
objetivo vs. subjetivo; local vs. global). Propõe-se uma racionalidade alternativa à racionalidade
do controlo e da generalização dos lógico-positivistas e à racionalidade relativista de certas formas
mais radicais ou puristas do construtivismo. Assim, as práticas de avaliação inspiradas no
discernimento pragmático implicam a participação de todos os grupos interessados num dado
programa ou política pública, uma base teórica em que se articulam perspetivas que melhor se
ajustam ao programa ou à política pública que é objeto de avaliação e a rejeição de quaisquer
visões dicotómicas da realidade e de quaisquer ortodoxias ontológicas, epistemológicas e
metodológicas.

Em suma, parece claro que a construção e as reflexões de natureza teórica desempenham um papel
relevante para se compreender as relações fundamentais entre avaliação e política ou entre
avaliação e política pública. Só assim se poderão desenhar e concretizar processos de avaliação
mais fundamentados, transparentes e participados, que ajudem a transformar e a melhorar as
realidades sociais. Só assim as políticas públicas e os seus programas poderão estar mais ao
serviço da coisa pública, do bem-estar de todos os cidadãos e da democracia social.

Referências

Afonso, Almerindo J. «Para uma concetualização alternativa de accountability em educação».


Educação & Sociedade, 119 (2012): 471-484.

Alkin, Marvin C. Evaluation Roots: Tracing Theorists’ Views and Influences. Londres: Sage,
2004.

Alkin, Marvin C., e Christina A. Christie. «An Evaluation Theory Tree». In Evaluation Roots:
Tracing Theorists’ Views and Influences, edição de Marvin C. Alkin, 381-392. Londres: Sage,
2004.

Cronbach, Lee J., S. R. Ambron, S. M. Dornbusch, R. D. Hess, R. C. Hornik, D. C. Phillips, D.


F. Walker e S. S. Weiner. Toward Reform of Program Evaluation: Aims, Methods and
Institutional Arrangements. São Francisco: Jossey-Bass, 1980.

Engeström, Yrjö. «Activity Theory and Individual and Social Transformation». In Perspetives
on Activity Theory, edição de Yrjö Engeström, Reijo Miettinen e Raija-Leena Punamäki, 19-
38. Nova Iorque: Cambridge University Press, 1999.

Engeström, Yrjö, e Reijo Miettinen. «Introduction». In Perspetives on Activity Theory, edição de


Yrjö Engeström, Reijo Miettinen e Raija-Leena Punamäki, 1-18. Nova Iorque: Cambridge
University Press, 1999.

13
Fernandes, Domingos. «Avaliação em Educação: Uma Discussão de Algumas Questões Críticas
e Desafios a Enfrentar nos Próximos Anos». Ensaio. Avaliação e Políticas Públicas em
Educação, 80 (2013): 449-472.

Fernandes, Domingos. «Avaliação de Programas e Projetos Educacionais: das Questões Teóricas


às Questões das Práticas». In Avaliação em Educação: Olhares sobre Uma Prática Social
Incontornável, editado por Domingos Fernandes, 185-208. Curitiba: Editora Melo, 2011.

Fernandes, Domingos. «Acerca da Articulação de Perspetivas e da Construção Teórica em


Avaliação Educacional». In Olhares e Interfaces: Reflexões Críticas sobre a Avaliação,
editado por Maria T. Esteban e Almerindo J. Afonso, 15-44. São Paulo: Cortez, 2010.

Fetterman, David. «Empowerment Evaluation». In Encyclopedia of Evaluation, edição de Sandra


Mathison, 125-129. Londres: Sage, 2005.

Greene, Jennifer C. «Evaluation, Democracy, and Social Change». In The Sage Handbook of
Evaluation, edição de Ian F. Shaw, Jennifer C. Greene e Melvin M. Mark, 118-140. Londres:
Sage, 2006.

Guba, Egon G. e Yvonna S. Lincoln. «Epistemological and Methodological Bases of Naturalistic


Inquiry». In Evaluation Models: Viewpoints on Educational and Human Services Evaluation,
edição de George F. Madaus, Michael S. Scriven e Daniel L. Stufflebeam, 311-334. Boston:
Kluwer, 1991.

Guba, Egon G., e Yvonna S. Lincoln. Fourth Generation Evaluation. Londres: Sage, 1989.

House, Ernest R. Evaluación, Ética Y Poder (3.ª ed.). Madrid: Morata, 2000.

House, Ernest R., e Kenneth R. Howe. «Deliberative Democratic Evaluation». In International


Handbook of Educational Evaluation, edição de Thomas Kellaghan and Daniel L.
Stufflebeam, 79-102. Boston: Kluwer, 2003.

House, Ernest R., e Kenneth R. Howe. Values in evaluation and social research. Londres: Sage,
1999.

Howe, Kenneth R. Closing Methodological Divides: Toward Democratic Educational Research.


Boston: Kluwer, 2003.

Lasswell, Harold D. Politics: Who Gets What, When, How. Nova Iorque: Whittlesey House, 1936.

MacDonald, Barry. «Evaluation and the Control of Education». In Curriculum Evaluation Today:
Trends and Implications, edição de David A. Tawney, 125-136. Londres: MacMillan, 1976.

O’Donnel, Guillermo, e Philippe Schmitter. Transições do Regime Autoritário: Primeiras


Conclusões. São Paulo: Vértice, 1988.

Patton, Michael Q. «Utilization-focused Evaluation». In International Handbook of Educational


Evaluation, edição de Thomas Kellaghan e Daniel L. Stufflebeam, 223-244. Boston: Kluwer,
2003.

Patton, Michael Q. Utilization-Focused Evaluation (2.ª ed.). Londres: Sage, 1986.

14
Pawson, Ray, e Nick Tilley. Realistic Evaluation. Londres: Sage, 1997.

Rossi, Peter H. «My Views of Evaluation and their Origins». In Evaluation Roots: Tracing
Theorists’ Views and Influences, edição de Marvin C. Alkin, 122-131. Londres: Sage, 2004.

Rua, Maria das Graças. Políticas Públicas. Florianópolis: Departamento de Ciências da


Administração da Universidade Federal de Santa Catarina, 2012.

Schwandt, Thomas A., e Holli Burgon. «Evaluation and the Study of Living Experience». In The
Sage Handbook of Evaluation, edição de Ian F. Shaw, Jennifer C. Greene e Melvin M.
Mark, 98-117. Londres: Sage, 2006.

Scriven, Michael S. «Evaluation Theory and Metatheory». In International Handbook of


Educational Evaluation, edição de Thomas Kellaghan e Daniel L. Stufflebeam, 15-30. Boston:
Kluwer, 2003.

Scriven, Michael S. «Evaluation Ideologies». In Evaluation Models: Viewpoints on Educational


and Human Services Evaluation (2.ª ed.), edição de Daniel L. Stufflebeam, George F. Madaus
e Thomas Kellaghan, 249-278. Boston: Kluwer, 2000.

Scriven, Michael. «Evaluation as a discipline». Studies in Educational Evaluation 20 (1994): 147-


166.

Shadish, William R., Thomas D. Cook e Laura C. Leviton. Foundations of program evaluation:
Theories of practice. Londres: Sage, 1991.

Souza, Celina. «Políticas Públicas: Uma Revisão da Literatura.» Sociologias, 8 (2006): 20-45.

Stake, Robert E. Evaluación Comprensiva y Evaluación Basada en Estándares. Barcelona: Grao,


2006.

Stake, Robert E. «Responsive Evaluation». In International Handbook of Educational


Evaluation, edição de Thomas Kellaghan e Daniel L. Stufflebeam, 63-68. Boston: Kluwer,
2003.

Stake, Robert E., e Thomas A. Schwandt. «On discerning Quality in Evaluation». In The Sage
Handbook of Evaluation, edição de Ian F. Shaw, Jennifer C. Greene e Melvin M. Mark,
404-418. Londres: Sage, 2006.

Stufflebeam, Daniel L. «Foundational Models for 21st Century Program Evaluation». In


Evaluation Models: Viewpoints on Educational and Human Services Evaluation (2.ª ed.),
edição de Daniel L. Stufflebeam, George F. Madaus e Thomas Kellaghan, 33-83. Boston:
Kluwer, 2000.

Stufflebeam, Daniel L., e Anthony J. Shinkfield. Evaluation Theory, Models, & Applications. São
Francisco: Jossey-Bass, 2007.

Vestman, Ove K., e Ross F. Conner. «The Relationship Between Evaluation and Politics». In The
Sage Handbook of Evaluation, edição de Ian F. Shaw, Jennifer C. Greene e Melvin M.
Mark, 225-242. Londres: Sage, 2006.

15
Weiss, Carol H. «Where Politics and Evaluation Research Meet». Evaluation practice, 1 (1993):
93-106.

16

View publication stats

Você também pode gostar